亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖結構無處不在，從電子商務到知識圖譜，抽象出個體數據實體之間的交互。運行在圖結構數據上的各種實際應用程序需要為圖的每個部分——節點、邊、子圖和整個圖——提供有效的表示，以編碼其基本特征。近年來，圖上的深度學習（Deep Learning on Graphs，DLG）通過學習圖表示，在各個領域取得了突破性進展，成功捕捉了圖中潛在的歸納偏差。然而，這些突破性的DLG算法在應用于實際場景時，有時會面臨一些局限性。首先，由于只要在存在實體交互的領域中都可以構建圖，因此實際中的圖往往是多樣化的。因此，每一個新的應用程序都需要領域專家的參與和繁瑣的超參數調優工作，以找到最優的DLG算法。其次，實際中的圖的規模不斷擴大，甚至達到數十億節點，同時還伴隨著未過濾的噪聲。這要求在實現DLG應用之前進行冗余的預處理，例如圖采樣和噪聲過濾。接下來，實際中的圖大多是專有的，而許多DLG算法往往假設它們可以完全訪問外部圖，以學習其分布或提取知識，進而轉移到其他圖。最后，語言和視覺領域的單模態基礎模型的出現，促進了多種模態的集成，導致了帶有多種模態的節點和邊的多模態圖的形成。然而，在多模態圖上進行學習，同時利用每種模態的基礎模型的生成能力，仍然是DLG中的一個開放性問題。在本論文中，我提出從四個維度使DLG更加實用：1）自動化，2）可擴展性，3）隱私性，4）多模態性。首先，我們在消息傳遞框架下自動化算法搜索和超參數調優。然后，我們提出對每個節點的鄰域進行采樣，以調節計算成本，同時自適應地過濾掉針對目標任務的噪聲鄰居，以應對可擴展性問題。針對隱私問題，我們重新定義了包括圖生成和遷移學習在內的傳統問題定義，使其意識到實際圖的專有性和隱私受限的特點。最后，我提出了一種新的多模態圖學習算法，該算法建立在單模態基礎模型之上，并基于多模態鄰居信息生成內容。隨著人類收集的數據在規模和多樣性上的增加，個體元素之間的關系在規模和復雜性上呈指數級增長。通過使DLG更加可擴展、隱私認證和多模態，我們希望能夠更好地處理這些關系，并對廣泛的領域產生積極的影響。

//ra.adm.cs.cmu.edu/anon/2024/abstracts/24-139.html

在計算機視覺和自然語言處理領域取得的近期成功中，現實世界數據的一個關鍵方面——關系信息——在AI模型中仍然未得到充分探索。傳統模型主要在訓練和推理過程中單獨處理單個數據實體，例如一張圖片或一句話。相反，許多現實世界的應用本質上涉及富含關系結構的數據，這些數據自然可以表示為圖，其中節點代表數據實體，邊則編碼了它們之間的關系。通過理解圖中每個數據實體的關系，我們能夠全面了解它與其他實體的相關性或聯系。例如，在電子商務中，一個產品的上下文不僅僅通過其描述來解讀，還可以通過電子商務圖中相鄰節點的用戶評論、商家信息或共同購買的產品來分析。圖上的深度學習（Deep Learning on Graphs，DLG）提出了多種深度學習方法，通過捕捉圖中的潛在歸納偏差來學習節點、邊、子圖和圖的有效表示【20，75】。DLG在多個領域取得了突破，從傳統的圖應用，如電子商務/社交平臺中的產品/好友推薦【88，176】、社交網絡中的虛假信息檢測【10】、金融交易網絡中的欺詐檢測【156】等，到新興的圖應用，包括導航應用中的ETA預測【29】、流行病學中的疫情預測【22，112】以及生物學中的藥物開發【70】。

1.1 挑戰

DLG旨在通過圖結構和鄰域信息學習理解這個相互關聯的世界，并改進對每個數據實體的理解。然而，當我們嘗試在實踐中實現DLG時，會面臨源自現實世界圖特征的諸多挑戰。

• 多樣性：由于圖可以構建在任何存在實體交互的領域中，現實世界的圖具有多樣性，從電子商務圖到知識圖譜。這些多樣化的圖需要針對每個DLG算法尋找不同的最優超參數集。
• 規模：現實世界圖的規模不斷增加，達到數十億或數萬億節點，同時伴隨著未過濾的噪聲。這要求在實現DLG應用之前進行冗余的圖采樣和噪聲過濾。
• 隱私：隱私問題的興起以及相關法律的實施限制了源自各行業的現實世界圖的共享。這對DLG研究提出了前所未有的挑戰，包括訪問感興趣的圖數據集受限以及關于外部圖可訪問性的研究假設受到干擾。
• 多模態：語言和視覺領域的單模態基礎模型的出現，催生了跨領域多種模態的集成，導致了帶有多種模態的節點和邊的多模態圖的形成。在多模態圖上進行學習，同時利用每種模態基礎模型的強大生成能力，仍然是DLG中的一個開放性問題。 由于這些挑戰，一些DLG研究難以將其在學術環境中展示的影響力完全傳遞到工業領域中新興的圖應用中。

1.2 貢獻

鑒于超參數調優、可擴展性、隱私性和多模態等四個阻礙DLG廣泛應用于現實世界中的挑戰，我定義了新的問題，旨在解決這些挑戰，并提出了可以在現實世界圖上部署的實用解決方案。

• 自動化：為了消除重復工作并使DLG為實踐者所用，我自動化了神經架構搜索（即超參數調優），并在給定的圖、任務和資源預算下，找到最優的消息傳遞算法（第3章）。
• 可擴展性：我對每個節點的鄰居進行采樣，以調節DLG算法的計算成本。我自適應地采樣對于給定任務有信息量的鄰居，自動過濾掉噪聲鄰居（第4章）。
• 隱私性：我提出了新的遷移學習方法，避免依賴外部（可能是專有的）圖，通過在完全自有的異構圖內轉移知識，從而避免訪問外部圖（第5章）。此外，我定義了一個新的圖生成問題，該問題能夠以增強隱私的方式生成遵循專有圖分布的替代圖，并為DLG研究多樣化基準圖（第6章）。
• 多模態：我提出了一種新的多模態圖學習算法，該算法基于單模態基礎模型構建，并基于多模態鄰居信息生成內容。這一范式有望成為需要復雜多模態數據處理的應用（如決策、規劃和推薦系統）的基礎方法（第7章）。 基于這一系列工作，我們幫助DLG更容易地應用于更廣泛的領域，從而為現實世界帶來更大的影響。

遷移學習是一種機器學習（ML）范式，通過利用其他任務中的“知識”來提高對目標任務的性能。這項技術已成為推動機器學習模型能力邊界擴展的關鍵動力。當前的公式相對簡單——在大量遷移任務數據上訓練一個大型模型；然后將所學的模型零樣本或經過適應性調整后應用于目標下游任務。這篇論文認識到，這些強大的模型并不是在真空中開發的，而是需要大量資源來訓練和部署。因此，有許多突出的問題和研究社區被現狀所忽視。在這篇論文的第一部分中，我們將專注于數據高效遷移學習的訓練時間問題。我們將從一個常見的ML情境出發，論證利用目標下游任務的高級知識來指導遷移學習的不同維度。我們將這種方法稱為終任務感知遷移學習。接下來，我們將提出一組新的終任務感知優化算法，這些算法通過偏向數據高效的解決方案來引導學習軌跡，并在終任務上具有較強的泛化能力。我們將以提供一種自動化方法結束這一部分，該方法可以在僅有終任務數據且數據量有限的情況下，構建并搜索與任務相關的遷移目標。 在論文的第二部分中，我們將開發計算和內存高效的遷移學習算法。我們的目標是基于一個已經在遷移任務（或任務集）上預訓練的通用大型模型，提供一個小型且高效但仍具有良好性能的任務特定模型，以供部署。我們將以結構化剪枝為主要技術，研究在兩種資源受限情況下的剪枝：（1）有限的任務數據，在這種情況下，我們將利用額外的遷移任務來學習剪枝結構，在相同的任務性能下，產生計算和內存更高效的模型；（2）內存受限的環境中，許多經典的剪枝技術因需要基于梯度的優化而導致內存開銷過大，從而失效。 本論文的結論部分將通過基于我們的既往工作，提出更多未來在資源高效遷移學習領域的研究方向，并建議一些新的研究分支。 機器學習（ML）模型變得越來越強大，導致它們在許多任務領域（Gururangan等，2020a；Liu等，2022）、數據模態（Team等，2023；McKinzie等，2024）和最終用戶應用（Bommasani等，2021；Maslej等，2023）中的廣泛采用。可以說，這一驚人增長速度的關鍵驅動力之一是遷移學習。在遷移學習中，我們通過利用來自不同但希望相關任務的知識，來提高對目標任務（或任務集）的性能（Bozinovski和Fulgosi，1976；Pratt，1992；Ruder等，2019）。我們希望解決的許多終任務數據有限，或者過于復雜，無法通過實際數量的監督樣本直接指定或學習。遷移學習不僅通過提供代理數據，還通過利用這些任務與選定遷移任務之間的結構關系，使我們能夠高效學習復雜任務（Thrun和Schwartz，1994；Baxter，2000）。 盡管取得了成功，現代實現形式的遷移學習可能資源消耗過大。例如，普遍的預訓練后適應范式1。在這種方法中，越來越大的模型首先在越來越多的數據上進行訓練，這些模型最終通過微調（Devlin等，2018；Abnar等，2021）、提示（Brown等，2020a；Liu等，2023）或基于人類反饋的強化學習（RLHF）（Christiano等，2017）適應于大量下游任務。GPT-4（Achiam等，2023）作為這一范式下的一個流行模型，據傳其參數數量超過1.7萬億2，估計訓練時使用了超過10萬億個標記；總共超過1e25次浮點運算（當時約為1億美元）。盡管這些巨大的訓練成本通常被認為可以通過未來的多個終任務攤銷，但如此龐大的模型在部署時會帶來顯著的內存、延遲、計算和能源負擔，從而引發了對資源節約程度的真正質疑。 本論文致力于探索資源高效的遷移學習技術。我們認識到，不僅存在廣泛的資源受限的ML實踐者，還有許多任務在訓練和部署時都有內在的資源限制（例如，在邊緣設備上執行的任務往往受到內存限制）。即使對于有能力訓練和使用大型模型的機構，資源高效的遷移學習也可以帶來顯著的財務節省，并減少通過二氧化碳排放對環境造成的壓力（Ligozat等，2022）。 本論文關注三個主要的資源維度：數據、計算和內存，以及它們在訓練和部署時的使用。我們的目標是在訓練和測試時實現資源高效的前提下，生成表現出色的模型（包括任務特定的指標，如準確率或F1）。我們將利用的一個基礎性見解是，ML實踐者通常對模型將用于的終任務有一定程度的先驗意識。這種終任務感知使我們能夠做出明智的設計決策，從而在資源節約的情況下生成高效且強大的模型。簡而言之，本論文基于以下問題陳述： 給定一個特定的終任務T?，我們如何通過利用一組遷移任務Taux，在資源高效的情況下生成滿足T?各種性能標準的模型？ 終任務感知遷移學習的概念本身并不新穎。以往的工作已經在解決復雜規劃問題（Stone和Veloso，1994）、提高支持向量機性能（Wu和Dietterich，2004）和構建貝葉斯線性回歸的先驗（Raina等，2006）等方面探索了不對稱遷移。我們感興趣的是擴展現有文獻，并開發適應于新的、深度學習主導的時代（LeCun等，2015；Goodfellow等，2016）的新方法。與以往的工作不同，我們不僅關注提高任務指標，如準確率或困惑度，我們還關注在資源高效的情況下實現這些改進。下面，我們將提供本論文中不同工作部分的高層次概述，并說明它們與我們定義的目標的關系。

近年來，深度神經網絡（DNNs）在多種計算機視覺任務中取得了巨大進步，如圖像分類、對象檢測、語義分割等。然而，DNNs的重大成功是以大量密集標記的訓練圖像為代價的，這些訓練圖像的建立極其昂貴且耗時。一種繞開這種限制的方法是利用現有相關數據集（稱為“源域”）中的已標注圖像進行網絡訓練。不幸的是，在源域上訓練的DNNs在應用于“目標域”時往往會因為分布不匹配而導致性能急劇下降。在這種情況下，域間的遷移學習（或稱知識遷移）是可取且必要的。

在本論文中，我們探討了用于視覺識別的轉導性遷移學習，其中標記的源域數據和未標記的目標域數據的數據分布不同，而源任務和目標任務是相同的。更具體地，我們調查了三種代表性的轉導性遷移學習類型，包括域泛化、無監督域適應和無源無監督域適應。

在域泛化中，給定標記的源域數據，目標是學習一個泛化的視覺識別模型，該模型在未見過的目標域數據上表現良好。換句話說，域泛化旨在學習域不變特征（或可遷移特征），而無需在訓練中使用目標域數據。在本論文中，我們提出了一種新穎的域泛化方法，有效地在頻率空間隨機化源域圖像，鼓勵DNNs學習風格不變的視覺特征，以便在未見過的目標域中表現良好。

在無監督域適應中，給定標記的源域數據和未標記的目標域數據，目標是學習一個適應性的視覺識別模型，該模型在目標域數據上表現良好。與域泛化不同，在無監督域適應的遷移學習設置中，未標記的目標域數據在訓練期間是可訪問的。因此，無監督域適應主要關注于利用未標記的目標域數據來提高網絡性能。在本論文中，我們開發了四種新穎的無監督域適應技術，有效地將知識從標記的源域傳遞到未標記的目標域。更具體地，我們在未標記的目標域數據上設計了不同的無監督損失，以學習在目標域中表現良好的模型。 在無源無監督域適應中，給定一個源訓練模型和未標記的目標域數據，目標是適應源訓練模型以在未標記的目標域數據上表現良好。與無監督域適應不同，在無源無監督域適應的遷移學習設置中，標記的源域數據在訓練期間是不可訪問的，我們的目標是在不訪問源域數據的情況下適應源訓練模型以適應目標數據分布。在這樣的遷移學習設置下，唯一傳遞的信息是一個便攜的源訓練模型，這在很大程度上緩解了數據隱私、數據可攜帶性和數據傳輸效率的擔憂。為此，我們提出了一種新穎的無源無監督域適應方法，利用歷史源假設來彌補這種遷移學習設置中源域數據的缺失。 在各種視覺識別基準測試中的實驗結果表明，我們提出的遷移學習方法取得了卓越的性能，實現了跨不同域的DNNs的遷移。

卷積神經網絡和循環神經網絡的進步導致了對圖像和文本等規則網格數據域的學習的顯著改進。然而，許多現實世界的數據集，例如社會網絡、引文網絡、分子、點云和3D網格，并不位于這樣一個簡單的網格中。此類數據結構不規則或非歐氏，關系信息復雜。圖機器學習特別是圖神經網絡(Graph Neural Networks, GNNs)為處理此類不規則數據和建模實體之間的關系提供了潛力，正引領機器學習領域進入一個新時代。然而，由于梯度消失、過擬合和過平滑等挑戰性問題，之前最先進的(SOTA) GNN限于淺層架構。大多數SOTA GNN深度不超過3或4層，限制了GNN的表達性，使其在大規模圖上的學習效果不佳。為了解決這一挑戰，本文討論了構建大規模高效圖機器學習模型的方法，以學習結構化表示，并將其應用于工程和科學。本文將介紹如何通過引入架構設計使GNN深入，以及如何通過新的神經架構搜索算法自動搜索GNN架構。

卷積神經網絡(CNN)[102]已經非常成功地解決了各種計算機視覺任務，如目標分類和檢測、語義分割、活動理解等。它們出色性能的一個關鍵促成因素是訓練非常深的網絡的能力。盡管在許多任務中取得了巨大的成功，但CNN不能直接應用于非網格數據和關系數據，而這在許多現實世界的應用中普遍存在。圖神經網絡(GNNs)[169]提供了一種替代方案，允許將非網格數據或關系數據作為神經網絡的輸入。最近的工作表明，由于GNN在圖上學習表示的能力，它可以在跨領域的各種任務上取得優異的結果。具體來說，GNNs可以在引文網絡中的學術論文分類[95]、量子化學中的分子性質預測[60]、生物圖中的蛋白質相互作用預測[68]和計算機視覺中的點云學習[201]等任務中取得令人印象深刻的結果。雖然GNN已經取得了令人鼓舞的結果，但它們僅限于層數相對較少的架構，主要是由于訓練[109]期間梯度消失[77]、小數據集上的過擬合[189]和堆疊過多層時的過平滑[114]。然而，這一限制使得GNN難以在大規模圖上學習有代表性的特征，從而限制了深度GNN的代表性能力。為了構建大規模、高效的圖神經網絡，本文研究了以下幾個重要方面: (1) 如何使訓練非常深的圖神經網絡成為可能; (2) 在設計GNN模型時如何減少架構工程。

本論文旨在解決圖神經網絡（GNN）架構中的核心問題之一。具體來說，論文研究了訓練和設計非常深層次的GNN模型的技術，并將這些深層GNN模型應用于跨領域的各種大規模應用。我們首先提出了用于訓練深層GNN的跳躍連接和擴張卷積。然后，我們討論了消息聚合函數在訓練深層GNN時的影響，并提出了可微分的消息聚合函數。為了使訓練更深層次的GNN成為可能，我們研究了可逆連接、組卷積、權重綁定和平衡模型等技術，這些技術使得可以訓練具有1000多層的GNN。最后，我們開發了一種新穎的神經架構搜索算法，以實現自動設計有效和高效的GNN架構。

在第2章中，我們研究了如何將跳躍連接和擴張卷積等概念從卷積神經網絡（CNNs）應用到GNNs，以成功訓練非常深層的GNNs。我們通過實驗在各種數據集和任務上展示了使用深層GNNs（最多112層）的好處。具體而言，我們在點云的部分分割和語義分割以及生物蛋白質-蛋白質相互作用圖中的蛋白質功能節點分類方面取得了非常有希望的性能。通過徹底的消融研究和分析，我們證明了跳躍連接和擴張卷積對于減輕訓練深層GNN的困難是有效的。本章內容基于我們的研究成果[109, 107]。

在第3章中，我們研究了適當選擇聚合函數對深層模型的影響。我們發現，當應用于不同數據集時，GNN對于聚合函數的選擇（例如均值、最大值和總和）非常敏感。我們系統地研究并提出通過引入一種名為廣義聚合函數的新類聚合函數來緩解這個問題。所提出的函數超出了常用的聚合函數，可以適用于各種新的排列不變函數。廣義聚合函數是完全可微分的，其參數可以端到端地學習，以產生適合每個任務的合適聚合函數。我們展示，配備了所提出的聚合函數的深層殘差GNN在Open Graph Benchmark（OGB）[84]上的多個任務和領域的基準測試中優于現有技術。本章內容基于我們的研究成果[111]。

在第4章中，我們研究了可逆連接、組卷積、權重綁定和平衡模型，以提高GNN的內存和參數效率。我們發現，可逆連接與深度網絡架構相結合，使得能夠訓練過度參數化的GNN，這些GNN在多個數據集上顯著優于現有方法。我們的模型RevGNN-Deep（每層1001層，每個通道80個）和RevGNN-Wide（每層448層，每個通道224個）都是在一臺普通GPU上訓練的，它們在ogbn-proteins數據集上實現了ROC-AUC為87.74±0.13和88.24±0.15的性能。據我們所知，RevGNN-Deep是文獻中最深的GNN，層次數相差一個數量級。本章內容基于我們的研究成果[108]。

在第5章中，我們旨在實現GNN架構的自動設計。最近在自動神經架構搜索（NAS）方面的進展顯示出很大的潛力。然而，我們發現在最終評估中，發現的架構經常無法泛化。為了緩解這個常見問題，我們引入了順序貪婪架構搜索（SGAS），一種新穎的神經架構搜索算法。通過將搜索過程分為子問題，SGAS以貪婪方式選擇和修剪候選操作。我們首先在CNN搜索空間上研究SGAS，然后應用到GNN搜索空間。廣泛的實驗證明，SGAS能夠以最小的計算成本找到用于圖像分類、點云分類和生物蛋白質-蛋白質相互作用圖中節點分類等任務的最先進架構。本章內容基于我們的研究成果[110]。

在第6章中，我們引入了LC-NAS，以進一步自動化SGAS的延遲優化，并將其應用于GNN搜索空間，以搜索在點云任務上的架構，并限制目標延遲。我們提出了一種用于在架構搜索中準確性和延遲之間權衡的新型延遲約束形式。我們的流水線使我們能夠找到延遲接近特定目標值的最佳架構，這在最終任務需要部署在有限硬件設置中時非常關鍵。廣泛的實驗表明，LC-NAS能夠以最小的計算成本找到點云分類和部分分割的最先進架構。本章內容基于我們的研究成果[112]。

在第7章中，我們總結了本論文的重要發現，并討論了深度圖神經網絡的未來方向。

在多樣化的上下文中生成的數據可以被建模為圖。例如有眾多，從引文和社交網絡到萬維網。許多實際網絡都是多方面的，其中多種類型的實體通過各種關系相互交互。同樣，它們中的許多都是動態的，模擬隨時間演變的實體及其特性之間的關系。這些具有豐富邊信息（例如，節點和邊類型，以及邊時間戳）的實際網絡自然被建模為張量（即，多維數組）。

考慮到圖和張量，我們如何理解它們，并利用它們進行下游任務？具體來說，我們如何分析和建模大型實際網絡，并更好地了解它們是如何形成和演化的？還有，我們如何設計算法利用圖和張量來進行如推薦和排名等重要的應用？本論文專注于通過開發用于挖掘和學習圖和張量的有效和高效的方法來解決這些基本問題。 在論文的第一部分，我們專注于解決靜態圖和張量的重要挖掘和學習任務。我們首先提出了新穎的圖正則化半監督算法，用于估計知識圖中的節點重要性，比最佳基線實現了高達25%的更高精度。然后，我們開發了大規模張量分解的分布式框架，這可以分解和總結大張量，速度比現有方法快180倍，幾乎呈線性可伸縮性。我們還設計了一種基于元學習的方法，用于自動圖學習模型選擇，這比持續使用流行方法更精確15倍。另外，我們開發了一種解釋產品推薦的方法，通過在產品圖上進行個性化推斷，比最佳基線更準確21%。

在論文的第二部分，我們專注于與動態圖和張量的建模和推理，它們代表了各種類型的時變網絡和動態實際現象。我們提出了一個學習差分方程（DEs）的框架，該框架模型觀察到的現象（例如天氣和水質），生成可解釋的和物理上可信的DEs，比相關基線實現了高達34%的更高預測精度。然后，我們通過設計對比圖聚類框架來解決在網絡中尋找社區并跟蹤它們的演化的任務，該框架顯示出比現有方法更高27%的聚類精度。此外，我們開發了一種用于推理時態知識圖（TKGs）的方法，該方法從給定的TKG中推斷出新知識，比最佳基線更準確116%，同時在模型培訓中更快30倍。

在整個論文中，我們強調開發有效、準確和可伸縮的工具。為此，我們使用數學技術（例如，近似），利用實際網絡的特性，整合先前的知識和經驗，并使用強大的理論和實踐框架，包括圖神經網絡、潛變量建模、時態點過程和分布式計算。我們成功地將這些工具應用于大量實際數據集和應用，建立了新的最先進的結果。

圖神經網絡(GNNs)利用各種方法將卷積的概念推廣到圖中，已被廣泛應用于許多學習任務，包括物理系統建模，尋找分子表示來估計量子化學計算等。大多數現有的GNNs通過將網絡設想為一個消息傳遞方案來解決置換不變性，其中每個節點求和來自其鄰居的特征向量。我們認為該方案對GNN的表示能力施加了限制，使得每個節點在被求和聚合后失去了它們的身份。因此，我們提出了一種新的通用架構，稱為協變成分網絡(CCNs)，其中節點特征由高階張量表示，并根據其接受野對稱群的特定表示進行協變/等價變換。實驗表明，CCNs在標準圖學習基準和估計密度泛函理論(DFT)計算的分子性質方面優于競爭方法。這種新穎的機器學習方法允許科學家有效地提取化學知識，并探索日益增長的化學數據。

從多尺度角度理解圖對于捕獲分子、蛋白質、基因組等的大規模結構至關重要。為此，我們引入了多分辨率等變圖變分自編碼器(MGVAE)，這是第一個以多分辨率和等變方式學習和生成圖的分層生成模型。MGVAE建立在多分辨率圖網絡(MGN)之上，該體系結構顯式地學習頂點的多級硬聚類，從而形成真正的多分辨率層次結構。然后，MGVAE采用層次變分自編碼器模型，在給定潛在分布層次的情況下，隨機生成多個分辨率層次的圖。我們提出的框架實現了幾個生成任務，包括通用圖生成、分子生成、無監督分子表示學習、引用圖鏈接預測和基于圖的圖像生成。MGVAE的未來應用范圍從先導優化增強最有前途的化合物在藥物發現到尋找穩定的晶體結構在材料科學。

//people.cs.uchicago.edu/~hytruongson/PhD-Thesis.pdf 一般來說，我們希望學習由每個原子的一組電荷-位置對指定的分子數據。這個問題對旋轉和平移是不變的。我們使用協變激活來“烘焙”這些對稱性，同時保留局部幾何信息。我們提出協變分子神經網絡(Cormorant)，一種旋轉協變神經網絡結構，用于學習復雜多體物理系統的行為和特性。我們將這些網絡應用到分子系統中，有兩個目標:學習用于分子動力學模擬的原子勢能面，以及學習通過密度泛函理論計算的分子基態性質。我們的網絡的一些關鍵特征是:(a)每個神經元明確地對應于原子的一個子集;(b)每個神經元的激活與旋轉協變，確保整個網絡完全旋轉不變。此外，我們的網絡中的非線性是基于張量乘積和Clebsch-Gordan分解，允許網絡完全在傅里葉空間中運行。Cormorant在從MD-17數據集的構象幾何圖形中學習分子勢能面方面明顯優于其他算法，在學習GDB-9數據集上分子的幾何、能量、電子和熱力學性質方面與其他方法具有競爭力。

多分辨率矩陣分解(MMF)在快速矩陣分解算法中是不尋常的，因為它不做低秩的假設。這使得MMF特別適合于建模具有復雜的多尺度或層次結構的某些類型的圖。雖然MMF有望產生一個有用的小波基，但找到因式分解本身是困難的，現有的貪婪方法往往是脆弱的。因此，我們提出了MMF的“可學習”版本，該版本結合強化學習和通過反向傳播誤差的Stiefel流形優化，仔細優化了因式分解。基于MMF在分解歸一化圖拉普拉斯時產生的小波基，利用稀疏小波變換定義的圖卷積，構造譜域小波網絡學習圖。我們已經證明，由我們的可學習MMF產生的小波基遠遠優于先前的MMF算法，相應的小波網絡在引用圖的標準節點分類和分子圖分類上產生了最先進的結果。這對于理解和可視化復雜的層級結構(如社會網絡和生物數據)是一個很有前途的方向。

機器學習方法已經廣泛應用于藥物發現領域，使得更強大和高效的模型成為可能。在深度模型出現之前，建模分子在很大程度上是由專家知識驅動的;為了表現分子結構的復雜性，這些手工設計的規則被證明是不夠的。深度學習模型是強大的，因為它們可以學習問題的重要統計特征——但只有正確的歸納偏差。我們在兩個分子問題的背景下解決這個重要的問題:表征和生成。深度學習的典型成功在于它能夠將輸入域映射到有意義的表示空間。這對于分子問題尤其尖銳，分子之間的“正確”關系微妙而復雜。本論文的第一部分將重點討論分子表征，特別是性質和反應預測。在這里，我們探索了一種用于分子表示的Transformer式架構，提供了將這些模型應用于圖形結構對象的新工具。拋開傳統的圖神經網絡范式，我們展示了分子表示原型網絡的有效性，它允許我們對分子的學習性質原型進行推理。最后，我們在改進反應預測的背景下研究分子表示。本論文的第二部分將集中在分子生成，這是至關重要的藥物發現作為一種手段，提出有前途的藥物候選人。我們開發了一種新的多性質分子生成方法，通過首先學習分子片段的分布詞匯。然后，利用這個詞匯，我們調查了化學空間的有效探索方法。

//dspace.mit.edu/handle/1721.1/143362

機器學習已經迅速改變了藥物發現的傳統渠道，為過程的每一步提供了新的工具。許多傳統上需要廣泛、專業領域知識的問題已經通過深度學習工具解決，使它們更高效、更廉價。先前的化學信息學方法使用許多手工設計的規則來建模小分子。這些技術被用于解決諸如性質預測之類的問題，其中的任務是預測分子的性質。然而，試圖解決這些表示問題的傳統方法由于其不靈活的特性而缺乏良好的泛化能力。深度學習模型的變革性方面在于模型直接從數據中學習和提取重要特征的能力。然而，這只有在正確的結構偏差和模型基礎上的建模假設下才可能實現。在分子問題上天真地應用深度方法會限制模型的能力或有用性，阻礙它們的推廣能力和在實踐中的有用性。因此，利用正確的歸納偏差的重要性不能被低估。

在深度學習方法出現之前，分子建模需要繁重的工程和固定的表示，通常被稱為定量構效關系(QSAR)方法。在這些方法中，指紋技術是非常受歡迎的，大致可以分為基于結構的[30]、拓撲[1]、循環[8]和藥效團指紋等幾種類型[91]。其中一些指紋(如基于結構的MACCS[30]指紋)是高度特定的表示，由一組固定的預定義結構的指示函數組成。其他的指紋，拓撲的和圓形的，其中包括摩根指紋更靈活。這些指紋通過枚舉路徑或環形鄰域來捕獲局部拓撲。然而，問題仍然存在于生成方法的確定性本質中:如果這些預定義規則沒有為任務捕獲正確的表示，它們將不能很好地工作。例如，對于許多小分子問題來說，性質懸崖(property cliff)仍然是一個具有挑戰性的問題，這是一種類似分子表現出不同性質的現象。這個問題對于分子指紋尤其尖銳，因為特征是固定的。然而，使用深度模型也不能解決這個問題，因為深度模型很容易與數據過度擬合，并且提供較差的泛化。

因此，我們的深度學習模型納入正確類型的結構偏差是至關重要的。圖神經網絡通過迭代聚合方案進行操作，在每一步，節點從其鄰居聚合信息。依次，一個節點應該包含越來越多的關于更大的鄰域的信息。節點表示最終聚合為表示圖的單個向量。雖然這種簡單的范式有時是有效的，但可能并不總是包含正確的分子任務類型的偏見。例如，當考慮分子的特性時，這種局部鄰域聚集可能無法捕捉到很重要的遠程依賴關系。更重要的是，也許在二維分子圖上的聚集并不適合理想的分子表示，我們應該觀察三維結構。對于分子的深度模型的發展有許多考慮，但它們需要正確的結構才能有效。指紋表示很簡單，但不靈活，經常涉及很多人類設計的規則。另一方面，深度模型很容易過擬合，無法捕捉正確的結構表示。

深度神經網絡(DNNs)使計算機能夠在許多不同的應用中脫穎而出，如圖像分類、語音識別和機器人控制。為了加快DNN的訓練和服務，并行計算被廣泛采用。向外擴展時，系統效率是一個大問題。在分布式機器學習中，高通信開銷和有限的設備上內存是導致系統效率低下的兩個主要原因。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-83.html

本文研究了在分布式機器學習工作負載下，在數據和模型并行性方面減輕通信瓶頸并實現更好的設備上內存利用的可能方法。

在通信方面，我們的Blink項目緩解了數據并行訓練中的通信瓶頸。通過打包生成樹而不是形成環，Blink可以在任意網絡環境中實現更高的靈活性，并提供近乎最佳的網絡吞吐量。為了消除模型并行訓練和推理過程中的通信問題，我們從系統層上升到應用層。我們的sensAI項目將多任務模型解耦到斷開的子網中，其中每個子網負責單個任務或原始任務集的子集的決策制定。

為了更好地利用設備上的內存，我們的小波項目有意增加任務啟動延遲，在加速器上的不同訓練任務波之間交錯使用內存峰值。通過將多個訓練波集中在同一個加速器上，它提高了計算和設備上的內存利用率。

基于深度學習的單目場景深度估計方法研究

單目圖像的深度估計是計算機視覺研究的基礎性課題，由于其可以指導多種高 階視覺任務的學習，且具有良好的實際應用前景，近年來也成為計算機視覺領域的 熱門課題。單目深度估計旨在基于單張圖片或單目視頻信息，預測并恢復出場景像 素級別的深度信息。由于現實場景較為復雜，且單目圖像或視頻信息又缺乏魯棒的 幾何約束，現有的深度估計方法往往會丟失細節或無法預測正確的尺度信息，使得 其實際應用受到制約。本文通過設計有效的深度卷積網絡及其學習框架，提出了幾 種新的深度估計方法。主要研究成果概述如下：

（1）本文提出了一種新的多尺度端到端深度估計框架。先前的主流方法往往只 能預測超像素級別的深度信息，或基于多步非端到端的學習方法。這導致了算法預 測的深度圖像丟失細節，且不利于實際應用。為了端到端的預測精細的深度圖像， 本文從兩個方面整合了多尺度信息：（a）提出了一種新的多尺度網絡以學習多級深 度表征，并利用多尺度表征逐步地引導網絡的上采樣和預測過程；（b）提出了一種 細粒度正則化方法，使優化器引導網絡學習正確的深度結構信息。在不同數據集上 的大量實驗表明，本文的方法可以預測更完善的細節信息，且可以取得同期最佳的 預測效果。

（2）現有的基于深度神經網絡的方法缺少有效機制以恢復并保留深度圖像中的 邊緣細節信息，這使其預測效果受到影響。因此，本文提出了一種新的漸進困難挖 掘網絡以處理該問題。特別地，本文構建了困難挖掘目標函數，尺度內和尺度間子 網絡來精確地定位和修正預測困難的區域。尺度內修正模塊可以遞歸地從不同語義 特征中恢復深度細節，尺度間修正模塊可以利用不同尺度的深度信息進行互補交互。困難挖掘目標函數可以引導網絡的學習過程，使得網絡自適應地關注容易產生累計 預測誤差的區域。這三種模塊可以有效地協作，逐步地減少學習過程中的誤差傳播， 進一步地增強深度預測效果。大量的實驗分析表明，本文的方法可以有效恢復深度 圖像中的邊緣和細節信息，并取得同期最好的預測效果。

（3）本文提出了一種新的任務遞歸學習框架（Task-recursive Learning, TRL） 以同時處理語義分割，平面法向量預測和深度估計三個任務。TRL 通過一系列任務 層面的交互以遞歸地修正預測結果，其中位于每一個時間階段的網絡模塊可以封裝 每一個跨任務交互過程。在每一個時間階段內，TRL將多任務學習過程序列化，并 遞歸地進行交互。為了自適應地增強任務間的相似模式，本文將交互過程封裝在任 務注意力模塊（TAM）中，進而使任務的學習過程可以相互促進。在時間階段之間，通過使用特征選擇單元（FS-unit），網絡將先前獲得的經驗有選擇性地傳播至接下 來的時間節點，進而使任務間的互補信息更充分地被利用。同時，任務交互序列也 在由粗到細的尺度空間中得到延伸，使得細節信息可以被逐步地修正。最終，該多 任務序列化問題被統一地整合進遞歸網絡框架中。在公開數據集上的大量實驗表明， 本文的方法可以遞歸地修正三個任務的預測結果，并獲得同期最佳的數值效果。

（4）本文提出了一種新的模式相似性傳播框架以同時預測場景深度，法向量和 語義分割。其動機來自于相應的統計觀察，即模式相似像素對在同一任務內部和不 同任務之間均頻繁地出現。因此，可以進行兩種形式的傳播過程，即跨任務傳播和 任務特異傳播以自適應地擴散這些相似的模式。跨任務傳播通過計算非局部的關聯 性信息以整合跨任務的相似模式，使這些相似模式更好的適應每一個任務。任務特 異性傳播則是在特征空間進行迭代擴散過程，使跨任務的相似模式能夠被廣泛地應 用于任務內部。由此一來，這些任務層面的關聯性信息可以調整和促進每一個任務 的學習。在公開數據集上的大量實驗證明了本文方法的有效性，同時也在多個數據 集和三個任務上獲得了同期最佳的效果。

（5）在線的景深學習問題要求連續地調整深度估計模型使其適應于不斷變化的 場景。由于神經網絡往往容易過擬合至當前場景而遺忘之前學得的經驗，這類開放 世界問題十分具有挑戰性。為此，本文提出了一種新的抵抗遺忘的學習方法（LPF） 以處理無監督的在線單目景深學習。與以往更新模型中所有參數的方法不同的是， LPF學習適應器模塊以高效地調整特征表示和分布，從而避免在線場景下的知識丟 失問題。具體地，本文提出了一個新的元學習方法，通過將在線適應過程與目標函 數相結合，使學習到的適應器模塊可以適應于視頻中時間連續的景深模式。為了進 一步地避免過擬合，本文提出了一種新的時間連續正則化方法來調整每個在線學習 步驟的梯度下降過程。在現實場景數據庫上的大量實驗表明，本文的方法在僅增加 少量參數的情況下，明顯地提升了在線景深估計的質量。

在許多實際應用中，獲取足夠的大規模標記數據以充分訓練深度神經網絡通常是困難和昂貴的。因此，將學習到的知識從一個單獨的、標記過的源域轉移到一個未標記或標記稀疏的目標域成為一種有吸引力的選擇。然而，直接轉移常常由于域轉移而導致顯著的性能下降。域適應(DA)通過最小化源域和目標域之間域轉移的影響來解決這個問題。多源域自適應(Multi-source domain adaptation, MDA)是一種功能強大的擴展，可以從具有不同分布的多個源收集標記數據。由于DA方法的成功和多源數據的流行，MDA在學術界和工業界都受到越來越多的關注。在本次綜述中，我們定義了各種MDA策略，并總結了可供評估的可用數據集。我們還比較了深度學習時代的MDA方法，包括潛在空間轉換和中間域生成。最后，討論了未來MDA的研究方向。