亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

基于圖的學習側重于圖形結構數據的建模。其重要應用包括基于分子結構分析化學化合物、基于輻射傳感器網絡數據預測太陽能農場的產出、根據城市間的地理關系和社交網絡互動預測流行病爆發等。基于圖的學習算法已經迅速發展，解決了以下基本挑戰：

? 編碼圖中每個單獨節點和節點組合的豐富信息，也被稱為圖表示學習挑戰； ? 在圖只部分可觀察時恢復缺失的邊，也被稱為圖完成挑戰； ? 在標記節點非常稀疏的圖形設置中利用主動學習，也被稱為標簽稀疏挑戰； ? 提高在非常大的圖上進行訓練和推斷的可行性，也被稱為擴展挑戰。

本論文旨在通過以下主要貢獻從上述各個方面增強基于圖的機器學習：

• 用于二分圖邊緣預測的圖卷積矩陣分解：對于一類特定的圖，即二分圖，傳統的矩陣分解方法不能有效地利用節點兩組內的相似度測量等邊信息。因此，我們建議使用圖卷積來增強學習到的分解表示與結構化的邊信息，以獲得更好的預測精度。

• 使用圖神經網絡（GNNs）進行通用邊緣預測：雖然GNNs在節點分類中取得了很大成功，但在邊緣預測方面并沒有達到相匹配的性能水平。這種現象的一個可能解釋是GNNs中的潛在嵌入嚴重依賴于輸入節點特征，如果這些輸入特征質量不高，或者對于手頭的預測任務而言噪聲較大，那么就無法避免次優性能。我們建議通過結合使用傳統的GNN和Transformer模型來解決這個問題，這可以通過Transformer模型中的靈活位置嵌入來改進節點的嵌入。

• 用于節點分類的圖增強主動學習（Graph-AL）：主動學習已被深入研究，以解決標簽稀疏問題，并已成功應用于文本/視頻/音頻數據，但沒有應用于圖。流行的主動學習策略可能不適用于圖。例如，基于密度的文檔選擇將所有候選文檔視為不相關的實例，忽略了輸入圖中節點之間的依賴結構。我們提出了第一個專為圖神經網絡量身定制的基于圖的主動學習方法，它同時考慮節點內部特征和節點間連接，以便在主動學習中進行節點選擇。

大規模基于圖的學習的各種實際應用：我們已將基于圖的學習應用于各種實際問題，包括基于多圖的協同過濾，跨語言的基于圖的遷移學習，基于圖的深度學習用于流行病學預測，圖增強節點分類，邊緣檢測和知識庫完成；在這些領域我們分別獲得了最先進的結果（Chang等，2017; Liu等，2017a; Wu等，2018b, c; Xu等，2018b）。

機器學習近期的實質性進展主要源于序列模型的突破，這些模型構成了在科學應用中取得廣泛成功的深度學習模型的骨干。然而，現有的方法需要對不同任務、模態和能力進行廣泛的專門化；存在計算效率瓶頸；并且在對更復雜的序列數據建模時，例如涉及長期依賴性時，會遇到困難。因此，繼續開發用于建模一般序列的原則性和實用的方法仍然至關重要。這篇論文開發了一種使用狀態空間模型進行深度序列建模的新方法，這種方法理論上有根據，計算效率高，并在各種數據模態和應用中取得了強大的結果。首先，我們介紹了一類具有眾多表示和屬性的模型，這些模型概括了標準深度序列模型（如循環神經網絡和卷積神經網絡）的優點。然而，我們發現這些模型的計算可能具有挑戰性，并開發了新的結構化狀態空間類別，這些狀態空間在現代硬件上非常快，無論是在擴展到長序列還是在諸如自回歸推斷等其他設置中。最后，我們提出了一個新的數學框架，用于增量建模連續信號，可以與狀態空間模型結合，賦予它們原則性的狀態表示，并提高它們對長距離依賴性的建模能力。總的來說，這新的方法類別為機器學習模型提供了有效和多功能的構建塊，特別是針對大規模的通用序列數據的處理。

深度學習方法在機器學習和人工智能領域取得了顯著進步，在科學和工業應用中獲得了廣泛的成功。序列模型是核心類別的模型，它們是作用于任意輸入序列的參數化映射。這些模型可以應用于各種復雜的序列數據處理任務，包括自然語言理解、語音和音頻、時間序列分析，甚至可以轉化為序列的間接模態，如圖像 [194, 148, 18, 94, 51]。

越來越多的人開始認識到，許多我們感興趣的復雜系統——從全球經濟、社會群體動力到大腦中的生化過程——需要進行整體建模，而不是獨立地考慮個體單位。網絡科學技術是一種流行的方法，通過將系統視為一組頂點或節點（人口的單元，例如個人）和邊緣（它們之間的關系，例如友誼），來實現這種整體建模。 顯然，這些復雜系統表達了各種重要屬性，我們在建模時應該考慮到這些屬性，而不僅僅是特定關系的存在與否。對于這項工作來說最相關的是，它們隨時間演變——也就是說，它們是動態的——人口的單元可能具有不同的屬性或特征，進一步使它們彼此有所區別。我們將除了簡單的節點/邊緣范例之外的任何這種額外信息定義為元數據。

盡管這種元數據可能有潛在的用途，但直到最近才開始將網絡和元數據共同建模的方法。在本論文中，我們提供了一類新的模型，旨在找到隨時間變化的網絡中的群組。我們描述了該類模型的不同版本，允許網絡具有加權和有向性，并避免了將具有相似度數的節點放入同一組的潛在問題。 除了詳細說明這些模型外，我們還推導了在存在元數據的情況下，有效檢測群組的新要求，并解釋了為什么一篇最近的論文聲稱在類似的靜態模型中實現了相同的效果，但存在缺陷。我們利用的推理方法也具有高度可擴展性，我們通過提出一種“貪婪”方案和一種遞歸過程進一步加速了這個過程，有效地提供了網絡群組的自頂向下層次結構。

最后，我們將我們的模型作為更大方法的一部分，用于完全新穎地估計作者的影響力。我們在問題的因果框架中進行了描述，據我們所知，在這個領域之前尚未探索過，它依賴于因果推斷文獻中的最新思想。

隨著機器學習模型在各種應用中的部署越來越頻繁，我們越來越需要更好地理解、交互和調節它們的行為。解釋性機器學習是一個致力于這一需求的研究領域，其主要焦點最初在滿足有利于揭示有關模型預測的可能有用信息的算法屬性的方法論發展。然而，批評也強調了需要更為嚴謹地評估這些方法在不同用戶的具體任務中的應用。在這篇論文中，我們對該領域的方法論和應用方面做出了我們個人的貢獻。在方法論上，我們提出了一種有效的算法，通過影響力大的訓練數據點提供關于模型行為的重要信息。然后，我們提出了一種理論框架，以理解模型在性能和公平性指標上的權衡。接下來，從應用驅動的角度，我們討論了一個評估框架，測試現有的圖像顯著性方法是否適用于實際的假相關檢測任務。最后，受到學術同行評審中實際問題的啟發，我們展示了我們對新的和現有的方法在幫助人類用戶進行文檔匹配任務方面的效用的發現。

在計算機視覺和自然語言處理等實踐領域表現出色的復雜機器學習模型，越來越多地被用來協助人類進行高風險的決策，如醫療、金融、法律和社會應用。這種加速的采用使得人類用戶越來越需要更好地理解、調節和與這些模型交互。解釋性機器學習是一個致力于這一需求的廣泛研究領域。許多文獻中的工作側重于方法論的發展：開發新的滿足各種技術目標的方法，可以有效地從一個黑盒機器學習模型中引出重要和有用的信息。然而，這些方法使用的各種技術目標與引出的信息的實際“重要性”或“有用性”沒有明確的聯系，這本質上依賴于用戶使用信息進行某些下游任務。因此，基于具體應用對開發的方法進行評估，對于完全閉環開發具有實用價值的新方法至關重要。在這篇論文中，我們提出了對這個領域的方法論和應用重點方面的個人貢獻。

氣候變化是我們這個時代最緊迫的問題之一，需要社會各個領域迅速動員許多工具和方法。機器學習被提議為其中一種工具，有可能補充和加強現有的氣候變化工作。在這篇論文中，我們提供了幾個方向，用于原則性地設計和使用基于機器學習的方法（特別側重于深度學習）來解決電力領域的與氣候相關的問題。在論文的第一部分，我們提出了統計和優化的方法來估計電網上的關鍵量。具體來說，我們使用基于回歸的工具來評估用于評估電力系統干預的與氣候和健康相關的排放因素。我們還提出了一種基于矩陣補全的方法來估計電力分配系統上的電壓，以實現分布式太陽能的集成。

受到這項工作的啟發，論文的第二部分，我們關注的是設計深度學習方法，這些方法明確捕捉了與應用場景相關的物理學、硬性約束和領域知識。特別是，我們利用深度學習中的隱含層工具來設計預測方法，這些方法對模型輸出將用于的下游（隨機）決策過程有認知。我們還設計了快速、保持可行性的神經近似器，用于具有硬性約束的優化問題，以及證明了能強制執行與部署系統相關的穩定性標準或操作約束的基于深度學習的控制器。這些方法直接適用于電力系統的問題，同時也更廣泛地適用于其他物理和安全關鍵領域。雖然第二部分展示了電力系統如何為深度學習研究提供有成效的方向，但在這篇論文的最后一部分，我們反過來展示了深度學習的洞察如何為電力系統的研究提供有成效的方向。具體來說，我們展示了受隱含層文獻啟發的方法如何被用于評估電網上的與政策相關的逆向問題。我們進一步展示了如何結合隱含層和對抗魯棒深度學習的洞察，使我們能夠為電力系統的兩個核心問題——N-k安全約束最優功率流和隨機最優功率流——提供可擴展的啟發式解決方案，這兩個問題由于其計算難度，很少在實際規模上進行研究。

總的來說，這篇論文展示了如何通過深度學習和電力系統的洞察進行橋接，可以顯著推進這兩個領域的方法，除此之外，還能解決與氣候行動相關的高影響力問題。

屬性圖是為現實生活中的系統建模的有力工具，這些系統存在于許多領域，如社會科學、生物學、電子商務等。這些系統的行為大多是由其相應的網絡結構定義的，或依賴于其相應的網絡結構。由于這些系統迅速融入人類生活的方方面面，并且對人類行為產生了深刻的影響，圖分析已經成為一個重要的研究方向。圖結構的數據包含了來自網絡連接和節點的補充輸入特征的豐富信息。機器學習算法或傳統的網絡科學工具在利用網絡拓撲結構和節點特征的能力方面存在局限性。圖譜神經網絡（GNNs）提供了一個有效的框架，結合這兩種信息來源，為廣泛的任務（包括節點分類、鏈接預測等）提供準確的預測結果。圖數據集的指數級增長推動了復雜的GNN模型的發展，引起了對處理時間和結果可解釋性的關注。另一個問題來自于為訓練深度學習GNN模型而收集大量的注釋數據的成本和限制。除了采樣問題，數據中存在的異常實體可能會降低擬合模型的質量。在這篇論文中，我們提出了新的技術和策略來克服上述挑戰。首先，我們提出了適用于簡單圖卷積（SGC）的靈活正則化方案。所提出的框架繼承了SGC的快速和高效的特性，同時呈現了一組稀疏的擬合參數向量，促進了對重要輸入特征的識別。接下來，我們研究了收集訓練樣本的有效程序，并制定了指示性措施和定量指南，以幫助從業者選擇最佳的采樣策略來獲取數據。然后，我們對現有的GNN模型進行了改進，用于異常檢測任務。我們提出的框架實現了更好的準確性和可靠性。最后，我們嘗試將靈活的正則化機制適應于鏈接預測任務。

**數字化、大規模和高通量技術的出現產生了前所未有的數據，為今天的藥物發現利用機器學習(ML)提供了一個極好的機會。**通過識別ML中的相關問題和合適配置，我們可以將這些不斷增加的數據轉化為發現更好的藥物，并縮短藥物開發周期，從而為以前無法治愈的疾病提供更便宜的藥物和治療選擇。**本文提出了四種機器學習方法來解決當今藥物研發流程中的不同挑戰，以快速為臨床試驗提供更可行的藥物候選，并最終改善所有人的生活質量。**本文提出一種批均衡方法，利用風格遷移生成對抗網絡來調節細胞圖像中常見的批效果，以便可以更有效地將它們用于高通量體外篩選。描述了一個能量啟發的SE(3)等變模型，以高效和準確地估計分子構象的分布，從而可以提高基于硅結構的篩選的準確性。提出了一個用于目標感知分子生成的3D全原子擴散框架，可以探索現有篩選庫之外的新化學，并提出新的藥物候選以結合挑戰性疾病的靶點。描述了一種反應預測算法，將基于規則的系統(整數線性規劃)和數據驅動的方法(圖神經網絡)結合在一起，可以從所描述的篩選管道或生成模型中有效地合成候選藥物。最后，我們使用圖神經網絡對氣味分子(而不是藥物)進行建模，并找到許多物種共享的通用氣味空間。我們假設，新陳代謝的生物學驅動了這種趨同進化，我們對這些與不同代謝過程相關的揮發性有機化合物的建模能力，可能對我們如何理解動物嗅覺和研究人類健康有很大的影響。綜上所述，本文展示了機器學習在大數據時代改變藥物發現和人類健康的潛力。

由于在計算機視覺和自然語言處理等領域的成功應用，深度學習方法經歷了一場革命。在這篇論文中，我們描述了幾種利用深度學習應用于臨床前藥物發現的新方法。

首先，我們提出了一種包含基本3D信息的生成式分子連接器設計方法。在大規模測試中，我們發現我們的方法在性能上大大優于基于數據庫的方法，即之前解決這個問題的事實上的方法。通過一系列案例研究，我們展示了我們的方法在支架跳躍、片段連接和PROTAC設計中的應用。然后，我們擴展了這個框架，以包含物理上有意義的3D結構信息，為生成過程提供了更豐富的先驗，并將我們的方法應用于分子細化任務，如R-group設計。

然后我們將注意力轉向預測建模，特別是基于結構的虛擬篩選。我們發現，用于一般計算機視覺任務的卷積神經網絡(CNNs)的進展適用于基于結構的虛擬篩選。此外，我們提出了兩種技術來將領域特定的知識合并到這個框架中。首先，我們展示了對接的局限性，需要使用多姿勢評分，并演示了平均評分策略的好處。其次，利用蛋白質家族之間的差異知識，提出了一種遷移學習方法來構建蛋白質家族特定模型。

最后，我們研究了生成方法如何用于改進基于結構的虛擬篩選中使用的訓練和基準集。我們提出了一種深度學習方法，該方法根據用戶偏好的規格生成誘餌，以控制誘餌偏差或構造具有定義偏差的集合。我們表明，我們的方法顯著減少了這些集合中包含的偏差。我們驗證了我們生成的分子在基于對接的方法中分離生物活性化合物時比之前的誘餌更具挑戰性。此外，我們表明，基于CNN的基于結構的虛擬篩選方法可以訓練這些化合物。

構建高性能的端到端機器學習系統主要包括開發機器學習模型和為感興趣的應用程序收集高質量的訓練數據(假設一個人可以訪問正確的硬件)。盡管在過去幾年里，隨著開源平臺的興起，機器學習模型變得越來越商品化，但管理高質量的標記訓練數據集對許多現實世界的應用來說仍然是昂貴的或不可行的。因此，我們在本文中主要關注數據，特別是如何** (1)通過注入領域特定的先驗知識或利用已為不同任務創建的現有軟件系統和數據集，使用數據高效的機器學習方法減少對標記數據的依賴，(2)有效管理訓練數據并構建相關工具，以最大化數據的效用，(3)通過將數據的結構與嵌入空間的幾何形狀進行匹配，提高嵌入所實現的數據表示的質量**。

我們首先描述了我們在構建數據高效的機器學習方法方面的工作，通過物理驅動的一致性訓練增強、尺度等變展開神經網絡和使用未經訓練的神經網絡弱監督來加速磁共振成像(MRI)重建。然后，我們描述了我們在構建用于自然語言理解的數據高效機器學習方法方面的工作。特別地，我們討論了一種監督對比學習方法用于預訓練的語言模型微調和一種大規模數據增強方法來檢索領域數據。與有效管理訓練數據相關，我們討論了我們提出的用于類表單文檔gather的信息提取系統，并重點討論了訓練數據管理和相關工具中經常被忽略的方面。我們強調了有效管理訓練數據的重要性，表明它至少與機器學習模型在真實數據集的下游提取性能方面的進展一樣關鍵。最后，為了改進各種類型數據的嵌入表示，我們研究了具有異質曲率的空間。我們展示了混合曲率表示為圖和詞嵌入提供了更高質量的表示。此外，我們還研究了如何將Wikidata知識圖譜中的實體嵌入到一個抽象的文本摘要模型中，以增強其真實性。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。