亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡最近的成功極大地促進了分子性質的預測，促進了藥物發現等活動。現有的深度神經網絡方法通常對每個屬性都需要大量的訓練數據集，在實驗數據量有限的情況下(特別是新的分子屬性)會影響其性能，這在實際情況中是常見的。為此，我們提出了Meta-MGNN，一種新穎的預測少樣本分子性質的模型。Meta-MGNN應用分子圖神經網絡學習分子表示，建立元學習框架優化模型。為了挖掘未標記的分子信息，解決不同分子屬性的任務異質性，Meta-MGNN進一步將分子結構、基于屬性的自監督模塊和自關注任務權重整合到Meta-MGNN框架中，強化了整個學習模型。在兩個公共多屬性數據集上進行的大量實驗表明，Meta-MGNN優于各種最先進的方法。

//arxiv.org/abs/2102.07916

作為一種新穎的范式，可以讓智能體以完全不與環境交互的方式快速適應新的未知任務，極大地提升了強化學習算法在真實世界中的應用范圍和價值。圍繞這一問題目前的相關研究還較少，并且有兩個主要的技術難點。其一，離線強化學習中通常會因為訓練數據與所學習策略的狀態-動作對的分布偏移而產生較大誤差，甚至導致價值函數的發散。其二，元強化學習要求在學習控制策略的同時能高效且魯棒地進行任務推斷(task inference)。

在本文中，我們將針對離線策略學習的行為正則化(behavior regularization)方法，與一個用于任務推斷的確定性的任務信息編碼器進行結合來解決上述的兩大難點。我們在有界的任務信息嵌入空間中引入了一個全新的負指數距離度量，并且將其與控制策略的貝爾曼方程的梯度解耦進行學習。我們分析驗證了在該設定下，采用一些簡單的算法設計即可帶來相比經典元強化學習及度量學習的效果的明顯提升。據我們所知，本方法是第一個端到端、無模型的離線元強化學習算法，計算效率高并且在多個元強化學習實驗環境上表現出優于以往方法的性能。

本方法賦予強化學習算法進行離線學習及高效遷移的能力，離線意味著不需要在真實環境中進行探索、交互，高效遷移意味著算法的魯棒性及數據利用效率更高。我們的方法實現了同時具備上述兩種能力的端到端的算法訓練框架，可以極大擴展強化學習算法的實際應用范圍：例如推動其在諸如醫療、農業、自動駕駛等數據稀缺或極度重視安全性的相關領域的實際應用，包括構建定制化的患者治療方案、針對特定氣候/作物品種的溫室種植策略等。

//www.zhuanzhi.ai/paper/af16ee8631cae148425f27ba32b6f673

1.INDUCTIVE REPRESENTATION LEARNING IN TEMPORAL NETWORKS VIA CAUSAL ANONYMOUS WALKS

//arxiv.org/pdf/2101.05974.pdf

時序網絡是現實世界中動態系統的抽象。這些網絡通常根據某些定律發展，例如社交網絡中很普遍的三元閉包定律。歸納表示學習時間網絡應該能夠捕獲此類定律，并進一步將遵循相同定律應用于未在訓練過程中見過的數據,即inductive的能力。以前的工作主要依賴于網絡節點身份或豐富邊屬性，通常無法提取這些定律。因此,本文提出了因果關系匿名游走（Causal Anonymous Walks, CAW）來inductively的進行時序網絡的表示學習。

具體來說，CAW是通過時間隨機游走提取類似motif的結構來捕獲圖的動態性，這避免了motif計算復雜的問題。同時,CAW采用新穎的匿名化策略，用一組節點的命中計數來替換節點身份以保持模型inductive的能力，同時也建立了motif之間的相關性，這對于某些圖挖掘任務(如鏈路預測)是非常關鍵的。進一步的，本文進一步提出了一個神經網絡模型CAW-N來編碼CAW。最后，在6個真實時序網絡數據集上，CAW-N均取得了大幅度的提升，例如AUC提升了15%!

2.HOW TO FIND YOUR FRIENDLY NEIGHBORHOOD:GRAPH ATTENTION DESIGN WITH SELF-SUPERVISION

圖神經網絡中的注意力機制旨在分配更大的權重給重要的鄰居節點，以進行更好地表示。但是，圖神經網絡學到的東西不是那么容易理解的，尤其是在有噪聲的圖上。而本文提出的自監督的圖注意力網絡（SuperGAT）就是用來解決這一問題的。

3.ON THE BOTTLENECK OF GRAPH NEURAL NETWORKSAND ITS PRACTICAL IMPLICATIONS

自從Gori等人提出圖神經網絡（GNN）以來，訓練GNN的主要問題之一是在圖中的遠距離節點之間傳播信息。本文提出GNN在較長路徑中聚集信息時會出現瓶頸。這個瓶頸導致over-squarshing。這樣GNN就無法傳播源自遠程節點的消息，執行效果也不好。本文中調整了遠程GNN模型問題，無需任何調整或額外的權重即可突破瓶頸得到改善后的結果。

4.ADAGCN: ADABOOSTING GRAPH CONVOLUTIONALNETWORKS INTO DEEP MODELS

深圖模型的設計仍有待研究，其中至關重要部分是如何以有效的方式探索和利用來自鄰居的躍遷。在本文中，通過將AdaBoost集成到網絡計算中，提出了一種新穎的類RNN深度圖神經網絡架構。提出的圖卷積網絡AdaGCN（Adaboosting圖卷積網絡）具有有效提取來自當前節點的高階鄰居知識的能力。

不同于其他直接堆疊圖卷積層的圖神經網絡，AdaGCN在所有“層”之間共享相同的基礎神經網絡架構并進行遞歸優化處理，類似于RNN。

此外，本文還在理論上建立了AdaGCN與現有圖卷積方法之間的聯系，從而展示了模型的優勢。最后，用實驗證明了AdaGCN的計算優勢。

5.ACCURATE LEARNING OF GRAPH REPRESENTATIONSWITH GRAPH MULTISET POOLING

消息傳遞圖神經網絡已廣泛用于建模圖數據，在許多圖形分類和鏈路預測任務上取得了很好的效果。然而，為了獲得圖形的準確表示還需要定義良好的池化功能，即在不丟失單個節點特征和全局圖結構的前提下將節點表示集映射到緊湊的形式。

為了解決現有的圖池化的限制，本文將圖池化問題表述為帶有關于圖結構的輔助信息的多集編碼問題，并提出了圖形多集轉換器（GMT）。該方法可以輕松擴展到以前的節點聚類方法，來進行分層圖池化。實驗結果表明，GMT明顯優于其他圖形池化方法，并在圖重構和生成任務上獲得很大的性能提升。

6.GRAPH COARSENING WITH NEURAL NETWORKS

隨著大規模圖的日益流行，處理，提取和分析大型圖形數據的計算難題有著越來越重要意義。圖粗化是一種在保持基本屬性的同時減小圖尺寸的技術。盡管有豐富的圖粗化文獻，但只有有限的數據驅動方法。

本文利用圖深度學習的最新進展來進行圖粗化。首先提出測量粗化算法質量的框架并說明我們需要根據目標仔細選擇圖粗化的Laplace運算符和相關的投影/提升運算符。由于粗化圖的當前邊權可能不是最優的選擇，用圖神經網絡對權重分配圖進行參數化并對其進行訓練，以無監督的方式提高粗化質量。通過在合成網絡和真實網絡上進行的廣泛實驗，證明了該方法顯著改善了各種條件下的常用圖粗化方法指標，縮小率，圖尺寸和圖類型。它概括為較大的尺寸（訓練圖的25倍），可適應不同的損耗（可微分和不可微分），并且可以縮放到比以前大得多的圖。

可以看到GOREN可以在不同類型的圖上優化粗化方法。

我們提出了一種新的用于分布式訓練神經網絡模型的聯邦學習方法，其中服務器在每一輪隨機選擇的設備子集的協調合作。我們主要從通信的角度來看待聯邦學習問題，并允許更多的設備級計算來節省傳輸成本。20指出了一個基本的困境，即局部設備級經驗損失的最小值與全局經驗損失的最小值不一致。與最近嘗試不精確最小化或利用設備來并行梯度計算的工作不同，我們在每一輪為每個設備提出了一個動態正則化，這樣在極限情況下全局解決方案和設備解決方案是對齊的。我們通過對真實數據和合成數據的實證結果以及分析結果證明，我們的方案能夠在凸和非凸設置下實現高效的訓練，同時完全不知道設備的異構性，對大量設備、部分參與和不平衡數據具有魯棒性。

//openreview.net/forum?id=B7v4QMR6Z9w

我們知道，目前的圖神經網絡(GNNs)由于被稱為過度平滑的問題，很難變深。多尺度GNN是一種很有前途的方法，以減輕過度平滑問題。然而，很少有人從學習理論的角度解釋為什么它在經驗上有效。在本研究中，我們推導了包括多尺度GNN的轉導學習算法的優化和泛化保證。利用boosting理論，證明了訓練誤差在弱學習類型條件下的收斂性。通過將其與泛化間隙邊界在轉導距離復雜度上的結合，我們證明了在此條件下，某一特定類型的多尺度GNN的測試誤差邊界隨深度的減小而相應減小。我們的結果為多尺度結構對抗過平滑問題的有效性提供了理論解釋。我們將boosting算法應用于訓練多尺度的GNN來完成真實的節點預測任務。我們證實其性能與現有的GNNs相當，實際行為與理論觀測一致。代碼可在//github.com/delta2323/GB-GNN下載。

近年來, 隨著海量數據的涌現, 可以表示對象之間復雜關系的圖結構數據越來越受到重視并給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用于諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基于空間方法的圖神經網絡模型、基于譜方法的圖神經網絡模型和基于生成方法的圖神經網絡模型等,并提出可供未來進一步研究的問題.

//engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

圖是對對象及其相互關系的一種簡潔抽象的直觀數學表達. 具有相互關系的數據—圖結構數據在眾多領域普遍存在, 并得到廣泛應用. 隨著大量數據的涌現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方面有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵復雜特征和 實現對海量數據的快速處理等方面, 例如, 預測化學分子的特性 [1]、文本的關系提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.

圖神經網絡的概念最早于 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用于處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此后, 陸續有關于圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.

目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重于將所述各種方法置于一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 并根據發展歷史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 并將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 并總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.

本文將對圖神經網絡模型的理論及應用進行綜述, 并討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在于, 我們給出新的分類標準, 并且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基于空間方法的圖神經網絡、基于譜方法的圖神經網絡和基于生成方法的圖神經網絡等; 然后介紹模型在節點分類、鏈路預測和圖生成等方面的應用; 最后提出未來的研究方向.

針對小樣本學習在識別新類別時會出現災難性遺忘的問題，提出一種小樣本學習中克服災難性遺忘的方法。結合卷積神經網絡識別模型提取圖片特征，引用注意力機制設計分類權重生成器，使新類權重的生成基于基類權重。通過基于皮爾森相似度的識別模型計算新類特征與基類圖片分類權重之間的相似度，判斷新類圖像的類別。在三種數據集進行實驗，結果表明：該方法使小樣本圖像分類的精度得到了一定程度的提升，同時不會犧牲基類的識別準確度，克服了災難性遺忘。

現實世界中的數據通常包含了多種實體類型，這些實體通過不同的實體關系互相關聯形成了錯綜復雜的異構信息網絡。為了有效地挖掘業務中廣泛存在的異構信息網絡，滴滴AI Labs團隊自主研發了一種基于注意力機制的異構圖神經網絡模型（HetSANN），該模型無需使用傳統模型中由專家定義的元路徑，能夠直接自動化地處理、挖掘原異質信息網絡中豐富的語義信息，為網絡中的實體提取出更有效的編碼表示以應用到實體分類等下游任務中。

相較之前方法的局限性，本文的主要創新點為：

1. 提出的HetSANN模型利用基于注意力機制的圖卷積神經網絡直接對異質信息網絡進行嵌入式表示學習，不再需要用人為定義的元路徑對異質信息網絡進行處理；
2. 文本還探索了異質信息網絡中關系的方向性、實體類型變換過程中的循環一致性、以及HetSANN在多任務學習中的應用；