亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡(GNNs)已經成功地用于許多涉及圖結構數據的問題，實現了最先進的性能。GNN通常采用消息傳遞方案，其中每個節點使用置換不變聚合函數從其鄰居聚合信息。經過嚴格檢查的標準選擇(如平均值或和聚合函數)功能有限，因為它們無法捕獲相鄰函數之間的交互。在這項工作中，我們使用一個信息理論框架來形式化這些交互作用，特別是包括協同信息。在此定義的驅動下，我們引入了圖排序注意力層(GOAT)，這是一種新穎的GNN組件，用于捕獲鄰域節點之間的交互。這是通過一種注意力機制來學習局部節點順序，并使用循環神經網絡聚合器處理有序表示來實現的。這種設計允許我們使用一個排列敏感的聚合器，同時保持擬議的GOAT層的排列等效。GOAT模型展示了它在捕獲復雜信息的圖指標(如中間性中心性和節點的有效大小)建模方面提高的性能。在實際用例中，通過在幾個真實的節點分類基準測試中取得的成功，它的卓越建模能力得到了證實。

//www.zhuanzhi.ai/paper/367986d1916e281d7e097fc058bfeb6e

題目：Powerful Graph Convolutioal Networks with Adaptive Propagation Mechanism for Homophily and Heterophily

作者：王濤（天津大學）, 王銳（天津大學）, 金弟 (天津大學）, 何東曉（天津大學）, 黃禹霄(喬治華盛頓大學）

會議：The 36th AAAI Conference on Artificial Intelligence (AAAI-2022)

文章鏈接：//www.zhuanzhi.ai/paper/366d395750cc6e88964b7ff8ddd752c6

圖卷積神經網絡 (Graph Convolutional Network) 因其在處理圖結構數據方面的強大能力而被廣泛應用于各個領域。經典的 GCN 及其變體主要基于同質性假（Homophily Assumption）設計，即圖中相同類型的節點傾向于相互連接。而該假設忽略了存在于現實世界網絡中的異質性（Heterophily），即網絡中不同類型的節點傾向于相互連接的性質。現有方法主要通過聚合高階鄰居或聚合中間表征來處理異質性，這會導致結果中產生噪聲和不相關的信息。最重要的是，這些方法并沒有改變基于同質假設而設計的傳播機制（這是 GCN 的基本部分），這使得不同類型節點的表示之間難以區分。為了解決該問題，本文設計了一種新的傳播機制，可以根據節點對之間的同質性或異質性自適應的改變傳播和聚合過程。為了自適應地學習傳播過程，我們引入了節點對之間的同質性度量（Homophily Degree），該度量融合了拓撲和屬性信息。我們將可學習的同質性程度矩陣納入到圖卷積框架中，通過端到端的訓練，使該模型能夠超越同質性假設。我們從理論上證明了我們的模型可以根據節點之間的同質性來約束節點之間表征的相似性。在七個真實世界數據集上的實驗表明，這種新方法在異質性或低同質性的數據集上的表現優于現有的代表性方法，并在同質數據集上也獲得了有競爭力的性能。2.

為了讓 GCN 的傳播機制能夠同時適用于同質性和異質性，我們提出了一種新的同質性指導的圖卷積框架HOG-GCN。該框架可以根據節點對之間的同質性程度來自動的學習傳播過程。從直覺來說，類內標簽之間的影響應該大于類間標簽之間的影響。因此我們在傳播過程中引入同質性程度矩陣，將其合并到圖卷積框架中，進行在同質性指導下的傳播，從而使框架能夠根據鄰域間的同質性程度自適應地改變特征傳播權值。下圖是模型的框架圖。模型主要包含兩個模塊：同質性程度矩陣估計以及同質性引導的特征傳播。

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

題目： 圖神經網絡的無冗余計算 會議： KDD2020 論文地址： //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由： 對于圖神經網絡中重復信息的聚合，這篇文章提出了一種簡單有效的層次化聚合的方法(HAG)，用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中，可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。

GNN在單層中基于遞歸鄰域聚合方案，每個節點聚合其鄰居的特征，并使用聚合值更新其自身的特征。這樣遞歸地傳播多次（多層），最后，GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務，例如節點分類、圖分類或鏈路預測。然而，如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是，許多當前的工作是使用整張圖的拉普拉斯矩陣，這樣即便是對于中等規模的圖，也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣，然后再聚合這些節點的鄰域信息，但是對于單個節點進行鄰域采樣是一個高復雜度的事情，因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。

以圖結構為目標的擾動已被證明在降低圖神經網絡(GNNs)性能方面非常有效，而傳統的防御手段如對抗性訓練似乎不能提高魯棒性。這項工作的動機是觀察到，反向注入的邊緣有效地可以視為一個節點的鄰域聚集函數的額外樣本，這導致扭曲的聚集在層上累積。傳統的GNN聚合函數，如總和或平均值，可以被一個單獨的離群值任意扭曲。在魯棒統計領域的啟發下，我們提出了一個魯棒聚合函數。我們的方法顯示了0.5的最大可能分解點，這意味著只要節點的對抗邊的比例小于50%，聚合的偏差就有界。我們的新聚合函數，軟Medoid，是Medoid的一個完全可微的泛化，因此很適合端到端深度學習。在Cora ML上配置聚合的GNN，可將結構擾動的魯棒性提高3倍(Citeseer上提高5.5倍)，對于低度節點，可提高8倍。

圖池化是眾多圖神經網絡(GNN)架構的核心組件。由于繼承了傳統的CNNs，大多數方法將圖池化為一個聚類分配問題，將規則網格中的局部patch的思想擴展到圖中。盡管廣泛遵循了這種設計選擇，但沒有任何工作嚴格評估過它對GNNs成功的影響。我們以代表性的GNN為基礎，并引入了一些變體，這些變體挑戰了在補充圖上使用隨機化或聚類的局部保持表示的需要。引人注目的是，我們的實驗表明，使用這些變體不會導致任何性能下降。為了理解這一現象，我們研究了卷積層和隨后的池層之間的相互作用。我們證明了卷積在學習的表示法中起著主導作用。與通常的看法相反，局部池化不是GNNs在相關和廣泛使用的基準測試中成功的原因。

在本文中，我們提出了一種端到端的圖學習框架，即迭代深度圖學習(IDGL)，用于共同迭代地學習圖結構和圖嵌入。IDGL的關鍵原理是學習基于更好的節點嵌入的更好的圖結構，反之亦然(即基于更好的圖結構的更好的節點嵌入)。我們的迭代方法動態停止時，學習圖接近足夠優化的圖預測任務。此外，我們將圖學習問題轉換為一個相似度量學習問題，并利用自適應圖正則化來控制學習圖的質量。最后，結合基于錨點的近似技術，我們進一步提出了一個可擴展的IDGL版本，即IDGL- anch，在不影響性能的前提下，顯著降低了IDGL的時間和空間復雜度。我們在9個基準上進行的廣泛實驗表明，我們提出的IDGL模型始終能夠優于或匹配最先進的基線。此外，IDGL還能更魯棒地處理對抗圖，并能同時處理傳導學習和歸納學習。

//arxiv.org/abs/2006.13009