亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，圖已經成為表示各種真實世界數據集的抽象。作為一種圖結構數據進行機器學習的新興工具，圖神經網絡（GNN）通過遞歸聚合相鄰節點的內容（即特征或嵌入）來學習強大的圖表示，從而保留內容和結構信息。它們已被證明可以提高各種圖應用程序的性能，如節點和圖分類、推薦系統和圖生成。一般來說，GNN模型是使用（半）監督信息端到端的方式進行訓練的，不同的下游任務需要大量不同的標記數據。然而，在大多數現實場景中，大量的標記數據通常代價高昂。為了充分利用未標記的圖結構數據，最近部分工作從最近一些自然語言處理和計算機視覺中的預訓練技術中獲得了靈感，并提出在圖上進行預訓練的GNN模型。雖然這些GNN預訓練方法取得了很好的性能，但它們都是針對同構圖進行設計，其中每個節點或邊都屬于同一類型。相比之下，現有策略忽略了異構圖，其中多種類型的節點通過不同類型的邊相互作用。

現實生活中的網絡可以構成異構圖，這些圖體現了豐富的語義并組成由多種類型的節點和邊產生的獨特結構。如圖1（a）所示，為書目數據構建了一個簡單異構圖，該圖由作者、論文、會議和術語類型的節點以及作者論文、論文會議和論文術語類型的邊組成。不同類型的節點或邊通常表現出不同的網絡屬性，如度和聚類系數。例如，會議節點通常比作者節點具有更高的度。此外，這種異構性還產生了更復雜的語義上下文，涉及到多個節點之間的多方關系，例如，描述了“同一作者關于相似主題的兩篇論文”的語義語境。除了簡單的示例之外，異構圖在很多領域中也普遍存在，例如在用戶、產品、品牌和商店以各種方式交互的電子商務中，以及在疾病、蛋白質和藥物相互關聯的生物學中。考慮到它們的普遍性，為異構圖設計有效的GNN預訓練策略變得很重要。

在本文中，我們提出了一個對比預訓練的方案，它不僅考慮單個節點之間的差異，還保留了多個節點之間的高階語義。更具體的說，本文設計了一個預訓練任務來區分不同類型的兩個節點之間的關系類型（比如，作者-論文和論文-會議關系）來為下游任務編碼統一的基礎。受對比學習[42]的啟發，為了增強樣本的代表性，本文從兩個方面構造負關系級樣本：（1）來自不一致關系的負樣本，其中兩個節點與正樣本是不同的關系；（2）來自不相關節點的負樣本，其中兩個節點在圖中根本沒有鏈接。同時，本文提出了一個異構圖上的子圖級預訓練任務，使用元圖而不是元路徑來生成子圖實例進行對比學習，因此能夠對不同上下游任務相關的高階語義進行信息編碼。

近年來，為了提高學習任務在圖數據集上的性能，人們提出了各種圖對比學習模型。雖然有效且普遍，但這些模型通常是經過仔細定制的。特別是，盡管所有最近的研究都創建了兩種對比的視角，但它們在視圖增強、架構和目標方面存在很大差異。如何針對特定的圖學習任務和數據集從零開始建立你的圖對比學習模型仍然是一個開放的問題。本文旨在通過研究對比學習過程中圖信息的轉換和轉移，提出一種信息感知的圖對比學習框架InfoGCL，以填補這一空白。這個框架的關鍵是遵循信息瓶頸原則減少相互之間的信息對比部分,同時保持任務相關信息完整的單個模塊的水平和整個框架,信息損失在圖表示學習可以最小化。我們首次表明，所有最近的圖對比學習方法可以統一在我們的框架。我們在節點和圖分類基準數據集上驗證了我們的理論分析，并證明我們的算法明顯優于目前的水平。

//arxiv.org/abs/2110.15438

MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge

Authors: Mengying Sun, Jing Xing, Huijun Wang, Bin Chen, Jiayu Zhou

近年來，利用圖神經網絡解決藥物相關問題在生物醫學領域得到了迅速發展。然而，就像任何其他深度架構一樣，GNN是數據需求型的。雖然在現實世界中要求標簽通常是昂貴的，但以一種無監督的方式對GNN進行預處理已經被積極地探索。其中，圖對比學習通過最大化成對圖增強之間的互信息，已被證明對各種下游任務是有效的。然而，目前的圖對比學習框架有兩個局限性。首先，增強是為一般圖設計的，因此對于某些領域可能不夠合適或不夠強大。第二，對比方案只學習對局部擾動不變的表示，因此不考慮數據集的全局結構，這也可能對下游任務有用。因此，本文研究生物醫學領域中存在分子圖的圖對比學習。我們提出了一個新的框架MoCL，利用領域知識在局部和全局水平上幫助表示學習。局部層次的領域知識指導擴展過程，這樣在不改變圖語義的情況下引入變體。全局層次的知識對整個數據集圖之間的相似性信息進行編碼，并幫助學習具有更豐富語義的表示。整個模型通過雙對比目標學習。我們評估了在線性和半監督設置下的多種分子數據集上的MoCL，結果表明MoCL達到了最先進的性能。

近年來，圍繞著圖卷積網絡(GCN)這一主題的文獻大量涌現。如何有效地利用復雜圖(如具有異構實體和關系類型的知識圖譜)中豐富的結構信息是該領域面臨的主要挑戰。大多數GCN方法要么局限于具有同質邊類型的圖(例如，僅引用鏈接)，要么只專注于節點的表示學習，而不是針對目標驅動的目標共同傳播和更新節點和邊的嵌入。本文提出了一種新的框架，即基于知識嵌入的圖卷積網絡(KE-GCN)，該框架結合了基于圖的信念傳播中知識嵌入的能力和高級知識嵌入(又稱知識圖嵌入)方法的優勢，從而解決了這些局限性。我們的理論分析表明，KE-GCN作為具體案例提供了幾種著名的GCN方法的優雅統一，并提供了圖卷積的新視角。在基準數據集上的實驗結果表明，與強基線方法相比，KE-GCN方法在知識圖譜對齊和實體分類等任務中具有明顯的優勢。

//www.zhuanzhi.ai/paper/3404ccd79333da7c1cbf8e013f258a64

圖神經網絡最近的成功極大地促進了分子性質的預測，促進了藥物發現等活動。現有的深度神經網絡方法通常對每個屬性都需要大量的訓練數據集，在實驗數據量有限的情況下(特別是新的分子屬性)會影響其性能，這在實際情況中是常見的。為此，我們提出了Meta-MGNN，一種新穎的預測少樣本分子性質的模型。Meta-MGNN應用分子圖神經網絡學習分子表示，建立元學習框架優化模型。為了挖掘未標記的分子信息，解決不同分子屬性的任務異質性，Meta-MGNN進一步將分子結構、基于屬性的自監督模塊和自關注任務權重整合到Meta-MGNN框架中，強化了整個學習模型。在兩個公共多屬性數據集上進行的大量實驗表明，Meta-MGNN優于各種最先進的方法。

//arxiv.org/abs/2102.07916

圖神經網絡(GNN)已被證明是圖分析的強大工具。關鍵思想是沿著給定圖的邊遞歸地傳播和聚合信息。盡管它們取得了成功，但是，現有的GNN通常對輸入圖的質量很敏感。真實世界的圖通常是噪聲和包含任務無關的邊緣，這可能導致在學習的GNN模型中泛化性能次優。本文提出一種參數化拓撲去噪網絡PTDNet，通過學習丟棄任務無關邊來提高GNNs的魯棒性和泛化性能。PTDNet通過使用參數化網絡懲罰稀疏圖中的邊數來刪除與任務無關的邊。考慮到整個圖的拓撲結構，采用核范數正則化對稀疏圖施加低秩約束，以便更好地泛化。PTDNet可以作為GNN模型的關鍵組件，以提高其在各種任務中的性能，如節點分類和鏈路預測。在合成數據集和基準數據集上的實驗研究表明，PTDNet可以顯著提高GNNs的性能，并且對于噪聲較大的數據集性能增益更大。

//personal.psu.edu/dul262/PTDNet/WSDM2021_PTDNet_camera_ready.pdf

以圖結構為目標的擾動已被證明在降低圖神經網絡(GNNs)性能方面非常有效，而傳統的防御手段如對抗性訓練似乎不能提高魯棒性。這項工作的動機是觀察到，反向注入的邊緣有效地可以視為一個節點的鄰域聚集函數的額外樣本，這導致扭曲的聚集在層上累積。傳統的GNN聚合函數，如總和或平均值，可以被一個單獨的離群值任意扭曲。在魯棒統計領域的啟發下，我們提出了一個魯棒聚合函數。我們的方法顯示了0.5的最大可能分解點，這意味著只要節點的對抗邊的比例小于50%，聚合的偏差就有界。我們的新聚合函數，軟Medoid，是Medoid的一個完全可微的泛化，因此很適合端到端深度學習。在Cora ML上配置聚合的GNN，可將結構擾動的魯棒性提高3倍(Citeseer上提高5.5倍)，對于低度節點，可提高8倍。

我們研究在一種新穎實際的設定下對圖神經網絡的黑盒攻擊，我們限制攻擊者只能獲得部分節點的信息并且只能修改其中小部分的節點。在這樣的設定下，如何選擇節點變得愈發重要。我們證明圖神經網絡的結構歸納偏差能成為有效的黑盒攻擊源頭。具體來說，通過利用圖神經網路的向后傳播與隨機游走之間的聯系，我們表明基于梯度的常見白盒攻擊可以通過梯度和與PageRank類似的重要性分數之間的聯系而推廣到黑盒攻擊。在實踐中，我們發現基于這個重要性分數上確實很大的程度地增加了損失值，但是不能顯著提高分類錯誤的比率。我們的理論和經驗分析表明，損失值和誤分類率之間存在差異，即當受攻擊的節點數增加時，后者會呈現遞減的回報模式。因此，考慮到收益遞減效應，我們提出了一種貪心算法來校正這一重要性得分。實驗結果表明，所提出的選點程序在無需訪問模型參數或預測的前提下可以顯著提高常用數據集上常見GNN的誤分類率。

//arxiv.org/abs/2006.05057

消息傳遞被證明是一種設計圖神經網絡的有效方法，因為它能夠利用排列等方差和對學習局部結構的歸納偏差來實現良好的泛化。然而，當前的消息傳遞體系結構的表達能力有限，無法學習圖的基本拓撲性質。我們解決了這個問題，并提出了一個新的消息傳遞框架，它是強大的同時保持置換等方差。具體來說，我們以單熱點編碼的形式傳播惟一的節點標識符，以便了解每個節點的本地上下文。我們證明了我們的模型在極限情況下是通用的，同時也是等變的。通過實驗，我們發現我們的模型在預測各種圖的拓撲性質方面具有優勢，為新型的、功能強大的等變和計算效率的結構開辟了道路。