圖神經網絡的表達能力有限，不能正確地表示許多圖類。雖然表達性更強的圖表示學習(GRL)替代品可以區分其中一些類，但它們非常難以實現，可能可擴展性不好，而且在現實任務中也沒有顯示出比調優的GNN更好的性能。因此，設計簡單、可擴展和表達的GRL架構，同時實現真實世界的改進，仍然是一個開放的挑戰。在這項工作中，我們展示了圖重構——從圖的子圖重構圖——能夠減輕GRL體系結構目前面臨的理論和實踐問題的程度。首先，我們利用圖重構來構建兩個新的表達圖表示類。其次，我們展示了圖重構如何提高任何GNN架構的表達能力，同時作為一個(可證明的)強大的對頂點移除的不變性的歸納偏差。通過解決7個原始GNN無法解決的圖屬性任務，我們展示了重構如何提高GNN的表達能力，同時保持其對頂點排列的不變性。此外，我們演示了它如何提高最先進的GNN的性能跨越九個真實世界的基準數據集。
付費5元查看完整內容
相關內容
在各種機器學習和數據分析任務中，學習一個圖的拓撲以揭示數據實體之間的底層關系扮演著重要的角色。在結構化數據在圖上平滑變化的假設下，問題可以表示為正半定錐上的正則凸優化，并用迭代算法求解。經典的方法需要一個顯式凸函數來反映一般的拓撲先驗，例如為增強稀疏性而使用L1懲罰，這限制了學習豐富拓撲結構的靈活性和表達性。基于學習優化(L2O)的思想，我們提出學習從節點數據到圖結構的映射。具體來說，我們的模型首先展開了一個迭代原對偶分裂算法到神經網絡。關鍵結構的近端投影被一個變分自編碼器取代，該編碼器用增強的拓撲特性來改進估計圖。模型以端到端方式訓練，使用成對的節點數據和圖樣本。在合成和真實數據上的實驗表明，在學習具有特定拓撲性質的圖時，我們的模型比經典的迭代算法更有效。
付費5元查看完整內容
我們提出了一種新的方法來解開一組給定的觀察結果背后的變異的生成因素。我們想法是建立在可以顯式地建模為子流形乘積的數據空間的(未知的)低維流形。這種解糾纏的定義提出了一種新的弱監督算法，用于恢復數據背后的未知解釋因素。在訓練時，我們的算法只需要成對的非i.i.d.數據樣本，它們的元素共享至少一個，可能是多維的，產生變異的因素。我們不需要知道這些變換的性質，也不需要對每個子空間的性質做任何限制性的假設。我們的方法易于實現，并可以成功地應用于不同類型的數據(從圖像到三維表面)進行任意轉換。除了標準的合成基準外，我們還展示了我們在挑戰現實應用方面的方法，在現實應用中，我們可以與目前的技術水平想匹配。
付費5元查看完整內容
本文研究了無監督圖表示學習，這在許多任務中至關重要，如藥物和材料中分子特性預測。現有方法主要側重于保留不同圖實例之間的局部相似性，但是沒有考慮整個數據集的全局語義結構。在本文中，作者提出了一個統一的框架，GraphLoG，用于自監督的全圖表示學習。
具體來說，除了局部相似性之外，GraphLoG 還引入了層次原型來捕獲全局語義。進一步提出了一種有效的在線期望最大化 (EM) 算法來學習模型。本文評估的方法是通過在未標記圖預訓練，然后對下游任務進行微調來進行。對化學和生物基準數據集的大量實驗證明了所提出方法的有效性。
付費5元查看完整內容
圖神經網絡
·
雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
異構圖神經網絡(HGNN)作為一種新興的技術，在處理異構信息網絡(HIN)方面表現出優越的能力。然而，大多數HGNN遵循半監督學習方式，這明顯限制了它們在現實中的廣泛使用，因為標簽在實際應用中通常很少。近年來，對比學習，一種自監督的學習方法，成為最令人興奮的學習模式之一，在沒有標簽的情況下顯示出巨大的潛力。在本文中，我們研究了自監督HGNN的問題，并提出了一種新的HGNN的共同對比學習機制，名為HeCo。不同于傳統的對比學習只關注于對正樣本和負樣本的對比，HeCo采用了跨視角對比機制。具體來說，我們提出了HIN的兩種視圖(網絡模式視圖和元路徑視圖)來學習節點嵌入，從而同時捕獲局部和高階結構。在此基礎上，提出了一種跨視圖對比學習方法，并提出了一種視圖掩碼機制，能夠從兩個視圖中提取正面和負面的嵌入信息。這使得兩個視圖能夠相互協作監督，并最終學習高級節點嵌入。此外，設計了兩個擴展的HeCo，以產生高質量的硬負樣本，進一步提高了HeCo的性能。在各種真實網絡上進行的大量實驗表明，所提出的方法的性能優于最新的技術。
付費5元查看完整內容
盡管在深度學習方面取得了相當大的進步，但人工智能仍然是狹隘和脆弱的。一個基本的限制是它缺乏常識智能: 對人類來說微不足道，但對機器來說卻異常地困難。在這次演講中，我將討論關于常識性人工智能的真理——符號知識和神經知識的混合，知識和推理之間的連續體，推理和語言生成之間的相互作用。
付費5元查看完整內容
目前流行的圖學習方法需要豐富的標簽和邊信息進行學習。「當新任務的數據稀缺時，元學習允許我們從以前的經驗中學習」，并形成急需的歸納偏見，以便快速適應新任務。
此文介紹了「G-META，一種新的圖的元學習方法：」
G-META 使用局部子圖傳遞特定于子圖的信息，并通過元梯度使模型更快地學習基本知識。 G-META 學習如何僅使用新任務中的少數節點或邊來快速適應新任務，并通過學習其他圖或相關圖(盡管是不相交的標簽集)中的數據點來做到這一點。 G-META 在理論上是合理的，因為「特定預測的證據可以在目標節點或邊周圍的局部子圖中找到。」
現有方法是專門為特定的圖元學習問題和特定的任務設計的專門技術。雖然這些方法為 GNN 中的元學習提供了一種很有前途的方法，但它們的特定策略沒有很好的伸縮性，也不能擴展到其他圖的元學習問題（圖1）。
付費5元查看完整內容
圖神經網絡(GNNs)已被證明是有效的模型，用于對圖結構數據的不同預測任務。最近關于它們表達能力的工作集中在同構任務和可數特征空間。我們對這個理論框架進行了擴展，使其包含連續的特性——在真實世界的輸入域和gnn的隱藏層中定期出現——并演示了在此上下文中對多個聚合函數的需求。為此，我們提出了一種新的聚合器結構——主鄰域聚合(PNA)，它將多個聚合器與度標器相結合，從而推廣了總和聚合器。最后，我們通過一個新的基準來比較不同模型捕獲和利用圖結構的能力，該基準包含了來自經典圖理論的多個任務，以及來自現實領域的現有基準，所有這些都證明了我們模型的強大。通過這項工作，我們希望引導一些GNN研究轉向新的聚合方法，我們認為這對于尋找強大和健壯的模型至關重要。
//www.zhuanzhi.ai/paper/bee47b0e291d163fae01c
付費5元查看完整內容
消息傳遞被證明是一種設計圖神經網絡的有效方法，因為它能夠利用排列等方差和對學習局部結構的歸納偏差來實現良好的泛化。然而，當前的消息傳遞體系結構的表達能力有限，無法學習圖的基本拓撲性質。我們解決了這個問題，并提出了一個新的消息傳遞框架，它是強大的同時保持置換等方差。具體來說，我們以單熱點編碼的形式傳播惟一的節點標識符，以便了解每個節點的本地上下文。我們證明了我們的模型在極限情況下是通用的，同時也是等變的。通過實驗，我們發現我們的模型在預測各種圖的拓撲性質方面具有優勢，為新型的、功能強大的等變和計算效率的結構開辟了道路。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191