圖卷積網絡(GCN)在許多應用中越來越受歡迎，但在大型圖數據集上的訓練仍然是出了名的困難。它們需要從它們的鄰居遞歸地計算節點表示。當前的GCN訓練算法要么計算成本高，隨層數呈指數增長，要么加載整個圖和節點嵌入時占用大量內存。提出了一種高效的GCN (L-GCN)分層訓練框架，將訓練過程中的特征集合和特征轉換分離出來，大大降低了訓練的時間復雜度和記憶復雜度。我們在圖同構框架下對L-GCN進行了理論分析，結果表明，在較溫和的條件下，L-GCN與代價較高的傳統訓練算法具有同樣強大的GCNs性能。我們進一步提出了L^2-GCN，它為每一層學習一個控制器，可以自動調整L-GCN中每一層的訓練時間。實驗表明，L-GCN至少比目前的水平快一個數量級，內存使用的一致性不依賴于數據集的大小，同時保持了可比較的預測性能。通過學習控制器，L^2-GCN可以進一步減少一半的訓練時間。我們的代碼在這個https URL中可用。
付費5元查看完整內容
相關內容
本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是，構造了結構圖，特征圖(feature graph)，以及兩者的組合來提取特定的和通用的嵌入，并使用注意機制來學習嵌入的自適應重要性權重。實驗發現，AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息，對應不同的參數取值。 //arxiv.org/abs/2007.02265
摘要：圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而，最近的一些研究提出了一個問題，即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中，我們首先提出一個實驗研究。令人驚訝的是，我們的實驗結果清楚地表明，當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的，甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息，這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷，設計出一種新型的GCNs，既能保留現有GCNs的優勢，又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題，我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入，并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明，AM-GCN從節點特征和拓撲結構中提取了最多的相關信息，顯著提高了分類精度。
付費5元查看完整內容
圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而，其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析，GCN最初是為圖分類任務而設計的，并配備了許多神經網絡操作。然而，我們實證發現，兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是，包括他們增加了訓練的難度，降低了推薦的效果。在這項工作中，我們的目標是簡化GCN的設計，使其更簡潔，更適合推薦。我們提出了一個新的模型LightGCN，它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說，LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們，并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練，在完全相同的實驗設置下，比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。
付費5元查看完整內容
主題： Graph Neural Networks with Composite Kernels
摘要： 近年來，對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡（GCN）之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中，節點聚合方案通常用于捕獲結構信息：節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是，大多數聚合方案都將圖中的所有連接均等化，而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合，并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后，我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成，以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡（GAT）。實驗結果表明，在一些實際應用中，我們提出的框架具有更好的性能。
付費5元查看完整內容
一次性神經架構搜索(NAS)通過權重共享顯著提高了計算效率。然而，這種方法也在超網絡訓練(架構搜索階段)中引入了多模型遺忘，在超網絡訓練中，當使用部分共享的權重順序訓練新架構時，之前架構的性能會下降。為了克服這種災難性遺忘，最先進的方法假設共享權值在聯合優化后驗概率時是最優的。然而，這種嚴格的假設在實踐中并不一定適用于一次性NAS。在本文中，我們將一次性NAS中的超網絡訓練描述為一個持續學習的約束優化問題，即當前架構的學習不應該降低以前架構的性能。提出了一種基于新搜索的結構選擇損失函數，并證明了在最大化所選約束的多樣性時，不需要嚴格的假設就可以計算后驗概率。設計了一種貪心查新方法，尋找最具代表性的子集，對超網絡訓練進行正則化。我們將我們提出的方法應用于兩個一次性的NAS基線，隨機抽樣NAS (RandomNAS)和基于梯度的抽樣NAS (GDAS)。大量的實驗證明，我們的方法提高了超級網絡在一次NAS中的預測能力，并在CIFAR-10、CIFAR-100和PTB上取得了顯著的效率。
付費5元查看完整內容
本文提出了一種新的基于注意力的自適應計算算法DACT，與現有算法不同，DACT是端到端可微的。我們的方法可以與許多網絡結合使用;具體來說，我們研究了它在眾所周知的MAC體系結構中的應用，它大大減少了實現相似精度所需的重復步驟，因此提高了它的性能與計算率。此外，我們還表明，通過增加所使用的最大步數，我們甚至超過了CLEVR數據集中最好的非自適應MAC的準確性，這表明我們的方法能夠控制步數而不會有顯著的性能損失。我們的方法提供的其他優勢包括通過丟棄無用的步驟來顯著提高可解釋性，并提供對底層推理過程的更多洞察。最后，我們將自適應計算等價于模型的集合，類似于專家公式的混合。我們的實驗代碼和配置文件都可以用于支持這一領域的進一步研究。
付費5元查看完整內容
基于學習的圖匹配方法已經發展和探索了十多年，最近在范圍和受歡迎程度方面迅速增長。然而，以往的基于學習的算法，無論有沒有深度學習策略，都主要關注節點和/或邊緣親和力生成的學習，而對組合求解器的學習關注較少。在這篇論文中，我們提出了一個完全可訓練的圖匹配框架，在這個框架中，親和的學習和組合優化的求解不像以前的許多技術那樣被明確地分開。首先將兩個輸入圖之間的節點對應問題轉化為從一個構造的賦值圖中選擇可靠節點的問題。然后，利用圖網絡塊模塊對圖進行計算，形成每個節點的結構化表示。最后對每個節點預測一個用于節點分類的標簽，并在正則化的排列差異和一對一匹配約束下進行訓練。該方法在四個公共基準上進行了評估，并與最先進的算法進行了比較，實驗結果表明了該方法的良好性能。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191