亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡在圖表示學習領域取得了顯著的成功。圖卷積執行鄰域聚合，并表示最重要的圖運算之一。然而，這些鄰域聚合方法的一層只考慮近鄰，當進一步啟用更大的接受域時，性能會下降。最近的一些研究將這種性能下降歸因于過度平滑問題，即重復傳播使得不同類的節點表示無法區分。在這項工作中，我們系統地研究這一觀察結果，并對更深的圖神經網絡發展新的見解。本文首先對這一問題進行了系統的分析，認為當前圖卷積運算中表示變換與傳播的糾纏是影響算法性能的關鍵因素。將這兩種操作解耦后，更深層次的圖神經網絡可用于從更大的接受域學習圖節點表示。在建立深度模型時，我們進一步對上述觀察結果進行了理論分析，這可以作為過度平滑問題的嚴格而溫和的描述。在理論和實證分析的基礎上，我們提出了深度自適應圖神經網絡(DAGNN)，以自適應地吸收來自大接受域的信息。一組關于引文、合著和共購數據集的實驗證實了我們的分析和見解，并展示了我們提出的方法的優越性。

//arxiv.org/abs/2007.09296

題目： Graph Structure of Neural Networks

摘要：

神經網絡通常表示為神經元之間的連接圖。但是，盡管已被廣泛使用，但目前對神經網絡的圖結構與其預測性能之間的關系知之甚少。本文系統地研究了神經網絡的圖結構如何影響其預測性能。為此，開發了一種新的基于圖的神經網絡表示，稱為關系圖，其中神經網絡的計算層對應于圖結構每輪進行的消息交換。使用這種表示，我們表明：

（1）關系圖的“最佳點”導致神經網絡的預測性能大大提高；

（2）神經網絡的性能大約是其關系圖的聚類系數和平均路徑長度的平滑函數；

（3）文中發現在許多不同的任務和數據集上是一致的；

（4）可以有效地識別最佳點；

（5）表現最佳的神經網絡具有令人驚訝的類似于真實生物神經網絡的圖結構。

該方法為神經體系結構的設計和對神經網絡的一般理解開辟了新的方向。

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者：Dexiong Chen, Laurent Jacob, Julien Mairal

摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。

網址：

代碼鏈接：

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt

摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。

網址：

3. Haar Graph Pooling

作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址：

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon

摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址：

代碼鏈接：

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

主題： Graph Neural Networks with Composite Kernels

摘要： 近年來，對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡（GCN）之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中，節點聚合方案通常用于捕獲結構信息：節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是，大多數聚合方案都將圖中的所有連接均等化，而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合，并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后，我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成，以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡（GAT）。實驗結果表明，在一些實際應用中，我們提出的框架具有更好的性能。

主題： Principal Neighbourhood Aggregation for Graph Nets

摘要： 圖神經網絡（GNN）已被證明是針對圖結構數據的不同預測任務的有效模型。 關于它們表現力的最新工作集中在同構任務和可數特征空間上。 我們擴展了該理論框架，使其包含連續的功能（在現實世界的輸入域中以及在GNN的隱藏層中定期發生），并說明了在這種情況下對多個聚合函數的需求。 將多個聚合器與度標度器結合在一起（可以對總和聚合器進行概括）。 最后，我們通過基準測試比較了不同模型捕獲和利用圖形結構的能力，該基準包含了經典圖形理論中的多個任務，這證明了我們模型的能力。

機器學習的許多應用都需要一個模型來對測試樣本做出準確的預測，這些測試樣本在分布上與訓練示例不同，而在訓練期間，特定于任務的標簽很少。應對這一挑戰的有效方法是，在數據豐富的相關任務上對模型進行預訓練，然后在下游任務上對其進行微調。盡管預訓練在許多語言和視覺領域都是有效的，但是如何在圖數據集上有效地使用預訓練仍是一個有待解決的問題。本文提出了一種新的圖神經網絡訓練策略和自監督方法。我們的策略成功的關鍵是在單個節點以及整個圖的層次上預訓練一個具有強表示能力的GNN，以便GNN能夠同時學習有用的局部和全局表示。我們系統地研究了多類圖分類數據集的預處理問題。我們發現，在整個圖或單個節點級別上對GNN進行預訓練的樸素策略改進有限，甚至可能導致許多下游任務的負遷移。相比之下，我們的策略避免了負遷移，顯著提高了下游任務的泛化能力，使得ROC-AUC相對于未經訓練的模型提高了9.4%，實現了分子特性預測和蛋白質功能預測的最好性能。

題目： Tensor Graph Convolutional Networks for Text Classification

摘要： 文本分類是自然語言處理中一個重要而經典的問題。已有許多研究將卷積神經網絡（如規則網格上的卷積，序列）應用于分類。然而，只有有限數量的研究已經探索了更靈活的圖卷積神經網絡（卷積在非網格上，例如，任意圖）的任務。在這項工作中，我們建議使用圖卷積網絡進行文本分類。基于詞的共現關系和文檔詞之間的關系，我們為一個語料庫建立一個文本圖，然后學習一個文本圖卷積網絡（text GCN）。我們的文本GCN使用word和document的一個熱表示進行初始化，然后在已知文檔類標簽的監督下，共同學習word和document的嵌入。我們在多個基準數據集上的實驗結果表明，沒有任何外部單詞嵌入或知識的普通文本GCN優于最新的文本分類方法。另一方面，文本GCN還學習預測詞和文檔嵌入。此外，實驗結果表明，隨著訓練數據百分比的降低，文本GCN相對于現有比較方法的改進變得更加突出，這表明文本GCN對文本分類中較少的訓練數據具有魯棒性。

題目： GNNExplainer: Generating Explanations for Graph Neural Networks

簡介： 圖神經網絡（GNN）通過沿輸入圖的邊緣遞歸傳遞神經消息，將節點特征信息與圖結構結合在一起。但是同時包含圖結構和特征信息會導致模型復雜，并且解釋GNN所做的預測仍未解決。在這里，我們提出GNNExplainer，這是第一種通用的，與模型無關的方法，可為任何基于GNN的模型的預測提供可解釋性。給定一個實例，GNNExplainer會確定緊湊的子圖結構和節點特征的一小部分，這些特征對GNN的預測至關重要。此外，GNNExplainer可以為整個實例類生成一致而簡潔的解釋。我們將GNNExplainer公式化為優化任務，該優化任務可最大化GNN的預測與可能的子圖結構的分布之間的相互信息。在合成圖和真實世界圖上進行的實驗表明，我們的方法可以識別重要的圖結構以及節點特征，并且比基準性能高出17.1％。 GNNExplainer提供了各種好處，從可視化語義相關結構的能力到可解釋性，再到洞悉有缺陷的GNN的錯誤。

作者簡介： 領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 調查的問題是由大規模數據，網絡和在線媒體引起的。 Jure Leskovec主頁

代碼鏈接：