亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

從圖結構數據中學習節點集的結構表示對于從節點角色發現到鏈接預測和分子分類的各種應用至關重要。圖神經網絡（GNNs）在結構表示學習方面取得了巨大的成功。然而：

大多數 GNN 受到 1-Weisfeiler-Lehman（WL）test 的限制，因此有可能為實際上不同的結構和圖形生成相同的表示。 最近通過模仿高階 WL tests 提出的更強大的 GNN 只關注全圖表示，不能利用圖結構的稀疏性來提高計算效率。 這篇文章提出了一類與結構相關的特征，稱為距離編碼(Distance Encoding，DE)，以幫助 GNN 以比 1-WL test 更嚴格的表達能力來表示任意大小的節點集。DE 本質上捕獲了要學習表示的節點集與圖中每個節點之間的距離，其中包括與圖相關的重要度量，如最短路徑距離和廣義 PageRank 得分。

此外，此文還提出了兩個通用的 GNNs 框架來使用 DEs：

作為額外的節點屬性 進一步作為 GNNs 中消息聚合的控制器 這兩個框架仍然可以利用稀疏結構來保持處理大型圖的可擴展性。

理論上，作者證明了這兩個框架可以區分傳統 GNN 經常失效的幾乎所有規則圖中嵌入的節點集。還嚴格分析了它們的局限性。 實驗上，作者在6個真實網絡上分別從節點結構角色預測、鏈路預測和三角形預測三個方面對這兩個框架進行了實證評估。 結果表明，DE-assisted GNNs 的平均準確率比沒有 DEs 的 GNNs 提高了15%，DE-assisted GNNs 的性能也明顯優于專門為這些相應任務設計的其他最先進的基線。

神經網絡通用被表示成圖的形式(即神經元之間通過邊進行鏈接)，盡管這種表示方式得到了廣泛應用，但關于神經網絡結構與性能之間的關系卻鮮少有所了解。

作者系統的研究了神經網絡的圖結構是如何影響其性能的，為達成該目的，作者開發了一種新穎的稱之為relational graph(相關圖)的圖表示方式，神經網絡的層沿圖像結構進行多次信息交互。基于這種圖表示方式，作者發現了這樣幾點有意思發現：

• 相關圖的靶點(sweet spot)可以促使神經網絡的性能極大提升；
• 神經網絡的性能與聚類系數、平均路徑長度成平滑函數關系；
• 該發現具有跨數據集、跨任務一致性；
• 優秀的神經網絡結構與真實生物神經網絡具有驚人的相似性。
• 該文為神經網絡架構設計與理解提供了一種新方向。

題目： Graph Structure of Neural Networks

摘要：

神經網絡通常表示為神經元之間的連接圖。但是，盡管已被廣泛使用，但目前對神經網絡的圖結構與其預測性能之間的關系知之甚少。本文系統地研究了神經網絡的圖結構如何影響其預測性能。為此，開發了一種新的基于圖的神經網絡表示，稱為關系圖，其中神經網絡的計算層對應于圖結構每輪進行的消息交換。使用這種表示，我們表明：

（1）關系圖的“最佳點”導致神經網絡的預測性能大大提高；

（2）神經網絡的性能大約是其關系圖的聚類系數和平均路徑長度的平滑函數；

（3）文中發現在許多不同的任務和數據集上是一致的；

（4）可以有效地識別最佳點；

（5）表現最佳的神經網絡具有令人驚訝的類似于真實生物神經網絡的圖結構。

該方法為神經體系結構的設計和對神經網絡的一般理解開辟了新的方向。

本文通過最小化驗證損失代理來搜索最佳神經網絡結構。現有的神經結構搜索（NAS）方法在給定最新的網絡權重的情況下發現基于驗證樣本的最佳神經網絡結構。但是，由于在NAS中需要多次重復進行反向傳播，使用大量驗證樣本進行反向傳播可能會非常耗時。在本文中，我們建議通過學習從神經網絡結構到對應的損失的映射來近似驗證損失情況。因此，可以很容易地將最佳神經網絡結構識別為該代理驗證損失范圍的最小值。同時，本文進一步提出了一種新的采樣策略，可以有效地近似損失情況。理論分析表明，與均勻采樣相比，我們的采樣策略可以達到更低的錯誤率和更低的標簽復雜度。在標準數據集上的實驗結果表明，通過本方法進行神經結構搜索可以在較低的搜索時間內搜索到精度很高的網絡結構。

【導讀】圖神經網絡依然是當下的研究熱點。來自新加坡南洋理工大學Xavier Bresson和Bengio聯合發布了一篇論文《Benchmarking Graph Neural Networks》，如何構建強大的GNN成為了核心問題。什么類型的架構、第一原則或機制是通用的、可推廣的、可伸縮的，可以用于大型圖數據集和大型圖數據集? 另一個重要的問題是如何研究和量化理論發展對GNNs的影響?基準測試為回答這些基本問題提供了一個強有力的范例。作者發現，準確地說，圖卷積、各向異性擴散、剩余連接和歸一化層是開發健壯的、可伸縮的GNN的通用構件。

圖神經網絡(GNNs)已經成為分析和學習圖數據的標準工具。它們已經成功地應用于無數的領域，包括化學、物理、社會科學、知識圖譜、推薦和神經科學。隨著這個領域的發展，識別架構和關鍵機制變得至關重要，這些架構和關鍵機制可以泛化圖的大小，使我們能夠處理更大、更復雜的數據集和域。不幸的是，在缺乏具有一致的實驗設置和大型數據集的標準基準的情況下，評估新GNN的有效性和比較模型變得越來越困難。在這篇論文中，我們提出了一個可復制的GNN基準測試框架，為研究人員方便地添加新的數據集和模型提供了便利。我們將該基準測試框架應用于數學建模、計算機視覺、化學和組合問題等新型中型圖數據集，以建立設計有效GNNs時的關鍵操作。準確地說，圖卷積、各向異性擴散、剩余連接和歸一化層是開發健壯的、可伸縮的GNN的通用構件。

自(Scarselli et al., 2009; Bruna et al., 2013; Defferrard et al., 2016; Sukhbaatar et al., 2016; Kipf & Welling, 2017; Hamilton et al., 2017）圖神經網絡(GNNs)近年來引起了人們極大的興趣，開發出了很有前途的方法。隨著這個領域的發展，如何構建強大的GNN成為了核心問題。什么類型的架構、第一原則或機制是通用的、可推廣的、可伸縮的，可以用于大型圖數據集和大型圖數據集? 另一個重要的問題是如何研究和量化理論發展對GNNs的影響?基準測試為回答這些基本問題提供了一個強有力的范例。它已被證明是有益的，在幾個領域的科學推動進步，確定基本的想法，并解決領域特定的問題(Weber et al., 2019)。最近，著名的2012年ImageNet (Deng et al.，2009)挑戰提供了觸發深度學習革命的基準數據集(Krizhevsky et al., 2012; Malik, 2017)。國際團隊競相在大型數據集上生成最佳的圖像分類預測模型。自從在ImageNet上取得突破性成果以來，計算機視覺社區已經開辟了一條道路，以識別健壯的體系結構和訓練深度神經網絡的技術(Zeiler & Fergus, 2014; Girshick et al., 2014; Long et al., 2015; He et al., 2016)。

但是，設計成功的基準測試是非常具有挑戰性的:它需要定義適當的數據集、健壯的編碼接口和用于公平比較的公共實驗設置，所有這些都是可重復的。這樣的需求面臨幾個問題。首先，如何定義合適的數據集?它可能很難收集有代表性的，現實的和大規模的數據集。這是GNNs最重要的問題之一。大多數發表的論文都集中在非常小的數據集，如CORA和TU數據集(Kipf & Welling, 2017; Ying et al., 2018; Velickovi ˇ c et al. ′ , 2018; Xinyi & Chen, 2019; Xu et al., 2019; Lee et al., 2019)，其中所有的gnn執行幾乎相同的統計。有些與直覺相反的是，沒有考慮圖結構的基線表現得和GNNs一樣好，有時甚至更好(Errica et al.， 2019)。這就提出了開發新的、更復雜的GNN架構的必要性問題，甚至提出了使用GNNs的必要性問題(Chen et al.， 2019)。例如，在Hoang & Maehara(2019)和Chen等人(2019)的近期著作中，作者分析了GNNs的容量和組成，以揭示模型在小數據集上的局限性。他們聲稱這些數據集不適合設計復雜的結構歸納學習架構。

GNN文獻中的另一個主要問題是定義常見的實驗設置。正如Errica等人(2019)所指出的，最近關于TU數據集的論文在訓練、驗證和測試分割以及評估協議方面沒有達成共識，這使得比較新思想和架構的性能變得不公平。目前還不清楚如何執行良好的數據分割，除了隨機分割之外，后者已知會提供過于樂觀的預測(Lohr, 2009)。此外，不同的超參數、損失函數和學習速率時間表使得很難識別架構中的新進展。

本文的貢獻如下:

• 我們發布了一個基于PyTorch (Paszke et al.， 2019)和DGL (Wang et al.， 2019)庫的基于GitHub的GNNs開放基準基礎架構。我們專注于新用戶的易用性，使新數據集和GNN模型的基準測試變得容易。

• 我們的目標是超越流行的小型CORA和TU數據集，引入中等規模的數據集，其中包含12k-70k圖，節點大小為9-500個。提出的數據集包括數學建模(隨機塊模型)、計算機視覺(超級像素)、組合優化(旅行商問題)和化學(分子溶解度)。

• 我們通過建議的基準測試基礎設施來確定重要的GNN構建塊。圖卷積、非istropic擴散、殘差連接和歸一化層對設計高效的GNN非常有用。

• 我們的目標不是對已發布的GNN進行排名。為特定的任務尋找最佳模型在計算上是昂貴的(并且超出了我們的資源)，因為它需要使用交叉驗證對超參數值進行徹底的搜索。相反，我們為所有模型確定了一個參數預算，并分析性能趨勢，以確定重要的GNN機制。

• 數值結果完全可重復。通過運行腳本，我們可以簡單地重現報告的結果。此外，基準基礎設施的安裝和執行在GitHub存儲庫中有詳細的說明。