亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

芬蘭阿爾托大學CSE4890深度學習課程第7講：圖神經網絡，由Alexander Ilin主講，全面詳細地介紹了GNN的背景動機、GCN、循環關系網絡、通用網絡。

【導讀】WWW2020的DL4G論壇，William L. Hamilton做了關于元學習與圖上邏輯規則推導的報告，55頁ppt。

圖卷積運算符將深度學習的優勢引入到各種以前認為無法實現的圖和網格處理任務中。隨著他們的不斷成功，人們希望設計更強大的架構，通常是通過將現有的深度學習技術應用于非歐幾里德數據。在這篇論文中，我們認為在新興的幾何深度學習領域，幾何應該保持創新的主要驅動力。我們將圖神經網絡與廣泛成功的計算機圖形學和數據近似模型:徑向基函數(RBFs)聯系起來。我們推測，與RBFs一樣，圖卷積層將受益于將簡單函數添加到強大的卷積內核中。我們引入了仿射跳躍連接，這是一種將全連通層與任意圖卷積算子相結合而形成的新型構造塊。通過實驗驗證了該方法的有效性，表明改進的性能不僅僅是參數數目增加的結果。在我們評估的每一項任務中，配備了仿射跳躍連接的操作人員都顯著地優于他們的基本性能。形狀重建，密集形狀對應，和圖形分類。我們希望我們的簡單而有效的方法將作為一個堅實的基線，并有助于緩解未來在圖神經網絡的研究。

【導讀】圖神經網絡依然是當下的研究熱點。來自新加坡南洋理工大學Xavier Bresson和Bengio聯合發布了一篇論文《Benchmarking Graph Neural Networks》，如何構建強大的GNN成為了核心問題。什么類型的架構、第一原則或機制是通用的、可推廣的、可伸縮的，可以用于大型圖數據集和大型圖數據集? 另一個重要的問題是如何研究和量化理論發展對GNNs的影響?基準測試為回答這些基本問題提供了一個強有力的范例。作者發現，準確地說，圖卷積、各向異性擴散、剩余連接和歸一化層是開發健壯的、可伸縮的GNN的通用構件。

圖神經網絡(GNNs)已經成為分析和學習圖數據的標準工具。它們已經成功地應用于無數的領域，包括化學、物理、社會科學、知識圖譜、推薦和神經科學。隨著這個領域的發展，識別架構和關鍵機制變得至關重要，這些架構和關鍵機制可以泛化圖的大小，使我們能夠處理更大、更復雜的數據集和域。不幸的是，在缺乏具有一致的實驗設置和大型數據集的標準基準的情況下，評估新GNN的有效性和比較模型變得越來越困難。在這篇論文中，我們提出了一個可復制的GNN基準測試框架，為研究人員方便地添加新的數據集和模型提供了便利。我們將該基準測試框架應用于數學建模、計算機視覺、化學和組合問題等新型中型圖數據集，以建立設計有效GNNs時的關鍵操作。準確地說，圖卷積、各向異性擴散、剩余連接和歸一化層是開發健壯的、可伸縮的GNN的通用構件。

自(Scarselli et al., 2009; Bruna et al., 2013; Defferrard et al., 2016; Sukhbaatar et al., 2016; Kipf & Welling, 2017; Hamilton et al., 2017）圖神經網絡(GNNs)近年來引起了人們極大的興趣，開發出了很有前途的方法。隨著這個領域的發展，如何構建強大的GNN成為了核心問題。什么類型的架構、第一原則或機制是通用的、可推廣的、可伸縮的，可以用于大型圖數據集和大型圖數據集? 另一個重要的問題是如何研究和量化理論發展對GNNs的影響?基準測試為回答這些基本問題提供了一個強有力的范例。它已被證明是有益的，在幾個領域的科學推動進步，確定基本的想法，并解決領域特定的問題(Weber et al., 2019)。最近，著名的2012年ImageNet (Deng et al.，2009)挑戰提供了觸發深度學習革命的基準數據集(Krizhevsky et al., 2012; Malik, 2017)。國際團隊競相在大型數據集上生成最佳的圖像分類預測模型。自從在ImageNet上取得突破性成果以來，計算機視覺社區已經開辟了一條道路，以識別健壯的體系結構和訓練深度神經網絡的技術(Zeiler & Fergus, 2014; Girshick et al., 2014; Long et al., 2015; He et al., 2016)。

但是，設計成功的基準測試是非常具有挑戰性的:它需要定義適當的數據集、健壯的編碼接口和用于公平比較的公共實驗設置，所有這些都是可重復的。這樣的需求面臨幾個問題。首先，如何定義合適的數據集?它可能很難收集有代表性的，現實的和大規模的數據集。這是GNNs最重要的問題之一。大多數發表的論文都集中在非常小的數據集，如CORA和TU數據集(Kipf & Welling, 2017; Ying et al., 2018; Velickovi ˇ c et al. ′ , 2018; Xinyi & Chen, 2019; Xu et al., 2019; Lee et al., 2019)，其中所有的gnn執行幾乎相同的統計。有些與直覺相反的是，沒有考慮圖結構的基線表現得和GNNs一樣好，有時甚至更好(Errica et al.， 2019)。這就提出了開發新的、更復雜的GNN架構的必要性問題，甚至提出了使用GNNs的必要性問題(Chen et al.， 2019)。例如，在Hoang & Maehara(2019)和Chen等人(2019)的近期著作中，作者分析了GNNs的容量和組成，以揭示模型在小數據集上的局限性。他們聲稱這些數據集不適合設計復雜的結構歸納學習架構。

GNN文獻中的另一個主要問題是定義常見的實驗設置。正如Errica等人(2019)所指出的，最近關于TU數據集的論文在訓練、驗證和測試分割以及評估協議方面沒有達成共識，這使得比較新思想和架構的性能變得不公平。目前還不清楚如何執行良好的數據分割，除了隨機分割之外，后者已知會提供過于樂觀的預測(Lohr, 2009)。此外，不同的超參數、損失函數和學習速率時間表使得很難識別架構中的新進展。

本文的貢獻如下:

• 我們發布了一個基于PyTorch (Paszke et al.， 2019)和DGL (Wang et al.， 2019)庫的基于GitHub的GNNs開放基準基礎架構。我們專注于新用戶的易用性，使新數據集和GNN模型的基準測試變得容易。

• 我們的目標是超越流行的小型CORA和TU數據集，引入中等規模的數據集，其中包含12k-70k圖，節點大小為9-500個。提出的數據集包括數學建模(隨機塊模型)、計算機視覺(超級像素)、組合優化(旅行商問題)和化學(分子溶解度)。

• 我們通過建議的基準測試基礎設施來確定重要的GNN構建塊。圖卷積、非istropic擴散、殘差連接和歸一化層對設計高效的GNN非常有用。

• 我們的目標不是對已發布的GNN進行排名。為特定的任務尋找最佳模型在計算上是昂貴的(并且超出了我們的資源)，因為它需要使用交叉驗證對超參數值進行徹底的搜索。相反，我們為所有模型確定了一個參數預算，并分析性能趨勢，以確定重要的GNN機制。

• 數值結果完全可重復。通過運行腳本，我們可以簡單地重現報告的結果。此外，基準基礎設施的安裝和執行在GitHub存儲庫中有詳細的說明。

神經網絡已經成功地完成了許多推理任務。從經驗上看，這些任務需要專門的網絡結構，例如，圖神經網絡(GNNs)在許多這樣的任務中表現良好，而較少結構的網絡會失敗。從理論上講，盡管網絡結構具有相同的表達能力，但人們對網絡結構為什么以及何時比其他網絡結構更能泛化的理解是有限的。本文通過研究網絡的計算結構與相關推理過程的算法結構之間的一致性，建立了一個描述網絡能很好學習哪些推理任務的框架。我們正式定義了這種算法對齊，并推導出一個隨更好的對齊而減小的樣本復雜度界。該框架為流行推理模型的經驗成功提供了一個解釋，并指出了它們的局限性。例如，我們通過一個強大的算法范例——動態規劃(DP)，將看似不同的推理任務，如直覺物理、可視化問題回答和最短路徑統一起來。我們證明了gnn與DP是一致的，因此可以解決這些問題。在一些推理任務中，我們的理論得到了實證結果的支持。