亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】圖神經網絡依然是當下的研究熱點。來自新加坡南洋理工大學Xavier Bresson和Bengio聯合發布了一篇論文《Benchmarking Graph Neural Networks》，如何構建強大的GNN成為了核心問題。什么類型的架構、第一原則或機制是通用的、可推廣的、可伸縮的，可以用于大型圖數據集和大型圖數據集? 另一個重要的問題是如何研究和量化理論發展對GNNs的影響?基準測試為回答這些基本問題提供了一個強有力的范例。作者發現，準確地說，圖卷積、各向異性擴散、剩余連接和歸一化層是開發健壯的、可伸縮的GNN的通用構件。

圖神經網絡(GNNs)已經成為分析和學習圖數據的標準工具。它們已經成功地應用于無數的領域，包括化學、物理、社會科學、知識圖譜、推薦和神經科學。隨著這個領域的發展，識別架構和關鍵機制變得至關重要，這些架構和關鍵機制可以泛化圖的大小，使我們能夠處理更大、更復雜的數據集和域。不幸的是，在缺乏具有一致的實驗設置和大型數據集的標準基準的情況下，評估新GNN的有效性和比較模型變得越來越困難。在這篇論文中，我們提出了一個可復制的GNN基準測試框架，為研究人員方便地添加新的數據集和模型提供了便利。我們將該基準測試框架應用于數學建模、計算機視覺、化學和組合問題等新型中型圖數據集，以建立設計有效GNNs時的關鍵操作。準確地說，圖卷積、各向異性擴散、剩余連接和歸一化層是開發健壯的、可伸縮的GNN的通用構件。

自(Scarselli et al., 2009; Bruna et al., 2013; Defferrard et al., 2016; Sukhbaatar et al., 2016; Kipf & Welling, 2017; Hamilton et al., 2017）圖神經網絡(GNNs)近年來引起了人們極大的興趣，開發出了很有前途的方法。隨著這個領域的發展，如何構建強大的GNN成為了核心問題。什么類型的架構、第一原則或機制是通用的、可推廣的、可伸縮的，可以用于大型圖數據集和大型圖數據集? 另一個重要的問題是如何研究和量化理論發展對GNNs的影響?基準測試為回答這些基本問題提供了一個強有力的范例。它已被證明是有益的，在幾個領域的科學推動進步，確定基本的想法，并解決領域特定的問題(Weber et al., 2019)。最近，著名的2012年ImageNet (Deng et al.，2009)挑戰提供了觸發深度學習革命的基準數據集(Krizhevsky et al., 2012; Malik, 2017)。國際團隊競相在大型數據集上生成最佳的圖像分類預測模型。自從在ImageNet上取得突破性成果以來，計算機視覺社區已經開辟了一條道路，以識別健壯的體系結構和訓練深度神經網絡的技術(Zeiler & Fergus, 2014; Girshick et al., 2014; Long et al., 2015; He et al., 2016)。

但是，設計成功的基準測試是非常具有挑戰性的:它需要定義適當的數據集、健壯的編碼接口和用于公平比較的公共實驗設置，所有這些都是可重復的。這樣的需求面臨幾個問題。首先，如何定義合適的數據集?它可能很難收集有代表性的，現實的和大規模的數據集。這是GNNs最重要的問題之一。大多數發表的論文都集中在非常小的數據集，如CORA和TU數據集(Kipf & Welling, 2017; Ying et al., 2018; Velickovi ˇ c et al. ′ , 2018; Xinyi & Chen, 2019; Xu et al., 2019; Lee et al., 2019)，其中所有的gnn執行幾乎相同的統計。有些與直覺相反的是，沒有考慮圖結構的基線表現得和GNNs一樣好，有時甚至更好(Errica et al.， 2019)。這就提出了開發新的、更復雜的GNN架構的必要性問題，甚至提出了使用GNNs的必要性問題(Chen et al.， 2019)。例如，在Hoang & Maehara(2019)和Chen等人(2019)的近期著作中，作者分析了GNNs的容量和組成，以揭示模型在小數據集上的局限性。他們聲稱這些數據集不適合設計復雜的結構歸納學習架構。

GNN文獻中的另一個主要問題是定義常見的實驗設置。正如Errica等人(2019)所指出的，最近關于TU數據集的論文在訓練、驗證和測試分割以及評估協議方面沒有達成共識，這使得比較新思想和架構的性能變得不公平。目前還不清楚如何執行良好的數據分割，除了隨機分割之外，后者已知會提供過于樂觀的預測(Lohr, 2009)。此外，不同的超參數、損失函數和學習速率時間表使得很難識別架構中的新進展。

本文的貢獻如下:

• 我們發布了一個基于PyTorch (Paszke et al.， 2019)和DGL (Wang et al.， 2019)庫的基于GitHub的GNNs開放基準基礎架構。我們專注于新用戶的易用性，使新數據集和GNN模型的基準測試變得容易。

• 我們的目標是超越流行的小型CORA和TU數據集，引入中等規模的數據集，其中包含12k-70k圖，節點大小為9-500個。提出的數據集包括數學建模(隨機塊模型)、計算機視覺(超級像素)、組合優化(旅行商問題)和化學(分子溶解度)。

• 我們通過建議的基準測試基礎設施來確定重要的GNN構建塊。圖卷積、非istropic擴散、殘差連接和歸一化層對設計高效的GNN非常有用。

• 我們的目標不是對已發布的GNN進行排名。為特定的任務尋找最佳模型在計算上是昂貴的(并且超出了我們的資源)，因為它需要使用交叉驗證對超參數值進行徹底的搜索。相反，我們為所有模型確定了一個參數預算，并分析性能趨勢，以確定重要的GNN機制。

• 數值結果完全可重復。通過運行腳本，我們可以簡單地重現報告的結果。此外，基準基礎設施的安裝和執行在GitHub存儲庫中有詳細的說明。

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 于美國紐約舉辦。近年來，將傳統的處理效果估計方法(如匹配估計器)和先進的表示學習方法(如深度神經網絡)相結合的一個新興的研究方向在廣闊的人工智能領域引起了越來越多的關注。來自Georgia、Buffalo、阿里巴巴與Virginia的學者做了因果推理表示學習報告，在本教程中，介紹用于治療效果估計的傳統和最先進的表示學習算法。關于因果推論，反事實和匹配估計的背景也將被包括。我們還將展示這些方法在不同應用領域的應用前景。

摘要

因果推理在醫療保健、市場營銷、醫療保健、政治科學和在線廣告等許多領域都有大量的實際應用。治療效果估計作為因果推理中的一個基本問題，在統計學上已被廣泛研究了幾十年。然而，傳統的處理效果估計方法不能很好地處理大規模、高維的異構數據。近年來，將傳統的處理效果估計方法(如匹配估計器)和先進的表示學習方法(如深度神經網絡)相結合的一個新興的研究方向在廣闊的人工智能領域引起了越來越多的關注。在本教程中，我們將介紹用于治療效果估計的傳統和最先進的表示學習算法。關于因果推論，反事實和匹配估計的背景也將被包括。我們還將展示這些方法在不同應用領域的應用前景。