亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡(GNNs)的快速發展帶來了越來越多的新架構和新應用。目前的研究側重于提出和評估GNNs的具體架構設計，而不是研究GNNs的更一般的設計空間，后者由不同設計維度的笛卡爾積(如層數或聚合函數的類型)組成。此外，GNN設計通常專門針對單個任務，但很少有人努力了解如何快速為新任務或新數據集找到最佳GNN設計。這里我們定義并系統地研究了GNNs的架構設計空間，它包含了超過32種不同的預測任務的315000種不同的設計。我們的方法有三個主要創新:(1)一個通用的GNN設計空間;(2)具有相似度度量的GNN任務空間，這樣對于給定的新任務/數據集，我們可以快速識別/傳輸性能最好的架構;(3)一種高效的設計空間評價方法，可以從大量的模型-任務組合中提取洞察力。我們的主要結果包括:(1)一套設計性能良好的GNN的全面指南;(2)雖然針對不同任務的最佳GNN設計存在顯著差異，但GNN任務空間允許在不同任務之間傳輸最佳設計;(3)利用我們的設計空間發現的模型實現了最先進的性能。總的來說，我們的工作提供了一個原則性和可擴展性的方法，實現了從研究針對特定任務的個體GNN設計到系統地研究GNN設計空間和任務空間的過渡。最后，我們發布了GraphGym，這是一個用于探索不同GNN設計和任務的強大平臺。GraphGym具有模塊化的GNN實現、標準化的GNN評估和可重復和可擴展的實驗管理。

//arxiv.org/abs/2011.08843

我們研究在一種新穎實際的設定下對圖神經網絡的黑盒攻擊，我們限制攻擊者只能獲得部分節點的信息并且只能修改其中小部分的節點。在這樣的設定下，如何選擇節點變得愈發重要。我們證明圖神經網絡的結構歸納偏差能成為有效的黑盒攻擊源頭。具體來說，通過利用圖神經網路的向后傳播與隨機游走之間的聯系，我們表明基于梯度的常見白盒攻擊可以通過梯度和與PageRank類似的重要性分數之間的聯系而推廣到黑盒攻擊。在實踐中，我們發現基于這個重要性分數上確實很大的程度地增加了損失值，但是不能顯著提高分類錯誤的比率。我們的理論和經驗分析表明，損失值和誤分類率之間存在差異，即當受攻擊的節點數增加時，后者會呈現遞減的回報模式。因此，考慮到收益遞減效應，我們提出了一種貪心算法來校正這一重要性得分。實驗結果表明，所提出的選點程序在無需訪問模型參數或預測的前提下可以顯著提高常用數據集上常見GNN的誤分類率。

//arxiv.org/abs/2006.05057

原文地址：//arxiv.org/abs/2006.05057

我們研究在一種新穎實際的設定下對圖神經網絡的黑盒攻擊，我們限制攻擊者只能獲得部分節點的信息并且只能修改其中小部分的節點。在這樣的設定下，如何選擇節點變得愈發重要。我們證明圖神經網絡的結構歸納偏差能成為有效的黑盒攻擊源頭。具體來說，通過利用圖神經網路的向后傳播與隨機游走之間的聯系，我們表明基于梯度的常見白盒攻擊可以通過梯度和與PageRank類似的重要性分數之間的聯系而推廣到黑盒攻擊。在實踐中，我們發現基于這個重要性分數上確實很大的程度地增加了損失值，但是不能顯著提高分類錯誤的比率。我們的理論和經驗分析表明，損失值和誤分類率之間存在差異，即當受攻擊的節點數增加時，后者會呈現遞減的回報模式。因此，考慮到收益遞減效應，我們提出了一種貪心算法來校正這一重要性得分。實驗結果表明，所提出的選點程序在無需訪問模型參數或預測的前提下可以顯著提高常用數據集上常見GNN的誤分類率。

人工智能的一個基本問題是對知識圖譜(KG)捕獲的事實執行復雜的多跳邏輯推理。這個問題是具有挑戰性的，因為KGs可能是不完備的。最近的方法是將KG實體嵌入到低維空間中，然后利用這些嵌入來尋找答案實體。然而，如何處理任意一階邏輯(FOL)查詢一直是一個突出的挑戰，因為目前的方法僅限于FOL操作符的一個子集。特別地，不支持否定運算符。現有方法的另一個限制是它們不能自然地建模不確定性。在這里，我們提出了一種用于回答KGs中任意FOL查詢的概率嵌入框架BETAE。BETAE是第一種可以處理完整的一階邏輯運算的方法:合取(∧)、析取(不確定)和否定(ed)。BETAE的一個關鍵觀點是使用有界支持的概率分布，特別是Beta分布，以及嵌入查詢/實體作為分布，這使得我們也能建模不確定性。邏輯操作由概率嵌入的神經算子在嵌入空間中執行。我們演示了BETAE在三個大的、不完整的KG上回答任意的FOL查詢時的性能。雖然BETAE更加通用，但相對于目前最先進的KG推理方法(僅能處理不含否定的連接查詢)，它的相對性能提高了25.4%。

//arxiv.org/pdf/2010.11465

本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是，構造了結構圖，特征圖(feature graph)，以及兩者的組合來提取特定的和通用的嵌入，并使用注意機制來學習嵌入的自適應重要性權重。實驗發現，AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息，對應不同的參數取值。 //arxiv.org/abs/2007.02265

摘要：圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而，最近的一些研究提出了一個問題，即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中，我們首先提出一個實驗研究。令人驚訝的是，我們的實驗結果清楚地表明，當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的，甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息，這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷，設計出一種新型的GCNs，既能保留現有GCNs的優勢，又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題，我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入，并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明，AM-GCN從節點特征和拓撲結構中提取了最多的相關信息，顯著提高了分類精度。

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

題目： Interpretable Deep Graph Generation with Node-edge Co-disentanglement

摘要：

解糾纏表示學習近年來受到了廣泛的關注，特別是在圖像表示學習領域。然而，學習圖背后的解糾纏表示在很大程度上仍未探索，特別是對于同時具有節點和邊緣特征的屬性圖。圖生成的解糾纏學習具有實質性的新挑戰，包括

• 缺乏對節點和邊緣屬性聯合解碼的圖反褶積操作;
• 各影響因素之間的潛在因素難以解除:i)節點;ii)只有邊緣;iii)它們之間的聯合模式。

為了解決這些問題，提出了一個新的屬性圖深層生成模型的解糾纏增強框架。特別地，提出了一種新的變分目標來解開上述三種潛在因素，并具有新的節點和邊緣反褶積結構。此外，在每種類型中，個體因素的分離進一步增強，這被證明是對現有圖像框架的一般化。在綜合數據集和真實數據集上的定性和定量實驗證明了該模型及其擴展的有效性。

圖神經網絡通過聚合和結合鄰居信息來學習節點特征，在許多圖的任務中取得了良好的性能。然而，GNN大多被視為黑盒，缺乏人類可理解的解釋。因此，如果不能解釋GNN模型，就不能完全信任它們并在某些應用程序域中使用它們。在這項工作中，我們提出了一種新的方法，稱為XGNN，在模型級別上解釋GNN。我們的方法可以為GNNs的工作方式提供高層次的見解和一般性的理解。特別地，我們提出通過訓練一個圖生成器來解釋GNN，使生成的圖模式最大化模型的某種預測。我們將圖形生成表述為一個強化學習任務，其中對于每一步，圖形生成器預測如何向當前圖形中添加一條邊。基于訓練后的GNN信息，采用策略梯度方法對圖生成器進行訓練。此外，我們還加入了一些圖規則，以促使生成的圖是有效的。在合成和真實數據集上的實驗結果表明，我們提出的方法有助于理解和驗證訓練過的GNN。此外，我們的實驗結果表明，所生成的圖可以為如何改進訓練的神經網絡提供指導。

概述

圖神經網絡(GNNs)在不同的圖任務(如節點分類[11,37]、圖分類[39,47]和鏈接預測[46])上顯示了其有效性并取得了最新的性能。此外，對不同的圖運算進行了大量的研究，如圖卷積[13,16,19]、圖池化[20,44]、圖注意力[10,36,37]。由于圖數據廣泛存在于不同的真實世界應用程序中，如社交網絡、化學和生物學，GNN變得越來越重要和有用。盡管它們的性能很好，GNNs也有和其他深度學習模型一樣的缺點;也就是說，它們通常被視為黑盒子，缺乏人類理解的解釋。如果不理解和驗證內部工作機制，就不能完全信任GNNs，這就阻礙了它們在涉及公平、隱私和安全的關鍵應用程序中的使用[7,40]。例如，我們可以訓練一個GNN模型來預測藥物的效果，我們將每種藥物視為一個分子圖。如果不探索其工作機理，我們就不知道分子圖中是什么化學基團導致了這些預測。那么我們就無法驗證GNN模型的規則是否與真實世界的化學規則一致，因此我們不能完全信任GNN模型。這就增加了開發GNN解釋技術的需要。

最近，人們提出了幾種解釋技術來解釋圖像和文本數據的深度學習模型。根據所提供的解釋的類型，現有的技術可以歸類為實例級[5,9,29,31,32,43,45,48]或模型級[8,24,25]方法。實例級解釋通過模型確定輸入中的重要特征或該輸入的決策過程來解釋對給定輸入示例的預測。這類常用技術包括基于梯度的方法[31,32,43]、中間特征圖可視化[29,48]和基于遮擋的方法[5,9,45]。與提供依賴于輸入的解釋不同，模型級別的解釋旨在通過研究哪些輸入模式可以導致某種預測來解釋模型的一般行為，而不考慮任何特定的輸入示例。輸入優化[8,24 - 26]是最常用的模型級解釋方法。這兩類解釋方法旨在從不同的角度解釋深層模型。由于解釋的最終目的是驗證和理解深度模型，我們需要手動檢查解釋結果，并得出深度模型是否按我們預期的方式工作的結論。對于示例級方法，我們可能需要探究大量示例的解釋，然后才能相信模型。然而，這需要時間和專家的廣泛努力。對于模型級方法，其解釋更加普遍和高級，因此需要較少的人力監督。然而，與實例級的解釋相比，模型級方法的解釋不那么精確。總的來說，模型級和實例級方法對于解釋和理解深度模型都很重要。

在圖數據上解釋深度學習模型變得越來越重要，但仍缺乏探索。就我們所知，目前還沒有在模型級解釋GNN的研究。現有研究[4,40]僅對圖模型提供了實例層次的解釋。作為對現有工作的徹底背離，我們提出了一種新的解釋技術，稱為XGNN，用于在模型級別上解釋深層圖模型。我們提出研究什么樣的圖模式可以最大化某個預測。具體地說，我們提出訓練一個圖生成器，以便生成的圖模式可以用來解釋深度圖模型。我們把它表示為一個強化學習問題，在每一步，圖生成器預測如何添加一條邊到給定的圖和形成一個新的圖。然后根據已訓練圖模型的反饋，使用策略梯度[35]對生成器進行訓練。我們還加入了一些圖規則，以鼓勵生成的圖是有效的。注意，XGNN框架中的圖生成部分可以推廣到任何合適的圖生成方法，這些方法由手邊的數據集和要解釋的GNN決定。最后，我們在真實數據集和合成數據集上訓練了GNN模型，取得了良好的性能。然后我們使用我們提出的XGNN來解釋這些訓練過的模型。實驗結果表明，我們提出的XGNN可以找到所需的圖模式，并解釋了這些模型。通過生成的圖形模式，我們可以驗證、理解甚至改進經過訓練的GNN模型。

題目： GNNExplainer: Generating Explanations for Graph Neural Networks

簡介： 圖神經網絡（GNN）通過沿輸入圖的邊緣遞歸傳遞神經消息，將節點特征信息與圖結構結合在一起。但是同時包含圖結構和特征信息會導致模型復雜，并且解釋GNN所做的預測仍未解決。在這里，我們提出GNNExplainer，這是第一種通用的，與模型無關的方法，可為任何基于GNN的模型的預測提供可解釋性。給定一個實例，GNNExplainer會確定緊湊的子圖結構和節點特征的一小部分，這些特征對GNN的預測至關重要。此外，GNNExplainer可以為整個實例類生成一致而簡潔的解釋。我們將GNNExplainer公式化為優化任務，該優化任務可最大化GNN的預測與可能的子圖結構的分布之間的相互信息。在合成圖和真實世界圖上進行的實驗表明，我們的方法可以識別重要的圖結構以及節點特征，并且比基準性能高出17.1％。 GNNExplainer提供了各種好處，從可視化語義相關結構的能力到可解釋性，再到洞悉有缺陷的GNN的錯誤。

作者簡介： 領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 調查的問題是由大規模數據，網絡和在線媒體引起的。 Jure Leskovec主頁

代碼鏈接：