亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

簡介

本文研究如何利用圖生成作為自監督任務來預訓練GNN。我們將圖的生成概率分解成兩個模塊：1）節點特征生成；2）圖結構生成。通過對這兩個模塊建模，GPT-GNN可以捕捉圖任務里特征與結構之間的關聯，從而不需要很多的標注數據就可達到很高的泛化性能。

背景：預訓練

機器學習的成功很大程度上取決于數據。但是，高質量的標記數據通常很昂貴且難以獲得，尤其是對于希望訓練參數較多的模型。而相對應的，我們卻可以很容易地獲取大量的無標記數據，其數量可以是標記數據的數千倍。 例如，在社交網絡上進行異常檢測時，惡意帳戶的標注需要依賴于專家知識，數量較小，而整個網絡的規模卻可以達到十億規模。

為了解決標注數據較少，盡可能利用其無標注數據，一個常規的做法是自監督的預訓練(self-supervisedpre-training)。其目標是設計合理的自監督任務，從而使模型能從無標注數據里學得數據的信息，作為初始化遷移到下游任務中。由于目標任務中很多的知識已經在預訓練中學到，因此通過預訓練，我們只需要非常少量的標注數據，就能得到較好的泛化性能。

在NLP領域，BERT及其變種的取得了巨大的成功，證明了語言模型作為一個自監督任務，可以幫助訓練非常深的Transformer模型，以捕捉語言的底層知識，如語法、句法、詞義等。同樣，在CV領域，最近的工作如SimCLR也顯示出通過對比學習(Contrastive Learning) 對ResNet進行預訓練也可以顯著提升泛化性能。這些成功表明，無標注數據本身包含豐富的語義知識，因此如果通過預訓練可以使模型能捕捉無標注數據的分布，就能作為初始化幫助一系列下游任務。

受到這些工作的啟發，我們思考能否將預訓練的想法運用到圖數據分析中。本工作就致力于預訓練圖神經網絡，以期GNN能夠學習到圖數據的結構和特征信息，從而能幫助標注數據較少的下游任務。

GPT-GNN模型

要在圖數據上做預訓練，第一個問題是：如何設計合適的無監督學習任務？

本工作提出用生成模型來對圖分布進行建模，即逐步預測出一個圖中一個新節點會有哪些特征、會和圖中哪些節點相連。

由于我們想同時捕獲屬性和結構信息，因此需要將每個節點的條件生成概率分解為兩項，特征生成與圖結構生成。對每一個節點，我們會先掩蓋其特征及部分邊，僅提供剩下的部分作為已經觀測到的邊。

在第一步中，我們將通過已經觀測到的邊，預測該節點的特征，

在第二步中，我們將通過已經觀測到的邊，以及預測出的特征，來預測剩下的邊。

我們可以寫出對應的分解表達式。從理論上，這個目標的期望等同于整個圖的生成概率。

為了并行高效地計算每個節點的loss，避免信息泄露（如節點特征預測的時候如何避免看到該節點自己的輸入特征），以及處理大圖和增加負樣本采樣的準確性，我們做了很多的模型設計。詳見文章。

實驗

我們在兩個大規模異構網絡和一個同構網絡上進行了實驗。

第一個異構圖是MicrosoftAcademic Graph（OAG），其中包含超過2億個節點和23億條邊。另一個是AmazonRecommendation數據集。

總體而言，我們提出的GPT-GNN在不同的實驗設定下顯著提高下游任務的性能，平均能達到9.1％的性能提升。

我們還評估了在不同百分比的標記數據下，GPT-GNN是否依然能取得提升。我們可以看到，使用GPT預訓練時，僅使用20％標簽數據的模型性能就會比使用100％數據進行直接監督學習的模型性能更高。這顯示了預訓練的有效性，尤其是在標簽稀缺時。

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

圖表示學習已經成為解決現實問題的一種強大的技術。節點分類、相似度搜索、圖分類和鏈接預測等各種下游圖學習任務都受益于它的最新發展。然而，現有的圖表示學習技術側重于特定領域的問題，并為每個圖訓練專用的模型，這些模型通常不能轉移到域外數據。受最近自然語言處理和計算機視覺的預訓練進展的啟發，我們設計了圖對比編碼(GCC)——一種無監督圖表示學習框架——來捕獲跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡中或跨網絡的子圖級實例識別，并利用對比學習來授權模型學習內在的和可轉移的結構表示。我們對三個圖學習任務和十個圖數據集進行了廣泛的實驗。結果表明，在一組不同的數據集上進行預訓練的GCC可以取得與任務相關的從零開始訓練的GCC具有競爭力或更好的性能。這表明，預訓練和微調范式為圖表示學習提供了巨大的潛力。

//arxiv.org/abs/2006.09963

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

圖表示學習近年來得到了廣泛的研究。盡管它在為各種網絡生成連續嵌入方面具有潛力，但針對大量節點推斷高質量表示的有效性和效率仍然具有挑戰性。采樣是實現性能目標的關鍵。現有技術通常集中于正節點對的抽樣，而對負節點對的抽樣策略卻沒有進行充分的探索。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負抽樣的作用，從理論上論證了負抽樣與正抽樣在確定優化目標和由此產生的方差方面同樣重要。據我們所知，我們是第一個推導出負抽樣分布應該與正抽樣分布呈正相關但亞線性相關的理論并進行量化的工作。在該理論的指導下，我們提出了MCNS，用自對比近似逼近正分布，用Metropolis-Hastings加速負抽樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了廣泛的下游圖數據學習任務，包括鏈接預測、節點分類和個性化推薦，總共有19個實驗設置。這些較為全面的實驗結果證明了其魯棒性和優越性。

機器學習的許多應用都需要一個模型來對測試樣本做出準確的預測，這些測試樣本在分布上與訓練示例不同，而在訓練期間，特定于任務的標簽很少。應對這一挑戰的有效方法是，在數據豐富的相關任務上對模型進行預訓練，然后在下游任務上對其進行微調。盡管預訓練在許多語言和視覺領域都是有效的，但是如何在圖數據集上有效地使用預訓練仍是一個有待解決的問題。本文提出了一種新的圖神經網絡訓練策略和自監督方法。我們的策略成功的關鍵是在單個節點以及整個圖的層次上預訓練一個具有強表示能力的GNN，以便GNN能夠同時學習有用的局部和全局表示。我們系統地研究了多類圖分類數據集的預處理問題。我們發現，在整個圖或單個節點級別上對GNN進行預訓練的樸素策略改進有限，甚至可能導致許多下游任務的負遷移。相比之下，我們的策略避免了負遷移，顯著提高了下游任務的泛化能力，使得ROC-AUC相對于未經訓練的模型提高了9.4%，實現了分子特性預測和蛋白質功能預測的最好性能。

1、 Adversarial Graph Embedding for Ensemble Clustering

作者：Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要：Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區（consensus partition）中，但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2）獲得具有可學習圖表示的共識分區（consensus partition）仍未得到充分研究。在本文中，我們提出了一種新穎的對抗圖自動編碼器（AGAE）模型，將集成聚類結合到深度圖嵌入過程中。具體地，采用圖卷積網絡作為概率編碼器，將特征內容信息與共識圖信息進行聯合集成，并使用簡單的內積層作為解碼器，利用編碼的潛變量（即嵌入表示）重建圖。此外，我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗，證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。

網址：//www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者：Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要：Attributed Graph聚類是一項具有挑戰性的工作，它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明，圖卷積能夠有效地將結構信息和內容信息結合起來，近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而，對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能，人們的了解有限。現有的方法本質上是利用固定低階的圖卷積，只考慮每個節點幾跳內的鄰居，沒有充分利用節點關系，忽略了圖的多樣性。本文提出了一種自適應圖卷積方法，利用高階圖卷積捕獲全局聚類結構，并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗，驗證了該方法的有效性。實驗結果表明，該方法與現有的方法相比具有較好的優越性。

網址：

3、Dynamic Hypergraph Neural Networks

作者：Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要：近年來，基于圖/超圖（graph/hypergraph）的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而，隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題，我們提出了一個動態超圖神經網絡框架（DHGNN），它由兩個模塊的堆疊層組成：動態超圖構造（DHG）和超圖卷積（HGC）。考慮到最初構造的超圖可能不適合表示數據，DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積，它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。

網址：

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者：Hogun Park and Jennifer Neville;

摘要：節點分類是關系機器學習中的一個重要問題。然而，在圖邊表示實體間交互的場景中(例如，隨著時間的推移)，大多數當前方法要么將交互信息匯總為鏈接權重，要么聚合鏈接以生成靜態圖。在本文中，我們提出了一種神經網絡結構，它可以同時捕獲時間和靜態交互模式，我們稱之為Temporal-Static-Graph-Net（TSGNet）。我們的主要觀點是，利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式)，可以提高節點分類的性能。在我們對節點分類任務的實驗中，與最先進的方法相比，TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比，TSGNet的分類錯誤減少了24%，平均減少了10%。

網址：

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者：Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要：事件在現實世界中實時發生，可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而，由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構，挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯，并構建了一個基于事件的異構信息網絡(HIN)，該網絡融合了外部知識庫中的信息，提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例，并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗，比較各種社會事件檢測和聚類任務。實驗結果表明，我們提出的框架優于其他可選的社會事件分類技術。

網址：

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者：Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要：基于會話的推薦旨在預測用戶基于匿名會話的下一步行動，是許多在線服務（比如電子商務，媒體流）中的關鍵任務。近年來，在不使用遞歸網絡和卷積網絡的情況下，自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而，SAN缺乏存在于相鄰商品上的本地依賴關系，并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN)，用于基于會話的推薦。在GC-SAN中，我們動態地為會話序列構造一個圖結構，并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后，每個會話通過應用自注意力機制學習長期依賴關系。最后，每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明，GC-SAN始終優于最先進的方法。

網址：

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者：Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要：基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而，彌補模態差異，進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法，該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成：語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程，即學生模塊，用于語義信息的挖掘。此外，利用GCN研究數據點之間的內在相似性結構，有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明，所提出的GCH方法優于最先進的方法。

網址：

論文摘要： Multi-paragraph推理對于open-domain問答(OpenQA)是必不可少的,盡管在當前的OpenQA系統中受到的關注較少。在這項工作中,我們提出一個知識增強圖神經網絡(KGNN),使用實體對多個段落進行推理。為了顯式地捕捉到實體的關系,KGNN利用關系事實知識圖譜構建實體圖譜。實驗結果表明，與HotpotQA數據集上的基線方法相比，KGNN在分散注意力和完整的wiki設置方面都有更好的表現。我們進一步的分析表明，KGNN在檢索更多的段落方面是有效和具有魯棒性的。

題目： GNNExplainer: Generating Explanations for Graph Neural Networks

簡介： 圖神經網絡（GNN）通過沿輸入圖的邊緣遞歸傳遞神經消息，將節點特征信息與圖結構結合在一起。但是同時包含圖結構和特征信息會導致模型復雜，并且解釋GNN所做的預測仍未解決。在這里，我們提出GNNExplainer，這是第一種通用的，與模型無關的方法，可為任何基于GNN的模型的預測提供可解釋性。給定一個實例，GNNExplainer會確定緊湊的子圖結構和節點特征的一小部分，這些特征對GNN的預測至關重要。此外，GNNExplainer可以為整個實例類生成一致而簡潔的解釋。我們將GNNExplainer公式化為優化任務，該優化任務可最大化GNN的預測與可能的子圖結構的分布之間的相互信息。在合成圖和真實世界圖上進行的實驗表明，我們的方法可以識別重要的圖結構以及節點特征，并且比基準性能高出17.1％。 GNNExplainer提供了各種好處，從可視化語義相關結構的能力到可解釋性，再到洞悉有缺陷的GNN的錯誤。

作者簡介： 領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 調查的問題是由大規模數據，網絡和在線媒體引起的。 Jure Leskovec主頁

代碼鏈接：