亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，圖神經網絡在文獻分類中得到了廣泛的應用。然而，現有的方法大多是基于沒有句子級信息的靜態詞同現圖，這帶來了三個挑戰:(1)詞的歧義性(2)詞的同義性(3)動態上下文依存。為了解決這些問題，我們提出了一種新的基于GNN的稀疏結構學習模型用于文檔分類。具體地說，文檔級圖最初是由句子級詞同現圖的斷開并集生成的。模型收集了一組可訓練的連接句子間不相連詞的邊，利用結構學習對動態上下文依賴的邊進行稀疏選取。具有稀疏結構的圖可以通過GNN聯合利用文檔中的局部和全局上下文信息。在歸納學習中，將改進后的文檔圖進一步輸入到一個通用的讀出函數中，以端到端方式進行圖級分類和優化。在幾個真實世界數據集上的大量實驗表明，提出的模型優于最先進的結果，并揭示了學習每個文檔稀疏結構的必要性。

//www.zhuanzhi.ai/paper/63b66dc21199c294e92d3703a5444d25

我們提出了GNNAutoScale (GAS)，一個擴展任意消息傳遞GNN到大型圖的框架。GAS通過利用之前的訓練迭代的歷史嵌入來修剪計算圖的整個子樹，從而在不丟失任何數據的情況下，使輸入節點大小的GPU內存消耗保持不變。雖然現有的解決方案由于邊緣的子采樣或不可訓練的傳播而削弱了消息傳遞的表達能力，但我們的方法被證明能夠保持原始GNN的表達能力。我們通過提供歷史嵌入的近似誤差邊界來實現這一點，并展示了如何在實踐中加強它們。經驗表明，我們的框架PyGAS (PYTORCH geometry 的一個易于使用的擴展)的實際實現是既快速又內存效率高的，學習表現性節點表示，其性能與非擴展對應的性能非常相似，并在大規模圖上達到了最先進的性能。

//arxiv.org/abs/2106.05609

圖神經網絡具有很強的圖表示學習能力，在各種實際應用中取得了巨大的成功。GNN通過聚集和轉換節點鄰域內的信息來探索圖的結構和節點特征。但是，通過理論和實證分析，我們發現GNN的聚集過程會破壞原始特征空間中的節點相似性。在許多場景中，節點相似性起著關鍵作用。因此，本文提出的SimP-GCN框架可以在利用圖結構的同時有效地保持節點相似性。具體地說，為了平衡圖結構和節點特征信息，我們提出了一種自適應地集成圖結構和節點特征的特征相似性保持聚合。此外，我們使用自監督學習來顯式地捕捉復雜特征之間的相似性和差異性關系。在包括3個同選型圖和4個異選型圖的7個基準數據集上驗證了SimP-GCN的有效性。結果表明SimP-GCN優于代表性基線。進一步的研究顯示了所提議的框架的各種優點。

//arxiv.org/abs/2011.09643

圖表示學習

近年來，圖神經網絡(GNNs)在結構化數據建模方面取得了巨大的成功。然而，大多數GNN是為同構網絡設計的，即所有節點或邊具有相同的特征空間和表示分布。這使得它們無法代表真實世界中不斷演化的異構圖，如知識圖譜、物聯網圖、領英經濟圖、開放學術圖和Facebook實體圖。在這次演講中，我將介紹圖神經網絡架構，它可以建模十億年規模的異構圖形與動態。重點將是我們如何設計圖注意力和相對時間編碼機制，以捕獲真實圖異構和動態性質。接下來，我將進一步討論為一般的圖挖掘任務預先訓練這類GNN的策略。最后，為了處理web規模的數據，我將介紹一種異構的小型批處理圖采樣算法，該算法帶有一個歸納的時間戳分配方法，用于高效和可擴展的訓練。大量的實驗顯示了在實踐中對網絡規模圖進行預訓練的GNNs的前景。

//ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf

圖神經網絡(GNNs)已被證明是有效的模型，用于對圖結構數據的不同預測任務。最近關于它們表達能力的工作集中在同構任務和可數特征空間。我們對這個理論框架進行了擴展，使其包含連續的特性——在真實世界的輸入域和gnn的隱藏層中定期出現——并演示了在此上下文中對多個聚合函數的需求。為此，我們提出了一種新的聚合器結構——主鄰域聚合(PNA)，它將多個聚合器與度標器相結合，從而推廣了總和聚合器。最后，我們通過一個新的基準來比較不同模型捕獲和利用圖結構的能力，該基準包含了來自經典圖理論的多個任務，以及來自現實領域的現有基準，所有這些都證明了我們模型的強大。通過這項工作，我們希望引導一些GNN研究轉向新的聚合方法，我們認為這對于尋找強大和健壯的模型至關重要。

//www.zhuanzhi.ai/paper/bee47b0e291d163fae01c

簡介

本文研究如何利用圖生成作為自監督任務來預訓練GNN。我們將圖的生成概率分解成兩個模塊：1）節點特征生成；2）圖結構生成。通過對這兩個模塊建模，GPT-GNN可以捕捉圖任務里特征與結構之間的關聯，從而不需要很多的標注數據就可達到很高的泛化性能。

背景：預訓練

機器學習的成功很大程度上取決于數據。但是，高質量的標記數據通常很昂貴且難以獲得，尤其是對于希望訓練參數較多的模型。而相對應的，我們卻可以很容易地獲取大量的無標記數據，其數量可以是標記數據的數千倍。 例如，在社交網絡上進行異常檢測時，惡意帳戶的標注需要依賴于專家知識，數量較小，而整個網絡的規模卻可以達到十億規模。

為了解決標注數據較少，盡可能利用其無標注數據，一個常規的做法是自監督的預訓練(self-supervisedpre-training)。其目標是設計合理的自監督任務，從而使模型能從無標注數據里學得數據的信息，作為初始化遷移到下游任務中。由于目標任務中很多的知識已經在預訓練中學到，因此通過預訓練，我們只需要非常少量的標注數據，就能得到較好的泛化性能。

在NLP領域，BERT及其變種的取得了巨大的成功，證明了語言模型作為一個自監督任務，可以幫助訓練非常深的Transformer模型，以捕捉語言的底層知識，如語法、句法、詞義等。同樣，在CV領域，最近的工作如SimCLR也顯示出通過對比學習(Contrastive Learning) 對ResNet進行預訓練也可以顯著提升泛化性能。這些成功表明，無標注數據本身包含豐富的語義知識，因此如果通過預訓練可以使模型能捕捉無標注數據的分布，就能作為初始化幫助一系列下游任務。

受到這些工作的啟發，我們思考能否將預訓練的想法運用到圖數據分析中。本工作就致力于預訓練圖神經網絡，以期GNN能夠學習到圖數據的結構和特征信息，從而能幫助標注數據較少的下游任務。

GPT-GNN模型

要在圖數據上做預訓練，第一個問題是：如何設計合適的無監督學習任務？

本工作提出用生成模型來對圖分布進行建模，即逐步預測出一個圖中一個新節點會有哪些特征、會和圖中哪些節點相連。

由于我們想同時捕獲屬性和結構信息，因此需要將每個節點的條件生成概率分解為兩項，特征生成與圖結構生成。對每一個節點，我們會先掩蓋其特征及部分邊，僅提供剩下的部分作為已經觀測到的邊。

在第一步中，我們將通過已經觀測到的邊，預測該節點的特征，

在第二步中，我們將通過已經觀測到的邊，以及預測出的特征，來預測剩下的邊。

我們可以寫出對應的分解表達式。從理論上，這個目標的期望等同于整個圖的生成概率。

為了并行高效地計算每個節點的loss，避免信息泄露（如節點特征預測的時候如何避免看到該節點自己的輸入特征），以及處理大圖和增加負樣本采樣的準確性，我們做了很多的模型設計。詳見文章。

實驗

我們在兩個大規模異構網絡和一個同構網絡上進行了實驗。

第一個異構圖是MicrosoftAcademic Graph（OAG），其中包含超過2億個節點和23億條邊。另一個是AmazonRecommendation數據集。

總體而言，我們提出的GPT-GNN在不同的實驗設定下顯著提高下游任務的性能，平均能達到9.1％的性能提升。

我們還評估了在不同百分比的標記數據下，GPT-GNN是否依然能取得提升。我們可以看到，使用GPT預訓練時，僅使用20％標簽數據的模型性能就會比使用100％數據進行直接監督學習的模型性能更高。這顯示了預訓練的有效性，尤其是在標簽稀缺時。

在多標簽文本分類(MLTC)中，一個樣本可以屬于多個類。可以看出，在大多數MLTC任務中，標簽之間存在依賴關系或相互關系。現有的方法往往忽略了標簽之間的關系。本文提出了一種基于圖的注意力網絡模型來捕獲標簽間的注意依賴結構。圖注意力網絡使用一個特征矩陣和一個相關矩陣來捕獲和探索標簽之間的關鍵依賴關系，并為任務生成分類器。將生成的分類器應用于文本特征提取網絡(BiLSTM)獲得的句子特征向量，實現端到端訓練。注意力允許系統為每個標簽分配不同的權值給相鄰節點，從而允許系統隱式地學習標簽之間的依賴關系。在5個實際的MLTC數據集上驗證了模型的結果。與以往的先進模型相比，該模型具有相似或更好的性能。

1、 Adversarial Graph Embedding for Ensemble Clustering

作者：Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要：Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區（consensus partition）中，但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2）獲得具有可學習圖表示的共識分區（consensus partition）仍未得到充分研究。在本文中，我們提出了一種新穎的對抗圖自動編碼器（AGAE）模型，將集成聚類結合到深度圖嵌入過程中。具體地，采用圖卷積網絡作為概率編碼器，將特征內容信息與共識圖信息進行聯合集成，并使用簡單的內積層作為解碼器，利用編碼的潛變量（即嵌入表示）重建圖。此外，我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗，證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。

網址：//www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者：Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要：Attributed Graph聚類是一項具有挑戰性的工作，它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明，圖卷積能夠有效地將結構信息和內容信息結合起來，近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而，對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能，人們的了解有限。現有的方法本質上是利用固定低階的圖卷積，只考慮每個節點幾跳內的鄰居，沒有充分利用節點關系，忽略了圖的多樣性。本文提出了一種自適應圖卷積方法，利用高階圖卷積捕獲全局聚類結構，并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗，驗證了該方法的有效性。實驗結果表明，該方法與現有的方法相比具有較好的優越性。

網址：

3、Dynamic Hypergraph Neural Networks

作者：Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要：近年來，基于圖/超圖（graph/hypergraph）的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而，隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題，我們提出了一個動態超圖神經網絡框架（DHGNN），它由兩個模塊的堆疊層組成：動態超圖構造（DHG）和超圖卷積（HGC）。考慮到最初構造的超圖可能不適合表示數據，DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積，它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。

網址：

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者：Hogun Park and Jennifer Neville;

摘要：節點分類是關系機器學習中的一個重要問題。然而，在圖邊表示實體間交互的場景中(例如，隨著時間的推移)，大多數當前方法要么將交互信息匯總為鏈接權重，要么聚合鏈接以生成靜態圖。在本文中，我們提出了一種神經網絡結構，它可以同時捕獲時間和靜態交互模式，我們稱之為Temporal-Static-Graph-Net（TSGNet）。我們的主要觀點是，利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式)，可以提高節點分類的性能。在我們對節點分類任務的實驗中，與最先進的方法相比，TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比，TSGNet的分類錯誤減少了24%，平均減少了10%。

網址：

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者：Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要：事件在現實世界中實時發生，可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而，由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構，挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯，并構建了一個基于事件的異構信息網絡(HIN)，該網絡融合了外部知識庫中的信息，提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例，并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗，比較各種社會事件檢測和聚類任務。實驗結果表明，我們提出的框架優于其他可選的社會事件分類技術。

網址：

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者：Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要：基于會話的推薦旨在預測用戶基于匿名會話的下一步行動，是許多在線服務（比如電子商務，媒體流）中的關鍵任務。近年來，在不使用遞歸網絡和卷積網絡的情況下，自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而，SAN缺乏存在于相鄰商品上的本地依賴關系，并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN)，用于基于會話的推薦。在GC-SAN中，我們動態地為會話序列構造一個圖結構，并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后，每個會話通過應用自注意力機制學習長期依賴關系。最后，每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明，GC-SAN始終優于最先進的方法。

網址：

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者：Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要：基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而，彌補模態差異，進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法，該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成：語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程，即學生模塊，用于語義信息的挖掘。此外，利用GCN研究數據點之間的內在相似性結構，有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明，所提出的GCH方法優于最先進的方法。

網址：