亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著深度學習的成功，基于圖神經網絡（GNN）的方法[8，12，30]已經證明了它們在分類節點標簽方面的有效性。大多數GNN模型采用消息傳遞策略[7]：每個節點從其鄰域聚合特征，然后將具有非線性激活的分層映射函數應用于聚合信息。這樣，GNN可以在其模型中利用圖結構和節點特征信息。

然而，這些神經模型的預測缺乏透明性，人們難以理解[36]，而這對于與安全和道德相關的關鍵決策應用至關重要[5]。此外，圖拓撲、節點特征和映射矩陣的耦合導致復雜的預測機制，無法充分利用數據中的先驗知識。例如，已有研究表明，標簽傳播法采用上述同質性假設來表示的基于結構的先驗，在圖卷積網絡（GCN）[12]中沒有充分使用[15,31]。

作為證據，最近的研究提出通過添加正則化[31]或操縱圖過濾器[15，25]將標簽傳播機制納入GCN。他們的實驗結果表明，通過強調這種基于結構的先驗知識可以改善GCN。然而，這些方法具有三個主要缺點：（1）其模型的主體仍然是GNN，并阻止它們進行更可解釋的預測；（2）它們是單一模型而不是框架，因此與其他高級GNN架構不兼容；（3）他們忽略了另一個重要的先驗知識，即基于特征的先驗知識，這意味著節點的標簽完全由其自身的特征確定。

為了解決這些問題，我們提出了一個有效的知識蒸餾框架，以將任意預訓練的GNN教師模型的知識注入精心設計的學生模型中。學生模型是通過兩個簡單的預測機制構建的，即標簽傳播和特征轉換，它們自然分別保留了基于結構和基于特征的先驗知識。具體來說，我們將學生模型設計為參數化標簽傳播和基于特征的2層感知機（MLP）的可訓練組合。另一方面，已有研究表明，教師模型的知識在于其軟預測[9]。通過模擬教師模型預測的軟標簽，我們的學生模型能夠進一步利用預訓練的GNN中的知識。因此，學習的學生模型具有更可解釋的預測過程，并且可以利用GNN和基于結構/特征的先驗知識。我們的框架概述如圖1所示。 圖片

圖1：我們的知識蒸餾框架的示意圖。學生模型的兩種簡單預測機制可確保充分利用基于結構/功能的先驗知識。在知識蒸餾過程中，將提取GNN教師中的知識并將其注入學生。因此，學生可以超越其相應的老師，得到更有效和可解釋的預測。

我們在五個公共基準數據集上進行了實驗，并采用了幾種流行的GNN模型，包括GCN[12]、GAT[30]、SAGE[8]、APPNP[13]、SGC[33]和最新的深層GCN模型GCNII[4]作為教師模型。實驗結果表明，就分類精度而言，學生模型的表現優于其相應的教師模型1.4％-4.7％。值得注意的是，我們也將框架應用于GLP[15]，它通過操縱圖過濾器來統一GCN和標簽傳播。結果，我們仍然可以獲得1.5％-2.3％的相對改進，這表明了我們框架的潛在兼容性。此外，我們通過探究參數化標簽傳播與特征轉換之間的可學習平衡參數以及標簽傳播中每個節點的可學習置信度得分，來研究學生模型的可解釋性。總而言之，改進是一致，并且更重要的是，它具有更好的可解釋性。

本文的貢獻總結如下：

• 我們提出了一個有效的知識蒸餾框架，以提取任意預訓練的GNN模型的知識，并將其注入學生模型，以實現更有效和可解釋的預測。
• 我們將學生模型設計為參數化標簽傳播和基于特征的兩層MLP的可訓練組合。因此，學生模型有一個更可解釋的預測過程，并自然地保留了基于結構/特征的先驗。因此，學習的學生模型可以同時利用GNN和先驗知識。
• 五個基準數據集和七個GNN教師模型上的實驗結果表明了我們的框架有效性。對學生模型中學習權重的廣泛研究也說明了我們方法的可解釋性。

圖神經網絡（GNNs）在各種圖分析任務中得到了廣泛的關注，設計良好的消息傳播機制是GNNs中最基本的組成部分，并且被證明是十分有效的。雖然傳播機制多種多樣，但基本上都是以沿網絡拓撲傳播聚合節點特征的方式來利用拓撲與特征這兩種信息的。鑒于此，一個問題自然會被提出：盡管不同圖神經網絡有不同的傳播策略，是否存在統一的數學準則，能夠從本質上指導著不同的傳播機制？如果有的話，是什么？對這個問題較為完善的回答，可以幫助我們從宏觀的角度考察不同圖神經網絡之間的關系與差異。這樣的數學準則一旦被發現，就能夠幫助我們發現現有圖神經網絡的不足之處，進而激發更多新的圖神經網絡被設計出來。

本文中，我們首先分析了幾個具有代表性的圖神經網絡（例如GCN，SGC，PPNP）的傳播過程，并抽象出他們的共性。我們發現它們均可以歸結到一個統一的優化目標框架下，該優化目標由一個帶有靈活圖卷積核的特征擬合約束項和一個圖拉普拉斯正則項組成。特征擬合約束項旨在建立節點表示與原始節點特征之間的關系，而圖拉普拉斯正則項則起到拓撲平滑特征的作用。而對應圖神經網絡傳播后的節點表示則可以隱式地看做這個統一優化目標的最優解。

同時，基于該統一優化目標框架也較容易發現現有圖神經網絡傳播策略的不足之處，為設計新的圖神經網絡也提供了機會。通常來說，設計新的圖神經網絡往往側重于設計特定的譜圖濾波器或者空域聚合策略，而該統一框架為實現這一目標提供了另一種新的途徑，即通過設計傳播過程對應的優化目標函數來得到新的GNNs。這樣，我們就能夠清楚地知道傳播過程背后的優化目標，使新設計的圖神經網絡更具有可解釋性和可靠性。

本文的主要貢獻總結如下：

提出了一個包含特征擬合項與圖正則化項的統一優化目標框架，并從理論上證明了該框架能夠解釋多個圖神經網絡的傳播策略，為理解圖神經網絡提供了一個較宏觀的視角，也為設計新的圖神經網絡帶來新思路。 基于該統一優化框架，我們設計了兩種具有靈活圖卷積核擬合項的圖神經網絡傳播目標，并給出相應的網絡模型。同時對他們的收斂性，表達能力等進行了理論分析。 我們在六個數據集上驗證了提出兩種圖神經網絡模型的效果，實驗也表明他們具有較好的緩解過平滑的能力。這進一步驗證了基于該統一框架設計新圖神經網絡的可行性。

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

圖神經網絡具有很強的圖表示學習能力，在各種實際應用中取得了巨大的成功。GNN通過聚集和轉換節點鄰域內的信息來探索圖的結構和節點特征。但是，通過理論和實證分析，我們發現GNN的聚集過程會破壞原始特征空間中的節點相似性。在許多場景中，節點相似性起著關鍵作用。因此，本文提出的SimP-GCN框架可以在利用圖結構的同時有效地保持節點相似性。具體地說，為了平衡圖結構和節點特征信息，我們提出了一種自適應地集成圖結構和節點特征的特征相似性保持聚合。此外，我們使用自監督學習來顯式地捕捉復雜特征之間的相似性和差異性關系。在包括3個同選型圖和4個異選型圖的7個基準數據集上驗證了SimP-GCN的有效性。結果表明SimP-GCN優于代表性基線。進一步的研究顯示了所提議的框架的各種優點。

//arxiv.org/abs/2011.09643

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

【導讀】CIKM 2019 (International Conference on Information and Knowledge Management)，今年會議主題是 "AI for Future Life"。CIKM是數據庫、數據挖掘與內容檢索領域的旗艦會議。CIKM 2019共計收到1030篇長文有效投稿，其中200篇論文被大會錄用，總錄用率約19.4%。圖神經網絡（GNN）相關的論文依然很火爆，小編在官網上查看了，CIKM專門有專題，大約10篇長文接受為GNN專題論文。為此，專知小編提前為大家篩選了六篇GNN 長文論文供參考和學習！

1. Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction

作者：Zekun Li，Zeyu Cui，Shu Wu，Xiaoyu Zhang，Liang Wang；

摘要：點擊率（CTR）預測是在線廣告和推薦系統等網絡應用中的一項重要任務，其特點是多領域的。該任務的關鍵是對不同特征field之間的特征交互進行建模。最近提出的基于深度學習的模型遵循了一種通用的范式：首先將原始的稀疏輸入multi-filed特征映射到密集的field嵌入向量中，然后簡單地將其連接到深度神經網絡(DNN)或其他專門設計的網絡中，以學習高階特征交互。然而，特征field的簡單非結構化組合將不可避免地限制以足夠靈活和顯式的方式建模不同field之間復雜交互的能力。 在這項工作中，我們提出在一個圖結構中直觀地表示multi-field的特征，其中每個節點對應一個特征field，不同的field可以通過邊進行交互。因此，建模特征交互的任務可以轉換為對相應圖上的節點交互進行建模。為此，我們設計了一個新的模型-Feature Interaction Graph Neural Networks (Fi-GNN)。利用圖的強表征性，我們的模型不僅可以靈活、明確地對復雜的特征交互進行建模，而且可以為CTR預測提供良好的模型解釋。在兩個真實數據集上的實驗結果顯示了它的優越性。

網址： //www.zhuanzhi.ai/paper/4d6897c6a057a33539d3e6758c223a9c

2、Graph Convolutional Networks with Motif-based Attention

作者：John Boaz Lee，Ryan A. Rossi，Xiangnan Kong，Sungchul Kim，Eunyee Koh，Anup Rao；

摘要：深度卷積神經網絡在計算機視覺和語音識別領域的成功，使得研究人員開始研究該體系結構對圖結構數據的泛化。最近提出的一種稱為圖卷積網絡的方法能夠在節點分類方面取得最新的成果。然而，由于所提出的方法依賴于spectral圖卷積的局部一階近似，因此無法捕獲圖中節點間的高階相互作用。在這項工作中，我們提出了一個motif-based的圖注意力模型，稱為Motif Convolutional Networks，它通過使用加權多跳motif鄰接矩陣來捕獲高階鄰域，從而泛華了過去的方法。一個新的注意力機制被用來允許每個單獨的節點選擇最相關的鄰居來應用它的過濾器。我們在不同領域(社會網絡和生物信息學)的圖上評估了我們的方法，結果表明它能夠在半監督節點分類任務上勝過一組有競爭力的基準方法。其他結果證明了attention的有用性，表明不同的節點對不同的高階鄰域進行了優先排序。

網址：

3. Gravity-Inspired Graph Autoencoders for Directed Link Prediction

作者：Guillaume Salha，Stratis Limnios，Romain Hennequin，Viet Anh Tran，Michalis Vazirgian；

摘要：圖自編碼器(AE)和變分自編碼器(VAE)是近年來出現的強有力的節點嵌入方法。特別是利用圖AE和VAE成功地解決了具有挑戰性的鏈路預測問題，目的是找出圖上的一些節點對是否被未觀察到的邊所連接。然而，這些模型側重于無向圖，因此忽略了鏈接的潛在方向，這限制了許多實際應用程序。在本文中，我們擴展了graph AE和VAE框架來解決有向圖中的鏈路預測問題。我們提出了一種新的gravity-inspired的解碼器方案，可以有效地從節點嵌入中重建有向圖。我們對標準graph AE和VAE表現較差的三種不同定向鏈路預測任務進行了實證評價。我們在三個真實世界的圖上獲得了具有競爭力的結果，超過了幾個流行的baseline。

網址：

4、Hashing Graph Convolution for Node Classification

作者：Wenting Zhao, Zhen Cui, Chunyan Xu, Chengzheng Li, Tong Zhang，Jian Yang；

摘要：圖數據卷積在non-gridded數據中的應用引起了人們的極大興趣。為了克服相鄰節點的排序和數量的影響，在以往的研究中，往往對局部接受域進行summing/average diffusion/aggregation。然而，這種壓縮成一個節點的方法容易造成節點間的signal entanglement，導致次優特征信息，降低了節點的可分辨性。針對這一問題，本文提出了一種簡單而有效的哈希圖卷積(HGC)方法，該方法通過在節點聚合中使用全局哈希和局部投影來進行節點分類。與傳統的完全collision聚合相比，hash-projection可以大大降低相鄰節點聚合時的collision概率。我們認為基于hash-projection的方法可以更好地保持甚至增加局部區域的原始差異，并得到進一步的改進。hash-projection的另一個附帶效果是將每個節點的接受域歸一化為一個共同大小的bucket空間，不僅避免了大小不同的鄰居節點及其順序的麻煩，而且使圖卷積運行起來就像標準的shape-girded卷積一樣。考慮到訓練樣本較小，我們在HGC中引入預測一致性正則化項來約束圖中未標記節點的得分一致性。HGC在transductive和inductive實驗環境下進行評估。在節點分類任務上的大量實驗表明，hash-projection確實可以提高性能，我們的HGC在所有實驗數據集上都取得了最新最好的結果。

網址：

5、Learning to Identify High Betweenness Centrality Nodes from Scratch: A Novel Graph Neural Network Approach

作者：Changjun Fan，Li Zeng，Yuhui Ding，Muhao Chen，Yizhou Sun，Zhong Liu；

摘要： Betweenness centrality (BC)是網絡分析中廣泛使用的一種中心性度量，它試圖通過最短路徑的比例來描述網絡中節點的重要性。它是許多有價值的應用的關鍵，包括社區檢測和網絡拆除。由于時間復雜度高，在大型網絡上計算BC分數在計算上具有挑戰性。許多基于采樣的近似算法被提出以加速BC的估計。然而，這些方法在大規模網絡上仍然需要相當長的運行時間，并且它們的結果對網絡的微小擾動都很敏感。 在這篇論文中，我們主要研究如何有效識別圖中BC最高的top k節點，這是許多網絡應用程序所必須完成的任務。與以往的啟發式方法不同，我們將該問題轉化為一個學習問題，并設計了一個基于encoder-decoder的框架作為解決方案。具體來說，encoder利用網絡結構將每個節點表示為一個嵌入向量，該嵌入向量捕獲節點的重要結構信息。decoder將每個嵌入向量轉換成一個標量，該標量根據節點的BC來標識節點的相對rank。我們使用pairwise ranking損失來訓練模型，以識別節點的BC順序。通過對小規模網絡的訓練，該模型能夠為較大網絡的節點分配相對BC分數，從而識別出高排名的節點。在合成網絡和真實世界網絡上的實驗表明，與現有的baseline相比，我們的模型在沒有顯著犧牲準確性的情況下大大加快了預測速度，甚至在幾個大型真實世界網絡的準確性方面超過了最先進的水平。

網址：

6、Relation-Aware Graph Convolutional Networks for Agent-Initiated Social E-Commerce Recommendation

作者：Fengli Xu，Jianxun Lian，Zhenyu Han，Yong Li，Yujian Xu，Xing Xie；

摘要：近年來，agent-initiated社交電子商務模式取得了巨大的成功，這種模式鼓勵用戶成為銷售代理商，通過他們的社交關系來推廣商品。這種類型的社交電子商務中的復雜交互可以表述為異構信息網絡(HIN)，其中三種節點之間的關系有多種類型，分別為用戶、銷售代理和商品。學習高質量的節點嵌入是研究的重點，圖卷積網絡(GCNs)是近年來發展起來的最先進的表示學習方法。然而，現有的GCN模型在建模異構關系和有效地從大量鄰域中采樣相關接收域方面都存在基本的局限性。為了解決這些問題，我們提出了RecoGCN(a RElation-aware CO-attentive GCN model)來有效地聚合HIN中的異構特征。它彌補了目前GCN在使用關系感知聚合器建模異構關系方面的局限性，并利用語義感知元路徑為每個節點開辟簡潔和相關的接受域。為了有效地融合從不同元路徑中學習到的嵌入，我們進一步提出了一種co-attentive機制，通過關注用戶、銷售代理和商品之間的三種交互來動態地為不同的元路徑分配重要性權重。在真實數據集上的大量實驗表明，RecoGCN能夠學習HIN中有意義的節點嵌入，并且在推薦任務中始終優于baseline方法。

網址：