亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

數據孤島以及模型訓練和應用過程中的隱私泄露是當下阻礙人工智能技術發展的主要難題。聯邦學習作為一種高效的隱私保護手段應運而生。聯邦學習是一種分布式的機器學習方法，以在不直接獲取數據源的基礎上，通過參與方的本地訓練與參數傳遞，訓練出一個無損的學習模型。但聯邦學習中也存在較多的安全隱患。本文著重分析了聯邦學習中的投毒攻擊、對抗攻擊以及隱私泄露三種主要的安全威脅，針對性地總結了最新的防御措施，并提出了相應的解決思路。

近年來, 隨著海量數據的涌現, 可以表示對象之間復雜關系的圖結構數據越來越受到重視并給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用于諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基于空間方法的圖神經網絡模型、基于譜方法的圖神經網絡模型和基于生成方法的圖神經網絡模型等,并提出可供未來進一步研究的問題.

//engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

圖是對對象及其相互關系的一種簡潔抽象的直觀數學表達. 具有相互關系的數據—圖結構數據在眾多領域普遍存在, 并得到廣泛應用. 隨著大量數據的涌現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方面有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵復雜特征和 實現對海量數據的快速處理等方面, 例如, 預測化學分子的特性 [1]、文本的關系提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.

圖神經網絡的概念最早于 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用于處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此后, 陸續有關于圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.

目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重于將所述各種方法置于一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 并根據發展歷史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 并將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 并總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.

本文將對圖神經網絡模型的理論及應用進行綜述, 并討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在于, 我們給出新的分類標準, 并且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基于空間方法的圖神經網絡、基于譜方法的圖神經網絡和基于生成方法的圖神經網絡等; 然后介紹模型在節點分類、鏈路預測和圖生成等方面的應用; 最后提出未來的研究方向.

主題： TIMME-Twitter Ideology-detection via Multi-task Multi-relational Embedding

摘要： 跨平臺帳戶匹配在社交網絡分析中起著重要作用，并且有利于廣泛的應用。但是，現有方法要么嚴重依賴高質量的用戶生成內容（包括用戶配置文件），要么遭受數據不足的問題為了解決這一問題，我們提出了一種新穎的框架，該框架同時考慮了本地網絡結構和超圖結構上的多級圖卷積。所提出的方法克服了現有工作的數據不足的問題，并且不必依賴于用戶人口統計信息。此外，為了使所提出的方法能夠處理大規模社交網絡，我們提出了一種兩階段空間調節機制，以在基于網絡分區的并行訓練和不同社交網絡上的帳戶匹配中對齊嵌入空間。在兩個大型的現實生活社交網絡上進行了廣泛的實驗。實驗結果表明，所提出的方法在很大程度上優于最新模型。

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：

數據挖掘領域的國際會議WSDM將于2020年2月3日-2月7日在美國休斯敦召開，WSDM 2020全稱為第13屆國際互聯網搜索與數據挖掘會議（The 13th International Conference on Web Search and Data Mining, WSDM 2020）。WSDM是CCF推薦的B類國際學術會議，由SIGIR、SIGKDD、SIGMOD和SIGWEB四個專委會協調籌辦，在互聯網搜索、數據挖掘領域享有較高學術聲譽。這次會議共收到來自615篇長文投稿，僅有91篇長文被錄用，錄用率約15%。

為此小編特意整理了近期五篇圖神經網絡（GNN）相關的接收論文，讓大家先睹為快。

1. A Structural Graph Representation Learning Framework

作者：Ryan A. Rossi, Nesreen K. Ahmed, Eunyee Koh, Sungchul Kim, Anup Rao and Yasin Abbasi-Yadkori;

摘要：許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入，而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中，我們闡述了高階網絡表示學習，并提出了一個稱為HONE的通用框架，用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法，該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外，HONE被證明是快速和有效的，最壞情況下的時間復雜度幾乎是線性的。實驗結果表明，該算法能有效地處理大量的網絡日志數據，包括鏈接預測和visitor stitching。

網址： //ryanrossi.com/pubs/WSDM20-structural-node-embedding-framework.pdf

2. Initialization for Network Embedding: A Graph Partition Approach

作者：Wenqing Lin, Feng He, Faqiang Zhang, Xu Cheng and Hongyun Cai;

摘要：網絡嵌入已經在文獻中得到了深入的研究，并廣泛用于各種應用中，如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制，但常常忽略了學習過程中對初始化策略的討論。在這項工作中，我們解決了這個重要的網絡嵌入初始化問題，它可以顯著地提高算法的有效性和效率。具體來說，我們首先利用graph partition技術將圖劃分為幾個不相交的子集，然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入，得到圖中每個節點的嵌入初始化，abstract graph上的網絡嵌入比輸入圖小得多，然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗，我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能，分別提高了7.76%和8.74%。此外，我們證明了初始化技術至少減少了20%的運行時間。

網址：

3. Dynamic graph representation learning via self-attention networks

作者：Aravind Sankar, Yanhong Wu, Liang Gou, Wei Zhang and Hao Yang;

摘要：學習圖中節點的潛在表示是一項重要且普遍存在的任務，在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上，而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中，我們提出了Dynamic Self-Attention Network (DySAT)，這是一種新型的神經架構，它操作在動態圖上，并學習節點表示，以捕捉結構特性和時間演化模式。具體來說，DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗：通信網絡和二分評級網絡。我們的實驗結果表明，DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。

網址：

4. Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

作者：Carl Yang, Jieyu Zhang, Haonan Wang, Sha Li, Myungwan Kim, Ma? Walker, Yiou Xiao and Jiawei Han;

摘要：盡管節點語義已在社交網絡中得到了廣泛的探索，但對邊緣語義即社會關系的研究很少受到關注。理想的邊緣語義不僅應該顯示兩個用戶是連接的，而且還應該說明他么為什么彼此認識以及共享什么。然而，由于嘈雜的多模態信號和有限的用戶生成的ground-truth標簽，社交網絡中的關系往往很難分析。

在這項工作中，我們的目標是開發一個統一的且有原則的框架，通過在有噪聲和不完整數據存在的情況下整合多模態信號，將用戶關系描述為社交網絡中的邊緣語義。我們的框架對于半監督或無監督的情況也是靈活的。具體地說，我們假定每個用戶鏈接下的多個關系的潛在分布，并使用多模態圖邊緣變分自動編碼器來學習它們。我們用一個圖卷積網絡對網絡數據進行編碼，用多個重構網絡對任意信號進行解碼。在兩個公開的DBLP author network和兩個internal LinkedIn member network上的大量實驗和案例研究證明了我們提出的模型的優越性和有效性。

網址：

5. Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning

作者：Xianfeng Tang, Yandong Li, Yiwei Sun, Huaxiu Yao, Prasenjit Mitra and Suhang Wang;

摘要：圖神經網絡(GNNs)有著廣泛的應用。然而，他們在對抗攻擊的魯棒性方面是不行的。先前的研究表明，對圖拓撲或節點特征使用不明顯的修改會大大降低GNN的性能。設計強大的圖神經網絡以防止poisoning attack是一項非常具有挑戰性的工作。現有工作的目標是僅使用poisoned圖來減少adversarial edge的負面影響，這是次優的，因為它們無法區分adversarial edge和normal edge。另一方面，來自與目標poisoned圖類似領域的clean圖在現實世界中通常是可用的。通過擾動這些clean圖，我們創建了監督知識來訓練檢測adversarial edge的能力，從而提高了GNN的魯棒性。然而，現有的工作忽略了這種clean圖的潛力。為此，我們研究了一個新的問題，通過研究clean圖來提高GNNs對poisoning attack的魯棒性。具體而言，我們提出了PA-GNN，它基于一種懲罰性聚合機制，通過分配較低的注意力系數來直接限制adversarial edge的負面影響。為了優化一個poisoned圖的PA-GNN，我們設計了一種meta-optimization算法，訓練PA-GNN使用clean圖和其adversarial圖懲罰擾動，并將這種能力遷移到poisoned圖上，以提高PA-GNN的魯棒性。在四個真實數據集上的實驗結果證明了PA-GNN對圖數據poisoning attack的魯棒性。

網址：

論文鏈接： 提取碼：uzby

1、Approximation Ratios of Graph Neural Networks for Combinatorial Problems

作者：Ryoma Sato， Makoto Yamada， Hisashi Kashima;

摘要：本文從理論的角度研究了圖神經網絡(GNNs)在學習組合問題近似算法中的作用。為此，我們首先建立了一個新的GNN類，它可以嚴格地解決比現有GNN更廣泛的問題。然后，我們彌合了GNN理論和分布式局部算法理論之間的差距，從理論上證明了最強大的GNN可以學習最小支配集問題的近似算法和具有一些近似比的最小頂點覆蓋問題比率，并且沒有GNN可以執行比這些比率更好。本文首次闡明了組合問題中GNN的近似比。此外，我們還證明了在每個節點特征上添加著色或弱著色可以提高這些近似比。這表明預處理和特征工程在理論上增強了模型的能力。

網址：//www.zhuanzhi.ai/paper/9cad40c81920dfd71fa91e4ddf778616

2、D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

作者：Muhan Zhang, Shali Jiang, Zhicheng Cui, Roman Garnett, Yixin Chen;

摘要：圖結構數據在現實世界中是豐富的。在不同的圖類型中，有向無環圖(DAG)是機器學習研究人員特別感興趣的，因為許多機器學習模型都是通過DAG上的計算來實現的，包括神經網絡和貝葉斯網絡。本文研究了DAG的深度生成模型，提出了一種新的DAG變分自編碼器(D-VAE)。為了將DAG編碼到潛在空間中，我們利用了圖神經網絡。我們提出了一個異步消息傳遞方案，它允許在DAG上編碼計算，而不是使用現有的同步消息傳遞方案來編碼局部圖結構。通過神經結構搜索和貝葉斯網絡結構學習兩項任務驗證了該方法的有效性。實驗表明，該模型不僅生成了新穎有效的DAG，還可以生成平滑的潛在空間，有助于通過貝葉斯優化搜索具有更好性能的DAG。

網址：

3、End to end learning and optimization on graphs

作者：Bryan Wilder, Eric Ewing, Bistra Dilkina, Milind Tambe;

摘要：在實際應用中，圖的學習和優化問題常常結合在一起。例如，我們的目標可能是對圖進行集群，以便檢測有意義的社區(或者解決其他常見的圖優化問題，如facility location、maxcut等)。然而，圖或相關屬性往往只是部分觀察到，引入了一些學習問題，如鏈接預測，必須在優化之前解決。我們提出了一種方法，將用于常見圖優化問題的可微代理集成到用于鏈接預測等任務的機器學習模型的訓練中。這允許模型特別關注下游任務，它的預測將用于該任務。實驗結果表明，我們的端到端系統在實例優化任務上的性能優于將現有的鏈路預測方法與專家設計的圖優化算法相結合的方法。

網址：

4、Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

作者：Simon S. Du, Kangcheng Hou, Barnabás Póczos, Ruslan Salakhutdinov, Ruosong Wang, Keyulu Xu;

摘要：雖然圖內核(graph kernel，GK)易于訓練并享有可證明的理論保證，但其實際性能受其表達能力的限制，因為內核函數往往依賴于圖的手工組合特性。與圖內核相比，圖神經網絡通常具有更好的實用性能，因為圖神經網絡使用多層結構和非線性激活函數來提取圖的高階信息作為特征。然而，由于訓練過程中存在大量的超參數，且訓練過程具有非凸性，使得GNN的訓練更加困難。GNN的理論保障也沒有得到很好的理解。此外，GNN的表達能力隨參數的數量而變化，在計算資源有限的情況下，很難充分利用GNN的表達能力。本文提出了一類新的圖內核，即圖神經切線核(GNTKs)，它對應于通過梯度下降訓練的無限寬的多層GNN。GNTK充分發揮了GNN的表現力，繼承了GK的優勢。從理論上講，我們展示了GNTK可以在圖上學習一類平滑函數。根據經驗，我們在圖分類數據集上測試GNTK并展示它們實現了強大的性能。

網址：

5、HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

作者：Naganand Yadati, Madhav Nimishakavi, Prateek Yadav, Vikram Nitin, Anand Louis, Partha Talukdar;

摘要：在許多真實世界的網絡數據集中，如co-authorship、co-citation、email communication等，關系是復雜的，并且超越了成對關聯。超圖（Hypergraph）提供了一個靈活而自然的建模工具來建模這種復雜的關系。在許多現實世界網絡中，這種復雜關系的明顯存在，自然會激發使用Hypergraph學習的問題。一種流行的學習范式是基于超圖的半監督學習(SSL)，其目標是將標簽分配給超圖中最初未標記的頂點。由于圖卷積網絡(GCN)對基于圖的SSL是有效的，我們提出了HyperGCN，這是一種在超圖上訓練用于SSL的GCN的新方法。我們通過對真實世界超圖的詳細實驗證明HyperGCN的有效性，并分析它何時比最先進的baseline更有效。

網址：

6、Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

作者：Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín, Ian Reid, S. Hamid Rezatofighi, Silvio Savarese;

摘要：從自動駕駛汽車和社交機器人的控制到安全監控，預測場景中多個交互主體的未來軌跡已成為許多不同應用領域中一個日益重要的問題。這個問題由于人類之間的社會互動以及他們與場景的身體互動而變得更加復雜。雖然現有的文獻探索了其中的一些線索，但它們主要忽略了每個人未來軌跡的多模態性質。在本文中，我們提出了一個基于圖的生成式對抗網絡Social-BiGAT，它通過更好地建模場景中行人的社交互來生成真實的多模態軌跡預測。我們的方法是基于一個圖注意力網絡(GAT)學習可靠的特征表示(編碼場景中人類之間的社會交互)，以及一個反方向訓練的循環編解碼器體系結構(根據特征預測人類的路徑)。我們明確地解釋了預測問題的多模態性質，通過在每個場景與其潛在噪聲向量之間形成一個可逆的變換，就像在Bicycle-GAN中一樣。我們表明了，與現有軌跡預測基準的幾個baseline的比較中，我們的框架達到了最先進的性能。

網址：

7、Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

作者：Hongteng Xu, Dixin Luo, Lawrence Carin;

摘要：我們提出了一種可擴展的Gromov-Wasserstein learning (S-GWL) 方法，并建立了一種新的、理論支持的大規模圖分析范式。該方法基于Gromov-Wasserstein discrepancy，是圖上的偽度量。給定兩個圖，與它們的Gromov-Wasserstein discrepancy相關聯的最優傳輸提供了節點之間的對應關系，從而實現了圖的匹配。當其中一個圖具有獨立但自連接的節點時（即，一個斷開連接的圖），最優傳輸表明了其他圖的聚類結構，實現了圖的劃分。利用這一概念，通過學習多觀測圖的Gromov-Wasserstein barycenter圖，將該方法推廣到多圖的劃分與匹配; barycenter圖起到斷開圖的作用，因為它是學習的，所以聚類也是如此。該方法將遞歸K分割機制與正則化近似梯度算法相結合，對于具有V個節點和E條邊的圖，其時間復雜度為O(K(E+V) logk V)。據我們所知，我們的方法是第一次嘗試使Gromov-Wasserstein discrepancy適用于大規模的圖分析，并將圖的劃分和匹配統一到同一個框架中。它優于最先進的圖劃分和匹配方法，實現了精度和效率之間的平衡。

網址：

8、Universal Invariant and Equivariant Graph Neural Networks

作者：Nicolas Keriven, Gabriel Peyré;

摘要：圖神經網絡(GNN)有多種形式，但應該始終是不變的(輸入圖節點的排列不會影響輸出)或等變的(輸入的排列置換輸出)。本文考慮一類特殊的不變和等變網絡，證明了它的一些新的普適性定理。更確切地說，我們考慮具有單個隱藏層的網絡，它是通過應用等變線性算子、點態非線性算子和不變或等變線性算子形成的信道求和而得到的。最近，Maron et al. (2019b)指出，通過允許網絡內部的高階張量化，可以獲得通用不變的GNN。作為第一個貢獻，我們提出了這個結果的另一種證明，它依賴于實值函數代數的Stone-Weierstrass定理。我們的主要貢獻是將這一結果推廣到等變情況，這種情況出現在許多實際應用中，但從理論角度進行的研究較少。證明依賴于一個新的具有獨立意義的廣義等變函數代數Stone-Weierstrass定理。最后，與以往許多考慮固定節點數的設置不同，我們的結果表明，由一組參數定義的GNN可以很好地近似于在不同大小的圖上定義的函數。

網址：

【導讀】CIKM 2019 (International Conference on Information and Knowledge Management)，今年會議主題是 "AI for Future Life"。CIKM是數據庫、數據挖掘與內容檢索領域的旗艦會議。CIKM 2019共計收到1030篇長文有效投稿，其中200篇論文被大會錄用，總錄用率約19.4%。圖神經網絡（GNN）相關的論文依然很火爆，小編在官網上查看了，CIKM專門有專題，大約10篇長文接受為GNN專題論文。為此，專知小編提前為大家篩選了六篇GNN 長文論文供參考和學習！

1. Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction

作者：Zekun Li，Zeyu Cui，Shu Wu，Xiaoyu Zhang，Liang Wang；

摘要：點擊率（CTR）預測是在線廣告和推薦系統等網絡應用中的一項重要任務，其特點是多領域的。該任務的關鍵是對不同特征field之間的特征交互進行建模。最近提出的基于深度學習的模型遵循了一種通用的范式：首先將原始的稀疏輸入multi-filed特征映射到密集的field嵌入向量中，然后簡單地將其連接到深度神經網絡(DNN)或其他專門設計的網絡中，以學習高階特征交互。然而，特征field的簡單非結構化組合將不可避免地限制以足夠靈活和顯式的方式建模不同field之間復雜交互的能力。 在這項工作中，我們提出在一個圖結構中直觀地表示multi-field的特征，其中每個節點對應一個特征field，不同的field可以通過邊進行交互。因此，建模特征交互的任務可以轉換為對相應圖上的節點交互進行建模。為此，我們設計了一個新的模型-Feature Interaction Graph Neural Networks (Fi-GNN)。利用圖的強表征性，我們的模型不僅可以靈活、明確地對復雜的特征交互進行建模，而且可以為CTR預測提供良好的模型解釋。在兩個真實數據集上的實驗結果顯示了它的優越性。

網址： //www.zhuanzhi.ai/paper/4d6897c6a057a33539d3e6758c223a9c

2、Graph Convolutional Networks with Motif-based Attention

作者：John Boaz Lee，Ryan A. Rossi，Xiangnan Kong，Sungchul Kim，Eunyee Koh，Anup Rao；

摘要：深度卷積神經網絡在計算機視覺和語音識別領域的成功，使得研究人員開始研究該體系結構對圖結構數據的泛化。最近提出的一種稱為圖卷積網絡的方法能夠在節點分類方面取得最新的成果。然而，由于所提出的方法依賴于spectral圖卷積的局部一階近似，因此無法捕獲圖中節點間的高階相互作用。在這項工作中，我們提出了一個motif-based的圖注意力模型，稱為Motif Convolutional Networks，它通過使用加權多跳motif鄰接矩陣來捕獲高階鄰域，從而泛華了過去的方法。一個新的注意力機制被用來允許每個單獨的節點選擇最相關的鄰居來應用它的過濾器。我們在不同領域(社會網絡和生物信息學)的圖上評估了我們的方法，結果表明它能夠在半監督節點分類任務上勝過一組有競爭力的基準方法。其他結果證明了attention的有用性，表明不同的節點對不同的高階鄰域進行了優先排序。

網址：

3. Gravity-Inspired Graph Autoencoders for Directed Link Prediction

作者：Guillaume Salha，Stratis Limnios，Romain Hennequin，Viet Anh Tran，Michalis Vazirgian；

摘要：圖自編碼器(AE)和變分自編碼器(VAE)是近年來出現的強有力的節點嵌入方法。特別是利用圖AE和VAE成功地解決了具有挑戰性的鏈路預測問題，目的是找出圖上的一些節點對是否被未觀察到的邊所連接。然而，這些模型側重于無向圖，因此忽略了鏈接的潛在方向，這限制了許多實際應用程序。在本文中，我們擴展了graph AE和VAE框架來解決有向圖中的鏈路預測問題。我們提出了一種新的gravity-inspired的解碼器方案，可以有效地從節點嵌入中重建有向圖。我們對標準graph AE和VAE表現較差的三種不同定向鏈路預測任務進行了實證評價。我們在三個真實世界的圖上獲得了具有競爭力的結果，超過了幾個流行的baseline。

網址：

4、Hashing Graph Convolution for Node Classification

作者：Wenting Zhao, Zhen Cui, Chunyan Xu, Chengzheng Li, Tong Zhang，Jian Yang；

摘要：圖數據卷積在non-gridded數據中的應用引起了人們的極大興趣。為了克服相鄰節點的排序和數量的影響，在以往的研究中，往往對局部接受域進行summing/average diffusion/aggregation。然而，這種壓縮成一個節點的方法容易造成節點間的signal entanglement，導致次優特征信息，降低了節點的可分辨性。針對這一問題，本文提出了一種簡單而有效的哈希圖卷積(HGC)方法，該方法通過在節點聚合中使用全局哈希和局部投影來進行節點分類。與傳統的完全collision聚合相比，hash-projection可以大大降低相鄰節點聚合時的collision概率。我們認為基于hash-projection的方法可以更好地保持甚至增加局部區域的原始差異，并得到進一步的改進。hash-projection的另一個附帶效果是將每個節點的接受域歸一化為一個共同大小的bucket空間，不僅避免了大小不同的鄰居節點及其順序的麻煩，而且使圖卷積運行起來就像標準的shape-girded卷積一樣。考慮到訓練樣本較小，我們在HGC中引入預測一致性正則化項來約束圖中未標記節點的得分一致性。HGC在transductive和inductive實驗環境下進行評估。在節點分類任務上的大量實驗表明，hash-projection確實可以提高性能，我們的HGC在所有實驗數據集上都取得了最新最好的結果。

網址：

5、Learning to Identify High Betweenness Centrality Nodes from Scratch: A Novel Graph Neural Network Approach

作者：Changjun Fan，Li Zeng，Yuhui Ding，Muhao Chen，Yizhou Sun，Zhong Liu；

摘要： Betweenness centrality (BC)是網絡分析中廣泛使用的一種中心性度量，它試圖通過最短路徑的比例來描述網絡中節點的重要性。它是許多有價值的應用的關鍵，包括社區檢測和網絡拆除。由于時間復雜度高，在大型網絡上計算BC分數在計算上具有挑戰性。許多基于采樣的近似算法被提出以加速BC的估計。然而，這些方法在大規模網絡上仍然需要相當長的運行時間，并且它們的結果對網絡的微小擾動都很敏感。 在這篇論文中，我們主要研究如何有效識別圖中BC最高的top k節點，這是許多網絡應用程序所必須完成的任務。與以往的啟發式方法不同，我們將該問題轉化為一個學習問題，并設計了一個基于encoder-decoder的框架作為解決方案。具體來說，encoder利用網絡結構將每個節點表示為一個嵌入向量，該嵌入向量捕獲節點的重要結構信息。decoder將每個嵌入向量轉換成一個標量，該標量根據節點的BC來標識節點的相對rank。我們使用pairwise ranking損失來訓練模型，以識別節點的BC順序。通過對小規模網絡的訓練，該模型能夠為較大網絡的節點分配相對BC分數，從而識別出高排名的節點。在合成網絡和真實世界網絡上的實驗表明，與現有的baseline相比，我們的模型在沒有顯著犧牲準確性的情況下大大加快了預測速度，甚至在幾個大型真實世界網絡的準確性方面超過了最先進的水平。

網址：

6、Relation-Aware Graph Convolutional Networks for Agent-Initiated Social E-Commerce Recommendation

作者：Fengli Xu，Jianxun Lian，Zhenyu Han，Yong Li，Yujian Xu，Xing Xie；

摘要：近年來，agent-initiated社交電子商務模式取得了巨大的成功，這種模式鼓勵用戶成為銷售代理商，通過他們的社交關系來推廣商品。這種類型的社交電子商務中的復雜交互可以表述為異構信息網絡(HIN)，其中三種節點之間的關系有多種類型，分別為用戶、銷售代理和商品。學習高質量的節點嵌入是研究的重點，圖卷積網絡(GCNs)是近年來發展起來的最先進的表示學習方法。然而，現有的GCN模型在建模異構關系和有效地從大量鄰域中采樣相關接收域方面都存在基本的局限性。為了解決這些問題，我們提出了RecoGCN(a RElation-aware CO-attentive GCN model)來有效地聚合HIN中的異構特征。它彌補了目前GCN在使用關系感知聚合器建模異構關系方面的局限性，并利用語義感知元路徑為每個節點開辟簡潔和相關的接受域。為了有效地融合從不同元路徑中學習到的嵌入，我們進一步提出了一種co-attentive機制，通過關注用戶、銷售代理和商品之間的三種交互來動態地為不同的元路徑分配重要性權重。在真實數據集上的大量實驗表明，RecoGCN能夠學習HIN中有意義的節點嵌入，并且在推薦任務中始終優于baseline方法。

網址：