亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

當前的圖神經網絡(GNN)簡單地將節點嵌入到聚合的圖表示中——可能會丟失結構或語義信息。我們在這里介紹了OT-GNN，它通過GNN節點嵌入集合與“原型”點云之間的最佳傳輸距離作為自由參數來計算圖嵌入。這允許不同的原型突出顯示不同圖子部分的關鍵方面。證明了點云上的函數類滿足一個通用的近似定理，這是一個由于和和而失去的基本性質。然而，根據經驗，該模型在訓練過程中有一種崩潰回標準聚合的自然趨勢。我們通過提出一種有效的噪聲對比調節器來解決這一優化問題，從而使模型朝著真正挖掘最優運輸幾何的方向發展。我們的模型在幾個分子性質預測任務上始終表現出更好的泛化性能，也產生更平滑的表示。

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

主題： Graph Neural Networks with Composite Kernels

摘要： 近年來，對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡（GCN）之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中，節點聚合方案通常用于捕獲結構信息：節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是，大多數聚合方案都將圖中的所有連接均等化，而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合，并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后，我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成，以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡（GAT）。實驗結果表明，在一些實際應用中，我們提出的框架具有更好的性能。

圖神經網絡(GNNs)最近被成功地用于節點和圖的分類任務中，但GNNs對鄰近節點屬性之間的依賴關系建模，而不是對觀察到的節點標簽之間的依賴關系建模。在這項工作中，我們考慮了在監督和半監督設置中使用GNNs進行歸納節點分類的任務，其目標是合并標簽依賴項。因為當前的GNN不是通用的。為了提高現有GNN的表達能力，我們提出了一種通用的集體學習方法。我們的框架結合了集體分類和自監督學習的思想，并使用蒙特卡羅方法來采樣嵌入圖的歸納學習。我們評估了5個真實網絡數據集的性能，并證明了在各種最先進的GNN中，節點分類精度的一致性和顯著提高。

這也是一篇滿分的工作。是由常年戰斗在圖領域的大佬 Pablo Barceló 團隊貢獻的。圖神經網絡（GNN）區分圖節點的能力最近已經通過用于檢查圖同構性的 Weisfeiler-Lehman（WL）測試進行了表征。但是，這種表征并不能解決哪些布爾節點分類器可以由 GNN 來表示 （即，將圖中的節點分類為真或假的函數）的問題。這篇文章專注于研究布爾分類器來解決上述問題。首先研究的是流行的GNNs（文中稱為 AC-GNNs）開始，在該類 GNN 中僅根據鄰居的特征，在連續的層中更新圖中每個節點的特征。實驗表明，這類 GNN 太弱而無法捕獲所有 FOC2（一種一階邏輯研究） 分類器，并提供了 AC-GNNs 可以捕獲的 FOC2 分類器最大子類的語法表征。然后，研究人員研究了，需要在 AC-GNNs 中添加什么來實現捕獲所有的 FOC2 分類器，實驗表明，添加 readout 就可以了。不僅可以更新節點的鄰居，還可以更新全局屬性向量。文章稱這類 GNNs 為 ACR-GNNs。

題目： What Can Neural Networks Reason About?

摘 要:

神經網絡已經成功地完成了許多推理任務。從經驗上看，這些任務需要專門的網絡結構，例如，圖神經網絡(GNNs)在許多這樣的任務中表現良好，但較少結構的網絡會失敗。從理論上講，盡管網絡結構具有相同的表達能力，但人們對網絡結構為什么以及何時比其他網絡結構更能泛化的理解是有限的。本文通過研究網絡的計算結構與相關推理過程的算法結構之間的一致性，建立了一個描述網絡能很好學習哪些推理任務的框架。我們正式定義了這種算法對齊，并推導出一個隨更好的對齊而減小的樣本復雜度界。該框架為流行推理模型的經驗成功提供了一個解釋，并指出了它們的局限性。例如，我們通過一個強大的算法范例——動態規劃(DP)的鏡頭，將看似不同的推理任務，如直覺物理、可視化問題回答和最短路徑統一起來。我們證明了GNN與DP是一致的，因此可以解決這些問題。在一些推理任務中，我們的理論得到了實證結果的支持。

題目： Probabilistic Logic Neural Networks for Reasoning

摘要：

知識圖譜推理的目的是通過對觀測到的事實進行推理來預測缺失的事實，它在許多應用中起著至關重要的作用。傳統的基于邏輯規則的方法和近年來的知識圖譜嵌入方法都對這一問題進行了廣泛的探討。馬爾可夫邏輯網絡(MLN)是一種有原則的基于規則的邏輯方法，它能夠利用一階邏輯的領域知識，同時處理不確定性。然而，由于其復雜的圖形結構，MLNs的推理通常是非常困難的。與MLNs不同的是，知識圖的嵌入方法(如TransE、DistMult)學習有效的實體嵌入和關系嵌入進行推理，這樣更有效、更高效。然而，他們無法利用領域知識。在本文中，我們提出了概率邏輯神經網絡(pLogicNet)，它結合了兩種方法的優點。pLogicNet使用一階邏輯的馬爾可夫邏輯網絡定義所有可能的三聯體的聯合分布，該網絡可以通過變分EM算法進行有效優化。采用知識圖譜嵌入模型推斷缺失的三聯體，根據觀測到的三聯體和預測到的三聯體更新邏輯規則權值。在多個知識圖譜的實驗證明了pLogicNet在許多競爭基線上的有效性。

作者：

瞿錳是蒙特利爾學習算法研究所的一年級博士生，之前，在伊利諾伊大學香檳分校獲得了碩士學位，此外，在北京大學獲得了學士學位。主要研究方向為機器學習、貝葉斯深度學習、數據挖掘和自然語言處理。

論文題目： Graph Convolutional Networks with Motif-based Attention

論文摘要：

深度卷積神經網絡在計算機視覺和語音識別領域的成功，使得研究人員開始研究該體系結構對圖結構數據的泛化。最近提出的一種稱為圖卷積網絡的方法能夠在節點分類方面取得最新的成果。然而，由于所提出的方法依賴于spectral圖卷積的局部一階近似，因此無法捕獲圖中節點間的高階相互作用。在這項工作中，我們提出了一個motif-based的圖注意力模型，稱為Motif Convolutional Networks，它通過使用加權多跳motif鄰接矩陣來捕獲高階鄰域，從而泛華了過去的方法。一個新的注意力機制被用來允許每個單獨的節點選擇最相關的鄰居來應用它的過濾器。我們在不同領域(社會網絡和生物信息學)的圖上評估了我們的方法，結果表明它能夠在半監督節點分類任務上勝過一組有競爭力的基準方法。其他結果證明了attention的有用性，表明不同的節點對不同的高階鄰域進行了優先排序。

論文作者：

John Boaz Lee于2015-1019年在伍斯特理工學院計算機科學系的攻讀博士學位。研究領域包括深度學習、數據挖掘、信息與社會網絡分析、強化學習等。2020年1月，將加入Facebook研究的核心數據科學團隊作為研究科學家。

Ryan A. Rossi目前在Adobe Research工作。研究領域是機器學習，從社會和物理現象跨越理論、算法和大型復雜關系(網絡/圖)數據的應用。在普渡大學獲得了計算機科學的博士和碩士學位。Ryan A. Rossi的論文主要研究關系機器學習和動態網絡數據的挖掘，并且獲得了國家科學基金研究生獎學金(NSF GRFP)、國防科學與工程研究生獎學金(NDSEG)、普渡大學弗雷德里克·n·安德魯斯獎學金以及比爾斯蘭博士學位論文獎學金。還是網絡存儲庫項目的聯合創始人，該項目是第一個具有交互式可視圖形分析功能的數據存儲庫，可以幫助研究人員通過web實時查找、探索和理解圖形數據。

孔祥南的研究興趣集中在數據挖掘和機器學習上，重點在于解決生物醫學和社會應用中的數據科學問題。孔博士對設計算法以解決各種研究領域中的數據多樣性問題特別感興趣，這些領域包括生物醫學研究，社會計算，神經科學和商業智能。他一直致力于神經科學，生物醫學信息學和社交網絡領域的圖形數據挖掘，并且在數據挖掘的頂級會議和期刊上發表了論文，包括KDD，ICDM，SDM，WWW，WSDM，CIKM，TKDE。