亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

論文鏈接：//www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6

簡介：數據增強已被廣泛用于提高機器學習模型的通用性。但是，相對較少的工作研究圖形的數據擴充。這在很大程度上是由于圖的復雜非歐幾里得結構限制了可能的操縱操作。視覺和語言中常用的增強操作沒有圖形類似物。在改進半監督節點分類的背景下，我們的工作研究了圖神經網絡（GNN）的圖數據擴充。我們討論了圖數據擴充的實踐和理論動機，考慮因素和策略。我們的工作表明，神經邊緣預測器可以有效地編碼類同質結構，以在給定的圖結構中促進類內邊緣和降級類間邊緣，并且我們的主要貢獻是引入了GAug圖數據擴充框架，該框架利用這些見解來提高性能通過邊緣預測的基于GNN的節點分類在多個基準上進行的廣泛實驗表明，通過GAug進行的增強可提高GNN架構和數據集的性能。

題目： 圖神經網絡的無冗余計算 會議： KDD2020 論文地址： //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由： 對于圖神經網絡中重復信息的聚合，這篇文章提出了一種簡單有效的層次化聚合的方法(HAG)，用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中，可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。

GNN在單層中基于遞歸鄰域聚合方案，每個節點聚合其鄰居的特征，并使用聚合值更新其自身的特征。這樣遞歸地傳播多次（多層），最后，GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務，例如節點分類、圖分類或鏈路預測。然而，如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是，許多當前的工作是使用整張圖的拉普拉斯矩陣，這樣即便是對于中等規模的圖，也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣，然后再聚合這些節點的鄰域信息，但是對于單個節點進行鄰域采樣是一個高復雜度的事情，因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。

論文題目：Scalable Graph Neural Networks via Bidirectional Propagation

論文概述：圖神經網絡（GNN）是一個新興的非歐氏數據學習領域。近年來，人們對設計可擴展到大型圖形的GNN越來越感興趣。大多數現有的方法使用“圖采樣”或“分層采樣”技術來減少訓練時間；但是，這些方法在應用于具有數十億條邊的圖時仍然無法提供可靠的性能。在本文中，我們提出了一種可伸縮的圖神經網絡GBP，同時從特征向量和訓練/測試節點進行雙向消息傳播，為每個表示生成一個無偏估計量。每個傳播都是以局部方式執行的，從而實現了亞線性時間復雜性。廣泛的實驗證明，GBP達到了state-of-the-art性能同時顯著減少訓練和推理時間。在單臺機器上，GBP能夠在不到2000秒的時間內，在一個擁有超過6000萬個節點和18億條邊的圖形上提供優異的性能

//www.zhuanzhi.ai/paper/bf70cf78aa20bcfce7a1f6d36c8e080a

知識圖譜補全是一類重要的問題。近年來基于圖神經網絡的知識圖譜表示得到了很多關注。這邊綜述論文總結了圖神經網絡知識圖譜補全的工作，值得查看！

摘要：知識圖譜在諸如回答問題和信息檢索等各種下游任務中越來越流行。然而，知識圖譜往往不完備，從而導致性能不佳。因此，人們對知識庫補全的任務很感興趣。最近，圖神經網絡被用來捕獲固有地存儲在這些知識圖譜中的結構信息，并被證明可以跨各種數據集實現SOTA性能。在這次綜述中，我們了解所提出的方法的各種優勢和弱點，并試圖在這一領域發現新的令人興奮的研究問題，需要進一步的調研。

知識庫是以關系三元組形式的事實信息的集合。每個關系三元組可以表示為(e1,r,e2)，其中e1和e2是知識庫中的實體，r是e1和e2之間的關系。最受歡迎的知識庫表示方式是多關系圖,每個三元組(r e1, e2)是表示為有向邊從e1, e2與標簽r。知識圖譜被用于各種下游任務。

然而，由于知識庫是從文本中自動挖掘來填充的，它們通常是不完整的，因為不可能手動編寫所有事實，而且在提取過程中經常會出現不準確的情況。這種不準確性會導致各種下游任務的性能下降。因此，大量工作開發一種有效的工具來完成知識庫(KBs)方面，它可以在不需要額外知識的情況下自動添加新的事實。這個任務被稱為知識庫補全(或鏈接預測)，其目標是解決諸如(e1,r，?)這樣的查詢。

第一種實現高效知識庫補全的方法是像TransE (Bordes et al.(2013))和TransH (Wang et al.(2014))這樣的加法模型，其中關系被解釋為隱藏實體表示的簡單翻譯。然后觀察到，諸如Distmult (Yang et al.(2015))和Complex (Trouillon et al.(2016))等乘法模型優于這些簡單的相加模型。與平移不同，旋轉(Sun等人(2019a))將關系定義為簡單的旋轉，這樣頭部實體就可以在復雜的嵌入空間中旋轉來匹配尾部實體，這已經被證明滿足了很多有用的語義屬性，比如關系的組合性。最近，引入了表達性更強的基于神經網絡的方法(如ConvE (Dettmers等人(2018))和ConvKB(Nguyen等人(2018))，其中評分函數與模型一起學習。然而，所有這些模型都獨立地處理每個三元組。因此，這些方法不能捕獲語義豐富的鄰域，從而產生低質量的嵌入。

圖已被廣泛用于可視化真實世界的數據。在將ML技術應用于圖像和文本方面已經取得了巨大進展，其中一些已成功應用于圖形(如Kipf和Welling(2017)、Hamilton等人(2017)、Velickovic等人(2018)。基于該方法的啟發，許多基于圖神經網絡的方法被提出用于KBC任務中獲取知識圖的鄰域。在這次調查中，我們的目的是研究這些工作。

消息傳遞被證明是一種設計圖神經網絡的有效方法，因為它能夠利用排列等方差和對學習局部結構的歸納偏差來實現良好的泛化。然而，當前的消息傳遞體系結構的表達能力有限，無法學習圖的基本拓撲性質。我們解決了這個問題，并提出了一個新的消息傳遞框架，它是強大的同時保持置換等方差。具體來說，我們以單熱點編碼的形式傳播惟一的節點標識符，以便了解每個節點的本地上下文。我們證明了我們的模型在極限情況下是通用的，同時也是等變的。通過實驗，我們發現我們的模型在預測各種圖的拓撲性質方面具有優勢，為新型的、功能強大的等變和計算效率的結構開辟了道路。

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：

1、Approximation Ratios of Graph Neural Networks for Combinatorial Problems

作者：Ryoma Sato， Makoto Yamada， Hisashi Kashima;

摘要：本文從理論的角度研究了圖神經網絡(GNNs)在學習組合問題近似算法中的作用。為此，我們首先建立了一個新的GNN類，它可以嚴格地解決比現有GNN更廣泛的問題。然后，我們彌合了GNN理論和分布式局部算法理論之間的差距，從理論上證明了最強大的GNN可以學習最小支配集問題的近似算法和具有一些近似比的最小頂點覆蓋問題比率，并且沒有GNN可以執行比這些比率更好。本文首次闡明了組合問題中GNN的近似比。此外，我們還證明了在每個節點特征上添加著色或弱著色可以提高這些近似比。這表明預處理和特征工程在理論上增強了模型的能力。

網址：//www.zhuanzhi.ai/paper/9cad40c81920dfd71fa91e4ddf778616

2、D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

作者：Muhan Zhang, Shali Jiang, Zhicheng Cui, Roman Garnett, Yixin Chen;

摘要：圖結構數據在現實世界中是豐富的。在不同的圖類型中，有向無環圖(DAG)是機器學習研究人員特別感興趣的，因為許多機器學習模型都是通過DAG上的計算來實現的，包括神經網絡和貝葉斯網絡。本文研究了DAG的深度生成模型，提出了一種新的DAG變分自編碼器(D-VAE)。為了將DAG編碼到潛在空間中，我們利用了圖神經網絡。我們提出了一個異步消息傳遞方案，它允許在DAG上編碼計算，而不是使用現有的同步消息傳遞方案來編碼局部圖結構。通過神經結構搜索和貝葉斯網絡結構學習兩項任務驗證了該方法的有效性。實驗表明，該模型不僅生成了新穎有效的DAG，還可以生成平滑的潛在空間，有助于通過貝葉斯優化搜索具有更好性能的DAG。

網址：

3、End to end learning and optimization on graphs

作者：Bryan Wilder, Eric Ewing, Bistra Dilkina, Milind Tambe;

摘要：在實際應用中，圖的學習和優化問題常常結合在一起。例如，我們的目標可能是對圖進行集群，以便檢測有意義的社區(或者解決其他常見的圖優化問題，如facility location、maxcut等)。然而，圖或相關屬性往往只是部分觀察到，引入了一些學習問題，如鏈接預測，必須在優化之前解決。我們提出了一種方法，將用于常見圖優化問題的可微代理集成到用于鏈接預測等任務的機器學習模型的訓練中。這允許模型特別關注下游任務，它的預測將用于該任務。實驗結果表明，我們的端到端系統在實例優化任務上的性能優于將現有的鏈路預測方法與專家設計的圖優化算法相結合的方法。

網址：

4、Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

作者：Simon S. Du, Kangcheng Hou, Barnabás Póczos, Ruslan Salakhutdinov, Ruosong Wang, Keyulu Xu;

摘要：雖然圖內核(graph kernel，GK)易于訓練并享有可證明的理論保證，但其實際性能受其表達能力的限制，因為內核函數往往依賴于圖的手工組合特性。與圖內核相比，圖神經網絡通常具有更好的實用性能，因為圖神經網絡使用多層結構和非線性激活函數來提取圖的高階信息作為特征。然而，由于訓練過程中存在大量的超參數，且訓練過程具有非凸性，使得GNN的訓練更加困難。GNN的理論保障也沒有得到很好的理解。此外，GNN的表達能力隨參數的數量而變化，在計算資源有限的情況下，很難充分利用GNN的表達能力。本文提出了一類新的圖內核，即圖神經切線核(GNTKs)，它對應于通過梯度下降訓練的無限寬的多層GNN。GNTK充分發揮了GNN的表現力，繼承了GK的優勢。從理論上講，我們展示了GNTK可以在圖上學習一類平滑函數。根據經驗，我們在圖分類數據集上測試GNTK并展示它們實現了強大的性能。

網址：

5、HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

作者：Naganand Yadati, Madhav Nimishakavi, Prateek Yadav, Vikram Nitin, Anand Louis, Partha Talukdar;

摘要：在許多真實世界的網絡數據集中，如co-authorship、co-citation、email communication等，關系是復雜的，并且超越了成對關聯。超圖（Hypergraph）提供了一個靈活而自然的建模工具來建模這種復雜的關系。在許多現實世界網絡中，這種復雜關系的明顯存在，自然會激發使用Hypergraph學習的問題。一種流行的學習范式是基于超圖的半監督學習(SSL)，其目標是將標簽分配給超圖中最初未標記的頂點。由于圖卷積網絡(GCN)對基于圖的SSL是有效的，我們提出了HyperGCN，這是一種在超圖上訓練用于SSL的GCN的新方法。我們通過對真實世界超圖的詳細實驗證明HyperGCN的有效性，并分析它何時比最先進的baseline更有效。

網址：

6、Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

作者：Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín, Ian Reid, S. Hamid Rezatofighi, Silvio Savarese;

摘要：從自動駕駛汽車和社交機器人的控制到安全監控，預測場景中多個交互主體的未來軌跡已成為許多不同應用領域中一個日益重要的問題。這個問題由于人類之間的社會互動以及他們與場景的身體互動而變得更加復雜。雖然現有的文獻探索了其中的一些線索，但它們主要忽略了每個人未來軌跡的多模態性質。在本文中，我們提出了一個基于圖的生成式對抗網絡Social-BiGAT，它通過更好地建模場景中行人的社交互來生成真實的多模態軌跡預測。我們的方法是基于一個圖注意力網絡(GAT)學習可靠的特征表示(編碼場景中人類之間的社會交互)，以及一個反方向訓練的循環編解碼器體系結構(根據特征預測人類的路徑)。我們明確地解釋了預測問題的多模態性質，通過在每個場景與其潛在噪聲向量之間形成一個可逆的變換，就像在Bicycle-GAN中一樣。我們表明了，與現有軌跡預測基準的幾個baseline的比較中，我們的框架達到了最先進的性能。

網址：

7、Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

作者：Hongteng Xu, Dixin Luo, Lawrence Carin;

摘要：我們提出了一種可擴展的Gromov-Wasserstein learning (S-GWL) 方法，并建立了一種新的、理論支持的大規模圖分析范式。該方法基于Gromov-Wasserstein discrepancy，是圖上的偽度量。給定兩個圖，與它們的Gromov-Wasserstein discrepancy相關聯的最優傳輸提供了節點之間的對應關系，從而實現了圖的匹配。當其中一個圖具有獨立但自連接的節點時（即，一個斷開連接的圖），最優傳輸表明了其他圖的聚類結構，實現了圖的劃分。利用這一概念，通過學習多觀測圖的Gromov-Wasserstein barycenter圖，將該方法推廣到多圖的劃分與匹配; barycenter圖起到斷開圖的作用，因為它是學習的，所以聚類也是如此。該方法將遞歸K分割機制與正則化近似梯度算法相結合，對于具有V個節點和E條邊的圖，其時間復雜度為O(K(E+V) logk V)。據我們所知，我們的方法是第一次嘗試使Gromov-Wasserstein discrepancy適用于大規模的圖分析，并將圖的劃分和匹配統一到同一個框架中。它優于最先進的圖劃分和匹配方法，實現了精度和效率之間的平衡。

網址：

8、Universal Invariant and Equivariant Graph Neural Networks

作者：Nicolas Keriven, Gabriel Peyré;

摘要：圖神經網絡(GNN)有多種形式，但應該始終是不變的(輸入圖節點的排列不會影響輸出)或等變的(輸入的排列置換輸出)。本文考慮一類特殊的不變和等變網絡，證明了它的一些新的普適性定理。更確切地說，我們考慮具有單個隱藏層的網絡，它是通過應用等變線性算子、點態非線性算子和不變或等變線性算子形成的信道求和而得到的。最近，Maron et al. (2019b)指出，通過允許網絡內部的高階張量化，可以獲得通用不變的GNN。作為第一個貢獻，我們提出了這個結果的另一種證明，它依賴于實值函數代數的Stone-Weierstrass定理。我們的主要貢獻是將這一結果推廣到等變情況，這種情況出現在許多實際應用中，但從理論角度進行的研究較少。證明依賴于一個新的具有獨立意義的廣義等變函數代數Stone-Weierstrass定理。最后，與以往許多考慮固定節點數的設置不同，我們的結果表明，由一組參數定義的GNN可以很好地近似于在不同大小的圖上定義的函數。

網址：