亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本期小編挑選了幾篇ICML2021中關于GNN的論文（附論文下載地址）分享給大家~包括圖神經網絡規范化、圖表示能力增強、圖神經網絡的對抗攻擊能力、圖神經網絡與強化學習結合控制圖中動態傳播問題、分子圖卷積神經網絡 (GCNN) 的正則化方法~

論文清單

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

A Collective Learning Framework to Boost GNN Expressiveness

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training （論文下載地址：//arxiv.org/abs/2009.03294）

Normalization有助于優化深度神經網絡。但不同的結構需要不同的規范化方法。在本文中，我們研究什么規范化方法對圖神經網絡 (GNN) 是有效的。首先，我們將現有的規范化方法應用到GNN中，并對其進行評估。與BatchNorm和LayerNorm相比，InstanceNorm的收斂速度更快。InstanceNorm 作為 GNN 的preconditioner，但由于圖數據集中的大量的批處理噪聲，BatchNorm 的這種預處理效果就顯得較弱。其次，我們證明了InstanceNorm中的shift操作會導致GNN對于高度正則圖的表達能力退化。我們提出了一種learnable shift的GraphNorm來解決這個問題。實驗表明，使用GraphNorm的GNN比使用其他規范化方法的GNN收斂更快。此外，GraphhNorm還改進了GNN的泛化能力，在圖分類中獲得了更好的性能。

A Collective Learning Framework to Boost GNN Expressiveness （論文下載地址：

圖神經網絡 (GNN) 最近已成功用于節點和圖分類任務。但 GNN 建模的是相鄰節點的屬性之間的依賴關系，而不是觀察到的節點標簽之間的依賴關系。在本文中，我們考慮在監督和半監督下考慮到標簽依賴性，使用 GNN 進行inductive node classification。當前的 GNN 不是通用的（即最具表現力的）圖表示模型，我們提出了一種通用的collective learning方法，增強現有 GNN 的表示能力。我們的模型將collective classification的思想與自監督學習相結合，并使用蒙特卡羅方法對embeddings進行采樣，以進行圖之間的歸納學習。我們評估了模型在五個真實網絡數據集上的性能，結果證明了模型可以顯著提高節點分類的準確度。

Information Obfuscation of Graph Neural Networks （論文下載地址：

圖神經網絡 (GNN) 的出現極大地改進了許多應用中的節點和圖表示學習能力，但鄰域聚合方法向試圖提取敏感屬性node-level信息的對手暴露了額外的漏洞。在本文中，我們研究了在使用圖結構數據進行學習時，利用信息混淆來保護敏感屬性的問題。我們提出了一個基于total variation和 Wasserstein 距離的對抗性訓練框架，用于局部過濾掉預先確定的敏感屬性。該方法可以對推理攻擊形成了強大的防御。理論上，我們分析了該框架對抗最壞情況的有效性，并描述了最大化預測準確性和最小化信息泄漏之間的內在權衡。在來自推薦系統、知識圖譜和量子化學的多個數據集上進行實驗，實驗表明，該方法在為下游任務生成 GNN 編碼器的同時，可以為各種圖結構和任務提供強大的防御能力。

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

（論文下載地址：

我們考慮控制圖中partially-observed的動態傳播過程的問題。例如，在安排病毒測試或選擇應該被隔離的節點以遏制流行病蔓延；手動檢查發布的文章來檢測在線網絡上傳播的虛假新聞；鼓勵產品的傳播而進行的有針對性的營銷，在這些情況下，都會遇到這個問題。當只能測試或隔離一小部分人口時，遏制傳播并限制感染人群的比例變得具有挑戰性。

為了應對這一挑戰，我們將此問題建模為圖上的順序決策問題。面對指數級狀態空間、組合動作空間和部分可觀察性，我們提出了 RLGN，這是一種新穎的易處理強化學習 (RL) 方法，用于確定節點是否需要測試，并使用圖神經網絡 (GNN) 對圖節點進行排序。我們在三種類型的社交網絡中評估這種方法：社區結構、優先連接依賴preferential attachment 和 基于真實 cellular tracking的統計數據。實驗表明，RLGN始終優于所有基線方法。與使用相同資源的非學習方法相比，在時間圖上使用RL進行優先測試可以使健康人群的數量增加25%，控制疫情的頻率比監督方法高30%，比非學習基線高2.5倍。

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity （論文下載地址：

對分子的哪些部分驅動了分子圖卷積神經網絡 (GCNN) 的預測進行合理解釋是很困難。針對這個問題，論文提出了兩種正則化方法，用于訓練GCNN。Batch Representation Orthonormalization (BRO) 和 Gini regularization。受molecular orbital theory的啟發，BRO鼓勵用圖卷積運算生成正交節點嵌入。Gini regularization應用于輸出層的權重，并約束模型可用于進行預測的維數。Gini 和 BRO 正則化方法可以提高GCNN 歸因方法在人工基準數據集上的準確性。在現實世界中，我們證明了藥物化學家更傾向于從正則化模型中提取解釋。雖然論文只在 GCNN 中研究這兩種正則化方法，但Gini 和 BRO 正則化方法都可以應用于其他類型的神經網絡中。

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于域自適應（Domain Adaptation）相關的paper也不少，域自適應及其在不同方式的轉換和應用等等都是這幾年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇域自適應（Domain Adaptation）相關論文——連續域自適應、多源域自適應、無監督域自適應、少樣本域自適應、開放集域自適應

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020ML、ICML2020CL、ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、Continuously Indexed Domain Adaptation

作者：Hao Wang, Hao He, Dina Katabi

摘要：現有的域自適應集中于在具有分類索引的領域之間（例如，在數據集A和B之間）傳遞知識。然而，許多任務涉及連續索引的域。例如，在醫療應用中，人們經常需要在不同年齡的患者之間進行疾病分析和預測，而年齡是連續領域的指標。這樣的任務對于現有的域自適應方法是有挑戰性的，因為它們忽略了領域之間的潛在關系。在本文中，我們第一個提出了連續索引域自適應的方法。該方法將傳統的對抗性適應與新穎的鑒別器相結合，該鑒別器對編碼條件下的域索引分布進行建模。我們的理論分析證明了利用域索引在連續域范圍內生成不變特征的意義。我們的實驗結果表明，我們的方法在綜合醫學數據集和實際醫學數據集上均優于最先進的域自適應方法。

代碼鏈接：

網址：

2、Domain Aggregation Networks for Multi-Source Domain Adaptation

作者：Junfeng Wen, Russell Greiner, Dale Schuurmans

摘要：在許多實際應用中，我們希望利用多個源數據集為不同但相關的目標數據集建立模型。盡管最近在經驗上取得了成功，但大多數現有的研究都是采用特別的方法來組合多種來源，從而導致理論與實踐之間的差距。本文提出了一種基于域差異的有限樣本泛化邊界，并據此提出了一種理論上合理的優化方法。我們的算法，Domain AggRegation Network（DARN），能夠自動、動態地平衡包含更多數據以增加有效樣本量和排除無關數據以避免訓練過程中的負面影響。我們發現，DARN在多個實際任務（包括數字/對象識別和情感分析）上性能明顯優于現有的最新技術。

網址：

3、Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

作者：Jian Liang, Dapeng Hu, Jiashi Feng

摘要：無監督域自適應（UDA）的目的是利用從標記的源數據集中學習的知識來解決新的未標記域中的相似任務。以前的UDA方法通常需要在學習適應模型時訪問源數據，這使得它們對于分散的私有數據來說風險很大，效率低下。這項工作解決了一個只有經過訓練的源模型可用的新環境，并研究了如何在沒有源數據的情況下有效地利用這種模型來解決UDA問題。我們提出了一個簡單而通用的表示學習框架，稱為源假設遷移（SHOT）。SHOT凍結了源模型的分類器模塊（假設），通過利用信息最大化和自監督偽標記將目標域的表示隱式地與源假設對齊，從而學習了特定于目標的特征提取模塊。為了驗證它的通用性，我們對SHOT在各種適應情況下進行了評估，包括閉集、部分集和開集域適配。實驗表明，SHOT在多個域自適應基準中產生了最先進的結果。

代碼鏈接：

網址：

4、Few-shot Domain Adaptation by Causal Mechanism Transfer

作者：Takeshi Teshima, Issei Sato, Masashi Sugiyama

摘要：我們研究將少樣本自監督域自適應方法應用于回歸類問題，其中只有少量的已標記的目標域數據和大量的已標記源域數據可用。目前的許多域適應方法的轉移條件都是基于參數化分布偏移或明顯的分布相似性，例如相同的條件或很小的分布差異。然而，這些假設排除了在復雜的遷移環境或者明顯不同的分布中適應的可能性。為了克服這個問題，我們提出了機制遷移（mechanism transfer），這是一種元分布場景，其中數據生成機制在域之間是不變的。這種遷移假設可以適應非參數化偏移所導致的明顯的分布差異，同時也為域自適應學習提供一個堅實的統計基礎。本文以因果模型中的結構方程為例，提出了一種新的域自適應學習方法，該方法在理論和實驗上都表明了良好的可用性。我們提出的方法可以看做是第一次嘗試利用結構因果模型來進行域自適應學習。

代碼鏈接:

網址：

5、Margin-aware Adversarial Domain Adaptation with Optimal Transport

作者：Sofien Dhouib, Ievgen Redko, Carole Lartizien

摘要：本文對于無監督域適應學習提出了一種新的理論分析方法，涉及大邊際分離，對抗性學習和最優傳輸。我們提出這種分析方法一般化了之前通過對目標邊界違規率進行限定的工作，結果表明出對目標域類別進行分離質量控制優于對誤分類率進行限定。該邊界還強調了源域上的邊際分離對自適應的好處，并引入了基于最優傳輸（OT）的域間距離，該距離與其他方法不同之處在于其依賴于具體的任務。從目前所獲得的結果看，我們得到了一個新的域自適應解決方案，該方案引入了一種新的基于淺OT的對抗方法，并且在一些現實世界中的分類任務上優于其他域自適應方法。

代碼鏈接：

網址：

6、Progressive Graph Learning for Open-Set Domain Adaptation

作者：Yadan Luo, Zijian Wang, Zi Huang, Mahsa Baktashmotlagh

摘要：域偏移是計算機視覺識別中的一個基本問題，通常在源數據和目標數據遵循不同的分布時出現。現有的域適應方法都是在閉集環境下工作的，即假設源數據和目標數據共享完全相同的對象。在這篇論文中，我們解決了一個開放域在遷移時所面臨的現實問題：目標域中所包含的一些樣本類別在源域中并不存在。具體來說，本文提出了一種端到端的漸進式（PGL）學習框架，該框架集成了一個已訓練過的圖神經網絡來抑制潛在的條件轉移，并采用對抗性學習來縮小源域和目標域之間的分布差異。與目前的開放域自適應方法相比，我們的方法能夠保證更加接近目標誤差的上限。在三個公共基準數據集上的大量實驗證明，我們的方法在開放域適應方面的性能明顯優于目前的其他方法。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于元學習（Meta Learning）相關的paper也不少，元學習及其在不同場景的應用等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇元學習（Meta Learning）相關論文——少樣本關系抽取、元遷移學習、MAML 強化學習、Batch Normalization、特征可解釋

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CL、ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、Few-shot Relation Extraction via Bayesian Meta-learning on Relation Graphs

作者：Meng Qu, Tianyu Gao, Louis-Pascal A. C. Xhonneux, Jian Tang

摘要：本文研究的少樣本關系抽取，其目的是通過對句子中的一對實體進行訓練，并在每個關系中添加少量的標注示例來預測其關系。為了更有效地推廣到新的關系，本文研究了不同關系之間的關系，并提出利用全局關系圖。我們提出了一種新的貝葉斯元學習方法來有效地學習關系原型向量（prototype vectors）的后驗分布，其中原型向量的初始先驗是通過全局關系圖上的圖神經網絡來參數化得到的。此外，為了有效地優化原型向量的后驗分布，我們提出使用與MAML算法相關但能夠處理原型向量不確定性的隨機梯度Langevin 動力學。整個框架可以以端到端的方式進行高效的優化。在兩個基準數據集上的實驗證明了我們提出的方法在少樣本和零樣本設置下相對于具有競爭性的基準模型的有效性。

網址：

2、Learning Attentive Meta-Transfer

作者：Jaesik Y oon, Gautam Singh, Sungjin Ahn

摘要：當任務隨時間變化時，元遷移學習（meta-transfer learning）試圖通過元學習和遷移學習來提高學習新任務的效率。雖然標準的注意力（attention）在各種環境中都是有效的，但由于正在學習的任務是動態的，上下文的數量可以大大減少，因此但我們質疑它在改善元遷移學習方面的有效性。在本文中，利用最近提出的元遷移學習模型--Sequential Neural Processes(SNP)，我們首先從經驗上證明，在神經過程（ Neural Processes）的推斷函數中觀察到了類似的欠擬合問題。然而，我們進一步證明，與元學習環境不同，標準注意機制在元遷移環境中并不有效。為了解決這一問題，我們提出了一種新的注意機制--遞歸記憶重建(Recurrent Memory Reconstructionm, RMR)，并證明了提供一個不斷更新和重建且具有交互作用的虛構情境對于實現有效的元遷移學習注意力至關重要。此外，將RMR引入到SNP中，我們提出了注意序列神經過程RMR(ASNP-RMR)，并在各種任務中證明了ASNP-RMR的性能明顯優于基線模型。

網址：

3、Meta-learning with Stochastic Linear Bandits

作者：Leonardo Cella, Alessandro Lazaric, Massimiliano Pontil

摘要：我們研究了隨機線性bandits任務背景下的元學習過程。我們的目標是選擇一種學習算法，該算法在從任務分布中抽樣的一類bandits任務中平均表現良好。受最近關于學習到學習線性回歸的工作的啟發，我們考慮了一類bandits算法，它實現了著名的OFUL算法的正則化版本，其中正則化是到偏差向量的歐幾里得距離的平方。我們首先從遺憾最小化（regret minimization）的角度研究了有偏差的OFUL算法的好處。然后，我們提出了兩種策略來估計學習到學習環境中的偏差。理論和實驗都表明，當任務數量增加，任務分配方差較小時，與孤立的學習任務相比，我們的策略具有明顯的優勢。

網址：

4、On the Global Optimality of Model-Agnostic Meta-Learning: Reinforcement Learning and Supervised Learning

作者：Lingxiao Wang, Qi Cai, Zhuoyan Yang, Zhaoran Wang

摘要：模型無關的元學習(MAML)將元學習描述為一個雙層優化問題，內層基于共享先驗求解每個子任務，外層通過優化所有子任務的綜合性能來搜索最優共享先驗。該方法盡管在經驗上取得了成功，但由于元目標(外層目標)的非凸性，對于MAML的理論上的了解仍然很少，特別是在其全局最優性方面。為了彌合這一理論與實際之間的差距，我們刻畫了MAML在強化學習和監督學習中所獲得的駐點（ stationary points）的最優性差距，其中內層和外層問題都是通過一階優化方法來解決的。特別地，我們的刻畫將這些駐點的最優性間隙與(I)內部目標的函數幾何和(Ii)函數逼近器(包括線性模型和神經網絡)的表示能力聯系起來。據我們所知，我們的分析首次建立了具有非凸元目標（meta-objectives）的MAML的全局最優性。

網址：

5、TASKNORM: Rethinking Batch Normalization for Meta-Learning

作者：John Bronskill, Jonathan Gordon, James Requeima, Sebastian Nowozin, Richard E. Turner

摘要：當前用于圖像分類的元學習方法依賴于日益深入的網絡來實現最先進的性能，使得批歸一化成為元學習通道的重要組成部分。然而，元學習設置的分層性質帶來了幾個挑戰，這些挑戰可能會使傳統的批歸一化無效，因此需要在此設置中重新考慮歸一化。我們評估了一系列用于元學習場景的批歸一化方法，并開發了一種新的方法，我們稱之為TASKNORM。在14個數據集上的實驗表明，無論是基于梯度的元學習方法還是無梯度的元學習方法，批歸一化的選擇都對分類精度和訓練時間都有很大的影響。重要的是，TASKNORM被發現可以持續提高性能。最后，我們提供了一組歸一化的最佳實踐，這些最佳實踐使得可以公平比較元學習算法。

網址：

6、Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks

作者：Micah Goldblum, Steven Reich, Liam Fowl, Renkun Ni, Valeriia Cherepanova, Tom Goldstein

摘要：元學習算法產生的特征提取器在少樣本分類方面達到了最先進的性能。雖然文獻中有豐富的元學習方法，但人們對產生的特征提取器為什么表現得如此出色卻知之甚少。我們對元學習的基本機制以及使用元學習訓練的模型和經典訓練的模型之間的區別有了更好的理解。在這樣做的過程中，我們引入并驗證了幾個關于為什么元學習模型表現更好的假設。此外，我們還開發了一種正則化算法，它提高了少樣本分類下標準訓練示例的性能。在許多情況下，我們的實驗表現優于元學習，同時運行速度要快一個數量級。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于對比學習（Contrastive Learning）相關的paper也不少，對比學習、自監督學習等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇對比學習（Contrastive Learning）相關論文——SimCLR、對比多視角圖學習、對比強化學習、CPC、分解GAN、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、A Simple Framework for Contrastive Learning of Visual Representations

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton

摘要：本文提出了SimCLR：一種簡單的視覺表示的對比學習（contrastive learning）框架。我們簡化了最近提出的對比自監督學習算法，并且不需要專門的體系結構或存儲庫。為了理解什么使對比預測任務能夠學習有用的表示，我們系統地研究了我們框架的主要組成部分。我們表明：(1)數據增強部分在定義有效的預測任務中起著關鍵作用；(2)在表示和對比損失之間引入可學習的非線性變換大大提高了學習表示的質量；(3)與監督學習相比，對比學習受益于更大的batch和更多的訓練。結合這些發現，我們能夠在ImageNet上顯著優于以往的自監督和半監督學習方法。在通過SimCLR學習得到的自監督表示上訓練的線性分類器達到了76.5%的TOP-1準確率，比以前的技術相對提高了7%，與監督ResNet-50的性能相當。當只對1%的標簽進行微調時，我們達到了85.8%的TOP-5準確率，在標簽減少100倍的情況下表現優于AlexNet。

代碼：

網址：

2、Contrastive Multi-View Representation Learning on Graphs

作者：Kaveh Hassani、Amir Hosein Khasahmadi

摘要：我們介紹了一種通過對比圖的結構視圖來學習節點級和圖級表示的自監督方法。我們表明，與視覺表示學習不同的是，將視圖數增加到兩個以上或對比多尺度編碼并不能提高性能，并且通過對比來自一階鄰居的編碼和圖擴散（ graph diffusion）可以獲得最佳性能。在線性評估協議下，我們的模型在8個節點和圖分類基準上有8個取得了最新結果。例如，在CORA(節點)和Reddit-Binary(圖)分類基準上，我們達到了86.8%和84.5%的準確率，比以前的技術水平分別提高了5.5%和2.4%。與監督基線相比，我們的方法在8個基準中有4個表現優于它們。

網址：

3、CURL: Contrastive Unsupervised Representations for Reinforcement Learning

作者：Michael Laskin、Aravind Srinivas、Pieter Abbeel

摘要：我們提出了CURL—用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高層特征，并在提取的特征之上執行非策略控制。在DeepMind Control Suite和Atari Games的復雜任務上，無論是基于模型的方法還是非模型的方法，CURL的表現都優于之前基于像素的方法，在100K環境和交互步驟基準下分別顯示1.9倍和1.2倍的性能提升。在DeepMind Control Suite上，CURL是第一個幾乎與使用基于狀態特征的方法的采樣效率相當的基于圖像的算法。

代碼：

網址：

4、Data-Efficient Image Recognition with Contrastive Predictive Coding

作者：Olivier J. Hénaff、Aravind Srinivas、Jeffrey De Fauw、Ali Razavi、Carl Doersch、S. M. Ali Eslami、Aaron van den Oord

摘要：人類觀察者從少數幾個例子中可以學會識別新的圖像類別，但使用人造圖像做到這一點仍然是一個挑戰。我們假設通過表示使數據有效識別成為可能，這些表示使自然信號的可變性更加可預測。因此，我們重新改進了對比預測編碼，這是學習這種表示的一個無監督目標。此新實現產生的特征可以支持ImageNet數據集上的最新線性分類準確性。當使用深度神經網絡作為非線性分類的輸入時，這種表示允許我們使用比直接在圖像像素上訓練的分類器少2-5倍的標簽。最后，這種無監督表示大大改善了對Pascal VOC數據集上的目標檢測的遷移學習，超過了全監督預訓練的ImageNet分類器。

網址：

5、InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs

作者：Zinan Lin、Kiran K. Thekumparampil、Giulia Fanti1Sewoong Oh

摘要：分解（disentangled）的生成模型將潛在向量映射到目標空間，同時強制學習的潛在子集是可解釋的，并且與目標分布的不同屬性相關聯。最近的進展主要是基于變分自編碼器(VAE)的方法，而訓練分離的生成式對抗網絡(GANS)仍然是具有挑戰性的。在這項工作中，我們證明了分離的GAN面臨的主要挑戰可以通過使用自監督來緩解。我們的主要貢獻有兩個：第一，我們設計了一種新的具有自監督功能的分離GANs訓練方法。我們提出了對比正則化（contrastive regularizer）算法，它的靈感來自于一個自然的分解概念：latent traversal。這比最先進的基于VAE和GAN的方法獲得了更高的分離分數。其次，我們提出了一種稱為ModelCentrality的無監督模型選擇方案，它使用生成的合成樣本來計算模型集合的medoid(多維中值推廣)。令人驚訝的是，這種無監督的ModelCentrality能夠選擇比使用現有的監督超參數選擇技術訓練的模型性能更好的模型。將對比正則化和ModelCentrality相結合，在不需要有監督超參數選擇的情況下，大幅度地獲得了最先進的分離分數。

網址：

6、Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

作者：Tongzhou Wang、Phillip Isola

摘要：對比表示學習在實踐中取得了顯著的成功。在這項工作中，我們確定了與對比損失相關的兩個關鍵性質：(1)正對特征的對齊方式（緊密度）和(2)超球面上(歸一化)特征誘導分布的均勻性。我們證明，漸近地，對比損失優化了這些屬性，并分析了它們對下游任務的積極影響。根據經驗，我們引入了一個可優化的指標來量化每個屬性。在標準視覺和語言數據集上的大量實驗證實了指標與下游任務性能之間的強烈一致性。直接針對這兩個指標進行優化可以使下游任務的表現比對比學習更好或更高。

代碼：

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。ICML官網公布了接受論文列表，小編發現基于Graph相關的paper依然很多，為此，上個月專知小編為大家整理了圖神經網絡相關的論文，這期小編繼續為大家奉上ICML 2020必讀的五篇圖神經網絡（GNN）相關論文-Part 2——貝葉斯GNN、連續GNN、Faster圖嵌入、深度GCN、圖Pooling、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、

1. Bayesian Graph Neural Networks with Adaptive Connection Sampling

作者：Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian

摘要：我們提出了一個用于圖神經網絡(GNNs)自適應連接采樣（connection sampling）的統一框架，該框架概括了現有的用于訓練GNN的隨機正則化方法。該框架不僅緩解了深層GNNs的過平滑和過擬合趨勢，而且使得GNNs在圖分析任務中的不確定性學習成為可能。與現有的隨機正則化方法那樣使用固定的采樣率或手動調整它們作為模型超參數不同，我們的自適應連接采樣可以與GNN模型參數以全局和局部的方式聯合訓練。具有自適應連接采樣的GNN訓練在數學上等價于訓練貝葉斯GNN的有效近似。在基準數據集上的消融實驗結果驗證了自適應學習采樣率是在半監督節點分類任務中提高GNNs性能的關鍵，使其不容易過平滑和過擬合，具有更穩健的預測能力。

網址：

2.Continuous Graph Neural Networks

作者：Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang

摘要：本文建立在圖神經網絡與傳統動力系統之間的聯系之上。我們提出了連續圖神經網絡(Continuous Graph Neural Networks, CGNN)，由于CGNN可以看作是一種特定的離散化方案，它進一步推廣了現有的具有離散動力學的圖神經網絡。其核心思想是如何刻畫節點表示的連續動力學，即節點表示的導數。受現有的基于圖擴散的方法(如社會網絡上的PageRank模型和流行病模型)的啟發，我們將導數定義為當前節點表示、鄰居表示和節點初始值的組合。我們提出并分析了圖上的兩種可能的動力學--包括節點表示的每一維(也稱為特征通道)獨立改變或者彼此交互-這兩者都有理論上的合理性。所提出的連續圖神經網絡對過于過平滑具有較強的魯棒性，因此可以建立更深層次的網絡，從而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在與基線模型競爭上的有效性。

網址：

3.Faster Graph Embeddings via Coarsening

作者：Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang

摘要：圖嵌入是一種普遍適用于機器學習任務的工具，如圖結構數據上的節點分類和連接預測。然而，即使我們只對相關頂點的一小部分感興趣，計算大規模圖嵌入的效率也是很低的。為了解決這個問題，我們提出了一種基于Schur補（Schur complements）的有效圖粗化方法，用于計算相關頂點的嵌入。我們證明了這些嵌入被不相關頂點上通過高斯消去法得到的Schur補圖精確地保存。由于計算Schur補的代價很高，我們給出了一個近似線性的時間算法，該算法在每次迭代中在相關頂點上生成一個粗化圖，該粗化圖在期望上與Schur補相匹配。我們在圖上進行的預測任務實驗表明，計算嵌入到粗化圖上，而不是整個圖上，在不犧牲精度的情況下，可以節省大量的時間。

網址：

4. Simple and Deep Graph Convolutional Networks

作者：Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li

摘要：圖卷積網絡(GCNS)是一種強大的圖結構數據深度學習方法。最近，GCNS及其變體在真實數據集上的各個應用領域都顯示出了優異的性能。盡管取得了成功，但由于過平滑的問題，目前的大多數GCN模型都很淺。本文研究了深圖卷積網絡的設計與分析問題。我們提出了GCNII模型，它是對普通GCN模型的擴展，使用了兩個簡單而有效的技術：初始殘差和恒等映射（Identity mapping）。我們提供了理論和實驗證據，證明這兩種技術有效地緩解了過平滑問題。我們的實驗表明，深度GCNII模型在各種半監督和全監督任務上的性能優于最先進的方法。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連接社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一集群節點的池化操作。然而，Laplacian特征分解的代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛（continuous relaxation ）公式，并訓練GNN來計算最小化這一目標的聚類分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚合函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者：Dexiong Chen, Laurent Jacob, Julien Mairal

摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。

網址：

代碼鏈接：

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt

摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。

網址：

3. Haar Graph Pooling

作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址：

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon

摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址：

代碼鏈接：

【導讀】計算語言學協會（the Association for Computational Linguistics, ACL）年度會議作為頂級的國際會議，在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年，第58屆計算語言學協會（the Association for Computational Linguistics, ACL）年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響，ACL 2020將全部改為線上舉行。本次ACL大會共提交了3429篇論文，共有571篇長論文、以及208篇短論文入選。不久之前，專知小編為大家整理了大會的圖神經網絡（GNN）相關論文，這期小編繼續為大家奉上ACL 2020圖神經網絡（GNN）相關論文-Part 2供參考——多文檔摘要、多粒度機器閱讀理解、帖子爭議檢測、GAE。

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Leveraging Graph to Improve Abstractive Multi-Document Summarization

作者：Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du

摘要：捕捉文本單元之間關系圖對于從多個文檔中檢測顯著信息和生成整體連貫的摘要有很大好處。本文提出了一種神經抽取多文檔摘要(MDS)模型，該模型可以利用文檔的常見圖表示，如相似度圖和話語圖（discourse graph），來更有效地處理多個輸入文檔并生成摘要。我們的模型使用圖對文檔進行編碼，以捕獲跨文檔關系，這對于總結長文檔至關重要。我們的模型還可以利用圖來指導摘要的生成過程，這有利于生成連貫而簡潔的摘要。此外，預訓練的語言模型可以很容易地與我們的模型相結合，進一步提高了摘要的性能。在WikiSum和MultiNews數據集上的實驗結果表明，所提出的體系結構在幾個強大的基線上帶來了實質性的改進。

網址： //arxiv.org/abs/2005.10043

2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

作者：Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu

摘要：“自然問題”是一種具有挑戰性的新的機器閱讀理解基準，其中包含兩個答案：長答案（通常是一個段落）和短答案（長答案中的一個或多個實體）。盡管此基準測試的現有方法很有效，但它們在訓練期間單獨處理這兩個子任務，忽略了它們間的依賴關系。為了解決這個問題，我們提出了一種新穎的多粒度機器閱讀理解框架，該框架專注于對文檔的分層性質進行建模，這些文檔具有不同的粒度級別：文檔、段落、句子和詞。我們利用圖注意力網絡來獲得不同層次的表示，以便它們可以同時學習。長答案和短答案可以分別從段落級表示和詞級表示中提取。通過這種方式，我們可以對兩個粒度的答案之間的依賴關系進行建模，以便為彼此提供證據。我們聯合訓練這兩個子任務，實驗表明，我們的方法在長答案和短答案標準上都明顯優于以前的系統。

網址：

代碼鏈接：

3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection

作者：Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang

摘要：識別社交媒體上有爭議的帖子是挖掘公眾情緒、評估事件影響、緩解兩極分化觀點的基礎任務。然而，現有的方法不能1)有效地融合來自相關帖子內容的語義信息；2)保留回復關系建模的結構信息；3)正確處理與訓練集中主題不同的帖子。為了克服前兩個局限性，我們提出了主題-帖子-評論圖卷積網絡(TPC-GCN)，它綜合了來自主題、帖子和評論的圖結構和內容的信息，用于帖子級別的爭議檢測。對于第三個限制，我們將模型擴展到分離的TPC-GCN(DTPC-GCN)，將主題相關和主題無關的特征分離出來，然后進行動態融合。在兩個真實數據集上的大量實驗表明，我們的模型優于現有的方法。結果和實例分析表明，該模型能夠將語義信息和結構信息有機地結合在一起，具有較強的通用性。

網址：

4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward

作者：Luyang Huang, Lingfei Wu, Lu Wang

摘要：用于抽取摘要的序列到序列（sequence-to-sequence ）模型已經被廣泛研究，但是生成的摘要通常受到捏造的內容的影響，并且經常被發現是near-extractive的。我們認為，為了解決這些問題，摘要生成器應通過輸入獲取語義解釋，例如通過結構化表示，以允許生成更多信息的摘要。在本文中，我們提出了一種新的抽取摘要框架--Asgard，它具有圖形增強和語義驅動的特點。我們建議使用雙重編碼器-序列文檔編碼器和圖形結構編碼器-來保持實體的全局上下文和局部特征，并且相互補充。我們進一步設計了基于多項選擇完形填空測試的獎勵，以驅動模型更好地捕捉實體交互。結果表明，我們的模型在紐約時報和CNN/每日郵報的數據集上都比沒有知識圖作為輸入的變體產生了更高的Rouge分數。與從大型預訓練的語言模型中優化的系統相比，我們也獲得了更好或可比的性能。評委進一步認為我們的模型輸出信息更豐富，包含的不實錯誤更少。

網址：

5. A Graph Auto-encoder Model of Derivational Morphology

作者：Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty

摘要：關于派生詞的形態良好性(morphological well-formedness, MWF)建模工作在語言學中被認為是一個復雜而困難的問題，并且這方面的研究工作較少。我們提出了一個圖自編碼器學習嵌入以捕捉派生詞中詞綴和詞干的兼容性信息。自編碼器通過將句法和語義信息與來自心理詞典的關聯信息相結合，很好地模擬了英語中的MWF。

網址：

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：

【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿，接收1470篇，其接受率在逐年下降，今年接受率僅為22%。近期，一些Paper放出來，專知小編整理了CVPR 2020 圖神經網絡(GNN)相關的比較有意思的值得閱讀的五篇論文，供大家參考—點云分析、視頻描述生成、軌跡預測、場景圖生成、視頻理解等。

1. Grid-GCN for Fast and Scalable Point Cloud Learning

作者：Qiangeng Xu, Xudong Sun, Cho-Ying Wu, Panqu Wang and Ulrich Neumann

摘要：由于點云數據的稀疏性和不規則性，越來越多的方法直接使用點云數據。在所有基于point的模型中，圖卷積網絡（GCN）通過完全保留數據粒度和利用點間的相互關系表現出顯著的性能。然而，基于點的網絡在數據結構化(例如，最遠點采樣(FPS)和鄰接點查詢)上花費了大量的時間，限制了其速度和可擴展性。本文提出了一種快速、可擴展的點云學習方法--Grid-GCN。Grid-GCN采用了一種新穎的數據結構策略--Coverage-Aware Grid Query(CAGQ)。通過利用網格空間的效率，CAGQ在降低理論時間復雜度的同時提高了空間覆蓋率。與最遠的點采樣（FPS）和Ball Query等流行的采樣方法相比，CAGQ的速度提高了50倍。通過網格上下文聚合(GCA)模塊，Grid-GCN在主要點云分類和分割基準上實現了最先進的性能，并且運行時間比以前的方法快得多。值得注意的是，在每個場景81920個點的情況下，Grid-GCN在ScanNet上的推理速度達到了50fps。

網址：//arxiv.org/abs/1912.02984

2. Object Relational Graph with Teacher-Recommended Learning for Video Captioning

作者：Ziqi Zhang, Yaya Shi, Chunfeng Yuan, Bing Li, Peijin Wang, Weiming Hu and Zhengjun Zha

摘要：充分利用視覺和語言的信息對于視頻字幕任務至關重要。現有的模型由于忽視了目標之間的交互而缺乏足夠的視覺表示，并且由于長尾（long-tailed）問題而對與內容相關的詞缺乏足夠的訓練。在本文中，我們提出了一個完整的視頻字幕系統，包括一種新的模型和一種有效的訓練策略。具體地說，我們提出了一種基于目標關系圖(ORG)的編碼器，該編碼器捕獲了更詳細的交互特征，以豐富視覺表示。同時，我們設計了一種老師推薦學習(Teacher-Recommended Learning, TRL)的方法，充分利用成功的外部語言模型(ELM)將豐富的語言知識整合到字幕模型中。ELM生成了在語義上更相似的單詞，這些單詞擴展了用于訓練的真實單詞，以解決長尾問題。 對三個基準MSVD，MSR-VTT和VATEX進行的實驗評估表明，所提出的ORG-TRL系統達到了最先進的性能。 廣泛的消去研究和可視化說明了我們系統的有效性。

網址：

3. Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction

作者：Abduallah Mohamed and Kun Qian

摘要：有了更好地了解行人行為的機器可以更快地建模智能體（如：自動駕駛汽車）和人類之間的特征交互。行人的運動軌跡不僅受行人自身的影響，還受與周圍物體相互作用的影響。以前的方法通過使用各種聚合方法（整合了不同的被學習的行人狀態）對這些交互進行建模。我們提出了社交-時空圖卷積神經網絡(Social-STGCNN)，它通過將交互建模為圖來代替聚合方法。結果表明，最終位偏誤差(FDE)比現有方法提高了20%，平均偏移誤差(ADE)提高了8.5倍，推理速度提高了48倍。此外，我們的模型是數據高效的，在只有20%的訓練數據上ADE度量超過了以前的技術。我們提出了一個核函數來將行人之間的社會交互嵌入到鄰接矩陣中。通過定性分析，我們的模型繼承了行人軌跡之間可以預期的社會行為。

網址：

代碼鏈接：

4. Unbiased Scene Graph Generation from Biased Training

作者：Kaihua Tang, Yulei Niu, Jianqiang Huang, Jiaxin Shi and Hanwang Zhang

摘要：由于嚴重的訓練偏差，場景圖生成（SGG）的任務仍然不夠實際，例如，將海灘上的各種步行/坐在/躺下的人簡化為海灘上的人。基于這樣的SGG，VQA等下游任務很難推斷出比一系列對象更好的場景結構。然而，SGG中的debiasing 是非常重要的，因為傳統的去偏差方法不能區分好的和不好的偏差，例如，好的上下文先驗(例如，人看書而不是吃東西)和壞的長尾偏差(例如，將在后面/前面簡化為鄰近)。與傳統的傳統的似然推理不同，在本文中，我們提出了一種新的基于因果推理的SGG框架。我們首先為SGG建立因果關系圖，然后用該因果關系圖進行傳統的有偏差訓練。然后，我們提出從訓練好的圖中提取反事實因果關系（counterfactual causality），以推斷應該被去除的不良偏差的影響。我們使用Total Direct Effect作為無偏差SGG的最終分數。我們的框架對任何SGG模型都是不可知的，因此可以在尋求無偏差預測的社區中廣泛應用。通過在SGG基準Visual Genome上使用我們提出的場景圖診斷工具包和幾種流行的模型，與以前的最新方法相比有顯著提升。

網址：

代碼鏈接：

5. Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences

作者：Zhu Zhang, Zhou Zhao, Yang Zhao, Qi Wang, Huasheng Liu and Lianli Gao

摘要：在本文中，我們考慮了一項用于多形式句子（Multi-Form Sentences）的時空Video Grounding（STVG）的任務。 即在給定未剪輯的視頻和描述對象的陳述句/疑問句，STVG旨在定位所查詢目標的時空管道（tube）。STVG有兩個具有挑戰性的設置：(1)我們需要從未剪輯的視頻中定位時空對象管道，但是對象可能只存在于視頻的一小段中；（2）我們需要處理多種形式的句子，包括帶有顯式賓語的陳述句和帶有未知賓語的疑問句。 由于無效的管道預生成和缺乏對象關系建模，現有方法無法解決STVG任務。為此，我們提出了一種新穎的時空圖推理網絡(STGRN)。首先，我們構建時空區域圖來捕捉具有時間對象動力學的區域關系，包括每幀內的隱式、顯式空間子圖和跨幀的時間動態子圖。然后，我們將文本線索加入到圖中，并開發了多步跨模態圖推理。接下來，我們引入了一種具有動態選擇方法的時空定位器，該定位器可以直接檢索時空管道，而不需要預先生成管道。此外，我們在視頻關系數據集Vidor的基礎上構建了一個大規模的video grounding數據集VidSTG。大量的實驗證明了該方法的有效性。

網址：

1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing（MixHop: 通過稀疏鄰域混合實現的高階圖卷積結構）

作者：Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan

摘要：現有的基于圖神經網絡的半監督學習方法(如圖卷積網絡)不能學習一般的鄰域混合關系。為了解決這個缺點，我們提出了一個新的模型，MixHop，它可以通過在不同距離重復混合鄰居的特征表示來學習這些關系，包括不同的操作符。MixHop不需要額外的內存或計算復雜度，并且在一些具有挑戰性的baseline上性能更好。此外，我們建議使用稀疏正則化，使我們能夠可視化網絡如何跨不同的圖數據集對鄰居信息進行優先級排序。我們對所學體系結構的分析表明，每個數據集的鄰域混合是不同的。

網址：//proceedings.mlr.press/v97/abu-el-haija19a.html

代碼鏈接：

2、Compositional Fairness Constraints for Graph Embeddings（圖嵌入的組合公平性約束）

作者：Avishek Bose, William Hamilton

摘要：學習高質量的節點嵌入是基于圖數據(如社交網絡和推薦系統)的機器學習模型的關鍵步驟。然而，現有的圖嵌入技術無法處理公平約束，例如，確保所學習的表示與某些屬性(如年齡或性別)不相關。在這里，我們引入一個對抗框架來對圖嵌入實施公平性約束。我們的方法是組合的，這意味著它可以靈活地適應推理過程中公平約束的不同組合。例如，在社會推薦的上下文中，我們的框架允許一個用戶要求他們的推薦對他們的年齡和性別都是不變的，同時也允許另一個用戶只對他們的年齡要求不變。在標準知識圖和推薦系統基準測試上的實驗突出了我們提出的框架的實用性。

網址：

代碼鏈接：

3、Learning Discrete Structures for Graph Neural Networks（學習圖神經網絡的離散結構）

作者：Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He

摘要：圖神經網絡(GNNs)是一種流行的機器學習模型，已成功地應用于一系列問題。它們的主要優勢在于能夠顯式地合并數據點之間的稀疏和離散依賴結構。不幸的是，只有在這種圖結構可用時才能使用GNN。然而，在實踐中，真實世界中的圖常常是嘈雜的、不完整的，或者根本就不可用。在此基礎上，我們提出通過近似求解一個學習圖邊緣離散概率分布的雙層程序來共同學習圖卷積網絡(GCNs)的圖結構和參數。這不僅允許在給定圖不完整或損壞的場景中應用GCNs，還允許在圖不可用的場景中應用GCNs。我們進行了一系列的實驗，分析了該方法的行為，并證明了它比相關的方法有顯著的優勢。

網址：

代碼鏈接：

4、Graph U-Nets

作者：Hongyang Gao, Shuiwang Ji

摘要：我們研究了圖數據的表示學習問題。卷積神經網絡可以很自然地對圖像進行操作，但在處理圖數據方面存在很大的挑戰。由于圖像是二維網格上節點圖的特殊情況，圖的嵌入任務與圖像的分割等像素級預測任務具有天然的對應關系。雖然像U-Nets這樣的編解碼器結構已經成功地應用于許多圖像的像素級預測任務，但是類似的方法在圖數據上還是很缺乏。這是由于池化操作和上采樣操作對圖數據不是自然的。為了解決這些挑戰，我們提出了新的圖池化(gPool)和反池化(gUnpool)操作。gPool層根據節點在可訓練投影向量上的標量投影值，自適應地選擇節點，形成較小的圖。我們進一步提出了gUnpool層作為gPool層的逆操作。gUnpool層使用在相應gPool層中選擇的節點位置信息將圖恢復到其原始結構。基于我們提出的gPool和gUnpool層，我們開發了一個基于圖的編解碼器模型，稱為Graph U-Nets。我們在節點分類和圖分類任務上的實驗結果表明，我們的方法比以前的模型具有更好的性能。

網址：

代碼鏈接：

5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance（圖神經網絡用于樂譜數據和鋼琴演奏表現力的建模）

作者：Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam

摘要：樂譜通常被處理為一維序列數據。與文本文檔中的單詞不同，樂譜中的音符可以由復調性質同時演奏，并且每個音符都有自己的持續時間。在本文中，我們使用圖神經網絡表示樂譜的獨特形式，并將其應用于從樂譜中渲染表現力的鋼琴演奏。具體地，我們設計了使用note-level門控圖神經網絡和采用迭代反饋方法的雙向LSTM測量級層次注意網絡的模型。此外，為了對給定輸入分數的不同性能風格建模，我們使用了一個變分自編碼器。聽力測試結果表明，與baseline模型和層次注意網絡模型相比，我們提出的模型生成了更多的類人性能，而層次注意網絡模型將音樂得分處理為類詞序列。

網址：

代碼鏈接：

6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects（用于學習圖結構物體相似性的圖匹配網絡）

作者：Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli

摘要：本文針對圖結構物體的檢索與匹配這一具有挑戰性的問題，做了兩個關鍵的貢獻。首先，我們演示了如何訓練圖神經網絡(GNN)在向量空間中嵌入圖，從而實現高效的相似性推理。其次，提出了一種新的圖匹配網絡模型，該模型以一對圖作為輸入，通過一種新的基于注意力的交叉圖匹配機制，對圖對進行聯合推理，計算出圖對之間的相似度評分。我們證明了我們的模型在不同領域的有效性，包括具有挑戰性的基于控制流圖的功能相似性搜索問題，該問題在軟件系統漏洞檢測中發揮著重要作用。實驗分析表明，我們的模型不僅能夠在相似性學習的背景下利用結構，而且它們還比那些為這些問題精心手工設計的領域特定baseline系統表現得更好。

網址：

7、Disentangled Graph Convolutional Networks（Disentangled圖卷積網絡）

作者：Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu

摘要：真實世界圖形的形成通常來自于許多潛在因素之間高度復雜的交互作用。現有的基于圖結構數據的深度學習方法忽略了潛在因素的糾纏，使得學習表示不魯棒，難以解釋。然而，在圖神經網絡的研究中，如何將潛在因素分解出來的學習表示方法面臨著巨大的挑戰，并且在很大程度上還沒有得到探索。本文引入解糾纏（Disentangled）圖卷積網絡(DisenGCN)來學習disentangled節點表示。特別地，我們提出了一種新的鄰域路由機制，它能夠動態地識別可能導致節點與其相鄰節點之間產生邊的潛在因素，并相應地將相鄰節點分配到一個提取和卷積特定于該因素的特性的信道。從理論上證明了該路由機制的收斂性。實驗結果表明，我們提出的模型可以獲得顯著的性能提升，特別是當數據表明存在許多糾纏因素時。

網址：

8、GMNN: Graph Markov Neural Networks（GMNN: 圖馬爾可夫神經網絡）

作者：Meng Qu, Yoshua Bengio, Jian Tang

摘要：本文研究關系數據中的半監督對象分類問題，這是關系數據建模中的一個基本問題。在統計關系學習(如關系馬爾可夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中，這一問題得到了廣泛的研究。統計關系學習方法可以通過條件隨機場對對象標簽的依賴關系進行有效的建模，用于集體分類，而圖神經網絡則通過端到端訓練學習有效的對象表示來分類。在本文中，我們提出了一種集兩種方法優點于一體的Graph Markov Neural Networks (GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模，利用變分EM算法對其進行有效訓練。在E-step中，一個圖神經網絡學習有效的對象表示，逼近對象標簽的后驗分布。在M-step中，利用另一個圖神經網絡對局部標簽依賴關系進行建模。在對象分類、鏈路分類和無監督節點表示學習等方面的實驗表明，GMNN取得了較好的效果。

網址：

代碼鏈接：

9、Simplifying Graph Convolutional Networks（簡化圖卷積網絡）

作者：Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger

摘要：圖卷積網絡(GCNs)及其變體得到了廣泛的關注，已成為學習圖表示的實際方法。GCNs的靈感主要來自最近的深度學習方法，因此可能會繼承不必要的復雜性和冗余計算。在本文中，我們通過連續消除非線性和折疊連續層之間的權重矩陣來減少這種額外的復雜性。我們從理論上分析了得到的線性模型，結果表明它對應于一個固定的低通濾波器，然后是一個線性分類器。值得注意的是，我們的實驗評估表明，這些簡化不會對許多下游應用程序的準確性產生負面影響。此外，生成的模型可以擴展到更大的數據集，這是自然可解釋的，并且比FastGCN的速度提高了兩個數量級。

網址：

代碼鏈接：

10、Position-aware Graph Neural Networks（位置感知圖神經網絡）

作者：Jiaxuan You, Rex Ying, Jure Leskovec

摘要：學習節點嵌入，捕捉節點在更廣泛的圖結構中的位置，對于圖上的許多預測任務是至關重要的。然而，現有的圖神經網絡(GNN)結構在獲取給定節點相對于圖中所有其他節點的position/location方面的能力有限。本文提出了一種計算位置感知節點嵌入的新型神經網絡—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先對錨節點集進行采樣，計算給定目標節點到每個錨集的距離，然后學習錨集上的非線性距離加權聚集方案。通過這種方式，P-GNNs可以捕獲節點相對于錨節點的位置。P-GNN有幾個優點: 它們具有歸納性，可擴展性，并且可以包含節點特征信息。我們將P-GNNs應用于多個預測任務，包括鏈路預測和社區檢測。我們顯示，P-GNNs始終優于最先進的GNNs, 在ROC AUC分數方面提高了66％。

網址：

代碼鏈接：

論文下載

百度云鏈接：

提取碼：vcc3