亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習的成功很大程度上取決于數據。但是，高質量的標記數據通常很昂貴且難以獲得，尤其是對于訓練參數較多的模型。而我們卻可以很容易地獲取大量的無標記數據，其數量可能是標記數據的數千倍。

為了解決標注數據較少的問題，我們要盡可能利用其無標注數據，一個常規的做法是自監督的預訓練（self-supervised pre-training）。其目標是設計合理的自監督任務，從而使模型能從無標注數據里學得數據的信息，作為初始化遷移到下游任務中。由于目標任務中很多的知識已經在預訓練中學到，因此通過預訓練，我們只需要非常少量的標注數據，就能得到較好的泛化性能。

這里我們為大家推薦四篇有關于GNN預訓練的文章：

Learning to Pre-train Graph Neural Networks

Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation

GPT-GNN: Generative Pre-Training of Graph Neural Networks

Strategies for Pre-training Graph Neural Networks

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現基于序列推薦（Sequential Recommendation，SR）相關的接受paper還不少，序列推薦這幾年比如時序性行為分析、冷啟動序列推薦、線上實時推理機制等等一些列前沿的方法和應用受到了很多人的關注，也是當前比較火的topic。

為此，這期小編為大家奉上AAAI 2021必讀的五篇序列推薦相關論文——用戶自適應推理、冷啟動序列推薦、動態記憶注意力網絡、自注意力輔助信息融合、預訓練用戶表示學習

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

AAAI2021QA、AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. A User-Adaptive Layer Selection Framework for Very Deep Sequential Recommender Models

作者：Lei Chen, Fajie Yuan, Jiaxi Yang, Xiang Ao, Chengming Li, Min Yang

摘要：序列推薦系統（SRS）已成為最近的研究熱點。由于需要吸引用戶的動態興趣，因此與標準協同過濾方法相比，基于序列神經網絡的推薦器模型通常需要堆疊更多的隱藏層（例如，最多100層）。但是，將非常深的推薦模型部署到生產環境中時，高網絡延遲已成為主要障礙。在本文中，我們認為，在推理階段將所有用戶均等對待的經典預測框架在運行時間上效率低下，并且準確性不夠理想。為了解決這個問題，我們提出了SkipRec，這是一種自適應推理框架，通過學習在每個用戶基礎（per-user basis）上跳過不活躍的隱藏層。具體來說，我們設計了一個策略網絡來自動確定應保留哪些層以及允許跳過哪些層，從而實現特定于用戶的決策。為得出最佳的跳過策略，我們建議使用gumbel softmax和強化學習來解決反向傳播期間的不可微問題。我們在三個真實世界的推薦數據集上進行了廣泛的實驗，并證明SkipRec可以在相當短的推理時間內獲得可比或更高的準確性。

網址：

2. Cold-start Sequential Recommendation via Meta Learner

作者：Yujia Zheng, Siyi Liu, Zekun Li, Shu Wu

摘要：本文探索了序列推薦的元學習，以緩解項目的冷啟動問題。序列推薦旨在根據歷史行為序列來捕獲用戶的動態偏好，并充當大多數在線推薦方案的關鍵組成部分。但是，大多數以前的方法都很難推薦冷啟動商品。由于在序列推薦任務的設置中通常沒有輔助信息，因此當僅用戶-商品交互可用時，無法應用先前的冷啟動方法。因此，我們提出了一種基于元學習的冷啟動序列推薦框架Mecos，以緩解序列推薦中的商品冷啟動問題。這項任務并非易事，因為它的目標是在新穎而富挑戰性的背景下解決一個重要問題。Mecos有效地從有限的交互中提取用戶的偏好，并學習將目標冷啟動商品與潛在用戶進行匹配。此外，我們的框架可以與基于神經網絡的模型輕松集成。在三個真實的數據集上進行的廣泛實驗證明了Mecos的優越性，與最先進的基準方法相比，HR @ 10的平均提升高達99％，91％和70％。

圖片 網址：

3. Dynamic Memory Based Attention Network for Sequential Recommendation

作者：Qiaoyu Tan, Jianwei Zhang, Ninghao Liu, Xiao Huang, Hongxia Yang, Jingren Zhou, Xia Hu

摘要：在各種在線服務中，序列推薦已變得越來越重要。它旨在根據用戶的歷史交互來建模其動態偏好，并預測其下一個商品。實際系統上累積的用戶行為記錄可能會很長，這些豐富的數據帶來了跟蹤用戶實際興趣的機會。先前的工作主要集中在根據相對近期的行為上提出建議。但是，可能無法有效地利用總體序列數據，因為早期交互可能會影響用戶當前的選擇。此外，由于實際系統需要較短的響應時間，因此無法承擔在為每個用戶執行推理時掃描整個行為序列。為了彌合差距，我們提出了一種新穎的長序列推薦模型，稱為基于動態記憶的注意力網絡（DMAN）。它將整個長期行為序列劃分為一系列子序列，然后訓練模型并維護一組記憶塊（memory blocks），以維護用戶的長期利益。為了提高記憶保真度，DMAN通過最大程度地減少輔助重建損失，將每個用戶的長期興趣動態地抽象到其自己的記憶塊中。基于動態記憶，可以明確提取用戶的短期和長期興趣，并將其組合起來以進行有效的聯合推薦。在四個基準數據集的實驗結果表明，我們的模型在捕獲與各種最新序列模型的長期依賴關系方面具有優勢。

圖片 網址：

4. Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation

作者：Chang Liu, Xiaoguang Li, Guohao Cai, Zhenhua Dong, Lifeng Shang, Hong Zhu

摘要：序列推薦系統旨在根據用戶的歷史行為來模擬他們不斷發展的興趣，從而制定與時間相關的自定義推薦。與傳統模型相比，CNN和RNN等深度學習方法在推薦任務方面取得了顯著進步。最近，由于BERT框架在處理序列數據中的自注意力機制，其也成為一種有前途的方法。但是，原始BERT框架的局限性在于它僅考慮自然語言 tokens的一種輸入來源。在BERT框架下利用各種類型的信息仍然是一個懸而未決的問題。盡管如此，從直覺上講，利用其他輔助信息（例如商品類別或標簽）來獲得更全面的描述和更好的建議。在我們的試驗性實驗中，我們發現了一些簡單的方法，它們直接將各種輔助信息融合到商品嵌入中，通常帶來的影響很小甚至是負面的。因此，在本文中，我們提出了NOninVasive自注意力機制（NOV A），以在BERT框架下有效利用輔助信息。NOVA利用輔助信息來產生更好的注意力分布，而不是直接更改商品嵌入，可能導致信息的不堪重負。我們在公共和商業數據集上都驗證了NOVA-BERT模型，并且我們的方法可以以可忽略的計算開銷穩定地勝過最新模型。

圖片 網址：

5. U-BERT: Pre-training User Representations for Improved Recommendation

作者：Zhaopeng Qiu, Xian Wu, Jingyue Gao, Wei Fan

摘要：學習用戶表示對于推薦系統來說是一項關鍵任務，因為它可以對個性化服務的用戶偏好進行編碼。通常從行為數據（例如單擊交互和評論）中學習用戶表示。但是，對于不太流行的領域，行為數據不足以學習精確的用戶表示。為了解決這個問題，自然的想法是利用內容豐富的領域來補充用戶表示。受到BERT在NLP中的最新成功的啟發，我們提出了一種新穎的基于預訓練和微調的方法U-BERT。與典型的BERT應用程序不同，U-BERT是為推薦而定制的，并在預訓練和微調中使用了不同的框架。在預訓練中，U-BERT專注于內容豐富的領域，并引入了用戶編碼器和評論編碼器來對用戶的行為進行建模。提出了兩種預訓練策略來學習一般的用戶表示形式。在微調中，U-BERT專注于目標內容不足的領域。除了從預訓練階段繼承的用戶和評論編碼器之外，U-BERT還引入了項目編碼器來對項目表示進行建模。此外，提出了一個評論匹配層，以捕獲用戶和商品評論之間的更多語義交互。最后，U-BERT結合了用戶表示，項目表示和審閱交互信息以提高推薦性能。在來自不同領域的六個基準數據集的實驗證明了U-BERT的最新性能。

圖片 網址：

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

1.INDUCTIVE REPRESENTATION LEARNING IN TEMPORAL NETWORKS VIA CAUSAL ANONYMOUS WALKS

//arxiv.org/pdf/2101.05974.pdf

時序網絡是現實世界中動態系統的抽象。這些網絡通常根據某些定律發展，例如社交網絡中很普遍的三元閉包定律。歸納表示學習時間網絡應該能夠捕獲此類定律，并進一步將遵循相同定律應用于未在訓練過程中見過的數據,即inductive的能力。以前的工作主要依賴于網絡節點身份或豐富邊屬性，通常無法提取這些定律。因此,本文提出了因果關系匿名游走（Causal Anonymous Walks, CAW）來inductively的進行時序網絡的表示學習。

具體來說，CAW是通過時間隨機游走提取類似motif的結構來捕獲圖的動態性，這避免了motif計算復雜的問題。同時,CAW采用新穎的匿名化策略，用一組節點的命中計數來替換節點身份以保持模型inductive的能力，同時也建立了motif之間的相關性，這對于某些圖挖掘任務(如鏈路預測)是非常關鍵的。進一步的，本文進一步提出了一個神經網絡模型CAW-N來編碼CAW。最后，在6個真實時序網絡數據集上，CAW-N均取得了大幅度的提升，例如AUC提升了15%!

2.HOW TO FIND YOUR FRIENDLY NEIGHBORHOOD:GRAPH ATTENTION DESIGN WITH SELF-SUPERVISION

圖神經網絡中的注意力機制旨在分配更大的權重給重要的鄰居節點，以進行更好地表示。但是，圖神經網絡學到的東西不是那么容易理解的，尤其是在有噪聲的圖上。而本文提出的自監督的圖注意力網絡（SuperGAT）就是用來解決這一問題的。

3.ON THE BOTTLENECK OF GRAPH NEURAL NETWORKSAND ITS PRACTICAL IMPLICATIONS

自從Gori等人提出圖神經網絡（GNN）以來，訓練GNN的主要問題之一是在圖中的遠距離節點之間傳播信息。本文提出GNN在較長路徑中聚集信息時會出現瓶頸。這個瓶頸導致over-squarshing。這樣GNN就無法傳播源自遠程節點的消息，執行效果也不好。本文中調整了遠程GNN模型問題，無需任何調整或額外的權重即可突破瓶頸得到改善后的結果。

4.ADAGCN: ADABOOSTING GRAPH CONVOLUTIONALNETWORKS INTO DEEP MODELS

深圖模型的設計仍有待研究，其中至關重要部分是如何以有效的方式探索和利用來自鄰居的躍遷。在本文中，通過將AdaBoost集成到網絡計算中，提出了一種新穎的類RNN深度圖神經網絡架構。提出的圖卷積網絡AdaGCN（Adaboosting圖卷積網絡）具有有效提取來自當前節點的高階鄰居知識的能力。

不同于其他直接堆疊圖卷積層的圖神經網絡，AdaGCN在所有“層”之間共享相同的基礎神經網絡架構并進行遞歸優化處理，類似于RNN。

此外，本文還在理論上建立了AdaGCN與現有圖卷積方法之間的聯系，從而展示了模型的優勢。最后，用實驗證明了AdaGCN的計算優勢。

5.ACCURATE LEARNING OF GRAPH REPRESENTATIONSWITH GRAPH MULTISET POOLING

消息傳遞圖神經網絡已廣泛用于建模圖數據，在許多圖形分類和鏈路預測任務上取得了很好的效果。然而，為了獲得圖形的準確表示還需要定義良好的池化功能，即在不丟失單個節點特征和全局圖結構的前提下將節點表示集映射到緊湊的形式。

為了解決現有的圖池化的限制，本文將圖池化問題表述為帶有關于圖結構的輔助信息的多集編碼問題，并提出了圖形多集轉換器（GMT）。該方法可以輕松擴展到以前的節點聚類方法，來進行分層圖池化。實驗結果表明，GMT明顯優于其他圖形池化方法，并在圖重構和生成任務上獲得很大的性能提升。

6.GRAPH COARSENING WITH NEURAL NETWORKS

隨著大規模圖的日益流行，處理，提取和分析大型圖形數據的計算難題有著越來越重要意義。圖粗化是一種在保持基本屬性的同時減小圖尺寸的技術。盡管有豐富的圖粗化文獻，但只有有限的數據驅動方法。

本文利用圖深度學習的最新進展來進行圖粗化。首先提出測量粗化算法質量的框架并說明我們需要根據目標仔細選擇圖粗化的Laplace運算符和相關的投影/提升運算符。由于粗化圖的當前邊權可能不是最優的選擇，用圖神經網絡對權重分配圖進行參數化并對其進行訓練，以無監督的方式提高粗化質量。通過在合成網絡和真實網絡上進行的廣泛實驗，證明了該方法顯著改善了各種條件下的常用圖粗化方法指標，縮小率，圖尺寸和圖類型。它概括為較大的尺寸（訓練圖的25倍），可適應不同的損耗（可微分和不可微分），并且可以縮放到比以前大得多的圖。

可以看到GOREN可以在不同類型的圖上優化粗化方法。

【導讀】IJCAI（國際人工智能聯合會議，International Joint Conferences on Artificial Intelligence）作為人工智能領域最頂級的國際學術會議之一，IJCAI 的舉辦自然備受矚目。第29屆國際人工智能聯合會議和第17屆環太平洋國際人工智能會議原定于2020年7月11日在日本橫濱召開，但由于疫情影響，將延期半年，至 2021年1月召開。近期，IJCAI 2020 論文集已經放出來。在 4717 份有效投稿中，最終僅有 592 篇被接收，接收率為 12.6%，這也是 IJCAI 史上最低的接收率。我們發現在今年的IJCAI 2020會議上圖神經網絡相關的論文非常多，今天小編專門整理最新6篇圖神經網絡（GNN）應用在自然語言處理上的相關論文——AMR-to-text生成、Path GCN、圖互注意力網絡、常識知識、有向超圖GCN

IJCAI 2020 Accepted Paper: //www.ijcai.org/Proceedings/2020/

IJCAI2020GNN_Part1、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、

1、Better AMR-To-Text Generation with Graph Structure Reconstruction 作者：Tianming Wang, Xiaojun Wan, Shaowei Yao

摘要：AMR-to-text 生成是一項艱巨的任務，它需要從基于圖的語義表示中生成文本。最近的研究將這一任務看作是圖到序列的學習問題，并使用各種圖神經網絡來建模圖結構。在本文中，我們提出了一種新的方法，在重構輸入圖結構的同時，從AMR圖中生成文本。我們的模型使用圖注意力機制來聚合信息以對輸入進行編碼。此外，通過優化兩個簡單而有效的輔助重構目標：鏈接預測目標(需要預測節點之間的語義關系)和距離預測目標(需要預測節點之間的距離)，能夠學習到更好的節點表示。在兩個基準數據集上的實驗結果表明，我們提出的模型在強基線上有很大的改善，并達到了新的技術水平。

網址：

2、Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network

作者：Zeyun Tang, Y ongliang Shen, Xinyin Ma, Wei Xu, Jiale Yu, Weiming Lu

摘要：跨多個文檔的多跳（Multi-hop ）閱讀理解近年來備受關注。在本文中，我們提出了一種新的方法來解決這個多跳閱讀理解問題。受人類推理過程的啟發，我們從支持文檔（supporting documents）中構造了一個基于路徑的推理圖。該推理圖結合了基于圖的方法和基于路徑的方法的思想，更適合于多跳推理。同時，我們提出了GATED-RGCN在基于路徑的推理圖上積累證據，GATED-RGCN包含了一種新的問題感知門控機制，以規范跨文檔傳播信息的有用性，并在推理過程中添加問題信息。我們在WikiHop數據集上對我們的方法進行了評估，與以前發布的方法相比，我們的方法達到了最先進的準確性。特別值得一提的是，我們的集成模型比人類的表現高出4.2%。

網址：

3、The Graph-based Mutual Attentive Network for Automatic Diagnosis

作者：Quan Yuan, Jun Chen, Chao Lu, Haifeng Huang 摘要：自動診斷一直存在缺乏可靠語料庫來訓練可信預測模型的問題。此外，以往的基于深度學習的診斷模型大多采用序列學習技術(CNN或RNN)，難以提取關鍵醫療實體之間的復雜結構信息（如圖結構）。本文提出基于真實醫院的高標準電子病歷文檔建立的診斷模型，以提高模型的準確性和可信度。同時，我們將圖卷積網絡引入到該模型中，緩解了稀疏特征的問題，便于提取用于診斷的結構信息。此外，我們還提出了mutual注意網絡來增強輸入的表示，以獲得更好的模型性能。我們在真實電子病歷文檔（ EMR documents）上進行實驗，結果表明與以往基于序列學習的診斷模型相比，該模型具有更高的準確性。我們提出的模型已被集成到中國數百家初級衛生保健機構的信息系統中，以協助醫生進行診斷。

網址：

4、TransOMCS: From Linguistic Graphs to Commonsense Knowledge

作者：Hongming Zhang, Daniel Khashabi, Yangqiu Song, Dan Roth

摘要：常識知識獲取是人工智能的關鍵問題。傳統獲取常識知識的方法通常需要昂貴的人工注釋并且費力，在大范圍內是不可行的。本文探索了一種從語言圖中挖掘常識知識的實用方法，目的是將從語言模式中獲得的廉價知識轉化為昂貴的常識知識。其結果是將大規模的選擇偏好知識資源ASER[Zhang et al., 2020]轉換為TransOMCS，其表示與ConceptNet[Liu and Singh，2004]相同，但比ConceptNet大兩個數量級。實驗結果表明，語言知識可以轉化為常識知識，并且該方法在數量、新穎性和質量方面都是有效的。

代碼：

網址：

5、Two-Phase Hypergraph Based Reasoning with Dynamic Relations for Multi-Hop KBQA

作者：Jiale Han, Bo Cheng, Xu Wang

摘要：多跳知識庫問答(KBQA)旨在通過跨多個三元組的推理來尋找事實問題的答案。值得注意的是，當人類執行多跳推理時，傾向于在不同的跳中集中于特定的關系，并精確定位由該關系連接的一組實體。與利用成對連接來模擬人類執行多跳推理不同，超圖卷積網絡(HGCN)可以通過利用超邊連接兩個以上的節點。然而，HGCN是針對無向圖的，沒有考慮信息傳遞的方向。為了適應具有方向性的知識圖，我們引入了有向HGCN(Directed-HGCN, DHGCN)。受人類逐跳推理的啟發，我們提出了一種基于DHGCN的可解釋KBQA模型，即基于動態關系的兩階段超圖推理，該模型顯式更新關系信息，動態關注不同跳點的不同關系。此外，該模型逐跳預測關系以生成中間關系路徑。我們在兩個廣泛使用的多跳KBQA數據集上進行了大量的實驗，以證明該模型的有效性。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。ICML官網公布了接受論文列表，小編發現基于Graph相關的paper依然很多，為此，上個月專知小編為大家整理了圖神經網絡相關的論文，這期小編繼續為大家奉上ICML 2020必讀的五篇圖神經網絡（GNN）相關論文-Part 2——貝葉斯GNN、連續GNN、Faster圖嵌入、深度GCN、圖Pooling、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、

1. Bayesian Graph Neural Networks with Adaptive Connection Sampling

作者：Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian

摘要：我們提出了一個用于圖神經網絡(GNNs)自適應連接采樣（connection sampling）的統一框架，該框架概括了現有的用于訓練GNN的隨機正則化方法。該框架不僅緩解了深層GNNs的過平滑和過擬合趨勢，而且使得GNNs在圖分析任務中的不確定性學習成為可能。與現有的隨機正則化方法那樣使用固定的采樣率或手動調整它們作為模型超參數不同，我們的自適應連接采樣可以與GNN模型參數以全局和局部的方式聯合訓練。具有自適應連接采樣的GNN訓練在數學上等價于訓練貝葉斯GNN的有效近似。在基準數據集上的消融實驗結果驗證了自適應學習采樣率是在半監督節點分類任務中提高GNNs性能的關鍵，使其不容易過平滑和過擬合，具有更穩健的預測能力。

網址：

2.Continuous Graph Neural Networks

作者：Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang

摘要：本文建立在圖神經網絡與傳統動力系統之間的聯系之上。我們提出了連續圖神經網絡(Continuous Graph Neural Networks, CGNN)，由于CGNN可以看作是一種特定的離散化方案，它進一步推廣了現有的具有離散動力學的圖神經網絡。其核心思想是如何刻畫節點表示的連續動力學，即節點表示的導數。受現有的基于圖擴散的方法(如社會網絡上的PageRank模型和流行病模型)的啟發，我們將導數定義為當前節點表示、鄰居表示和節點初始值的組合。我們提出并分析了圖上的兩種可能的動力學--包括節點表示的每一維(也稱為特征通道)獨立改變或者彼此交互-這兩者都有理論上的合理性。所提出的連續圖神經網絡對過于過平滑具有較強的魯棒性，因此可以建立更深層次的網絡，從而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在與基線模型競爭上的有效性。

網址：

3.Faster Graph Embeddings via Coarsening

作者：Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang

摘要：圖嵌入是一種普遍適用于機器學習任務的工具，如圖結構數據上的節點分類和連接預測。然而，即使我們只對相關頂點的一小部分感興趣，計算大規模圖嵌入的效率也是很低的。為了解決這個問題，我們提出了一種基于Schur補（Schur complements）的有效圖粗化方法，用于計算相關頂點的嵌入。我們證明了這些嵌入被不相關頂點上通過高斯消去法得到的Schur補圖精確地保存。由于計算Schur補的代價很高，我們給出了一個近似線性的時間算法，該算法在每次迭代中在相關頂點上生成一個粗化圖，該粗化圖在期望上與Schur補相匹配。我們在圖上進行的預測任務實驗表明，計算嵌入到粗化圖上，而不是整個圖上，在不犧牲精度的情況下，可以節省大量的時間。

網址：

4. Simple and Deep Graph Convolutional Networks

作者：Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li

摘要：圖卷積網絡(GCNS)是一種強大的圖結構數據深度學習方法。最近，GCNS及其變體在真實數據集上的各個應用領域都顯示出了優異的性能。盡管取得了成功，但由于過平滑的問題，目前的大多數GCN模型都很淺。本文研究了深圖卷積網絡的設計與分析問題。我們提出了GCNII模型，它是對普通GCN模型的擴展，使用了兩個簡單而有效的技術：初始殘差和恒等映射（Identity mapping）。我們提供了理論和實驗證據，證明這兩種技術有效地緩解了過平滑問題。我們的實驗表明，深度GCNII模型在各種半監督和全監督任務上的性能優于最先進的方法。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連接社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一集群節點的池化操作。然而，Laplacian特征分解的代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛（continuous relaxation ）公式，并訓練GNN來計算最小化這一目標的聚類分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚合函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者：Dexiong Chen, Laurent Jacob, Julien Mairal

摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。

網址：

代碼鏈接：

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt

摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。

網址：

3. Haar Graph Pooling

作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址：

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon

摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址：

代碼鏈接：

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：