亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

由于消息傳遞—圖神經網絡（MPNN）應用在稀疏圖時相對于節點數量具有線性復雜性，因此它們已被廣泛使用， 不過它們的理論表達能力bounded by一階 Weisfeiler-Lehman 檢驗 (1-WL)。

在本文中，我們表明，如果自定義特征值相關的非線性函數設計圖卷積supports并使用任意大的感受野進行掩蔽，則 MPNN 在理論上比 1-WL 測試更強大。實驗表明該方法與3-WL 同樣強大，同時能夠保持空間局部化(spatially localized)。此外，通過設計自定義濾波器函數，輸出可以具有各種頻率分量，從而允許卷積過程學習給定輸入圖信號與其相關屬性的不同關系。

目前，最好的 3-WL 等效圖神經網絡的計算復雜度為 O(n^3 )，內存使用量為 O(n^2 )，考慮非局部更新機制，并且不提供輸出的頻譜。但是本文所提出的方法克服了所有上述問題，并在許多下游任務中達到了最先進的結果。

//honeine.fr/paul/publi/21.icml.gnn.pdf

PAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence），IEEE模式分析與機器智能匯刊，簡稱PAMI，是IEEE最重要的學術性匯刊之一。事實上，PAMI有著超高的影響因子（17.730）和排名，被譽為SCI之王。與頂級會議相比，頂級期刊的評議過程更為嚴格，特別重視工作的創新性和完整性，錄取難度和門檻很高。

本期小編挑選了5篇PAMI2021中關于GNN的論文（附論文下載地址）分享給大家~ 包括圖池化，ARMA濾波的GNN，GNN的Inductive-Transductive預測， GNN在多標簽中的應用和GNN中的受限傳播~

論文清單

Topology-Aware Graph Pooling Networks Graph Neural Networks with Convolutional ARMA Filters On Inductive-Transductive Learning with Graph Neural Networks Learning Graph Convolutional Networks for Multi-Label Recognition and Applications Deep Constraint-based Propagation in Graph Neural Networks

1 Topology-Aware Graph Pooling Networks （論文下載地址：//arxiv.org/abs/2010.09834）

池化操作在計算機視覺和自然語言處理任務中已顯示出其有效性。但由于圖上沒有很好的定義局部性，在圖數據上執行池化操作是一個具有挑戰性的任務。先前的研究使用全局排名方法對一些重要節點進行采樣，但是其中大多數不能合并圖拓撲。在這項工作中，我們提出了拓撲感知池化（TAP）層，該層明確考慮了圖拓撲。TAP層是一個兩階段的投票過程（local voting、global voting），用于選擇圖中的更重要的節點。

• local voting：計算每對節點之間的相似性得分，利用相似性得分來標記每條邊，節點的平均相似性分數用作其local voting score，節點越大表示分數越高。

• global voting：將圖拓撲合并到global voting中，權衡整個圖中每個節點的重要性。

每個節點的最終排名得分是通過其本地和全局投票得分來計算的。為了在采樣圖中實現更好的圖連通性，在排名分數的計算中考慮了這一點。圖連通性將度信息用作偏差項，以鼓勵該層選擇度高的節點以形成采樣圖。基于TAP層，設計了可感知拓撲的池化網絡，用于網絡嵌入學習。圖分類任務的結果表明，該方法與現有方法相比具有更好的性能。

2 Graph Neural Networks with Convolutional ARMA Filters （論文下載地址：

大多數圖神經網絡方法基于多項式譜濾波器在圖上實現卷積運算。本文提出了一種新的圖卷積層，該圖卷積層受auto-regressive moving average（ARMA）濾波器的啟發，與polynomial spectral filters相比，該卷積層提供了更靈活的頻率響應，對噪聲更魯棒，并且可以更好地捕獲全局圖結構。我們提出了一種基于遞歸和分布式的ARMA濾波器的圖神經網絡實現算法，ARMA layer使用較少的參數捕獲全局圖結構，從而克服了基于高階多項式濾波器的GNN的局限性。ARMA過濾器未定位在節點空間中，需要對矩陣求逆。為解決此問題，ARMA層依賴于遞歸公式，這導致了一種快速且分布式的實現，該實現利用了對張量的有效稀疏運算。濾波器不是在給定的拉普拉斯算子的傅立葉空間中學習的，而是位于節點空間中，并且與基礎圖結構無關。這使我們的GNN在歸納推理任務的測試階段可以處理具有未見拓撲結構的圖。針對四個下游任務：半監督節點分類，圖信號分類，圖分類和圖回歸，進行實驗。結果表明，所提出的ARMA層相對于基于多項式濾波器的圖神經網絡帶來了顯著改進。

3 On Inductive-Transductive Learning with Graph Neural Networks （論文下載地址： 論文詳見第201頁）

現實世界許多領域的數據都可以用圖的來表示，例如，生物蛋白質網絡、神經網絡、社交網絡等。圖可以將一個給定的模式描述為一個由節點和邊組成的復雜結構。盡管圖具有豐富的表示能力，但大多數機器學習方法都不能直接處理圖數據，需要將此類數據轉換為一些簡單形式，例如，實值向量。這種轉換會損失一些有用的信息。圖神經網絡模型（GNN）能夠直接處理圖數據，并且對圖的類型沒有任何限制。原始的GNN模型基于經典的歸納學習，使用訓練集來學習參數，進而得到模型。直推式學習采用了一種更直接的方法，即利用不同樣本之間的關系來利用標記和未標記的數據，根據模式與訓練集中可用實例的關系對模式進行分類。在這種情況下，訓練模式可直接用于分類過程，而無需調整參數模型，甚至無需依賴分類規則和模式特征。本文提出了一個混合直推-歸納的GNN模型，展示了這兩種學習框架的共同特征。該模型根據群體檢測、子圖匹配和真實問題(交通流量預測和網絡垃圾郵件預測）進行評估，顯示出了不錯的效果。

4 Learning Graph Convolutional Networks for Multi-Label Recognition and Applications （論文下載地址：

多標簽圖像識別的任務是預測圖像中存在的一組對象標簽。由于多個對象通常同時出現在圖像中，因此需要對標簽依賴性進行建模以提高識別性能。為了捕獲和探索此類重要信息，本文提出了基于圖卷積網絡（GCN）的多標簽圖像識別模型，其在類上構造有向圖，并在類之間傳播信息，以學習相互依存的class-level表示。遵循這個想法，論文設計了兩個特殊的模型，它們從不同的角度進行多標簽分類。在第一個模型中，有關類依賴的先驗知識被集成到分類器學習中。具體而言，我們提出了Classifier Learning GCN（C-GCN），以將類級別的語義表示（例如，單詞嵌入）映射到inter-class拓撲的分類器中。在第二個模型中，我們將圖像的視覺表示分解為一組標簽感知的特征，并提出了Prediction Learning GCN（P-GCN），以將特征編碼為相互依賴的圖像級預測分數。此外，還提出了一種有效的相關矩陣構造方法，以捕獲類之間的關系，從而指導類之間的信息傳播。通用多標簽圖像識別的實驗結果表明，這兩個模型優于其他state-of-the-arts。此外，所提出的方法在一些與多標簽分類有關的應用中也具有不錯的效果。

5. Deep Constraint-based Propagation in Graph Neural Networks （論文下載地址：

我們可以用圖的形式來表示實際應用中的數據的復雜結構。GNN是Scarselli等人提出的一種針對圖數據的模型，是循環神經網絡和隨機游走模型的擴展。在保持二者特性的基礎上擴展了循環神經網絡，可以處理多種類型的圖，例如，循環圖，有向圖和無向圖，無需任何預處理即可處理以節點為中心的應用。通過迭代擴散過程對圖的節點狀態進行編碼，對于每個訓練epoch，GNN的學習過程需要一個迭代擴散機制，直到它收斂到一個穩定的不動點。這是一個多階段的優化過程，比基于梯度優化的模型更昂貴，更不實用。雖然，迭代過程可以提前停止以加速計算，但這最終限制了GNN學習的局部編碼能力，減少了沿每個節點攜帶的信息圖的擴散深度。我們提出了一種新的基于拉格朗日公式的GNN學習機制，其中每個節點與其鄰域之間的關系由一組約束表示。找到滿足約束條件的節點狀態表示是重新考慮上述擴散過程中固定點計算的一種簡單方法。我們可以借鑒神經網絡中的約束優化工具，以設計出一種完全基于BP的學習方法，其中狀態表示以及狀態轉換和輸出函數的權重可以共同優化。

與傳統基于拉格朗日的訓練方法不同的是，狀態轉移函數和輸出函數都是經典的BP可訓練模型，所有的訓練實例都共享這些模型，而學習問題的唯一附加變量與圖的節點有關。這使我們能夠在基于拉格朗日的圖擴散公式引入靈活性和添加新變量之間找到一個很好的權衡。我們通過類似于多層計算方法的pipeline of constraints 來計算每個節點的多個表示。每個節點的evolving representation 被視為附加到節點本身的新信息。引入使用該新信息的另一個狀態轉移函數，約束強制執行一個 parallel diffusion 過程，從而形成節點的另一種表示。這個過程可以重復多次，從而模擬一個深度約束方案，增強了GNN的表示能力。

實驗分析表明，所提出的方法在幾個基準測試上均優于state-of-the-arts。

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，ICML 2021共有5513篇論文投稿，共有1184篇接受（包括1018篇短論文和166篇長論文），接受率21.48%。

為此，專知小編提前為大家整理了五篇ICML 2021圖神經網絡（Graph Neural Network）最新進展，這塊這幾年一直比較受關注，大家先睹為快——圖正則化、分子式圖神經網絡、時間序列預測、有向圖網絡、GNN泛化

CVPR2021DA、CVPR2021IVC、CVPR2021PID、CVPR2021IC、CVPR2021VU、CVPR2021OD、CVPR2021OT、CVPR2021AR

1. GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

作者：Tianle Cai, Shengjie Luo, Keyulu Xu, Di He, Tie-Yan Liu, Liwei Wang

摘要：眾所周知，Normalization有助于深度神經網絡的優化。不同的體系結構需要專門的規范化方法。本文研究哪種歸一化對圖神經網絡（GNN）有效。首先，本文采用其他領域GNN的現有方法并評估。與BatchNorm和LayerNorm相比，InstanceNorm可以實現更快的收斂。我們通過將InstanceNorm作為GNN的前提條件來提供解釋，但是由于圖數據集中的大量批處理噪聲，BatchNorm的這種預處理效果較弱。其次，我們證明InstanceNorm中的移位操作會導致GNN的表達性下降，從而影響高度規則的圖。我們提出GraphNorm以可學習的方式解決此問題。根據經驗，與使用其他規范化的GNN相比，具有GraphNorm的GNN收斂更快。GraphNorm還改善了GNN的泛化，在圖分類基準上實現了更好的性能。

論文： //arxiv.org/abs/2009.03294

2. Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

作者：Ryan Henderson, Djork-Arné Clevert, Floriane Montanari

摘要：對于分子的哪些部分可能會影響分子圖卷積神經網絡（GCNN）的預測，這部分探索相對很困難。為了幫助解決這個問題，本文提出了兩種簡單的正則化方法，在GCNN的訓練過程中應用：批處理表示正態化（Batch Representation Orthonormalization，BRO）和基尼正則化（Gini regularization）。BRO受分子軌道理論的啟發，使圖卷積運算生成正交節點嵌入表示。Gini正則化應用于輸出層的權重，限制模型可用于進行預測的維數。本文表明，Gini和BRO正則化可以提高人工基準數據集上最新的GCNN方法的準確性。在現實世界中，本文證明了藥物化學家非常喜歡從正規化模型中提取解釋。雖然我們僅在GCNN的背景下研究這些正則化，但兩者都可以應用于其他類型的神經網絡。

論文：

3. Z-GCNETs: Time Zigzags at Graph Convolutional Networks for Time Series Forecasting

作者：Yuzhou Chen, Ignacio Segovia-Dominguez, Yulia R. Gel

摘要：最近，一種新的深度學習（DL）架構的變得很火，該架構將明確的時間維度集成為學習和表示機制的基本構建塊。與之相反，許多最新結果表明，觀測數據的拓撲描述符（即數據的持久同源性）可能包含重要的補充信息從而改善DL的性能和魯棒性，這種拓撲描述符以不同比例對拓撲空間中數據集形狀信息進行編碼。隨著這兩個新思想的融合，我們提出使用數據的最顯著的時間條件拓撲信息來增強DL體系結構，并將zigzag持久性的概念引入時間感知圖卷積網絡（GCN）中。zigzag持續性提供了一個系統的、數學上嚴格的框架來跟蹤觀察數據的最重要的拓撲特征，這些特征隨著時間的推移會逐漸顯現。為了將提取的時間條件拓撲描述符集成到DL中，本文開發了一個新的拓撲方法，zigzag持久性圖像，并得出其理論上的穩定性保證。我們使用時間感知zigzag拓撲層（Z-GCNET）驗證了新的GCN，并將其應用于流量預測和以太坊區塊鏈價格預測。結果表明，Z-GCNET在4個時間序列數據集上的表現優于13種最新方法。

論文：

4. Directional Graph Networks

作者：Dominique Beaini, Saro Passaro, Vincent Létourneau, William L. Hamilton, Gabriele Corso, Pietro Liò

摘要：圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，作者提出了第一個全局一致的各向異性核，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，將具體節點信息投影到場，提出了一種方向導數和平滑的方法。然后，用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。在不同的標準基準上評估了本文方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網絡能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

論文：

5. Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth

作者：Keyulu Xu, Mozhi Zhang, Stefanie Jegelka, Kenji Kawaguchi

摘要：GNN的表示能力和泛化能力得到了廣泛的研究。但是，它們的優化其實研究的很少。通過研究GNN的梯度動力學，本文邁出分析GNN訓練的第一步。具體來說，首先，本文分析線性化（linearized）的GNN，并證明了：盡管它的訓練不具有凸性，但在我們通過真實圖驗證的溫和假設下，可以保證以線性速率收斂到全局最小值。其次，我們研究什么會影響GNN的訓練速度。結果表明，通過跳過（skip）連接，可以的到更深的深度、良好的標簽分布，可以隱式地加速GNN的訓練。實驗結果證實，我們針對線性GNN的理論結果與非線性GNN的訓練行為一致。我們的結果在優化方面為具有跳過連接的GNN的成功提供了第一個理論支持，并表明具有跳過連接的深層GNN在實踐中將很有希望對。

論文：

圖神經網絡在處理基于圖數據問題方面取得了巨大的成功，受到了廣泛的關注和應用。GNNs通常是基于消息傳遞的方式設計的，本質思想即迭代地聚合鄰居信息，而經過次的迭代后， 層GNNs能夠捕獲節點的K-hop局部結構，學習來自跳鄰居的信息。因此更深層的GNN就能夠訪問更多的鄰居信息，學習與建模遠距離的節點關系，從而獲得更好的表達能力與性能。而在實際在做深層GNN操作時，往往會面臨著兩類問題：1. 隨著層數的增加，GNNs的性能會大幅下降；2. 隨著層數的增加，利用GNNs進行訓練與推斷時需要的計算量會指數上升。對于第一個問題來說，現有的很多工作分析出深層GNNs性能下降的原因是受到了過平滑問題的影響，并提出了緩解過平滑的解決方案；而對于第二個問題來說，設計方案模擬深層GNNs的表現能力并減少GNNs的計算消耗也成了亟待解決的需求，比如用于實時系統的推斷。針對這兩個問題，本文將分別介紹兩個在KDD 2020上的關于深度GNNs的最新工作。

第一個工作是Research Track的《Towards Deeper Graph Neural Networks》。該工作從另一個角度去解讀深度圖神經網絡隨著層數增加性能下降的問題，認為影響性能下降的主要原因是Transformation和Propagation兩個過程的糾纏影響作用，并且基于分析結果設計了深度自適應圖神經網絡（Deep Adaptive Graph Neural Networks) 模型，能夠有效地緩解深層模型的性能快速下降問題。

第二個工作是Research Track的《TinyGNN: Learning E?icient Graph Neural Networks》。該工作嘗試訓練small GNN(淺層)去模擬Deep GNN(深層)的表達能力和表現效果，致力于應用在實時系統推斷等對推斷速度有較高要求的場景。

【導讀】IJCAI（國際人工智能聯合會議，International Joint Conferences on Artificial Intelligence）作為人工智能領域最頂級的國際學術會議之一，IJCAI 的舉辦自然備受矚目。第29屆國際人工智能聯合會議和第17屆環太平洋國際人工智能會議原定于2020年7月11日在日本橫濱召開，但由于疫情影響，將延期半年，至 2021年1月召開。近期，IJCAI 2020 論文集已經放出來。在 4717 份有效投稿中，最終僅有 592 篇被接收，接收率為 12.6%，這也是 IJCAI 史上最低的接收率。我們發現在今年的IJCAI 2020會議上圖神經網絡相關的論文非常多，今天小編專門整理最新6篇圖神經網絡（GNN）應用在自然語言處理上的相關論文——AMR-to-text生成、Path GCN、圖互注意力網絡、常識知識、有向超圖GCN

IJCAI 2020 Accepted Paper: //www.ijcai.org/Proceedings/2020/

IJCAI2020GNN_Part1、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、

1、Better AMR-To-Text Generation with Graph Structure Reconstruction 作者：Tianming Wang, Xiaojun Wan, Shaowei Yao

摘要：AMR-to-text 生成是一項艱巨的任務，它需要從基于圖的語義表示中生成文本。最近的研究將這一任務看作是圖到序列的學習問題，并使用各種圖神經網絡來建模圖結構。在本文中，我們提出了一種新的方法，在重構輸入圖結構的同時，從AMR圖中生成文本。我們的模型使用圖注意力機制來聚合信息以對輸入進行編碼。此外，通過優化兩個簡單而有效的輔助重構目標：鏈接預測目標(需要預測節點之間的語義關系)和距離預測目標(需要預測節點之間的距離)，能夠學習到更好的節點表示。在兩個基準數據集上的實驗結果表明，我們提出的模型在強基線上有很大的改善，并達到了新的技術水平。

網址：

2、Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network

作者：Zeyun Tang, Y ongliang Shen, Xinyin Ma, Wei Xu, Jiale Yu, Weiming Lu

摘要：跨多個文檔的多跳（Multi-hop ）閱讀理解近年來備受關注。在本文中，我們提出了一種新的方法來解決這個多跳閱讀理解問題。受人類推理過程的啟發，我們從支持文檔（supporting documents）中構造了一個基于路徑的推理圖。該推理圖結合了基于圖的方法和基于路徑的方法的思想，更適合于多跳推理。同時，我們提出了GATED-RGCN在基于路徑的推理圖上積累證據，GATED-RGCN包含了一種新的問題感知門控機制，以規范跨文檔傳播信息的有用性，并在推理過程中添加問題信息。我們在WikiHop數據集上對我們的方法進行了評估，與以前發布的方法相比，我們的方法達到了最先進的準確性。特別值得一提的是，我們的集成模型比人類的表現高出4.2%。

網址：

3、The Graph-based Mutual Attentive Network for Automatic Diagnosis

作者：Quan Yuan, Jun Chen, Chao Lu, Haifeng Huang 摘要：自動診斷一直存在缺乏可靠語料庫來訓練可信預測模型的問題。此外，以往的基于深度學習的診斷模型大多采用序列學習技術(CNN或RNN)，難以提取關鍵醫療實體之間的復雜結構信息（如圖結構）。本文提出基于真實醫院的高標準電子病歷文檔建立的診斷模型，以提高模型的準確性和可信度。同時，我們將圖卷積網絡引入到該模型中，緩解了稀疏特征的問題，便于提取用于診斷的結構信息。此外，我們還提出了mutual注意網絡來增強輸入的表示，以獲得更好的模型性能。我們在真實電子病歷文檔（ EMR documents）上進行實驗，結果表明與以往基于序列學習的診斷模型相比，該模型具有更高的準確性。我們提出的模型已被集成到中國數百家初級衛生保健機構的信息系統中，以協助醫生進行診斷。

網址：

4、TransOMCS: From Linguistic Graphs to Commonsense Knowledge

作者：Hongming Zhang, Daniel Khashabi, Yangqiu Song, Dan Roth

摘要：常識知識獲取是人工智能的關鍵問題。傳統獲取常識知識的方法通常需要昂貴的人工注釋并且費力，在大范圍內是不可行的。本文探索了一種從語言圖中挖掘常識知識的實用方法，目的是將從語言模式中獲得的廉價知識轉化為昂貴的常識知識。其結果是將大規模的選擇偏好知識資源ASER[Zhang et al., 2020]轉換為TransOMCS，其表示與ConceptNet[Liu and Singh，2004]相同，但比ConceptNet大兩個數量級。實驗結果表明，語言知識可以轉化為常識知識，并且該方法在數量、新穎性和質量方面都是有效的。

代碼：

網址：

5、Two-Phase Hypergraph Based Reasoning with Dynamic Relations for Multi-Hop KBQA

作者：Jiale Han, Bo Cheng, Xu Wang

摘要：多跳知識庫問答(KBQA)旨在通過跨多個三元組的推理來尋找事實問題的答案。值得注意的是，當人類執行多跳推理時，傾向于在不同的跳中集中于特定的關系，并精確定位由該關系連接的一組實體。與利用成對連接來模擬人類執行多跳推理不同，超圖卷積網絡(HGCN)可以通過利用超邊連接兩個以上的節點。然而，HGCN是針對無向圖的，沒有考慮信息傳遞的方向。為了適應具有方向性的知識圖，我們引入了有向HGCN(Directed-HGCN, DHGCN)。受人類逐跳推理的啟發，我們提出了一種基于DHGCN的可解釋KBQA模型，即基于動態關系的兩階段超圖推理，該模型顯式更新關系信息，動態關注不同跳點的不同關系。此外，該模型逐跳預測關系以生成中間關系路徑。我們在兩個廣泛使用的多跳KBQA數據集上進行了大量的實驗，以證明該模型的有效性。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者：Dexiong Chen, Laurent Jacob, Julien Mairal

摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。

網址：

代碼鏈接：

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt

摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。

網址：

3. Haar Graph Pooling

作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址：

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon

摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址：

代碼鏈接：

【導讀】以圖神經網絡為代表的圖機器學習在近兩年成為研究熱點之一。近日，圖機器學習專家 Sergei Ivanov 為我們解讀了他總結出來的 2020 年圖機器學習的四大熱門趨勢，包括

Sergei Ivanov在這個領域已經工作了幾年，很高興看到這個領域發展很快，經常有非常有趣的想法出現。在這篇綜述中，我分析了提交給ICLR 2020的150篇論文，ICLR 2020是機器學習的主要會議之一。我讀了大部分的論文，試圖了解什么會對這一領域的發展產生重大影響。趨勢列表是我自己的，但是我很想知道你是否知道我最近錯過的有趣的論文，所以請在下面評論。

2020年才剛剛開始，我們已經可以在最新的研究論文中看到圖機器學習(GML)的發展趨勢。以下是我對2020年GML的重要內容的看法以及對這些論文的討論。

概述

本文寫作目的并非介紹圖機器學習的基本概念，如圖神經網絡（Graph Neural Network，GNN），而是揭示我們可以在頂級學術會議上看到的前沿研究。首先，我把在圖機器學習的研究成果的論文提交到 ICLR 2020闡述了GNN的論文情況

49篇ICLR2020高分「圖機器學習GML」接受論文及代碼

有 150 篇論文涉及圖機器學習，其中三分之一的論文已被接受。這大約相當于所有被接受論文的 10%。

在閱讀了大部分關于圖機器學習的論文之后，我整理出了 2020 年圖機器學習的趨勢，如下所列：

• 1. 對圖神經網絡將有更深入的理論理解；
• 2. 圖神經網絡將會有更酷的應用；
• 3. 知識圖譜將會變得更為流行；
• 4. 新的圖嵌入框架將出現。

讓我們來看看這些趨勢。

1. 圖神經網絡的理論理解

從目前發展趨勢看，圖機器學習的領域在進展迅速，但是圖神經網絡還有很多工作要做。但關于圖神經網絡的工作原理，已經有了一些重要的研究結果！ 洛桑聯邦理工學院 Andreas Loukas 的這篇論文《What graph neural networks cannot learn: depth vs width》，無論在影響力、簡潔性還是對理論理解的深度上，無疑是論文中的代表作。

論文表明，如果我們希望圖神經網絡能夠計算一個流行的圖問題（如循環檢測、直徑估計、頂點覆蓋等等），那么節點嵌入的維數（網絡寬度 w）乘以層數（網絡深度 d) 應與圖 n 的大小成正比，即 dw=O(n)。 但現實是當前的GNN的許多實現都無法達到此條件，因為層數和嵌入的尺寸與圖的大小相比還不夠大。另一方面，較大的網絡在實際操作中不合適的，這會引發有關如何設計有效的GNN的問題，當然這個問題也是研究人員未來工作的重點。需要說明的是，這篇論文還從80年代的分布式計算模型中汲取了靈感，證明了GNN本質上是在做同樣的事情。

與此類似，Oono 與 Suzuki、Barcelo 等人的另外兩篇論文也研究了圖神經網絡的威力。在第一篇論文《圖神經網絡在節點分類的表達能力呈指數級下降》（Graph Neual Networks Exponentially Lose Expressive Power for Node Classification）中，論文指出：

在一定的權重條件下，當層數增加時，GCN 只能學習節點度和連通分量（由拉普拉斯譜（the spectra of the Laplacian）確定），除此之外什么也學不到。

這個結果推廣了馬爾科夫過程（Markov Processes）收斂到唯一平衡點的著名性質，其中收斂速度由轉移矩陣的特征值決定。

在第二篇論文《圖神經網絡的邏輯表達》（The Logical Expressiveness of Graph Neural Network）中，作者展示了圖神經網絡和它們可以捕獲的節點分類器類型之間的聯系。我們已經知道，一些圖神經網絡和圖同構的威斯費勒 - 萊曼（Weisfeiler-Leman，WL）算法一樣強大，也就是說，當且僅當兩個節點被圖神經網絡分類為相同時，威斯費勒 - 萊曼算法才會將它們著色為相同的顏色。但是，圖神經網絡可以捕獲其他分類函數嗎？例如，假設一個布爾函數，當且僅當一個圖有一個孤立的頂點時，該函數才會將 ture 賦值給所有的節點。圖神經網絡能捕捉到這一邏輯嗎？從直觀上來看是不能，因為圖神經網絡是一種消息傳遞機制，如果圖的一部分和另一部分（兩個連接的組件）之間沒有鏈接，那么這兩者之間將不會傳遞消息。因此，一個建議的簡單解決方案是在鄰域聚合之后添加一個讀出操作，這樣當每個節點更新所有特性時，它就擁有了關于圖中所有其他節點的信息。

理論方面的其他工作包括 Hou 等人的圖神經網絡測量圖信息的使用，以及 Srinivasan 與 Ribeiro 提出的基于角色和基于距離的節點嵌入的等價性。

2. 圖神經網絡的更多應用

在過去的一年中，GNN已經在一些實際任務中進行了應用。包括修復 JavaScript 中的 Bug、玩游戲、回答類似 IQ 的測試、優化 TensorFlow 計算圖、分子生成以及對話系統中的問題生成。

在論文中，作者其提出了一種在Javascript代碼中同時檢測和修復錯誤的方法（HOPPITY: LEARNING GRAPH TRANSFORMATIONS TO DETECT AND FIX BUGS IN PROGRAMS）。具體操作是將代碼轉換為抽象語法樹，然后讓GNN進行預處理以便獲得代碼嵌入，再通過多輪圖形編輯運算符（添加或刪除節點，替換節點值或類型）對其進行修改。為了理解圖形的哪些節點應該修改，論文作者使用了一個指針網絡（Pointer network），該網絡采用了圖形嵌入來選擇節點，以便使用LSTM網絡進行修復。當然，LSTM網絡也接受圖形嵌入和上下文編輯。 類似的應用還體現在上面這篇論文中《LambdaNet: Probabilistic Type Inference using Graph Neural Networks》。來自得克薩斯大學奧斯汀分校的作者研究了如何推斷像Python或TypeScript此類語言的變量類型。更為具體的，作者給出了一個類型依賴超圖（type dependency hypergraph），包含了程序作為節點的變量以及它們之間的關系，如邏輯關系、上下文約束等；然后訓練一個GNN模型來為圖和可能的類型變量產生嵌入，并結合似然率進行預測。 在智商測試類的應用中，上面這篇論文《Abstract Diagrammatic Reasoning with Multiplex Graph Networks》展示了GNN如何進行IQ類測試，例如瑞文測驗（RPM）和圖三段論（DS）。具體的在RPM任務中，矩陣的每一行組成一個圖形，通過前饋模型為其獲取邊緣嵌入，然后進行圖形匯總。由于最后一行有8個可能的答案，因此將創建8個不同的圖，并將每個圖與前兩行連接起來，以通過ResNet模型預測IQ得分。如下圖所示：

DeepMind 的一篇論文《用于優化計算圖的增強遺傳算法學習》（Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs）提出了 一種強化學習算法，可以優化 TensorFlow 計算圖的成本。這些圖是通過標準的消息傳遞圖神經網絡來處理的，圖神經網絡生成與圖中每個節點的調度優先級相對應的離散化嵌入。這些嵌入被輸入到一個遺傳算法 BRKGA 中，該算法決定每個節點的設備放置和調度。通過對該模型進行訓練，優化得到的 TensorFlow 圖的實際計算成本。

類似的炫酷應用還有Chence Shi的分子結構生成《Graph Convolutional Reinforcement Learning》和Jiechuan Jiang玩游戲以及Yu Chen的玩游戲等等《Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation》。

3. 知識圖譜將會變得更為流行

在ICLR2020會議上，有很多關于知識圖譜推理的論文。從本質上講，知識圖譜是一種表示事實的結構化方法。與一般的圖不同，知識圖譜中的節點和邊實際上具有某種意義，例如，演員的名字或在電影中的表演（見下圖）。知識圖譜的一個常見問題是回答一些復雜的查詢，例如“在 2000 年前，Steven Spielberg 的哪些電影獲得了奧斯卡獎？”可以將其轉換成邏輯查詢 ∨ {Win(Oscar, V) ∧ Directed(Spielberg, V) ∧ ProducedBefore(2000, V) }。

知識圖譜例子

在 斯坦福大學Ren 等人的論文《Query2box：基于框嵌入的向量空間中知識圖譜的推理》（Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings）中，作者建議 將查詢嵌入到潛在空間中作為矩形框形式，而不是作為單點形式。這種方法允許執行自然的相交操作，即合取 ∧，因為它會產生新的矩形框。但是，對聯合（即析取 ∨）進行建模并不是那么簡單，因為它可能會導致不重疊的區域。此外，為了精確建模任何帶有嵌入的查詢，用 VC 維（Vapnik-Chervonenkis Dimension）度量的嵌入之間的距離函數的復雜度應與圖中實體的數量成正比。取而代之的一個很好的技巧是，將一個析取式查詢替換為 DNF 形式，其中只有在計算圖的末尾才會出現聯合，這可以有效地減少對每個子查詢的簡單舉例計算。

Query2Box 推理框架

在類似的主題中，Wang 等人在題為《知識圖譜中數字規則的可微學習》（Differentiable Learning of Numerical Rules in Knowledge Graphs）中，提出了一種使用處理數值實體和規則的方法。例如，對于引用知識圖譜，可以有一個規則 influences(Y,X) ← colleagueOf(Z,Y) ∧ supervisorOf(Z,X) ∧ hasCitation>(Y,Z)，它指出，學生 X 通常會受到他們的導師 Z 的同事 Y 的影響，后者被引用的次數更多。這個規則右邊的每個關系都可以表示為一個矩陣，尋找缺失鏈接的過程可以通過實體向量的連續矩陣乘法，這一過程稱為規則學習（Rule Learning）。由于矩陣的構造方式，神經方法只能在諸如 colleagueOf(z,y) 這樣的分類規則下工作。該論文作者的貢獻在于，他們提出了一種新穎的方法，通過顯示實際上無需顯式地物化這樣的矩陣，顯著地減少了運行時間，從而有效地利用 hasCitation(y,z) 和否定運算符等數值規則。

引用知識圖譜（Citation KG）示例

在今年的圖神經網絡（或者說機器學習）中經常出現的一個研究方向是：對現有模型的重新評估，以及在一個公平環境中進行測評。

上面這篇文章即是其中一個，他們的研究表明，新模型的性能往往取決于試驗訓練中的“次要”細節，例如損失函數的形式、正則器、采樣的方案等。在他們進行的大型消融研究中，作者觀察到將舊的方法（例如RESCAL模型）的超參數進行適當調整就可以獲得SOTA性能。

當然在這個領域還有許多其他有趣的工作，Allen et al. 基于對詞嵌入的最新研究，進一步探究了關系與實體的學習表示的隱空間。Asai et al. 則展示了模型如何在回答給定query的Wikipedia圖譜上檢索推理路徑。Tabacof 和 Costabello 討論了圖嵌入模型的概率標定中的一個重要問題，他們指出，目前流行的嵌入模型TransE 和ComplEx（通過將logit函數轉換成sigmoid函數來獲得概率）均存在誤校，即對事實的存在預測不足或預測過度。

4. 新的圖嵌入框架將出現

圖嵌入是圖機器學習的一個長期的研究主題，今年有一些關于我們應該如何學習圖表示的新觀點出現。

康奈爾的Chenhui Deng等人的《GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding》提出了一種改善運行時間和準確率的方法，可以應用到任何無監督嵌入方法的節點分類問題。

這篇文章的總體思路是，首先將原始圖簡化為更小的圖，這樣可以快速計算節點嵌入，然后再回復原始圖的嵌入。

最初，根據屬性相似度，對原始圖進行額外的邊擴充，這些便對應于節點的k近鄰之間的鏈接。隨后對圖進行粗化：通過局部譜方法將每個節點投影到低維空間中，并聚合成簇。任何無監督的圖嵌入方法（例如DeepWalk、Deep Graph Infomax）都可以在小圖上獲得節點嵌入。在最后一步，得到的節點嵌入（本質上表示簇的嵌入）用平滑操作符迭代地進行廣播，從而防止不同節點具有相同的嵌入。在實驗中，GraphZoom框架相比node2vec和DeepWalk，實現了驚人的 40 倍的加速，準確率也提高了 10%。 已有多篇論文對圖分類問題的研究成果進行了詳細的分析。比薩大學的Federico Errica 等人提出《A Fair Comparison of Graph Neural Networks for Graph Classification 》在圖分類問題上，對GNN模型進行了重新評估。

他們的研究表明，一個不利用圖的拓撲結構（僅適用聚合節點特征）的簡單基線能獲得與SOTA GNN差不多的性能。事實上，這個讓人驚訝的發現，Orlova等人在2015年就已經發表了，但沒有引起大家的廣泛關注。 Skolkovo 科學技術研究院的Ivanov Sergey等人在《Understanding Isomorphism Bias in Graph Data Sets》研究中發現，在MUTAG和IMDB等常用數據集中，即使考慮節點屬性，很多圖也都會具有同構副本。而且，在這些同構圖中，很多都有不同的target標簽，這自然會給分類器引入標簽噪聲。這表明，利用網絡中所有可用的元信息（如節點或邊屬性）來提高模型性能是非常重要的。 另外還有一項工作是UCLA孫怡舟團隊的工作《Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification 》。這項工作顯示如果用一個線性近鄰聚合函數取代原有的非線性近鄰聚合函數，模型的性能并不會下降。這與之前大家普遍認為“圖數據集對分類的影響并不大”的觀點是相反的。同時這項工作也引發一個問題，即如何為此類任務找到一個合適的驗證框架。

結論

隨著頂會的論文提交量的增長，我們可以預計，2020 年圖機器學習領域將會涌現許多有趣的成果。我們已經目睹這一領域的轉變，從圖的深度學習的啟發式應用，到更合理的方法和關于圖波形范圍的基本問題。圖神經網絡找到了它的位置，作為一個有效的解決許多實際問題的方法，這些問題可以用圖來表達，但我認為，總體而言，圖機器學習只不過是觸及了我們可以實現的圖論和機器學習的交叉點上所能取得的成果的皮毛，我們應該繼續關注即將到來的結果。

參考鏈接：

1. //towardsdatascience.com/top-trends-of-graph-machine-learning-in-a3

2. AI前線：2020 年圖機器學習的熱門趨勢

3. AI科技評論 火爆的圖機器學習，2020年將有哪些研究趨勢？

1、 Adversarial Graph Embedding for Ensemble Clustering

作者：Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要：Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區（consensus partition）中，但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2）獲得具有可學習圖表示的共識分區（consensus partition）仍未得到充分研究。在本文中，我們提出了一種新穎的對抗圖自動編碼器（AGAE）模型，將集成聚類結合到深度圖嵌入過程中。具體地，采用圖卷積網絡作為概率編碼器，將特征內容信息與共識圖信息進行聯合集成，并使用簡單的內積層作為解碼器，利用編碼的潛變量（即嵌入表示）重建圖。此外，我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗，證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。

網址：//www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者：Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要：Attributed Graph聚類是一項具有挑戰性的工作，它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明，圖卷積能夠有效地將結構信息和內容信息結合起來，近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而，對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能，人們的了解有限。現有的方法本質上是利用固定低階的圖卷積，只考慮每個節點幾跳內的鄰居，沒有充分利用節點關系，忽略了圖的多樣性。本文提出了一種自適應圖卷積方法，利用高階圖卷積捕獲全局聚類結構，并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗，驗證了該方法的有效性。實驗結果表明，該方法與現有的方法相比具有較好的優越性。

網址：

3、Dynamic Hypergraph Neural Networks

作者：Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要：近年來，基于圖/超圖（graph/hypergraph）的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而，隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題，我們提出了一個動態超圖神經網絡框架（DHGNN），它由兩個模塊的堆疊層組成：動態超圖構造（DHG）和超圖卷積（HGC）。考慮到最初構造的超圖可能不適合表示數據，DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積，它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。

網址：

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者：Hogun Park and Jennifer Neville;

摘要：節點分類是關系機器學習中的一個重要問題。然而，在圖邊表示實體間交互的場景中(例如，隨著時間的推移)，大多數當前方法要么將交互信息匯總為鏈接權重，要么聚合鏈接以生成靜態圖。在本文中，我們提出了一種神經網絡結構，它可以同時捕獲時間和靜態交互模式，我們稱之為Temporal-Static-Graph-Net（TSGNet）。我們的主要觀點是，利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式)，可以提高節點分類的性能。在我們對節點分類任務的實驗中，與最先進的方法相比，TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比，TSGNet的分類錯誤減少了24%，平均減少了10%。

網址：

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者：Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要：事件在現實世界中實時發生，可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而，由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構，挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯，并構建了一個基于事件的異構信息網絡(HIN)，該網絡融合了外部知識庫中的信息，提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例，并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗，比較各種社會事件檢測和聚類任務。實驗結果表明，我們提出的框架優于其他可選的社會事件分類技術。

網址：

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者：Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要：基于會話的推薦旨在預測用戶基于匿名會話的下一步行動，是許多在線服務（比如電子商務，媒體流）中的關鍵任務。近年來，在不使用遞歸網絡和卷積網絡的情況下，自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而，SAN缺乏存在于相鄰商品上的本地依賴關系，并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN)，用于基于會話的推薦。在GC-SAN中，我們動態地為會話序列構造一個圖結構，并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后，每個會話通過應用自注意力機制學習長期依賴關系。最后，每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明，GC-SAN始終優于最先進的方法。

網址：

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者：Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要：基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而，彌補模態差異，進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法，該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成：語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程，即學生模塊，用于語義信息的挖掘。此外，利用GCN研究數據點之間的內在相似性結構，有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明，所提出的GCH方法優于最先進的方法。

網址：