亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖結構數據是許多應用領域的組成部分，包括化學信息學、計算生物學、神經成像和社會網絡分析。在過去的二十年中，人們提出了許多圖的核函數，即圖之間的核函數，來解決圖之間的相似性評估問題，從而使分類和回歸設置中進行預測成為可能。這篇手稿提供了對現有圖內核、它們的應用、軟件和數據資源的回顧，并對最先進的圖內核進行了實證比較。

//arxiv.org/abs/2011.03854

摘要：

在機器學習中常用的數據結構中，圖可以說是最通用的一種。圖允許將復雜對象建模為實體(節點)和這些實體(邊)之間關系的集合，每個實體都可以通過元數據(如分類或矢量節點和邊特征)進行注釋。許多普遍存在的數據類型可以被理解為圖形的特殊情況，包括非結構化矢量數據以及結構化數據類型，例如時間序列、圖像、體積數據、點云或實體包等。最重要的是，許多應用程序受益于基于圖形表示提供的額外靈活性。

本文共分為兩部分: 第一部分是對常見圖核的理論描述。在第2章簡要介紹了圖理論和內核之后，我們在第3章對相關的圖內核進行了詳細的描述、類型和分析。我們將詳細介紹不同內核之間的關系，并簡要介紹它們對某些類型數據的適用性。第4章的第二部分著重于對圖核的大規模經驗評估，以及對基準數據集的理想屬性和需求的描述。在第5章中，我們概述了圖核的未來趨勢和面臨的挑戰，以此來結束我們的綜述。

圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。

摘要：

當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。

形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。

圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。

本篇內容結構：

• (1) 簡明易懂的GNNs入門教程。
• (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
• (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
• (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。

//deepai.org/publication/a-practical-guide-to-graph-neural-networks

近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。

近年來, 隨著海量數據的涌現, 可以表示對象之間復雜關系的圖結構數據越來越受到重視并給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用于諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基于空間方法的圖神經網絡模型、基于譜方法的圖神經網絡模型和基于生成方法的圖神經網絡模型等,并提出可供未來進一步研究的問題.

//engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

圖是對對象及其相互關系的一種簡潔抽象的直觀數學表達. 具有相互關系的數據—圖結構數據在眾多領域普遍存在, 并得到廣泛應用. 隨著大量數據的涌現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方面有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵復雜特征和 實現對海量數據的快速處理等方面, 例如, 預測化學分子的特性 [1]、文本的關系提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.

圖神經網絡的概念最早于 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用于處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此后, 陸續有關于圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.

目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重于將所述各種方法置于一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 并根據發展歷史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 并將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 并總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.

本文將對圖神經網絡模型的理論及應用進行綜述, 并討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在于, 我們給出新的分類標準, 并且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基于空間方法的圖神經網絡、基于譜方法的圖神經網絡和基于生成方法的圖神經網絡等; 然后介紹模型在節點分類、鏈路預測和圖生成等方面的應用; 最后提出未來的研究方向.

盡管生成式對抗網絡(GAN)的歷史并不長，但它已被廣泛地研究和用于各種任務，包括其最初的目的，即合成樣品的生成。然而，將GAN用于具有不同神經網絡結構的不同數據類型，由于其在訓練方面的局限性，使得模型很容易出現混亂。這種臭名昭著的GAN訓練是眾所周知的，并已在許多研究中提出。因此，為了使GAN的訓練更加穩定，近年來提出了許多正則化方法。本文綜述了近年來引入的正則化方法，其中大部分是近三年來發表的。具體地說，我們關注的是那些可以被普遍使用的方法，而不管神經網絡體系結構如何。根據其運算原理將其分為若干組，并分析了各方法之間的差異。此外，為了提供使用這些方法的實際知識，我們調研了在最先進的GANs中經常使用的流行方法。此外，我們還討論了現有方法的局限性，并提出了未來的研究方向。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

【導讀】元學習旨在學會學習，是當下研究熱點之一。最近來自愛丁堡大學的學者發布了關于元學習最新綜述論文《Meta-Learning in Neural Networks: A Survey》，值得關注，詳述了元學習體系，包括定義、方法、應用、挑戰，成為不可缺少的文獻。

近年來，元學習領域，或者說“學會學習的學習”，引起了人們極大的興趣。與傳統的人工智能方法(使用固定的學習算法從頭開始解決給定的任務)不同，元學習的目的是改進學習算法本身，考慮到多次學習的經驗。這個范例提供了一個機會來解決深度學習的許多傳統挑戰，包括數據和計算瓶頸，以及泛化的基本問題。在這項綜述中，我們描述了當代元學習的景觀。我們首先討論元學習的定義，并將其定位于相關領域，如遷移學習、多任務學習和超參數優化。然后，我們提出了一個新的分類法，對元學習方法的空間進行了更全面的細分。我們綜述了元學習的一些有前途的應用和成功案例，包括小樣本學習、強化學習和體系架構搜索。最后，我們討論了突出的挑戰和未來研究的有希望的領域。

//arxiv.org/abs/2004.05439

概述

現代機器學習模型通常是使用手工設計的固定學習算法，針對特定任務從零開始進行訓練。基于深度學習的方法在許多領域都取得了巨大的成功[1,2,3]。但是有明顯的局限性[4]。例如，成功主要是在可以收集或模擬大量數據的領域，以及在可以使用大量計算資源的領域。這排除了許多數據本質上是稀有或昂貴的[5]，或者計算資源不可用的應用程序[6,7]。

元學習提供了另一種范式，機器學習模型可以在多個學習階段獲得經驗——通常覆蓋相關任務的分布——并使用這些經驗來改進未來的學習性能。這種“學會學習”[8]可以帶來各種好處，如數據和計算效率，它更適合人類和動物的學習[9]，其中學習策略在一生和進化時間尺度上都得到改善[10,9,11]。機器學習在歷史上是建立在手工設計的特征上的模型，而特征的選擇往往是最終模型性能的決定因素[12,13,14]。深度學習實現了聯合特征和模型學習的承諾[15,16]，為許多任務提供了巨大的性能改進[1,3]。神經網絡中的元學習可以看作是集成聯合特征、模型和算法學習的下一步。神經網絡元學習有著悠久的歷史[17,18,8]。然而，它作為推動當代深度學習行業前沿的潛力，導致了最近研究的爆炸性增長。特別是，元學習有可能緩解當代深度學習[4]的許多主要批評，例如，通過提供更好的數據效率，利用先驗知識轉移，以及支持無監督和自主學習。成功的應用領域包括:小樣本圖像識別[19,20]、無監督學習[21]、數據高效[22,23]、自導向[24]強化學習(RL)、超參數優化[25]和神經結構搜索(NAS)[26, 27, 28]。

在文獻中可以找到許多關于元學習的不同觀點。特別是由于不同的社區對這個術語的使用略有不同，所以很難定義它。與我們[29]相關的觀點認為，元學習是管理“沒有免費午餐”定理[30]的工具，并通過搜索最適合給定問題或問題族的算法(歸納偏差)來改進泛化。然而，從廣義上來說，這個定義可以包括遷移、多任務、特征選擇和模型集成學習，這些在今天通常不被認為是元學習。另一個關于元學習[31]的觀點廣泛地涵蓋了基于數據集特性的算法選擇和配置技術，并且很難與自動機器學習(AutoML)[32]區分開來。在這篇論文中，我們關注當代的神經網絡元學習。我們將其理解為算法或歸納偏差搜索，但重點是通過端到端學習明確定義的目標函數(如交叉熵損失、準確性或速度)來實現的。

因此，本文提供了一個獨特的，及時的，最新的調查神經網絡元學習領域的快速增長。相比之下，在這個快速發展的領域，以往的研究已經相當過時，或者關注于數據挖掘[29、33、34、35、36、37、31]、自動[32]的算法選擇，或者元學習的特定應用，如小樣本學習[38]或神經架構搜索[39]。

我們討論元學習方法和應用。特別是，我們首先提供了一個高層次的問題形式化，它可以用來理解和定位最近的工作。然后，我們在元表示、元目標和元優化器方面提供了一種新的方法分類。我們調查了幾個流行和新興的應用領域，包括少鏡頭、強化學習和架構搜索;并對相關的話題如遷移學習、多任務學習和自動學習進行元學習定位。最后，我們討論了尚未解決的挑戰和未來研究的領域。

未來挑戰：

-元泛化 元學習在不同任務之間面臨著泛化的挑戰，這與傳統機器學習中在不同實例之間進行泛化的挑戰類似。

• 任務分布的多模態特性
• 任務族
• 計算代價
• 跨模態遷移和異構任務

總結

元學習領域最近出現了快速增長的興趣。這帶來了一定程度的混亂，比如它如何與鄰近的字段相關聯，它可以應用到什么地方，以及如何對它進行基準測試。在這次綜述中，我們試圖通過從方法學的角度對這一領域進行徹底的調查來澄清這些問題——我們將其分為元表示、元優化器和元目標的分類;從應用的角度來看。我們希望這項調查將有助于新人和實踐者在這個不斷增長的領域中定位自己，并強調未來研究的機會。

【導讀】以圖神經網絡為代表的圖機器學習在近兩年成為研究熱點之一。近日，圖機器學習專家 Sergei Ivanov 為我們解讀了他總結出來的 2020 年圖機器學習的四大熱門趨勢，包括

Sergei Ivanov在這個領域已經工作了幾年，很高興看到這個領域發展很快，經常有非常有趣的想法出現。在這篇綜述中，我分析了提交給ICLR 2020的150篇論文，ICLR 2020是機器學習的主要會議之一。我讀了大部分的論文，試圖了解什么會對這一領域的發展產生重大影響。趨勢列表是我自己的，但是我很想知道你是否知道我最近錯過的有趣的論文，所以請在下面評論。

2020年才剛剛開始，我們已經可以在最新的研究論文中看到圖機器學習(GML)的發展趨勢。以下是我對2020年GML的重要內容的看法以及對這些論文的討論。

概述

本文寫作目的并非介紹圖機器學習的基本概念，如圖神經網絡（Graph Neural Network，GNN），而是揭示我們可以在頂級學術會議上看到的前沿研究。首先，我把在圖機器學習的研究成果的論文提交到 ICLR 2020闡述了GNN的論文情況

49篇ICLR2020高分「圖機器學習GML」接受論文及代碼

有 150 篇論文涉及圖機器學習，其中三分之一的論文已被接受。這大約相當于所有被接受論文的 10%。

在閱讀了大部分關于圖機器學習的論文之后，我整理出了 2020 年圖機器學習的趨勢，如下所列：

• 1. 對圖神經網絡將有更深入的理論理解；
• 2. 圖神經網絡將會有更酷的應用；
• 3. 知識圖譜將會變得更為流行；
• 4. 新的圖嵌入框架將出現。

讓我們來看看這些趨勢。

1. 圖神經網絡的理論理解

從目前發展趨勢看，圖機器學習的領域在進展迅速，但是圖神經網絡還有很多工作要做。但關于圖神經網絡的工作原理，已經有了一些重要的研究結果！ 洛桑聯邦理工學院 Andreas Loukas 的這篇論文《What graph neural networks cannot learn: depth vs width》，無論在影響力、簡潔性還是對理論理解的深度上，無疑是論文中的代表作。

論文表明，如果我們希望圖神經網絡能夠計算一個流行的圖問題（如循環檢測、直徑估計、頂點覆蓋等等），那么節點嵌入的維數（網絡寬度 w）乘以層數（網絡深度 d) 應與圖 n 的大小成正比，即 dw=O(n)。 但現實是當前的GNN的許多實現都無法達到此條件，因為層數和嵌入的尺寸與圖的大小相比還不夠大。另一方面，較大的網絡在實際操作中不合適的，這會引發有關如何設計有效的GNN的問題，當然這個問題也是研究人員未來工作的重點。需要說明的是，這篇論文還從80年代的分布式計算模型中汲取了靈感，證明了GNN本質上是在做同樣的事情。

與此類似，Oono 與 Suzuki、Barcelo 等人的另外兩篇論文也研究了圖神經網絡的威力。在第一篇論文《圖神經網絡在節點分類的表達能力呈指數級下降》（Graph Neual Networks Exponentially Lose Expressive Power for Node Classification）中，論文指出：

在一定的權重條件下，當層數增加時，GCN 只能學習節點度和連通分量（由拉普拉斯譜（the spectra of the Laplacian）確定），除此之外什么也學不到。

這個結果推廣了馬爾科夫過程（Markov Processes）收斂到唯一平衡點的著名性質，其中收斂速度由轉移矩陣的特征值決定。

在第二篇論文《圖神經網絡的邏輯表達》（The Logical Expressiveness of Graph Neural Network）中，作者展示了圖神經網絡和它們可以捕獲的節點分類器類型之間的聯系。我們已經知道，一些圖神經網絡和圖同構的威斯費勒 - 萊曼（Weisfeiler-Leman，WL）算法一樣強大，也就是說，當且僅當兩個節點被圖神經網絡分類為相同時，威斯費勒 - 萊曼算法才會將它們著色為相同的顏色。但是，圖神經網絡可以捕獲其他分類函數嗎？例如，假設一個布爾函數，當且僅當一個圖有一個孤立的頂點時，該函數才會將 ture 賦值給所有的節點。圖神經網絡能捕捉到這一邏輯嗎？從直觀上來看是不能，因為圖神經網絡是一種消息傳遞機制，如果圖的一部分和另一部分（兩個連接的組件）之間沒有鏈接，那么這兩者之間將不會傳遞消息。因此，一個建議的簡單解決方案是在鄰域聚合之后添加一個讀出操作，這樣當每個節點更新所有特性時，它就擁有了關于圖中所有其他節點的信息。

理論方面的其他工作包括 Hou 等人的圖神經網絡測量圖信息的使用，以及 Srinivasan 與 Ribeiro 提出的基于角色和基于距離的節點嵌入的等價性。

2. 圖神經網絡的更多應用

在過去的一年中，GNN已經在一些實際任務中進行了應用。包括修復 JavaScript 中的 Bug、玩游戲、回答類似 IQ 的測試、優化 TensorFlow 計算圖、分子生成以及對話系統中的問題生成。

在論文中，作者其提出了一種在Javascript代碼中同時檢測和修復錯誤的方法（HOPPITY: LEARNING GRAPH TRANSFORMATIONS TO DETECT AND FIX BUGS IN PROGRAMS）。具體操作是將代碼轉換為抽象語法樹，然后讓GNN進行預處理以便獲得代碼嵌入，再通過多輪圖形編輯運算符（添加或刪除節點，替換節點值或類型）對其進行修改。為了理解圖形的哪些節點應該修改，論文作者使用了一個指針網絡（Pointer network），該網絡采用了圖形嵌入來選擇節點，以便使用LSTM網絡進行修復。當然，LSTM網絡也接受圖形嵌入和上下文編輯。 類似的應用還體現在上面這篇論文中《LambdaNet: Probabilistic Type Inference using Graph Neural Networks》。來自得克薩斯大學奧斯汀分校的作者研究了如何推斷像Python或TypeScript此類語言的變量類型。更為具體的，作者給出了一個類型依賴超圖（type dependency hypergraph），包含了程序作為節點的變量以及它們之間的關系，如邏輯關系、上下文約束等；然后訓練一個GNN模型來為圖和可能的類型變量產生嵌入，并結合似然率進行預測。 在智商測試類的應用中，上面這篇論文《Abstract Diagrammatic Reasoning with Multiplex Graph Networks》展示了GNN如何進行IQ類測試，例如瑞文測驗（RPM）和圖三段論（DS）。具體的在RPM任務中，矩陣的每一行組成一個圖形，通過前饋模型為其獲取邊緣嵌入，然后進行圖形匯總。由于最后一行有8個可能的答案，因此將創建8個不同的圖，并將每個圖與前兩行連接起來，以通過ResNet模型預測IQ得分。如下圖所示：

DeepMind 的一篇論文《用于優化計算圖的增強遺傳算法學習》（Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs）提出了 一種強化學習算法，可以優化 TensorFlow 計算圖的成本。這些圖是通過標準的消息傳遞圖神經網絡來處理的，圖神經網絡生成與圖中每個節點的調度優先級相對應的離散化嵌入。這些嵌入被輸入到一個遺傳算法 BRKGA 中，該算法決定每個節點的設備放置和調度。通過對該模型進行訓練，優化得到的 TensorFlow 圖的實際計算成本。

類似的炫酷應用還有Chence Shi的分子結構生成《Graph Convolutional Reinforcement Learning》和Jiechuan Jiang玩游戲以及Yu Chen的玩游戲等等《Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation》。

3. 知識圖譜將會變得更為流行

在ICLR2020會議上，有很多關于知識圖譜推理的論文。從本質上講，知識圖譜是一種表示事實的結構化方法。與一般的圖不同，知識圖譜中的節點和邊實際上具有某種意義，例如，演員的名字或在電影中的表演（見下圖）。知識圖譜的一個常見問題是回答一些復雜的查詢，例如“在 2000 年前，Steven Spielberg 的哪些電影獲得了奧斯卡獎？”可以將其轉換成邏輯查詢 ∨ {Win(Oscar, V) ∧ Directed(Spielberg, V) ∧ ProducedBefore(2000, V) }。

知識圖譜例子

在 斯坦福大學Ren 等人的論文《Query2box：基于框嵌入的向量空間中知識圖譜的推理》（Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings）中，作者建議 將查詢嵌入到潛在空間中作為矩形框形式，而不是作為單點形式。這種方法允許執行自然的相交操作，即合取 ∧，因為它會產生新的矩形框。但是，對聯合（即析取 ∨）進行建模并不是那么簡單，因為它可能會導致不重疊的區域。此外，為了精確建模任何帶有嵌入的查詢，用 VC 維（Vapnik-Chervonenkis Dimension）度量的嵌入之間的距離函數的復雜度應與圖中實體的數量成正比。取而代之的一個很好的技巧是，將一個析取式查詢替換為 DNF 形式，其中只有在計算圖的末尾才會出現聯合，這可以有效地減少對每個子查詢的簡單舉例計算。

Query2Box 推理框架

在類似的主題中，Wang 等人在題為《知識圖譜中數字規則的可微學習》（Differentiable Learning of Numerical Rules in Knowledge Graphs）中，提出了一種使用處理數值實體和規則的方法。例如，對于引用知識圖譜，可以有一個規則 influences(Y,X) ← colleagueOf(Z,Y) ∧ supervisorOf(Z,X) ∧ hasCitation>(Y,Z)，它指出，學生 X 通常會受到他們的導師 Z 的同事 Y 的影響，后者被引用的次數更多。這個規則右邊的每個關系都可以表示為一個矩陣，尋找缺失鏈接的過程可以通過實體向量的連續矩陣乘法，這一過程稱為規則學習（Rule Learning）。由于矩陣的構造方式，神經方法只能在諸如 colleagueOf(z,y) 這樣的分類規則下工作。該論文作者的貢獻在于，他們提出了一種新穎的方法，通過顯示實際上無需顯式地物化這樣的矩陣，顯著地減少了運行時間，從而有效地利用 hasCitation(y,z) 和否定運算符等數值規則。

引用知識圖譜（Citation KG）示例

在今年的圖神經網絡（或者說機器學習）中經常出現的一個研究方向是：對現有模型的重新評估，以及在一個公平環境中進行測評。

上面這篇文章即是其中一個，他們的研究表明，新模型的性能往往取決于試驗訓練中的“次要”細節，例如損失函數的形式、正則器、采樣的方案等。在他們進行的大型消融研究中，作者觀察到將舊的方法（例如RESCAL模型）的超參數進行適當調整就可以獲得SOTA性能。

當然在這個領域還有許多其他有趣的工作，Allen et al. 基于對詞嵌入的最新研究，進一步探究了關系與實體的學習表示的隱空間。Asai et al. 則展示了模型如何在回答給定query的Wikipedia圖譜上檢索推理路徑。Tabacof 和 Costabello 討論了圖嵌入模型的概率標定中的一個重要問題，他們指出，目前流行的嵌入模型TransE 和ComplEx（通過將logit函數轉換成sigmoid函數來獲得概率）均存在誤校，即對事實的存在預測不足或預測過度。

4. 新的圖嵌入框架將出現

圖嵌入是圖機器學習的一個長期的研究主題，今年有一些關于我們應該如何學習圖表示的新觀點出現。

康奈爾的Chenhui Deng等人的《GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding》提出了一種改善運行時間和準確率的方法，可以應用到任何無監督嵌入方法的節點分類問題。

這篇文章的總體思路是，首先將原始圖簡化為更小的圖，這樣可以快速計算節點嵌入，然后再回復原始圖的嵌入。

最初，根據屬性相似度，對原始圖進行額外的邊擴充，這些便對應于節點的k近鄰之間的鏈接。隨后對圖進行粗化：通過局部譜方法將每個節點投影到低維空間中，并聚合成簇。任何無監督的圖嵌入方法（例如DeepWalk、Deep Graph Infomax）都可以在小圖上獲得節點嵌入。在最后一步，得到的節點嵌入（本質上表示簇的嵌入）用平滑操作符迭代地進行廣播，從而防止不同節點具有相同的嵌入。在實驗中，GraphZoom框架相比node2vec和DeepWalk，實現了驚人的 40 倍的加速，準確率也提高了 10%。 已有多篇論文對圖分類問題的研究成果進行了詳細的分析。比薩大學的Federico Errica 等人提出《A Fair Comparison of Graph Neural Networks for Graph Classification 》在圖分類問題上，對GNN模型進行了重新評估。

他們的研究表明，一個不利用圖的拓撲結構（僅適用聚合節點特征）的簡單基線能獲得與SOTA GNN差不多的性能。事實上，這個讓人驚訝的發現，Orlova等人在2015年就已經發表了，但沒有引起大家的廣泛關注。 Skolkovo 科學技術研究院的Ivanov Sergey等人在《Understanding Isomorphism Bias in Graph Data Sets》研究中發現，在MUTAG和IMDB等常用數據集中，即使考慮節點屬性，很多圖也都會具有同構副本。而且，在這些同構圖中，很多都有不同的target標簽，這自然會給分類器引入標簽噪聲。這表明，利用網絡中所有可用的元信息（如節點或邊屬性）來提高模型性能是非常重要的。 另外還有一項工作是UCLA孫怡舟團隊的工作《Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification 》。這項工作顯示如果用一個線性近鄰聚合函數取代原有的非線性近鄰聚合函數，模型的性能并不會下降。這與之前大家普遍認為“圖數據集對分類的影響并不大”的觀點是相反的。同時這項工作也引發一個問題，即如何為此類任務找到一個合適的驗證框架。

結論

隨著頂會的論文提交量的增長，我們可以預計，2020 年圖機器學習領域將會涌現許多有趣的成果。我們已經目睹這一領域的轉變，從圖的深度學習的啟發式應用，到更合理的方法和關于圖波形范圍的基本問題。圖神經網絡找到了它的位置，作為一個有效的解決許多實際問題的方法，這些問題可以用圖來表達，但我認為，總體而言，圖機器學習只不過是觸及了我們可以實現的圖論和機器學習的交叉點上所能取得的成果的皮毛，我們應該繼續關注即將到來的結果。

參考鏈接：

1. //towardsdatascience.com/top-trends-of-graph-machine-learning-in-a3

2. AI前線：2020 年圖機器學習的熱門趨勢

3. AI科技評論 火爆的圖機器學習，2020年將有哪些研究趨勢？

Deep Learning based Recommender System: A Survey and New Perspectives

隨著在線信息量的不斷增長，推薦系統已成為克服此類信息過載的有效策略。鑒于其在許多網絡應用中的廣泛采用，以及其改善與過度選擇相關的許多問題的潛在影響，推薦系統的實用性不容小覷。近年來，深度學習在計算機視覺和自然語言處理等許多研究領域引起了相當大的興趣，不僅歸功于出色的表現，而且還具有從頭開始學習特征表征的吸引人的特性。深度學習的影響也很普遍，最近證明了它在應用于信息檢索和推薦系統研究時的有效性。顯然，推薦系統中的深度學習領域正在蓬勃發展。本文旨在全面回顧最近基于深度學習的推薦系統的研究工作。更具體地說，我們提供并設計了基于深度學習的推薦模型的分類，并提供了最新技術的綜合摘要。最后，我們擴展了當前的趨勢，并提供了有關該領域新的令人興奮的發展的新觀點。