亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在本章中，我們將討論神經網絡（NN） 的一些復雜之處，NN也是深度學習（DL） 的基 石。我們將討論神經網絡的數學基礎、架構和訓練過程。本章的主要目的是讓你對神經網絡有一個系統的了解。通常 ,我們從計算機科學的角度來看待它們一將其看作由許多不同步驟 / 組件組成的機器學習（ML） 算法（甚至可以看作一個特殊實體）。我們通過神經元、層等思考 的方式獲得一些認知（至少我第一次了解這個領域時是這樣做的）。這是一種非常有效的方式. 在這種理解水平上.我們可以做出令人印象深刻的事情。然而.這也許不是正確的方法。神 經 網 絡 具 有 堅 實 的 數 學 基 礎 . 如 果 我 們 從 這 個 角 度 來 研 究 它 ， 就 能 以 更 基 礎 、 更 優 雅 的 方 式 來 定 義 和 理 解 它 。因 此 , 本 章 將 從 數 學 和 計 算 機 科 學 的 角 度 強 調 神 經 網 絡 之 間 的 比 較 。如 果 你 已 經 熟 悉 這 些 , 可 以 跳 過 本 章 。盡 管 如 此 ， 我 還 是 希 望 你 能 發 現 一 些 你以前不知道的有趣的地方

近年來，圖神經網絡在文獻分類中得到了廣泛的應用。然而，現有的方法大多是基于沒有句子級信息的靜態詞同現圖，這帶來了三個挑戰:(1)詞的歧義性(2)詞的同義性(3)動態上下文依存。為了解決這些問題，我們提出了一種新的基于GNN的稀疏結構學習模型用于文檔分類。具體地說，文檔級圖最初是由句子級詞同現圖的斷開并集生成的。模型收集了一組可訓練的連接句子間不相連詞的邊，利用結構學習對動態上下文依賴的邊進行稀疏選取。具有稀疏結構的圖可以通過GNN聯合利用文檔中的局部和全局上下文信息。在歸納學習中，將改進后的文檔圖進一步輸入到一個通用的讀出函數中，以端到端方式進行圖級分類和優化。在幾個真實世界數據集上的大量實驗表明，提出的模型優于最先進的結果，并揭示了學習每個文檔稀疏結構的必要性。

//www.zhuanzhi.ai/paper/63b66dc21199c294e92d3703a5444d25

本教程涵蓋了元學習的原則理論和最新的研究進展，并結合了基于對推進新的生物醫學發現的高度相關性案例，進行研究設計。我們將介紹一種表示學習方法，通過學習跨數據集進行泛化，從而將標記數據和未標記數據連接起來。

教學目的

在生物醫學領域，獲取有標簽的數據集往往非常困難和耗時。在機器學習理論被使用之前，它需要耗費大量的手工勞動和專家知識來進行手工標記。其結果是導致出現了許多幾乎沒有標記或完全沒有標記的數據集。例如，在蛋白質功能預測中，大量的功能標簽只有少數標記基因，或者在單細胞轉錄組學中，新的和罕見的細胞類型出現在龐大的、異質性的單細胞數據集。

雖然機器學習方法擅長處理具有大量標記數據集的任務，這些標記數據集可以支持高度參數化模型的學習，但要解決生物醫學中的核心問題，我們需要的是一種可以推廣到不可見的領域，并且僅給出幾個標記訓練示例數據集，或者在極端情況下，完全沒有標記的數據集的方法。低數據模式任務的主要進展是通過元學習(學習跨任務學習)在相關任務中利用知識。元學習背后的核心思想是在之前的任務中獲取先驗知識，從而實現從少量數據中高效地學習新任務。

本教程將涵蓋元學習的原則理論和最近的研究進展，并結合了基于對推進新的生物醫學發現的高度相關性案例，進行研究設計。我們將介紹一種表示學習方法，通過學習在只有少數標記例子或沒有任何標記數據的數據集上進行泛化，從而架起標記數據和未標記數據之間的橋梁，并強調可解釋性。我們將花相當多的時間來解釋如何將可解釋性作為方法設計中的一個基本特征。本教程將使學員具備理解基礎和最先進的元學習方法的能力，并在自己的研究中使用學到的概念和方法。

學習目標

通過完成課程學習，參與者將獲得關于對元學習技術的基本概念和最新進展的理解和廣泛的知識:

1. 我們如何有效地從幾乎沒有標記的數據集中獲取知識，例如，蛋白功能或結構與幾個標記的例子?我們如何利用先驗知識來學習泛化，即元學習?

2. 我們如何利用現有知識庫中的知識，如基因本體和細胞本體，來提供基于少數標記示例的決策背后的解釋?

3. 在沒有任何標注例子的情況下，我們需要怎樣學習呢?我們是如何發現新的，從未見過的類別/類，如罕見的和未見過的細胞類型的單細胞實驗?

4. 我們如何在不同物種、組織或測序技術之間遷移知識?

5. 什么基本的生物學開放問題可以從元學習技術中受益?元學習如何運用于這些問題?

6. 哪些框架、工具和庫可用來在新的數據集和應用中使用元學習方法?

摘要： 近年來，新興的圖神經網絡因其強大的圖學習和推理能力，得到學術界和工業界的廣泛關注，被認為是推動人工智能領域邁入“認知智能”階段的核心力量.圖神經網絡融合傳統圖計算和神經網絡的執行過程，形成了不規則與規則的計算和訪存行為共存的混合執行模式.傳統處理器結構設計以及面向圖計算和神經網絡的加速結構不能同時應對2種對立的執行行為，無法滿足圖神經網絡的加速需求.為解決上述問題，面向圖神經網絡應用的專用加速結構不斷涌現，它們為圖神經網絡定制計算硬件單元和片上存儲層次，優化計算和訪存行為，取得了良好的加速效果.以圖神經網絡執行行為帶來的加速結構設計挑戰為出發點，從整體結構設計以及計算、片上訪存、片外訪存層次對該領域的關鍵優化技術進行詳實而系統地分析與介紹.最后還從不同角度對圖神經網絡加速結構設計的未來方向進行了展望，期望能為該領域的研究人員帶來一定的啟發.

人 工 智 能 時 代,包 括 卷 積 神 經 網 絡 (convoluＧ tionalneuralnetworks,CNNs)、循 環 神 經 網 絡 (recurrentneuralnetworks,RNNs)等在內的機器 學習應用為社會與生活的智能化做出了革新性的巨 大貢獻．然而傳統的神經網絡只能處理來自歐幾里 得空間(Euclideanspace)的數據[１],該類分布規整 且結構固定的數據無法靈活地表示事物間的復雜關 系．現實生活中,越來越多的場景采用圖作為表征數 據屬性與關系的結構．非歐幾里得空間中的圖結構 理論上能夠表征世間萬物的互聯關系(如社交網絡、 路線圖、基因結構等)[２],具有極為豐富和強大的數 據表達能力．圖計算是一種能夠對圖進行處理,深入 挖掘圖數據內潛藏信息的重要應用,但其不具備對 圖數據進行學習的能力．

受到傳統神經網絡與圖計算應用的雙重啟發, 圖神經網絡(graph neural networks,GNNs)應運 而生．圖神經網絡使得機器學習能夠應用于非歐幾 里得空間的圖結構中,具備對圖進行學習的能力．目 前圖神經網絡已經廣泛應用到節點分類[３]、風控評 估[４]、推薦系統[５]等眾多場景中．并且圖神經網絡被 認為是推動人工智能從“感知智能”階段邁入“認知 智能”階段的核心要素[６Ｇ８],具有極高的研究和應用 價值．

圖神經網絡的執行過程混合了傳統圖計算和神 經網絡應用的不同特點．圖神經網絡通常包含圖聚 合和圖更新２個主要階段．１)圖聚合階段的執行行 為與傳統圖計算相似,需要對鄰居分布高度不規則 的圖進行遍歷,為每個節點進行鄰居信息的聚合,因 此這一階段具有極為不規則的計算和訪存行為特 點．２)圖更新階段的執行行為與傳統神經網絡相似, 通過多層感知機(multiＧlayerperceptrons,MLPs) 等方式來進行節點特征向量的變換與更新,這一階 段具有規則的計算和訪存行為特點．

圖神經網絡的混合執行行為給應用的加速帶來 極大挑戰,規則與不規則的計算與訪存模式共存使 得傳統處理器結構設計無法對其進行高效處理．圖 聚合階段高度不規則的執行行為使得 CPU 無法從 其多層次緩存結構與數據預取機制中獲益．主要面 向密集規則型計算的 GPU 平臺也因圖聚合階段圖 遍歷的不規則性、圖更新階段參數共享導致的昂貴 數據復制和線程同步開銷等因素無法高效執行圖神 經網絡[９]．而已有的面向傳統圖計算應用和神經網 絡應用的專用加速結構均只關注于單類應用,無法 滿足具有混合應用特征的圖神經網絡加速需求．因 此為圖神經網絡專門設計相應的加速結構勢在必行．

自２０２０年全球首款面向圖神經網絡應用的專 用加速結構 HyGCN [９]發表后,短時間內學術界已 在該領域有多篇不同的硬件加速結構成果產出．為 使讀者和相關領域研究人員能夠清晰地了解圖神經 網絡加速結構的現有工作,本文首先對圖神經網絡 應用的基礎知識、常見算法、應用場景、編程模型以 及主流的基于通用平臺的框架與擴展庫等進行介 紹．然后以圖神經網絡執行行為帶來的加速結構設 計挑戰為出發點,從整體結構設計以及計算、片上訪 存、片外訪存多個層次對該領域的關鍵優化技術進 行詳實而系統的分析與介紹．最后還從不同角度對 圖神經網絡加速結構設計的未來方向進行了展望, 期望能為該領域的研究人員帶來一定的啟發．

當前已有的圖神經網絡應用領域綜述論文從不 同角度對圖神經網絡算法以及軟件框架進行總結與 分析．綜述[１]對應用于數據挖掘和機器學習領域的 主流圖神經網絡算法進行分類,并討論不同類別算 法的關系與異同．綜述[１０]依據圖神經網絡模型的結 構和訓練策略的不同,提出新的分類方法,并以模型 的發展歷史為主線進行介紹與分析．綜述[１１]圍繞圖 的表示學習(representationlearning)方法展開,并建立統一的框架來描述這些相關模型．綜述[１２]關注 于圖神經網絡的理論屬性,總結圖神經網絡的表達 能力(expressivepower)并對比分析克服表達限制 的圖神經網絡模型．綜述[１３]基于計算機的金字塔組 織結構,對面向圖計算的加速結構進行分類和總結, 對于新興的圖神經網絡應用,僅以 HyGCN [９]作為 案例進行了討論．與前述工作側重點不同的是,本文 針對圖神經網絡加速結構設計過程中涉及到的關鍵 優化技術,進行系統性分析和總結,具有重要意義與 啟發價值．

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

論文題目：Scalable Graph Neural Networks via Bidirectional Propagation

論文概述：圖神經網絡（GNN）是一個新興的非歐氏數據學習領域。近年來，人們對設計可擴展到大型圖形的GNN越來越感興趣。大多數現有的方法使用“圖采樣”或“分層采樣”技術來減少訓練時間；但是，這些方法在應用于具有數十億條邊的圖時仍然無法提供可靠的性能。在本文中，我們提出了一種可伸縮的圖神經網絡GBP，同時從特征向量和訓練/測試節點進行雙向消息傳播，為每個表示生成一個無偏估計量。每個傳播都是以局部方式執行的，從而實現了亞線性時間復雜性。廣泛的實驗證明，GBP達到了state-of-the-art性能同時顯著減少訓練和推理時間。在單臺機器上，GBP能夠在不到2000秒的時間內，在一個擁有超過6000萬個節點和18億條邊的圖形上提供優異的性能

//www.zhuanzhi.ai/paper/bf70cf78aa20bcfce7a1f6d36c8e080a

本文探討了大型人工神經網絡學習的語言結構知識，通過自監督訓練，該模型簡單地嘗試預測給定上下文中的一個掩蔽詞。人類的語言交流是通過詞語序列進行的，但是語言理解需要構建豐富的從未被明確觀察到的層次結構。這一機制一直是人類語言習得的一個主要奧秘，而工程工作主要是通過在樹堆上有監督的句子學習來完成的，這些句子是手寫標記的這種潛在結構。然而，我們證明，現代的深度語境化語言模型在沒有任何明確監督的情況下學習這種語言結構。我們開發了識別人工神經網絡中涌現的語言層次結構的方法，并證明了這些模型中的組件關注于語法關系和回指共指。事實上，我們表明，在這些模型中學習的嵌入的線性轉換捕獲了解析樹的距離，達到了令人驚訝的程度，允許大致重建通常由語言學家假定的句子樹結構。這些結果有助于解釋為什么這些模型在許多語言理解任務中帶來了如此大的改進。

【導讀】Graph Neural Network（GNN）由于具有分析圖結構數據的能力而受到了廣泛的關注。本文對Graph Neural Network進行了簡要介紹。它涵蓋了一些圖論，以便于理解圖和分析圖時遇到的問題。然后介紹了不同形式的Graph神經網絡及其原理。它還涵蓋了GNN可以做什么以及GNN的一些應用。

圖論

首先，我們需要知道什么是圖。圖是一種由兩個部分組成的數據結構：頂點和edge。它用作分析目標和實體之間成對關系的數學結構。通常，將圖定義為G =（V，E），其中V是一組節點，E是它們之間的邊。

圖通常由鄰接矩陣A表示。如果圖具有N個節點，則A的維數為（N x N）。人們有時會提供另一個特征矩陣來描述圖中的節點。如果每個節點都有F個特征，則特征矩陣X的維數為（N x F）。

為什么圖難以分析？

首先，在歐幾里得空間中不存在圖，這意味著它無法用我們熟悉的任何坐標系表示。與其他類型的數據（例如波，圖像或時間序列信號）相比，這使得圖數據的解釋更加困難（“文本”也可以視為時間序列），可以輕松地將其映射為2-D或3-D歐幾里德空間。

其次，圖沒有固定的形式。為什么？看下面的例子。圖（A）和圖（B）具有完全不同的結構和外觀。但是，當我們將其轉換為鄰接矩陣表示形式時，兩個圖具有相同的鄰接矩陣（如果不考慮邊的權重）。那么我們應該考慮這兩個圖是相同還是不同？

最后，一般來說，圖很難直觀地顯示出來以供人類解釋。我不是在談論像上面的例子這樣的小圖。我說的是涉及數百或數千個節點的巨型圖。它的維數很高，節點密集地分組在一起，甚至使人難以理解圖。因此，為該任務訓練機器是具有挑戰性的。以下示例顯示了對集成電路中邏輯門進行建模的圖。

Example of a giant graph: circuit netlist. Figure from J. Baehr et. al. “Machine Learning and Structural Characteristics of Reverse Engineering”

為什么要使用圖？

人們選擇使用圖的原因可以歸納為以下幾點：

1. 圖提供了一種更好的方式來處理諸如關系和交互之類的抽象概念。它們還提供了直觀的視覺方式來思考這些概念。圖也構成了在社會環境中分析關系的自然基礎。
2. 圖可以通過將問題簡化為更簡單的表示形式來解決更復雜的問題，或者從不同的角度將問題轉換為表示形式。
3. 圖論和概念用于研究和建模社交網絡，欺詐模式，功耗模式，病毒性以及在社交媒體中的影響力。社交網絡分析（SNA）可能是圖論在數據科學中最著名的應用。

傳統圖分析方法

傳統方法主要基于算法，例如：

1. 搜索算法，例如BFS，DFS
2. 最短路徑算法，例如Dijkstra算法，最近鄰居
3. 生成樹算法，例如Prim算法
4. 聚類方法，例如高度連接的組件，k均值 這種算法的局限性在于，在應用該算法之前，我們需要以一定的置信度獲得圖的先驗知識。換句話說，它對我們研究圖本身沒有任何意義。最重要的是，沒有辦法執行圖級別分類。

圖神經網絡

所謂的圖神經網絡是一種可以直接應用于圖的神經網絡。它為節點級別，邊緣級別和圖級別的預測任務提供了一種方便的方法。

文獻中主要有三種類型的圖神經網絡：

1. 遞歸圖神經網絡
2. 空間卷積網絡
3. 譜卷積網絡

GNN的直覺是，節點自然是由其鄰居和連接定義的。為了理解這一點，我們可以簡單地想象一下，如果刪除節點周圍的鄰居和連接，則該節點將丟失其所有信息。因此，節點的鄰居和與鄰居的連接定義了節點的概念。

考慮到這一點，我們然后給每個節點一個狀態（x）來表示其概念。我們可以使用節點狀態（x）產生輸出（o），即有關概念的決策。節點的最終狀態（x_n）通常稱為“節點嵌入”。所有GNN的任務是通過查看其相鄰節點上的信息來確定每個節點的“節點嵌入”。 我們將從圖神經網絡，循環圖神經網絡或RecGNN的經典版本開始。

遞歸圖神經網絡

正如原始GNN論文中介紹的那樣，RecGNN是基于Banach不動點定理的假設而構建的。Banach不動點定理指出：（X，d）是一個完整的度量空間，而（T：X→X）是一個壓縮映射。然后，T具有唯一的不動點（x ?），對于任何x∈X，n→∞的序列T_n（x）收斂到（x ?）。這意味著，如果我申請的映射T上X為?倍，X ^ K在幾乎等于x ^（K-1），即：

RecGNN定義了一個參數化函數f_w：

其中L_N，l_co，x_ne，l_ne 表示當前節點的特征[n]，節點的邊緣[n]，相鄰節點的狀態，與相鄰節點的功能。（在原始論文中，作者將節點特征稱為節點標簽。這可能會造成一些混亂。）

An illustration of node state update based on the information in its neighbors. Figure from “The Graph Neural Network Model” 最終，在經過k次迭代之后，最終的節點狀態將用于生成輸出，以決定每個節點。輸出函數定義為：

空間卷積網絡

空間卷積網絡的直覺類似于著名的CNN，后者主導著圖像分類和分割任務的文獻。要了解圖像上的CNN，您可以查看這篇文章，其中詳細說明了CNN。

簡而言之，在圖像上進行卷積的想法是對中心像素周圍的相鄰像素求和，該像素由參數化大小和可學習權重的濾波器指定。空間卷積網絡通過將相鄰節點的特征聚合到中心節點中采用了相同的思想。

Left: Convolution on a regular graph such as an image. Right: Convolution on the arbitrary graph structure. Figure from “A Comprehensive Survey on Graph Neural Networks”

譜卷積網絡

與其他類型的GNN相比，這種類型的圖卷積網絡具有非常強大的數學基礎。譜卷積網絡建立在圖信號處理理論的基礎上。并通過簡化和逼近圖卷積。 通過Chebyshev多項式逼近 （Hammond et al。2011），圖卷積可以簡化為以下形式：

進一步簡化后，GCN論文提出了一種2層神經網絡結構，可以用以下等式描述：

其中A_head是原始圖鄰接矩陣A的預處理拉普拉斯算子。（有關數學的詳細信息，請參見GCN論文。將需要大量的精力來進行充分說明。）

如果您有一些機器學習經驗，則此公式看起來非常熟悉。這不過是常用的兩個完全連接的層結構。但是在這種情況下，它確實可以用作圖卷積。我將在下面說明為什么它可以執行圖卷積。

Example of a graph with a feature assigned to each node. Figured by author

讓我們考慮一下，我們有一個包含4個節點的簡單圖。如上圖所示，為這些節點中的每個節點分配了一個特征矩陣。圖鄰接矩陣和特征矩陣很容易得出，如下所示：

Example of the adjacency matrix and feature matrix. Figure by author

注意，鄰接矩陣的對角線故意更改為“ 1”，以為每個節點添加一個自環。當我們執行特征聚合時，這將包括每個節點本身的特征。 然后，我們執行A x X（為簡單起見，我們先忽略A的拉普拉斯算子和權重矩陣W。）

Example of graph convolution by matrix multiplication. Figure by author

矩陣乘法的結果顯示在最右邊的矩陣中。讓我們以第一個節點的結果功能為例。不難發現結果是[節點1]的所有特征之和，包括[節點1]本身的特征，并且[節點4]中的特征不包括在內，因為它不是[節點1]的鄰居。。在數學上，僅當存在邊時，圖的鄰接矩陣才具有值“ 1”，否則具有“ 0”。這使得矩陣乘法成為連接到參考節點的節點的特征之和。 因此，頻譜卷積網絡和空間卷積網絡盡管是在不同的基礎上開始的，但是它們共享相同的傳播規則。 當前可用的所有卷積圖神經網絡共享相同的格式。他們都嘗試學習通過該消息傳遞過程傳遞節點信息并更新節點狀態的功能。 任何圖神經網絡可被表達為與消息傳遞神經網絡（J. Gilmer et al. , 2017）的消息傳遞功能，節點更新功能和讀出功能。

GNN可以做什么？

GNN解決的問題可以大致分為三類：

1. 節點分類
2. 鏈接預測
3. 圖分類 在節點分類中，任務是預測圖中每個節點的節點嵌入。通常以半監督的方式訓練此類問題，其中僅對部分圖進行標記。節點分類的典型應用包括引文網絡，Reddit帖子，Youtube視頻和Facebook朋友關系。 在鏈接預測中，任務是了解圖中實體之間的關系，并預測兩個實體之間是否存在連接。例如，推薦系統可被視為鏈接預測問題，其中模型被賦予一組用戶對不同產品的評論，任務是預測用戶的偏好并調整推薦系統以根據用戶推送更多相關感興趣的產品。 在圖分類中，任務是將整個圖分類為不同的類別。它類似于圖像分類，但是目標變為圖域。有許多工業問題可以應用圖分類，例如在化學，生物醫學，物理學中，模型被賦予分子結構并被要求將目標分類為有意義的類別。它加快了對原子，分子或任何其他結構化數據類型的分析。

一些實際的應用

在了解了GNN可以執行哪種類型的分析之后，您一定想知道我可以對圖進行哪些實際應用。好了，本節將為您提供有關GNN實際應用的更多見解。

自然語言處理中的GNN

GNN被廣泛使用在自然語言處理（NLP）中。實際上，這也是GNN最初開始的地方。如果您中的某些人具有NLP經驗，則必須考慮到文本應該是一種序列或時間數據，則可以由RNN或LTSM最好地描述。然而，GNN則從完全不同的角度解決了這個問題。GNN利用單詞或文檔的內部關系來預測類別。例如，引文網絡嘗試根據論文引文關系和其他論文中引用的詞來預測網絡中每篇論文的標簽。它也可以通過查看句子的不同部分而不是像RNN或LTSM中那樣的純粹序列來構建語法模型。

計算機視覺中的GNN

許多基于CNN的方法已經在圖像中的目標檢測中達到了最新的性能，但是我們還不知道目標之間的關系。GNN在CV中的一種成功應用是使用圖來建模基于CNN的檢測器檢測到的物體之間的關系。從圖像中檢測到目標后，將它們輸入到GNN推理中以進行關系預測。GNN推斷的結果是生成的圖，該圖對不同目標之間的關系進行建模。

Scene Graph Generation. Figure from D. Xu, Y. Zhu, C. B. Choy, and L. Fei-Fei, “Scene graph generation by iterative message passing,” in Proc. of CVPR, 2017

CV中另一個有趣的應用是根據圖描述生成圖像。這可以解釋為幾乎與上述應用相反。圖像生成的傳統方式是使用GAN或自動編碼器生成文本到圖像。從圖到圖像的生成不是使用文本來描述圖像，而是提供了有關圖像語義結構的更多信息。

Image generated from scene graphs. Figure from J. Johnson, A. Gupta, and L. Fei-Fei, “Image generation from scene graphs,” in Proc. of CVPR, 2018 我想分享的最有趣的應用是零樣本學習（ZSL）。您可以找到這篇文章，以全面了解ZSL。總之，ZSL是想學給定的一類分類NO（目標類別的）訓練樣本。這是非常具有挑戰性的，因為如果沒有給出訓練樣本，我們需要讓模型在邏輯上“思考”以識別目標。例如，如果給了我們三張圖像（如下圖所示），并告訴我們在其中找到“ okapi”。我們以前可能沒有看過“okapi”。但是，如果我們還得到信息，“okapi”是一種有四只腿，斑馬紋皮膚的鹿面動物，那么我們就不難確定哪個是“okapii”。典型的方法是通過將檢測到的特征轉換為文本來模擬這種“思考過程”。但是，文本編碼彼此獨立。很難對文本描述之間的關系進行建模。換句話說，圖表示很好地模擬了這些關系。

Figure from X. Wang, Y. Ye, and A. Gupta, “Zero-shot recognition via semantic embeddings and knowledge graphs,” in CVPR 2018

其他領域的GNN

GNN的更多實際應用包括人類行為檢測，交通控制，分子結構研究，推薦系統，程序驗證，邏輯推理，社會影響預測以及對抗攻擊。下面顯示了對社交網絡中人際關系建模的圖表。GNN可用于將人們分為不同的社區群體。

結論

我們在本文中介紹了一些圖論，并強調了分析圖的重要性。人們總是將機器學習算法視為“ 黑匣子 ”。大多數機器學習算法僅從訓練數據的特征中學習，但沒有實際的邏輯可以執行。使用形，我們也許能夠將一些“邏輯”傳遞給機器，并使其更自然地“思考”。

GNN仍然是一個相對較新的領域，值得更多的研究關注。它是分析圖數據的強大工具。但是，它不僅限于圖中的問題。它可以很容易地推廣到任何可以通過圖建模的研究中。圖建模是分析問題的自然方法。

參考鏈接：

//medium.com/datadriveninvestor/an-introduction-to-graph-neural-network-gnn-for-analysing-structured-data-afce79f4cfdc