亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近幾年來,將深度學習應用到處理和圖結構數據相關的任務中越來越受到人們的關注．圖神經 網絡的出現使其在上述任務中取得了重大突破,比如在社交網絡、自然語言處理、計算機視覺甚至生命 科學等領域得到了非常廣泛的應用．圖神經網絡可以把實際問題看作圖中節點之間的連接和消息傳播 問題,對節點之間的依賴關系進行建模,從而能夠很好地處理圖結構數據．鑒于此,系統綜述了圖神經網絡模型以及應用．首先從譜域、空間域和池化３方面對圖卷積神經網絡進行了闡述．然后,描述了基于注意 力機制和自編碼器的圖神經網絡模型,并補充了一些其他方法實現的圖神經網絡．其次,總結了針對圖 神經網絡能不能做大做深等問題的討論分析．進而,概括了圖神經網絡的４個框架．還詳細說明了在圖 神經網絡在自然語言處理、計算機視覺等方面的應用．最后,對圖神經網絡未來的研究進行了展望和總 結．相較于已有的圖神經網絡綜述文章,詳細闡述了譜理論知識,并對基于譜域的圖卷積神經網絡體系 進行全面總結．同時,給出了針對空間域圖卷積神經網絡效率低的改進模型這一新的分類標準．并總結 了針對圖神經網絡表達能力、理論保障等的討論分析,增加了新的框架模型．在應用部分,闡述了圖神經 網絡的最新應用．

在過去幾年,深度學習已經在人工智能和機器 學習上取得了成功,給社會帶來了巨大的進步．深度 學習的特點是堆積多層的神經網絡層,從而具有更 好的學 習 表 示 能 力．卷 積 神 經 網 絡 (convolutional neuralnetwork,CNN)的飛速發展更是將深度學習 帶上了一個新的臺階[１Ｇ２]．CNN 的平移不變性、局部 性和組合性使其天然適用于處理像圖像這樣的歐氏 結構數據的任務中[３Ｇ４],同時也可以應用于機器學習 的其他各個領域[５Ｇ７]．深度學習的成功一部分源自于 可以從歐氏數據中提取出有效的數據表示,從而對 其進行高效的處理．另一個原因則是得益于 GPU 的 快速發展,使得計算機具有強大的計算和存儲能力, 能夠在大規模的數據集中訓練和學習深度學習模 型．這使得深度學習在自然語言處理[８]、機器視覺[９] 和推薦系統[１０]等領域都表現出了良好的性能．

但是, 現有的神經網絡只能對常規的歐氏結構 數據進行處理．如圖１(a)歐氏數據結構,其特點就是 節點有固定的排列規則和順序,如２維網格和１維 序列．而當前越來越多的實際應用問題必須要考慮 非歐氏數據,如圖１(b)非歐氏數據結構中節點沒有 固定的排列規則和順序,這就使得不能直接將傳統 的深度學習模型遷移到處理非歐氏結構數據的任務 中．如若直接將 CNN 應用到其中,由于非歐氏數據中心節點的鄰居節點數量和排列順序不固定,不滿 足平移不變性,這就很難在非歐氏數據中定義卷積 核．針對圖神經網絡(graphneuralnetwork,GNN) 的研究工作,最開始就是在如何固定鄰居節點數量 以及如何給鄰居節點排序展開的,比如 PATCHYＧ SAN [１１],LGCN [１２],DCNN [１３]方法等．完成上述２項 工作之后,非歐氏結構數據就轉化為歐氏結構數據, 然后就可以利用 CNN 處理．圖是具有點和邊的典型 非歐氏數據,在實際中可以將各種非歐氏數據問題 抽象為圖結構．比如在交通系統中,利用基于圖的學 習模型可以對路況信息進行有效的預測[１４]．在計算 機視覺中,將人與物的交互看作一種圖結構,可以對 其進行有效地識別[１５]。

近期已有一些學者對圖神經網絡及其圖卷積神經網絡分支進行了綜述[１６Ｇ１９]．本文的不同之處在于,首先由于經典模型是很多變體模型的基石,所以給 出了經典模型的理論基礎以及詳細推理步驟．在１．２ 節基于空間方法的圖卷積神經網絡中,多用圖的形 式列出模型的實現過程,使模型更加通俗易懂．文獻 [１６Ｇ１９]并未對目前廣大學者熱點討論的問題進行 總結,所以在第５節針對圖神經網絡的討論部分,首 次列出了目前研究學者對 GNN 的熱點關注問題, 比如其表達能力、過平滑問題等．然后,在第６節中 總結了圖神經網絡新框架．同時,針對圖神經網絡的 應用,在第７節中較全面地介紹了 GNN 的應用場 景．最后,列出了圖神經網絡未來的研究方向．在圖２ 中列出了本文的主體結構．

研究圖神經網絡對推動深度學習的發展以及人 類的進步具有重大意義．首先,現實中越來越多的問 題可以抽象成非歐氏結構數據,由于圖數據的不規 則性,傳統的深度學習模型已經不能處理這種數據, 這就亟需研究設計一種新的深度神經網絡．而 GNN 所處理的數據對象就是具有不規則結構的圖數據,GNN 便在這種大背景下應運而生[２０Ｇ２１]．然后,圖數 據的結構和任務是十分豐富的．這種豐富的結構和 任務也正是和人們生活中要處理的實際問題相貼合 的．比如,圖數據有異質性以及邊的有向連接特性, 這和推薦系統中的場景完全類似．圖數據處理任務 中節點級別、邊級別以及整圖級別也同樣可以應用到深度學習的各個應用場景中．所以,GNN 的研究 為解決生活中的實際問題找到了一種新的方法和途 徑．最后,GNN 的應用領域是十分廣泛的,能夠處理 各種能抽象成圖數據的任務．不管是在傳統的自然 語言處理領域[２２Ｇ２４]或者圖像領域[２５Ｇ２６],還是在新興 的生化領域[２７Ｇ２８],GNN都能表現出強大的性能．

１ 圖卷積神經網絡

CNN 已經在圖像識別、自然語言處理等多個領 域取得了不俗的成績,但其只能高效地處理網格和 序列等這樣規則的歐氏數據．不能有效地處理像社 交多媒體網絡數據、化學成分結構數據、生物蛋白數 據以及知識圖譜數據等圖結構的非歐氏數據．為此, 無數學者經過不懈努力,成功地將 CNN 應用到圖 結構的非歐氏數據上,提出了圖卷積神經網絡(graph convolutionalnetwork,GCN)．GCN 是 GNN 中一 個重要分支,現有的大多數模型基本上都是在此基 礎上變化推導而來．下面我們將按照從基于譜方法、 空間方法和池化３方面對 GCN 進行總結和概括．

2 基于注意力實現的圖神經網絡

注意力機制在處理序列任務已經表現出強大的 能力[６０],比如在機器閱讀和學習 句 子 表 征 的 任 務 中．其強大的優勢在于允許可變大小的輸入,然后利 用注意力機制只關心最重要的部分,最后做出決策處理．一些研究發現,注意力機制可以改進卷積方 法,從而可以構建一個強大的模型,在處理一些任務 時能夠取得更好的性能．為此,文獻[６１]將注意力機 制引入到了圖神經網絡中對鄰居節點聚合的過程 中,提出了圖注意力網絡(graphattentionnetworks, GAT)．在傳統的 GNN 框架中,加入了注意力層,從 而可以學習出各個鄰居節點的不同權重,將其區別對待．進而在聚合鄰居節點的過程中只關注那些作 用比較大的節點,而忽視一些作用較小的節點．GAT 的核心思想是利用神經網絡學習出各個鄰居節點的 權重,然后利用不同權重的鄰居節點更新出中心節 點的表示。

３ 基于自編碼器實現的圖神經網絡

在無監督學習任務中,自編碼器(autoencoder, AE)及其變體扮演者非常重要的角色,它借助于神 經網絡模型實現隱表示學習,具有強大的數據特征 提取能力．AE 通過編碼器和解碼器實現對輸入數 據的有效表示學習,并且學習到的隱表示的維數可 以遠遠小于輸入數據的維數,實現降維的目的．AE 是目前隱表示學習的首選深度學習技術,當我們把 具有某些聯系的原始數據(X１,X２,…,Xn)輸入到 AE中進行重構學習時,可以完成特征提取的任務． 自編碼器的應用場景是非常廣泛的,經常被用于數據去噪、圖像重構以及異常檢測等任務中．除此之 外,當 AE被用于生成與訓練數據類似的數據時, 稱之為生成式模型．由于 AE具有上述優點,一些學 者便將 AE 及其變體模型應用到圖神經網絡當中 來．文 獻 [６９]第 １ 個 提 出 了 基 于 變 分 自 編 碼 器 (variationalautoencoder,VAE)的變分圖自編碼器 模型 (variationalgraphautoencoder,VGAE),將 VAE應用到對圖結構數據的處理上．VGAE利用隱 變量學習出無向圖的可解釋隱表示,使用了圖卷積 網絡編碼器和一個簡單的內積解碼器來實現這個模 型．

4. 未來研究展望 GNN

雖然起步較晚, 但由于其強大的性能, 已經取得了不俗的表現, 并且也在例如計算機視覺和推薦系統等實際應用中發揮著巨大的作用．不難發現, GNN 確實更符合當前實際應用的發展趨勢, 所 以 在 近 幾 年 才 會 得 到 越 來 越 多 人 的 關 注．但 是, GNN 畢竟起步較晚,還沒有時間積累,研究的深度 和領域還不夠寬廣．目前來看,它依然面臨著許多亟 待解決的問題,本節總結了 GNN 以后的研究趨勢．

１) 動態圖．目前,GNN 處理的圖結構基本上都 是靜態圖,涉及動態圖結構的模型較少[１３８Ｇ１３９],處理 動態圖對 GNN 來說是一個不小的挑戰．靜態圖的 圖結構是靜態不變的,而動態圖的頂點和邊是隨機 變化的,甚至會消失,并且有時還沒有任何規律可 循．目前針對 GNN 處理動態圖結構的研究還是比 較少的,還不夠成熟．如果 GNN 能夠成功應用于動 態圖結構上,相信這會使 GNN 的應用領域更加寬 廣．將 GNN 模型成功地推廣到動態圖模型是一個 熱點研究方向．

２) 異質圖．同質圖是指節點和邊只有一種類型, 這種數據處理起來較容易．而異質圖則是指節點和 邊的類型不只一種,同一個節點和不同的節點連接 會表現出不同的屬性,同一條邊和不同的節點連接 也會表現出不同的關系,這種異質圖結構處理起來 就相對復雜．但異質圖卻是和實際問題最為貼切的 場景,比如在社交網絡中,同一個人在不同的社交圈 中可能扮演著父親、老師等不同的角色．對于異質圖 的研究還處在剛起步的階段[１４０Ｇ１４１],模型方法還不 夠完善．所以,處理異質圖也是將來研究的一個熱點．

３) 構建更深的圖神經網絡模型．深度學習的強 大優勢在于能夠形成多層的不同抽象層次的隱表 示,從而才能表現出優于淺層機器學習的強大優勢． 但對于圖深度學習來說,現有的圖神經網絡模型大 多還是只限于淺層的結構．通過實驗發現,當構造多 層的神經網絡時,實驗結果反而變差．這是由過平滑 現象造成的,GNN 的本質是通過聚合鄰居節點信息 來表征中心節點．當構造多層的神經網絡之后,中心 節點和鄰 居 節 點 的 差 異 就 會 變 得 微 乎 其 微,從 而 會導致分類結果變差．如何解決過平滑現象,使圖神 經網絡能夠應用于更多層的結構,從而發揮出深度 學習的強大優勢．雖然已有文獻對其進行了討論[９１], 但構建更深的圖神經網絡模型仍是值得深入研究的 問題．

４) 將圖神經網絡應用到大圖上．隨著互聯網的 普及,圖神經網絡處理的數據也變得越來越大,致使 圖中的節點數量變得巨大,這就給圖神經網絡的計 算帶來了不小的挑戰．雖然一些學者對該問題進行 了研究改進[１４２],但針對將圖神經網絡應用到大圖 上的研究同樣是將來研究的熱點問題,在這方面,引 入摘要數據結構,構造局部圖數據,并能適當地融合 局部圖結構,形成整體圖神經網絡的表示是可能的 思路．

５) 探索圖中更多有用的信息．在當前諸多學者 對于圖神經網絡模型的研究中,僅僅利用了圖中節 點之間有無連接這一拓撲結構信息．但是,圖是一個 非常復雜的數據結構,里面還有很多有用的信息未 被人們發現利用．比如,圖中節點的位置信息．中心 節點的同階鄰居節點處于不同位置,距離中心節點 的遠近不同應該會對中心節點產生的影響程度不 同．如果能夠探索出圖中更多的有用信息,必會將圖 神經網絡的性能提升一個層次,這是一個非常值得 探討的問題．

６) 設計圖神經網絡的數學理論保障體系．任何 神經網絡模型必須有強大的數學理論支撐才能發展 得更快,走得更遠．現在對于圖神經網絡模型的設 計,大多還只是依靠研究者的經驗和基于機理邏輯 設計出來的,并且對于圖神經網絡模型的性能分析 僅僅是從實驗結果中得來,并沒有從數學理論層面 給出 一 個 合 理 的 解 釋．目 前,該 領 域 已 有 一 些 研 究[９０Ｇ９１],但為圖神經網絡設計出強大的數學理論,指 導圖神經網絡的構造、學習和推理過程．能夠給出圖 神經網絡學習結果正確性的數學理論保障,仍是未 來發展的一個重要方向．

7. 圖神經網絡的工業落地．當前對于圖神經網 絡的研究大多還只是停留在理論層面,首先設計出模型,然后在公開數據集上進行測試驗證,鮮有把工 業的實際情況考慮在內．雖然圖神經網絡在工業上 已有一小部分的實際應用,但還遠沒有達到大規模 應用的程度．任何研究只有真正地在工業界落地,才 能發揮它的應用價值,反之也會促進其進一步的研 究發展．盡快將圖神經網絡應用到實際的工業場景 中,是一個亟需解決的問題．

摘要

在過去十年左右的時間里，我們見證了深度學習讓機器學習領域重新煥發活力。它以最先進的性能解決了計算機視覺、語音識別、自然語言處理等領域的許多問題。這些領域的數據一般用歐幾里得空間表示。其他許多領域都符合非歐幾里得空間，圖是其中的理想表示。圖適用于表示各種實體之間的依賴關系和相互關系。傳統上，手工制作的圖特性無法從復雜的數據表示中為各種任務提供必要的推斷。最近，出現了利用深度學習的各種進展來繪制基于數據的任務。本文提供了圖神經網絡(GNN)在每種學習設置中的全面綜述: 監督學習、無監督學習、半監督學習和自監督學習。每個基于圖的學習設置的分類提供了屬于給定學習設置的方法的邏輯劃分。從理論和實證兩方面分析了每個學習任務的方法。此外，我們還提供了構建GNN的一般架構指導方針。還提供了各種應用程序和基準數據集，以及仍然困擾著GNN的普遍適用性的開放挑戰。

//www.zhuanzhi.ai/paper/4014c909fcaa7d7c7c7d292b6a7febbb

引言

圖是定義一組節點及其關系的數據結構。從社交網絡[141]到物理互動[209]，我們無處不在地觀察它們。圖表還可以用來表示不可思議的結構，如原子、分子、生態系統、生物、行星系統[42]等等。所以，圖形結構存在于我們的周圍環境和對世界的感知中。它包括實體和相互關系，以建立概念，如推理、溝通、關系、營銷等。

隨著當今技術的進步，互聯網(一個巨大的圖表)的使用正在迅速增長。如今，在社交網絡、搜索引擎的知識數據庫、街道地圖、甚至分子、高能物理、生物和化學化合物中也可以找到大量的圖表。圖結構表示在這些環境中很常見; 因此，需要有效和新穎的技術來解決基于圖的任務。許多傳統的機器學習技術都是在使用各種預定義的過程從原始數據表單中提取特征的基礎上提出的。提取的特征可以是圖像數據中的像素統計，也可以是自然語言數據中的單詞出現統計。在過去的十年中，深度學習(DL)技術獲得了巨大的普及，有效地解決了學習問題，從原始數據學習表示，并使用學習的表示同時預測。通常，這是通過探索許多不同的非線性轉換(由層執行)和使用基于梯度下降的學習方法對這些模型進行端到端訓練來實現的。盡管DL最近在計算機視覺、自然語言處理、生物醫學成像、生物信息學等領域取得了進展，但它仍然缺乏關系和因果推理、智力抽象和其他各種人類能力。以圖的形式構造深度神經網絡(DNN)中的計算和表示是解決這些問題的方法之一，這種方法被稱為圖神經網絡(GNN)。

GNN在具有許多學習設置的不同領域的圖結構數據集上都是成功的: 有監督、半監督、自監督和無監督。大多數基于圖的方法屬于無監督學習，通常基于自動編碼器、對比學習或隨機行走概念。圖自編碼器的最新研究成果有:Cao等人[22]在高光譜分類中的特征提取; Yang等人的防止消息傳遞過平滑[188];Park等人使用消息傳遞自動編碼器進行雙曲表示學習[134];用于解決Wu等人[182]提出的當前鏈路預測方法的局限性。最近，基于對比學習的方法也很成功，這在許多研究人員的工作中得到了證明。Okuda等[122]是最近出現的一種無監督圖表示學習方法，用于發現圖像中常見的目標和一組特定目標的定位方法。學習后的表示可以用于下游的學習任務，如Du等人[41]和Perozzi等人[138]所示。Adhikari等人[2]中的擴展隨機游動以及Dong等人[40]中的異構圖中的頂點表示也可以捕獲子圖的嵌入。

本文根據圖半監督學習方法的嵌入特征，將其分類為淺圖嵌入和深圖嵌入。將淺圖嵌入分為因子分解、隨機游走，將深圖嵌入分為自編碼器嵌入和GNN嵌入。本文還提供了對每種方法的進一步解釋，以及GNN的類別。基于圖的自監督學習方法根據任務和訓練策略進行分類。現有關于GNN的綜述論文大多側重于單一學習設置或一般GNN，如表1所示。這些綜述并沒有分別解釋每種學習環境。Zhou等人[205]最近完成了一項研究，重點研究了圖上的各種機器學習算法。

在本文中，我們探討了每個基于圖的學習設置，并將其分為幾個類別。本文的主要貢獻概述如下:

• 定義了圖的基本術語和變體，以及各種基于圖的任務。
• 對GNN進行了全面的綜述。我們的工作集中在所有的學習設置，而不同的調查集中在一個單一的學習設置。
• 進一步，每個基于圖的學習設置都被探索并劃分為所需的類別。
• 給出了GNN體系結構設計的一般指導原則。
• 我們提供許多GNN資源，包括SOTA模型、流行的基于圖的數據集和各種應用程序。
• 我們分析了GNN的理論和經驗方面，評估了當前技術的挑戰，并從模型深度、可擴展性、高階和復雜結構以及技術的穩健性方面提出了未來可能的研究路線。

論文組織: 第2節分別介紹GNN的基本術語和概念，然后介紹2.1節和2.2節中基于圖結構數據的圖的變體和任務。第3節解釋了每個學習設置的基于GNN的方法，并進一步將方法和學習設置分解為邏輯劃分。3.1節簡要介紹了現有的圖監督學習方法。基于圖的無監督學習方法在第3.2節中進行了解釋，并對現有的學習方法進行了細分。然后我們在第3.3節給出了圖半監督學習方法，并通過嵌入方法對這些方法進行了細分。第3.4節介紹了圖的自監督學習方法，并根據任務和訓練策略對每種方法進行了劃分。GNN的一般step-wise結構在第4節中給出。第6節從理論和實證兩個方面對GNN方法進行了分析。在第5節中，我們介紹了幾個在GNN研究中常用的數據集，然后是第7節，介紹了GNN的一些流行應用。第8節總結了在基于GNN的圖任務解決方案中仍然存在的尚未解決的問題。最后，在第9部分，我們總結了這項工作。

大數據和大計算的興起給數字生活的許多領域帶來了現代神經網絡，這要歸功于構建與現實世界相適應的大型模型相對容易。Transformers的成功和對海量數據的自監督預訓練讓一些人相信，只要我們有數據和計算資源，深度神經網絡幾乎可以做任何事情。然而，情況可能并非如此。雖然神經網絡可以快速地利用表面統計，但它們在推廣到新的組合上卻失敗得很糟糕。目前的神經網絡并不執行刻意推理——即從上下文數據中有意地推導出新知識的能力。本教程回顧了最近的發展，將神經網絡的能力擴展到從數據“學習推理”，其中的任務是確定數據是否包含一個結論。這種能力開辟了新的途徑，通過使用自然語言進行任意查詢，從數據中生成見解，而不需要預先定義一組狹義的任務。

本教程由三個主要部分組成。A部分涵蓋了學習-推理框架，解釋了神經網絡如何通過綁定、注意力和動態計算圖等自然操作作為推理的強大支柱。我們還將展示神經網絡如何學習執行組合算法。第二部分將更詳細地介紹神經網絡如何在非結構化和結構化數據上進行推理，以及跨多種模態。將解釋集合、關系、圖和時間的推理。C部分回顧了更高級的主題，包括帶有外部記憶的神經網絡，學習用有限的標簽進行推理，以及用心智理論進行遞歸推理。我們將特別關注神經記憶作為支持實體、關系甚至神經程序推理的基本機制。如有可能，將提供文本理解和視覺問答方面的個案研究。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

【導讀】辭九迎零，我們迎來2020，到下一個十年。在2019年機器學習領域繼續快速發展，元學習、遷移學習、小樣本學習、深度學習理論等取得很多進展。在此，專知小編整理這一年這些研究熱點主題的綜述進展，共十篇，了解當下，方能向前。

1、A guide to deep learning in healthcare（醫療深度學習技術指南）

斯坦福&谷歌Jeff Dean最新Nature論文：醫療深度學習技術指南（29頁綜述）

Google 斯坦福 Nature Medicine

作者：Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要：我們介紹了醫療保健的深度學習技術，重點討論了計算機視覺、自然語言處理、強化學習和廣義方法的深度學習。我們將描述這些計算技術如何影響醫學的幾個關鍵領域，并探討如何構建端到端系統。我們對計算機視覺的討論主要集中在醫學成像上，我們描述了自然語言處理在電子健康記錄數據等領域的應用。同樣，在機器人輔助手術的背景下討論了強化學習，并綜述了基因組學的廣義深度學習方法。

網址：

//www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy（多模態機器學習）

人工智能頂刊TPAMI2019最新《多模態機器學習綜述》

CMU TPAMI

作者：Tadas Baltru?aitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要：我們對世界的體驗是多模態的 - 我們看到物體，聽到聲音，感覺質地，聞到異味和味道。情態是指某種事物發生或經歷的方式，并且當研究問題包括多種這樣的形式時，研究問題被描述為多模式。為了使人工智能在理解我們周圍的世界方面取得進展，它需要能夠將這種多模態信號一起解釋。多模態機器學習旨在構建可以處理和關聯來自多種模態的信息的模型。這是一個充滿活力的多學科領域，具有越來越重要的意義和非凡的潛力。本文不是關注特定的多模態應用，而是研究多模態機器學習本身的最新進展。我們超越了典型的早期和晚期融合分類，并確定了多模式機器學習所面臨的更廣泛的挑戰，即：表示，翻譯，對齊，融合和共同學習。這種新的分類法將使研究人員能夠更好地了解該領域的狀況，并確定未來研究的方向。

網址：

3、Few-shot Learning: A Survey（小樣本學習）

《小樣本學習(Few-shot learning)》最新41頁綜述論文，來自港科大和第四范式

香港科大 第四范式

作者：Yaqing Wang,Quanming Yao

摘要：“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。盡管最近的人工智能在許多數據密集型應用中取得了成功，但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題，我們必須求助于機器學習，它支持人工智能的科學研究。特別地，在這種情況下，有一個機器學習問題稱為小樣本學習(Few-Shot Learning，FSL)。該方法利用先驗知識，可以快速地推廣到有限監督經驗的新任務中，通過推廣和類比，模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能，是一種減少繁重的數據收集和計算成本高昂的培訓的方法，也是罕見案例學習有效方式。隨著FSL研究的廣泛開展，我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題，將問題從“如何解決FSL”轉變為“如何處理核心問題”。因此，從FSL誕生到最近發表的作品都被歸為一個統一的類別，并對不同類別的優缺點進行了深入的討論。最后，我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向，希望為初學者和有經驗的研究者提供一些見解。

網址：

4、meta Learning: A Survey（元學習）

元學習(Meta-Learning) 綜述及五篇頂會論文推薦

作者：Joaquin Vanschoren

摘要：元學習，或學習學習，是一門系統地觀察不同機器學習方法如何在廣泛的學習任務中執行的科學，然后從這種經驗或元數據中學習，以比其他方法更快的速度學習新任務。這不僅極大地加快和改進了機器學習管道或神經體系結構的設計，還允許我們用以數據驅動方式學習的新方法取代手工設計的算法。在本文中，我們將概述這一迷人且不斷發展的領域的最新進展。

網址：

5、A Comprehensive Survey on Transfer Learning（遷移學習）

中科院發布最新遷移學習綜述論文，帶你全面了解40種遷移學習方法

作者：Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要：遷移學習的目的是通過遷移包含在不同但相關的源域中的知識來提高目標學習者在目標域上的學習表現。這樣，可以減少對大量目標域數據的依賴，以構建目標學習者。由于其廣泛的應用前景，遷移學習已經成為機器學習中一個熱門和有前途的領域。雖然已經有一些關于遷移學習的有價值的和令人印象深刻的綜述，但這些綜述介紹的方法相對孤立，缺乏遷移學習的最新進展。隨著遷移學習領域的迅速擴大，對相關研究進行全面的回顧既有必要也有挑戰。本文試圖將已有的遷移學習研究進行梳理使其系統化，并對遷移學習的機制和策略進行全面的歸納和解讀，幫助讀者更好地了解當前的研究現狀和思路。與以往的文章不同，本文從數據和模型的角度對40多種具有代表性的遷移學習方法進行了綜述。還簡要介紹了遷移學習的應用。為了展示不同遷移學習模型的性能，我們使用了20種有代表性的遷移學習模型進行實驗。這些模型是在三個不同的數據集上執行的，即Amazon Reviews，Reuters-21578和Office-31。實驗結果表明，在實際應用中選擇合適的遷移學習模型是非常重要的。。

網址：

6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications（多模態智能論文綜述：表示學習，信息融合與應用） 【IEEE Fellow何曉東&鄧力】多模態智能論文綜述：表示學習，信息融合與應用，259篇文獻帶你了解AI熱點技術

京東

作者：Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】自2010年以來，深度學習已經使語音識別、圖像識別和自然語言處理發生了革命性的變化，每種方法在輸入信號中都只涉及一種模態。然而，人工智能的許多應用涉及到多種模態。因此，研究跨多種模態的建模和學習的更困難和更復雜的問題具有廣泛的意義。本文對多模態智能的模型和學習方法進行了技術綜述。視覺與自然語言的結合已成為計算機視覺和自然語言處理研究的一個重要領域。本文從學習多模態表示、多模態信號在不同層次上的融合以及多模態應用三個新角度對多模態深度學習的最新研究成果進行了綜合分析。在多模態表示學習中，我們回顧了嵌入的關鍵概念，將多模態信號統一到同一個向量空間中，從而實現了多模態信號的交叉處理。我們還回顧了許多類型的嵌入的性質，構造和學習的一般下游任務。在多模態融合方面，本文著重介紹了用于集成單模態信號表示的特殊結構。在應用方面，涵蓋了當前文獻中廣泛關注的選定領域，包括標題生成、文本到圖像生成和可視化問題回答。我們相信這項綜述可促進未來多模態智能的研究。

網址：

7、Object Detection in 20 Years: A Survey（目標檢測）

密歇根大學40頁《20年目標檢測綜述》最新論文，帶你全面了解目標檢測方法

作者：Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要：目標檢測作為計算機視覺中最基本、最具挑戰性的問題之一，近年來受到了廣泛的關注。它在過去二十年的發展可以說是計算機視覺歷史的縮影。如果我們把今天的目標檢測看作是深度學習力量下的一種技術美學，那么讓時光倒流20年，我們將見證冷兵器時代的智慧。本文從目標檢測技術發展的角度，對近四分之一世紀(20世紀90年代至2019年)的400余篇論文進行了廣泛的回顧。本文涵蓋了許多主題，包括歷史上的里程碑檢測器、檢測數據集、度量、檢測系統的基本構建模塊、加速技術以及最新的檢測方法。本文還綜述了行人檢測、人臉檢測、文本檢測等重要的檢測應用，并對其面臨的挑戰以及近年來的技術進步進行了深入分析。

網址：

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications（中文知識圖譜）

作者：Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要：隨著智能技術的不斷發展，作為人工智能支柱的知識圖譜以其強大的知識表示和推理能力受到了學術界和產業界的廣泛關注。近年來，知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。構建中文知識圖譜的技術也在迅速發展，不同的中文知識圖譜以支持不同的應用。同時，我國在知識圖譜開發方面積累的經驗對非英語知識圖譜的開發也有很好的借鑒意義。本文旨在介紹中文知識圖譜的構建技術及其應用，然后介紹了典型的中文知識圖譜，此外我們介紹了構建中文知識圖譜的技術細節，并介紹了了中文知識圖譜的幾種應用。

網址：

9、Advances and Open Problems in Federated Learning（聯邦學習）

【重磅】聯邦學習FL進展與開放問題萬字綜述論文，58位學者25家機構聯合出品，105頁pdf438篇文獻

摘要：聯邦學習(FL)是一種機器學習設置，在這種設置中，許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型，同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則，可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下，本文討論了近年來的進展，并提出了大量的開放問題和挑戰。

網址：

10、Optimization for deep learning: theory and algorithms（深度學習優化理論算法）

【2019年末硬貨】深度學習的最優化:理論和算法綜述論文，60頁pdf257篇文獻

摘要：什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然后討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。

網址：