亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**在機器學習技術不斷加速發展的今天，數據在構建智能模型、模擬現象、預測值、做出決策等方面起著至關重要的作用。**在越來越多的應用中，數據以網絡的形式出現。網絡數據固有的圖結構推動了圖表示學習領域的發展。它的作用范圍包括為圖及其組件(即節點和邊)生成有意義的表示。隨著消息傳遞框架在圖上的成功應用，即圖神經網絡，加速了圖表示學習的研究。學習圖上的信息和表達性表示在廣泛的現實世界應用中發揮著關鍵作用，從電信和社會網絡、城市設計、化學和生物學。本文研究了圖神經網絡更具表現力的各個方面，提出了新的方法來提高它們在標準圖學習任務中的性能。本論文的主要分支包括:圖表示的普適性，圖神經網絡感受野的增加，穩定的更深層次圖學習模型的設計，以及標準消息傳遞框架的替代方案。進行了理論和實驗研究，展示了所提出的方法如何成為設計更強大的圖學習模型的有價值和有效的工具。 **在論文的第一部分中，我們研究了圖表示質量作為辨別能力的函數，即，我們如何容易地區分非同構的圖。**首先，我們證明了標準的消息傳遞方案是不通用的，因為簡單的聚合器無法分離具有歧義的節點(相似的屬性向量和鄰域結構)。基于發現的局限性，我們提出了一個簡單的著色方案，可以提供普遍的表示，理論保證和實驗驗證的性能優勢。其次，超越了標準的消息傳遞范式，我們提出了一種將圖語料庫作為一個整體來處理的方法，而不是檢查圖對。為此，我們學習了每個圖的軟排列矩陣，并將所有圖投影到公共向量空間中，在圖分類任務中實現了穩定的性能。

//hal.inria.fr/tel-03666690/ **在論文的第二部分中，我們主要關注的是圖神經網絡的感受野，即一個節點有多少信息來更新其表示。**首先，研究了編碼鄰接信息的標準算子的譜特性，即圖移位算子。本文提出一種新的參數算子族，可以在整個訓練過程中自適應，并為依賴數據的鄰域表示提供一個靈活的框架。這種方法的合并對節點分類和圖分類任務都有很大的影響。研究了如何在節點表示中考慮k跳鄰域信息以輸出更強大的圖神經網絡模型。結果證明，該模型能夠識別結構特性，如連通性和無三角形性。在論文的第三部分，我們解決了長程交互的問題，即位于圖中較遠部分的節點可以相互影響。在這樣的問題中，我們要么需要設計更深層次的模型，要么需要重新表述圖中如何定義鄰近度。首先，研究了更深層次的注意力模型設計，以圖注意力為重點;通過引入一種新的歸一化來校準模型的梯度流，該歸一化可實現Lipschitz連續性。其次，提出一種基于局部熵測度的數據增強方法，利用包含結構信息的信息來豐富節點屬性;

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

近幾年來,將深度學習應用到處理和圖結構數據相關的任務中越來越受到人們的關注．圖神經 網絡的出現使其在上述任務中取得了重大突破,比如在社交網絡、自然語言處理、計算機視覺甚至生命 科學等領域得到了非常廣泛的應用．圖神經網絡可以把實際問題看作圖中節點之間的連接和消息傳播 問題,對節點之間的依賴關系進行建模,從而能夠很好地處理圖結構數據．鑒于此,系統綜述了圖神經網絡模型以及應用．首先從譜域、空間域和池化３方面對圖卷積神經網絡進行了闡述．然后,描述了基于注意 力機制和自編碼器的圖神經網絡模型,并補充了一些其他方法實現的圖神經網絡．其次,總結了針對圖 神經網絡能不能做大做深等問題的討論分析．進而,概括了圖神經網絡的４個框架．還詳細說明了在圖 神經網絡在自然語言處理、計算機視覺等方面的應用．最后,對圖神經網絡未來的研究進行了展望和總 結．相較于已有的圖神經網絡綜述文章,詳細闡述了譜理論知識,并對基于譜域的圖卷積神經網絡體系 進行全面總結．同時,給出了針對空間域圖卷積神經網絡效率低的改進模型這一新的分類標準．并總結 了針對圖神經網絡表達能力、理論保障等的討論分析,增加了新的框架模型．在應用部分,闡述了圖神經 網絡的最新應用．

在過去幾年,深度學習已經在人工智能和機器 學習上取得了成功,給社會帶來了巨大的進步．深度 學習的特點是堆積多層的神經網絡層,從而具有更 好的學 習 表 示 能 力．卷 積 神 經 網 絡 (convolutional neuralnetwork,CNN)的飛速發展更是將深度學習 帶上了一個新的臺階[１Ｇ２]．CNN 的平移不變性、局部 性和組合性使其天然適用于處理像圖像這樣的歐氏 結構數據的任務中[３Ｇ４],同時也可以應用于機器學習 的其他各個領域[５Ｇ７]．深度學習的成功一部分源自于 可以從歐氏數據中提取出有效的數據表示,從而對 其進行高效的處理．另一個原因則是得益于 GPU 的 快速發展,使得計算機具有強大的計算和存儲能力, 能夠在大規模的數據集中訓練和學習深度學習模 型．這使得深度學習在自然語言處理[８]、機器視覺[９] 和推薦系統[１０]等領域都表現出了良好的性能．

但是, 現有的神經網絡只能對常規的歐氏結構 數據進行處理．如圖１(a)歐氏數據結構,其特點就是 節點有固定的排列規則和順序,如２維網格和１維 序列．而當前越來越多的實際應用問題必須要考慮 非歐氏數據,如圖１(b)非歐氏數據結構中節點沒有 固定的排列規則和順序,這就使得不能直接將傳統 的深度學習模型遷移到處理非歐氏結構數據的任務 中．如若直接將 CNN 應用到其中,由于非歐氏數據中心節點的鄰居節點數量和排列順序不固定,不滿 足平移不變性,這就很難在非歐氏數據中定義卷積 核．針對圖神經網絡(graphneuralnetwork,GNN) 的研究工作,最開始就是在如何固定鄰居節點數量 以及如何給鄰居節點排序展開的,比如 PATCHYＧ SAN [１１],LGCN [１２],DCNN [１３]方法等．完成上述２項 工作之后,非歐氏結構數據就轉化為歐氏結構數據, 然后就可以利用 CNN 處理．圖是具有點和邊的典型 非歐氏數據,在實際中可以將各種非歐氏數據問題 抽象為圖結構．比如在交通系統中,利用基于圖的學 習模型可以對路況信息進行有效的預測[１４]．在計算 機視覺中,將人與物的交互看作一種圖結構,可以對 其進行有效地識別[１５]。

近期已有一些學者對圖神經網絡及其圖卷積神經網絡分支進行了綜述[１６Ｇ１９]．本文的不同之處在于,首先由于經典模型是很多變體模型的基石,所以給 出了經典模型的理論基礎以及詳細推理步驟．在１．２ 節基于空間方法的圖卷積神經網絡中,多用圖的形 式列出模型的實現過程,使模型更加通俗易懂．文獻 [１６Ｇ１９]并未對目前廣大學者熱點討論的問題進行 總結,所以在第５節針對圖神經網絡的討論部分,首 次列出了目前研究學者對 GNN 的熱點關注問題, 比如其表達能力、過平滑問題等．然后,在第６節中 總結了圖神經網絡新框架．同時,針對圖神經網絡的 應用,在第７節中較全面地介紹了 GNN 的應用場 景．最后,列出了圖神經網絡未來的研究方向．在圖２ 中列出了本文的主體結構．

研究圖神經網絡對推動深度學習的發展以及人 類的進步具有重大意義．首先,現實中越來越多的問 題可以抽象成非歐氏結構數據,由于圖數據的不規 則性,傳統的深度學習模型已經不能處理這種數據, 這就亟需研究設計一種新的深度神經網絡．而 GNN 所處理的數據對象就是具有不規則結構的圖數據,GNN 便在這種大背景下應運而生[２０Ｇ２１]．然后,圖數 據的結構和任務是十分豐富的．這種豐富的結構和 任務也正是和人們生活中要處理的實際問題相貼合 的．比如,圖數據有異質性以及邊的有向連接特性, 這和推薦系統中的場景完全類似．圖數據處理任務 中節點級別、邊級別以及整圖級別也同樣可以應用到深度學習的各個應用場景中．所以,GNN 的研究 為解決生活中的實際問題找到了一種新的方法和途 徑．最后,GNN 的應用領域是十分廣泛的,能夠處理 各種能抽象成圖數據的任務．不管是在傳統的自然 語言處理領域[２２Ｇ２４]或者圖像領域[２５Ｇ２６],還是在新興 的生化領域[２７Ｇ２８],GNN都能表現出強大的性能．

１ 圖卷積神經網絡

CNN 已經在圖像識別、自然語言處理等多個領 域取得了不俗的成績,但其只能高效地處理網格和 序列等這樣規則的歐氏數據．不能有效地處理像社 交多媒體網絡數據、化學成分結構數據、生物蛋白數 據以及知識圖譜數據等圖結構的非歐氏數據．為此, 無數學者經過不懈努力,成功地將 CNN 應用到圖 結構的非歐氏數據上,提出了圖卷積神經網絡(graph convolutionalnetwork,GCN)．GCN 是 GNN 中一 個重要分支,現有的大多數模型基本上都是在此基 礎上變化推導而來．下面我們將按照從基于譜方法、 空間方法和池化３方面對 GCN 進行總結和概括．

2 基于注意力實現的圖神經網絡

注意力機制在處理序列任務已經表現出強大的 能力[６０],比如在機器閱讀和學習 句 子 表 征 的 任 務 中．其強大的優勢在于允許可變大小的輸入,然后利 用注意力機制只關心最重要的部分,最后做出決策處理．一些研究發現,注意力機制可以改進卷積方 法,從而可以構建一個強大的模型,在處理一些任務 時能夠取得更好的性能．為此,文獻[６１]將注意力機 制引入到了圖神經網絡中對鄰居節點聚合的過程 中,提出了圖注意力網絡(graphattentionnetworks, GAT)．在傳統的 GNN 框架中,加入了注意力層,從 而可以學習出各個鄰居節點的不同權重,將其區別對待．進而在聚合鄰居節點的過程中只關注那些作 用比較大的節點,而忽視一些作用較小的節點．GAT 的核心思想是利用神經網絡學習出各個鄰居節點的 權重,然后利用不同權重的鄰居節點更新出中心節 點的表示。

３ 基于自編碼器實現的圖神經網絡

在無監督學習任務中,自編碼器(autoencoder, AE)及其變體扮演者非常重要的角色,它借助于神 經網絡模型實現隱表示學習,具有強大的數據特征 提取能力．AE 通過編碼器和解碼器實現對輸入數 據的有效表示學習,并且學習到的隱表示的維數可 以遠遠小于輸入數據的維數,實現降維的目的．AE 是目前隱表示學習的首選深度學習技術,當我們把 具有某些聯系的原始數據(X１,X２,…,Xn)輸入到 AE中進行重構學習時,可以完成特征提取的任務． 自編碼器的應用場景是非常廣泛的,經常被用于數據去噪、圖像重構以及異常檢測等任務中．除此之 外,當 AE被用于生成與訓練數據類似的數據時, 稱之為生成式模型．由于 AE具有上述優點,一些學 者便將 AE 及其變體模型應用到圖神經網絡當中 來．文 獻 [６９]第 １ 個 提 出 了 基 于 變 分 自 編 碼 器 (variationalautoencoder,VAE)的變分圖自編碼器 模型 (variationalgraphautoencoder,VGAE),將 VAE應用到對圖結構數據的處理上．VGAE利用隱 變量學習出無向圖的可解釋隱表示,使用了圖卷積 網絡編碼器和一個簡單的內積解碼器來實現這個模 型．

4. 未來研究展望 GNN

雖然起步較晚, 但由于其強大的性能, 已經取得了不俗的表現, 并且也在例如計算機視覺和推薦系統等實際應用中發揮著巨大的作用．不難發現, GNN 確實更符合當前實際應用的發展趨勢, 所 以 在 近 幾 年 才 會 得 到 越 來 越 多 人 的 關 注．但 是, GNN 畢竟起步較晚,還沒有時間積累,研究的深度 和領域還不夠寬廣．目前來看,它依然面臨著許多亟 待解決的問題,本節總結了 GNN 以后的研究趨勢．

１) 動態圖．目前,GNN 處理的圖結構基本上都 是靜態圖,涉及動態圖結構的模型較少[１３８Ｇ１３９],處理 動態圖對 GNN 來說是一個不小的挑戰．靜態圖的 圖結構是靜態不變的,而動態圖的頂點和邊是隨機 變化的,甚至會消失,并且有時還沒有任何規律可 循．目前針對 GNN 處理動態圖結構的研究還是比 較少的,還不夠成熟．如果 GNN 能夠成功應用于動 態圖結構上,相信這會使 GNN 的應用領域更加寬 廣．將 GNN 模型成功地推廣到動態圖模型是一個 熱點研究方向．

２) 異質圖．同質圖是指節點和邊只有一種類型, 這種數據處理起來較容易．而異質圖則是指節點和 邊的類型不只一種,同一個節點和不同的節點連接 會表現出不同的屬性,同一條邊和不同的節點連接 也會表現出不同的關系,這種異質圖結構處理起來 就相對復雜．但異質圖卻是和實際問題最為貼切的 場景,比如在社交網絡中,同一個人在不同的社交圈 中可能扮演著父親、老師等不同的角色．對于異質圖 的研究還處在剛起步的階段[１４０Ｇ１４１],模型方法還不 夠完善．所以,處理異質圖也是將來研究的一個熱點．

３) 構建更深的圖神經網絡模型．深度學習的強 大優勢在于能夠形成多層的不同抽象層次的隱表 示,從而才能表現出優于淺層機器學習的強大優勢． 但對于圖深度學習來說,現有的圖神經網絡模型大 多還是只限于淺層的結構．通過實驗發現,當構造多 層的神經網絡時,實驗結果反而變差．這是由過平滑 現象造成的,GNN 的本質是通過聚合鄰居節點信息 來表征中心節點．當構造多層的神經網絡之后,中心 節點和鄰 居 節 點 的 差 異 就 會 變 得 微 乎 其 微,從 而 會導致分類結果變差．如何解決過平滑現象,使圖神 經網絡能夠應用于更多層的結構,從而發揮出深度 學習的強大優勢．雖然已有文獻對其進行了討論[９１], 但構建更深的圖神經網絡模型仍是值得深入研究的 問題．

４) 將圖神經網絡應用到大圖上．隨著互聯網的 普及,圖神經網絡處理的數據也變得越來越大,致使 圖中的節點數量變得巨大,這就給圖神經網絡的計 算帶來了不小的挑戰．雖然一些學者對該問題進行 了研究改進[１４２],但針對將圖神經網絡應用到大圖 上的研究同樣是將來研究的熱點問題,在這方面,引 入摘要數據結構,構造局部圖數據,并能適當地融合 局部圖結構,形成整體圖神經網絡的表示是可能的 思路．

５) 探索圖中更多有用的信息．在當前諸多學者 對于圖神經網絡模型的研究中,僅僅利用了圖中節 點之間有無連接這一拓撲結構信息．但是,圖是一個 非常復雜的數據結構,里面還有很多有用的信息未 被人們發現利用．比如,圖中節點的位置信息．中心 節點的同階鄰居節點處于不同位置,距離中心節點 的遠近不同應該會對中心節點產生的影響程度不 同．如果能夠探索出圖中更多的有用信息,必會將圖 神經網絡的性能提升一個層次,這是一個非常值得 探討的問題．

６) 設計圖神經網絡的數學理論保障體系．任何 神經網絡模型必須有強大的數學理論支撐才能發展 得更快,走得更遠．現在對于圖神經網絡模型的設 計,大多還只是依靠研究者的經驗和基于機理邏輯 設計出來的,并且對于圖神經網絡模型的性能分析 僅僅是從實驗結果中得來,并沒有從數學理論層面 給出 一 個 合 理 的 解 釋．目 前,該 領 域 已 有 一 些 研 究[９０Ｇ９１],但為圖神經網絡設計出強大的數學理論,指 導圖神經網絡的構造、學習和推理過程．能夠給出圖 神經網絡學習結果正確性的數學理論保障,仍是未 來發展的一個重要方向．

7. 圖神經網絡的工業落地．當前對于圖神經網 絡的研究大多還只是停留在理論層面,首先設計出模型,然后在公開數據集上進行測試驗證,鮮有把工 業的實際情況考慮在內．雖然圖神經網絡在工業上 已有一小部分的實際應用,但還遠沒有達到大規模 應用的程度．任何研究只有真正地在工業界落地,才 能發揮它的應用價值,反之也會促進其進一步的研 究發展．盡快將圖神經網絡應用到實際的工業場景 中,是一個亟需解決的問題．

摘要

在過去十年左右的時間里，我們見證了深度學習讓機器學習領域重新煥發活力。它以最先進的性能解決了計算機視覺、語音識別、自然語言處理等領域的許多問題。這些領域的數據一般用歐幾里得空間表示。其他許多領域都符合非歐幾里得空間，圖是其中的理想表示。圖適用于表示各種實體之間的依賴關系和相互關系。傳統上，手工制作的圖特性無法從復雜的數據表示中為各種任務提供必要的推斷。最近，出現了利用深度學習的各種進展來繪制基于數據的任務。本文提供了圖神經網絡(GNN)在每種學習設置中的全面綜述: 監督學習、無監督學習、半監督學習和自監督學習。每個基于圖的學習設置的分類提供了屬于給定學習設置的方法的邏輯劃分。從理論和實證兩方面分析了每個學習任務的方法。此外，我們還提供了構建GNN的一般架構指導方針。還提供了各種應用程序和基準數據集，以及仍然困擾著GNN的普遍適用性的開放挑戰。

//www.zhuanzhi.ai/paper/4014c909fcaa7d7c7c7d292b6a7febbb

引言

圖是定義一組節點及其關系的數據結構。從社交網絡[141]到物理互動[209]，我們無處不在地觀察它們。圖表還可以用來表示不可思議的結構，如原子、分子、生態系統、生物、行星系統[42]等等。所以，圖形結構存在于我們的周圍環境和對世界的感知中。它包括實體和相互關系，以建立概念，如推理、溝通、關系、營銷等。

隨著當今技術的進步，互聯網(一個巨大的圖表)的使用正在迅速增長。如今，在社交網絡、搜索引擎的知識數據庫、街道地圖、甚至分子、高能物理、生物和化學化合物中也可以找到大量的圖表。圖結構表示在這些環境中很常見; 因此，需要有效和新穎的技術來解決基于圖的任務。許多傳統的機器學習技術都是在使用各種預定義的過程從原始數據表單中提取特征的基礎上提出的。提取的特征可以是圖像數據中的像素統計，也可以是自然語言數據中的單詞出現統計。在過去的十年中，深度學習(DL)技術獲得了巨大的普及，有效地解決了學習問題，從原始數據學習表示，并使用學習的表示同時預測。通常，這是通過探索許多不同的非線性轉換(由層執行)和使用基于梯度下降的學習方法對這些模型進行端到端訓練來實現的。盡管DL最近在計算機視覺、自然語言處理、生物醫學成像、生物信息學等領域取得了進展，但它仍然缺乏關系和因果推理、智力抽象和其他各種人類能力。以圖的形式構造深度神經網絡(DNN)中的計算和表示是解決這些問題的方法之一，這種方法被稱為圖神經網絡(GNN)。

GNN在具有許多學習設置的不同領域的圖結構數據集上都是成功的: 有監督、半監督、自監督和無監督。大多數基于圖的方法屬于無監督學習，通常基于自動編碼器、對比學習或隨機行走概念。圖自編碼器的最新研究成果有:Cao等人[22]在高光譜分類中的特征提取; Yang等人的防止消息傳遞過平滑[188];Park等人使用消息傳遞自動編碼器進行雙曲表示學習[134];用于解決Wu等人[182]提出的當前鏈路預測方法的局限性。最近，基于對比學習的方法也很成功，這在許多研究人員的工作中得到了證明。Okuda等[122]是最近出現的一種無監督圖表示學習方法，用于發現圖像中常見的目標和一組特定目標的定位方法。學習后的表示可以用于下游的學習任務，如Du等人[41]和Perozzi等人[138]所示。Adhikari等人[2]中的擴展隨機游動以及Dong等人[40]中的異構圖中的頂點表示也可以捕獲子圖的嵌入。

本文根據圖半監督學習方法的嵌入特征，將其分類為淺圖嵌入和深圖嵌入。將淺圖嵌入分為因子分解、隨機游走，將深圖嵌入分為自編碼器嵌入和GNN嵌入。本文還提供了對每種方法的進一步解釋，以及GNN的類別。基于圖的自監督學習方法根據任務和訓練策略進行分類。現有關于GNN的綜述論文大多側重于單一學習設置或一般GNN，如表1所示。這些綜述并沒有分別解釋每種學習環境。Zhou等人[205]最近完成了一項研究，重點研究了圖上的各種機器學習算法。

在本文中，我們探討了每個基于圖的學習設置，并將其分為幾個類別。本文的主要貢獻概述如下:

• 定義了圖的基本術語和變體，以及各種基于圖的任務。
• 對GNN進行了全面的綜述。我們的工作集中在所有的學習設置，而不同的調查集中在一個單一的學習設置。
• 進一步，每個基于圖的學習設置都被探索并劃分為所需的類別。
• 給出了GNN體系結構設計的一般指導原則。
• 我們提供許多GNN資源，包括SOTA模型、流行的基于圖的數據集和各種應用程序。
• 我們分析了GNN的理論和經驗方面，評估了當前技術的挑戰，并從模型深度、可擴展性、高階和復雜結構以及技術的穩健性方面提出了未來可能的研究路線。

論文組織: 第2節分別介紹GNN的基本術語和概念，然后介紹2.1節和2.2節中基于圖結構數據的圖的變體和任務。第3節解釋了每個學習設置的基于GNN的方法，并進一步將方法和學習設置分解為邏輯劃分。3.1節簡要介紹了現有的圖監督學習方法。基于圖的無監督學習方法在第3.2節中進行了解釋，并對現有的學習方法進行了細分。然后我們在第3.3節給出了圖半監督學習方法，并通過嵌入方法對這些方法進行了細分。第3.4節介紹了圖的自監督學習方法，并根據任務和訓練策略對每種方法進行了劃分。GNN的一般step-wise結構在第4節中給出。第6節從理論和實證兩個方面對GNN方法進行了分析。在第5節中，我們介紹了幾個在GNN研究中常用的數據集，然后是第7節，介紹了GNN的一些流行應用。第8節總結了在基于GNN的圖任務解決方案中仍然存在的尚未解決的問題。最后，在第9部分，我們總結了這項工作。

題目： 圖神經網絡的無冗余計算 會議： KDD2020 論文地址： //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由： 對于圖神經網絡中重復信息的聚合，這篇文章提出了一種簡單有效的層次化聚合的方法(HAG)，用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中，可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。

GNN在單層中基于遞歸鄰域聚合方案，每個節點聚合其鄰居的特征，并使用聚合值更新其自身的特征。這樣遞歸地傳播多次（多層），最后，GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務，例如節點分類、圖分類或鏈路預測。然而，如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是，許多當前的工作是使用整張圖的拉普拉斯矩陣，這樣即便是對于中等規模的圖，也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣，然后再聚合這些節點的鄰域信息，但是對于單個節點進行鄰域采樣是一個高復雜度的事情，因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。

圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。

摘要：

當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。

形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。

圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。

本篇內容結構：

• (1) 簡明易懂的GNNs入門教程。
• (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
• (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
• (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。

//deepai.org/publication/a-practical-guide-to-graph-neural-networks

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

【導讀】Thomas Kipf是阿姆斯特丹大學博士生，是GCN作者。最近他畢業博士論文公布了，《深度學習圖結構表示》178頁pdf闡述圖卷積神經網絡等機制與應用，包括作者一系列原創圖深度學習工作，有GCN、GAE等，是研究該領域不可缺少的文獻。

阿姆斯特丹大學機器學習專業四年級的博士生，導師Max Welling教授。我的主要興趣是學習結構化數據和結構化表示/計算。這包括推理、(多主體)強化學習和結構化的深層生成模型。

//tkipf.github.io/

《深度學習圖結構表示》

地址：

在這篇論文中，我們提出了利用圖結構表示進行深度學習的新方法。所提出的方法主要基于以圖的形式構造基于神經網絡的模型的表示和計算的主題，這使得在使用顯式和隱式模塊結構學習數據時可以改進泛化。

我們的貢獻如下:

• 我們提出圖卷積神經網絡 graph convolutional networks (GCNs) (Kipf and Welling, 2017;第3章) 用于圖結構數據中節點的半監督分類。GCNs是一種圖神經網絡，它在圖中執行參數化的消息傳遞操作，建模為譜圖卷積的一階近似。在發布時，GCNs在許多無向圖數據集的節點級分類任務中取得了最先進的性能。

• 我們提出圖自編碼器(GAEs) (Kipf and Welling, 2016;第四章）用于圖形結構數據中的無監督學習和鏈接預測。GAEs利用一種基于圖神經網絡的編碼器和一種基于成對評分函數重構圖中的鏈接的解碼器。我們進一步提出了一個模型變量作為概率生成模型，該模型使用變量推理進行訓練，我們將其命名為變量GAE。在沒有節點標簽的情況下，GAEs和變分GAEs特別適合于圖數據的表示學習。

• 我們提出了關系型GCNs (Schlichtkrull and Kipf等，2018;第5章)將GCN模型擴展到具有多種邊緣類型的有向關系圖。關系GCNs非常適合于對關系數據進行建模，我們演示了一個應用于知識庫中的半監督實體分類。

• 我們提出了神經關系推理(NRI) (Kipf and Fetaya等，2018; 第六章)用于交互系統中潛在關系結構的發現。NRI將圖神經網絡與圖中邊緣類型的概率潛在變量模型相結合。我們將NRI應用于相互作用的動力學系統，如物理中的多粒子系統。

• 我們提出組合模仿學習和執行(CompILE) (Kipf等，2019;第7章)，一個序列行為數據的結構發現模型。CompILE使用一種新的可微序列分割機制來發現和自動編碼有意義的行為子序列或子程序。潛代碼可以被執行和重新組合以產生新的行為。

• 我們提出了對比訓練的結構化世界模型(C-SWMs) (Kipf等，2020; 第8章)從無監督的原始像素觀測中學習環境的目標分解模型。C-SWMs使用圖神經網絡以圖的形式構造環境的表示，其中節點表示對象，邊表示在動作影響下的成對關系或交互。C-SWMs在沒有像素損耗的情況下使用對比學習進行訓練，非常適合于具有組成結構的環境的學習模型。

Thomas Kipf論文列表：

• Thomas N. Kipf and Max Welling (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In: International Conference on Learning Representations (ICLR).

• Thomas N. Kipf and Max Welling (2016). "Variational Graph Auto-Encoders." In: NeurIPS Workshop on Bayesian Deep Learning.

• Michael Schlichtkrull*, Thomas N. Kipf*, Peter Bloem, Rianne van den Berg, Ivan Titov and Max Welling (2018). "Modeling Relational Data with Graph Convolutional Networks." In: European Semantic Web Conference (ESWC).

• Thomas Kipf*, Ethan Fetaya*, Kuan-ChiehWang, MaxWelling and Richard Zemel (2018). "Neural Relational Inference for Interacting Systems." In: International Conference on Machine Learning (ICML).

• Thomas Kipf, Yujia Li, Hanjun Dai, Vinicius Zambaldi, Alvaro Sanchez- Gonzalez, Edward Grefenstette, Pushmeet Kohli and Peter Battaglia (2019). "CompILE: Compositional Imitation Learning and Execution." In: International Conference on Machine Learning (ICML).

• Thomas Kipf, Elise van der Pol and Max Welling (2020). "Contrastive Learning of Structured World Models." In: International Conference on Learning Representations (ICLR).