亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡在過去幾年中獲得了巨大的興趣。這些強大的算法將深度學習模型擴展到非歐氏空間，并能夠在包括推薦系統和社交網絡在內的各種應用中實現最先進的性能。然而，這種性能是基于靜態圖結構假設的，這限制了圖神經網絡在數據隨時間變化時的性能。時序圖神經網絡是考慮時間因素的圖神經網絡的擴展。近年來，各種時序圖神經網絡算法被提出，并在多個時間相關應用中取得了優于其他深度學習算法的性能。本綜述討論了與時空圖神經網絡相關的有趣主題，包括算法、應用和開放挑戰。

1. 引言

圖神經網絡(GNN)是一類深度學習模型，專門設計用于處理圖結構數據。這些模型利用圖拓撲來學習圖的節點和邊的有意義表示。圖神經網絡是傳統卷積神經網絡的擴展，在圖分類、節點分類和鏈接預測等任務中被證明是有效的。GNNs的關鍵優勢之一是，即使在基礎圖的規模增長時，它們也能保持良好的性能，這是因為可學習參數的數量獨立于圖中節點的數量。圖神經網絡(GNN)已被廣泛應用于各種領域，如推薦系統、藥物發現和生物學以及自治系統中的資源分配。然而，這些模型僅限于靜態圖數據，其中圖結構是固定的。近年來，時變圖數據引起了人們越來越多的關注，它出現在各種系統中并攜帶有價值的時間信息。時變圖數據的應用包括多元時間序列數據、社交網絡、視聽系統等。

為了滿足這一需求，出現了一種新的GNN族:時空GNN，通過學習圖結構的時間表示，同時考慮了數據的空間和時間維度。本文對最先進的時空圖神經網絡進行了全面的回顧。本文首先簡要概述不同類型的時空圖神經網絡及其基本假設。更詳細地研究了時空GNN中使用的特定算法，同時也為這些模型的分組提供了有用的分類法。本文還概述了時空GNN的各種應用，強調了這些模型已被用于取得最先進結果的關鍵領域。最后，討論了該領域面臨的挑戰和未來的研究方向。總之，本綜述旨在對時空圖神經網絡進行全面和深入的研究，強調該領域的現狀、仍然需要解決的關鍵挑戰，以及這些模型令人興奮的未來可能性。

2. 算法

時空圖神經網絡從算法角度可分為基于譜的和基于空間的兩類。另一個分類類別是引入時變的方法:另一個機器學習算法或在圖結構中定義時間。

2.1 混合時空圖神經網絡

混合時空圖神經網絡由兩個主要組件組成:空間組件和時間組件。在混合時空圖神經網絡中，利用圖神經網絡算法對數據中的空間依賴關系進行建模。

2.2 Solo-Graph神經網絡

在時空圖神經網絡中建模時間的另一種方法是在GNN本身中定義時間框架。提出了多種方法，包括:將時間定義為邊，將時間作為信號輸入到GNN，將時間建模為子圖，以及將其他機器學習架構夾在GNN中(圖2)。

3. 應用

3.1 多變量時間序列預測受圖神經網絡處理關系依賴[10]能力的啟發，時空圖神經網絡被廣泛應用于多變量時間序列預測。應用包括流量預測，Covid預測，光伏電力消耗，RSU通信和地震應用。

3.2人物交互

在機器學習和計算機視覺中，時空域學習仍然是一個非常具有挑戰性的問題。主要的挑戰是如何在大的時空上下文[18]中建模對象和更高層次的概念之間的交互。在這樣一個困難的學習任務中，有效地對空間關系、局部外觀以及隨著時間發生的復雜交互和變化進行建模是至關重要的。[18]引入了一種時空圖神經網絡模型，在空間和時間上循環，適合捕捉不斷變化的世界場景[18]中不同實體和物體的局部外觀和復雜的高層交互。

3.3 動態圖表示

時序圖表示學習一直被認為是圖機器學習中一個非常重要的方面[15,31]。針對現有方法依賴時序圖的離散快照而不能捕獲強大表示的局限性，[3]提出了一種基于時空圖神經網絡的動態圖表示學習方法。此外，[15]如今使用時空GNN動態表示腦圖。多目標跟蹤視頻中的多目標跟蹤嚴重依賴于對目標之間的時空交互進行建模[16]。[16]提出了一種時空圖神經網絡算法，對對象之間的空間和時間交互進行建模。 3.4 手語翻譯

手語采用視覺-手動方式來傳達含義，是聾人和重聽群體的主要交流工具。為了縮小口語用戶和手語用戶之間的交流鴻溝，機器學習技術被引入其中。傳統上，神經機器翻譯被廣泛采用，但需要更先進的方法來捕捉手語的空間屬性。[13]提出了一種基于時空圖神經網絡的手語翻譯系統，該系統在捕捉手語的時空結構方面具有強大的能力，與傳統的神經機器翻譯方法[13]相比，取得了最好的性能。

3.5 技術增長排名

了解技術的增長率是技術部門業務戰略的核心關鍵。此外，預測技術的增長速度和相互之間的關系，有助于在產品定義、營銷策略和研發方面的商業決策。[32]提出了一種基于時空圖神經網絡的社交網絡技術增長排名預測方法。

4. 結論

圖神經網絡在過去幾年中獲得了巨大的興趣。這些強大的算法將深度學習模型擴展到非歐氏空間。然而，圖神經網絡限于靜態圖結構假設，限制了圖神經網絡在數據隨時間變化時的性能。時序圖神經網絡是考慮時間因素的圖神經網絡的擴展。本文對時空圖神經網絡進行了全面的概述。本文提出了一種分類法，基于時變方法將時空圖神經網絡分為兩類。還討論了時空圖神經網絡的廣泛應用。最后，根據當前時空圖神經網絡面臨的公開挑戰，提出了未來的研究方向。

大量理論和經驗證據表明，較平坦的局部最小值傾向于提高泛化能力。對抗權重擾動(Adversarial Weight Perturbation，AWP)是一種快速有效地尋找這種最小值的新興技術。在AWP中，我們最小化損失w.r.t。模型參數的有界最壞情況擾動，從而有利于在其周圍鄰域內具有小損失的局部最小值。AWP的好處，以及平坦度和泛化之間的聯系，已經被廣泛研究了i.i.d.數據，如圖像。本文針對圖數據廣泛研究了這一現象。在此過程中，我們首先推導出非i.i.d的泛化界。節點分類任務。用所有現有的AWP公式確定一個消失梯度問題，并提出一種新的加權截斷AWP (WTAWP)來緩解這個問題。用WT-AWP正則化圖神經網絡，持續提高了許多不同圖學習任務和模型的自然和魯棒泛化能力。

來自計算所發布的研究分布式GNN訓練中使用的各種優化技術，提供了分布式GNN訓練的全面綜述。

圖神經網絡(GNNs)在圖學習方面的有效性已被證明是廣泛應用領域的一種強大的算法模型。為了擴大GNN訓練以適應大規模和不斷增長的圖，最有前途的解決方案是分布式訓練，它將訓練工作量分布到多個計算節點。然而，對分布式GNN訓練的工作流程、計算模式、通信模式和優化技術仍有初步了解。在本文中，我們通過研究分布式GNN訓練中使用的各種優化技術，提供了分布式GNN訓練的全面綜述。首先，根據分布式GNN訓練的工作流程將其分為幾類;此外，還介紹了它們的計算模式和通信模式，以及最新工作提出的優化技術。其次，介紹了分布式GNN訓練的軟件框架和硬件平臺，以加深對分布式GNN訓練的了解。第三，將分布式GNN訓練與深度神經網絡的分布式訓練進行了比較，強調了分布式GNN訓練的唯一性。最后，討論了該領域的研究熱點和發展機遇。

//www.zhuanzhi.ai/paper/e85caecb1c45f7412fc38a4f681097ab

1. 概述

圖具有強大的數據表示能力，特別是在表示對象之間的關聯[1]，[2]等方面有著廣泛的應用。許多真實世界的數據可以自然地表示為由一組頂點和邊組成的圖。以社交網絡為例[3]，[4]，圖中的頂點表示人，邊表示人在Facebook上的互動[5]。如圖1 (a)所示，圓圈代表頂點，箭頭代表邊。另一個眾所周知的例子是知識圖[6]、[7]，其中頂點表示實體，而邊表示實體之間的關系[8]。圖神經網絡(GNNs)在圖[9]-[11]的學習中表現出優于其他算法模型的性能。深度神經網絡(DNNs)已廣泛應用于分析圖像[12]等歐幾里德數據。然而，由于圖[13]的任意大小和復雜的拓撲結構，非歐氏域的圖數據對它們提出了挑戰。此外，工業界識別的深度學習范式的一個主要弱點是不能有效地進行因果推理，這大大降低了智能系統[14]的認知能力。為此，GNN已成為圖學習的主要范式，并賦予智能系統認知能力。如圖1 (b)所示。GNN在獲取圖數據作為輸入后，使用前向傳播和后向傳播來更新模型參數。然后將訓練好的模型應用于圖任務，包括頂點預測15，鏈接預測16，圖預測17，如圖1 (c)所示。

由于GNN的優越性，它們在許多關鍵領域的各種實際應用中得到了廣泛的應用。這些實際應用包括知識推理[18]、自然語言處理[19]、[20]、機器翻譯[21]、推薦系統[22]-[24]、視覺推理[25]、芯片設計[26]-[28]、交通預測[29]-[31]、網約車需求預測[32]、垃圾郵件評論檢測[33]、分子屬性預測[34]等等。GNN在處理廣泛的現實應用時增強了機器的智能，例如在谷歌地圖[29]中為>實時ETAs提高50%的準確率，在Pinterest[22]中生成>40%更高質量的推薦，在滴滴[32]中實現了>10%的網約車需求預測提高，在阿里巴巴[33]中以90%的準確率提高>66.90%的召回率。然而，工業界和學術界仍然熱切期待GNN訓練的加速，原因如下[35]- [38]:

圖數據的規模迅速擴大，消耗了GNN訓練大量的時間。隨著互聯網上信息的爆炸，新的圖表數據不斷產生和變化，比如社交中人際關系的建立和消亡，人們在網絡購物中對商品偏好的變化。圖中的頂點和邊的規模分別接近甚至超過數十億和萬億的數量級，[39]-[42]。圖形規模的增長速度也是驚人的。例如，Facebook社交網絡的頂點(即用戶)數量正以每年17%的速度增長[43]。因此，隨著圖數據規模的不斷增長，GNN的訓練時間急劇增加。

新型GNN模型的快速開發和部署涉及到重復訓練，大量的訓練時間是不可避免的。由于[9]-[11]需要反復訓練，因此要建立高精度的GNN模型還需要大量的實驗工作。此外，將GNN模型的使用擴展到新的應用領域也需要大量的時間來用真實數據訓練模型。如此龐大的計算負擔需要更快的訓練方法。

分布式訓練是加速GNN訓練[35]-[38]，[40]，[44]-[58]的流行解決方案。它試圖通過向計算系統添加更多的計算資源或“節點”，并采用并行執行策略來加速整個計算過程，如圖1 (d)所示。2019年提出的NeuGraph[44]是分布式GNN訓練的第一篇發表作品。從那以后，近年來，人們不斷嘗試提高分布式GNN訓練的效率，使用了各種各樣的優化技術，包括工作負載分區[44]-[47]，傳輸規劃[37]，[44]-[46]，緩存策略[35]，[51]，[52]等。盡管做出了上述努力，但仍然缺乏對分布式GNN訓練的綜述。多個計算節點之間的管理和合作需要導致不同的工作流程，導致復雜的計算和通信模式，并使優化分布式GNN訓練成為一個挑戰。然而，盡管在這方面已經或正在做出大量的努力，但幾乎沒有任何關于這些挑戰和解決方案的調研。目前的研究主要集中在GNN模型和硬件加速器[9]-[11]，[59]-[62]，但并不打算對GNN的分布式訓練進行仔細的分類和總體概述，特別是從工作流、計算模式、通信模式和優化技術的角度。

介紹分布式GNN訓練的基本概念。 分析分布式GNN訓練的工作流程、計算模式和通信模式，總結優化技術。 強調分布式GNN訓練與分布式DNN訓練的區別 討論分布式GNN訓練領域的有趣問題和機遇。

2. GNN分布式訓練

****GNN是一種很有前途的從圖數據中學習知識的算法模型[63]-[68]。它將圖數據作為輸入，并學習圖中每個頂點的表示向量。學習到的表示可以用于下游任務，如頂點預測[15]，鏈接預測[16]和圖預測[17]。如圖3所示，GNN模型由一個或多個層組成，包括鄰居聚合和神經網絡操作，分別稱為aggregation步驟和Combination步驟。在Aggregation步驟中，使用Aggregate函數Aggregate()為每個目標頂點聚合來自上一GNN層的傳入相鄰頂點的特征向量。例如，在圖3中，頂點4將使用Aggregate函數收集自身及其傳入鄰近頂點(即頂點2,5,8)的特征向量。在Combine步驟中，Combine函數Combine()使用神經網絡操作轉換每個頂點的聚合特征向量。C.圖神經網絡的訓練方法在本小節中，我們介紹了GNN的訓練方法，包括全批訓練[69]，[70]和小批訓練[13]，[71]-[74]兩種方法。神經網絡(GNN)的典型訓練過程包括前向傳播和后向傳播。在正向傳播中，輸入數據通過神經網絡層傳遞到輸出。神經網絡通過將前向傳播的輸出與預先定義的標簽進行比較，產生輸出的差異。然后在反向傳播中，將這些差異沿相反方向在神經網絡層中傳播，生成梯度來更新模型參數。如圖4所示，根據每輪是否涉及整個圖，GNN的訓練方法可分為全批訓練[69]、[70]和小批訓練[13]、[71]-[74]。這里，我們定義了一輪全批訓練，包括模型計算階段(包括前向和后向傳播)和參數更新階段。另一方面，小批處理訓練中的一輪額外包含一個采樣階段，該階段對后續模型計算所需的小型工作負載進行采樣，因此定位在其他兩個階段之前。因此，一個epoch被定義為數據的整個傳遞過程，相當于一輪全批訓練，而小批訓練通常包含幾輪。下面將詳細介紹這兩種方法。

3 分布式GNN訓練分類

本節介紹分布式GNN訓練的分類。如圖5所示，我們首先根據第II-C節介紹的訓練方法，即每輪是否涉及整個圖，將其分為分布式全批訓練和分布式小批訓練，并顯示兩種類型的關鍵區別。通過分析這兩種類型的工作流程，將它們分別劃分為兩個詳細的類型。本節介紹了第一級類別，即分布式全批訓練和分布式小批訓練，并對它們進行了比較。這兩種類型的第二級類別稍后將分別在第四節和第五節介紹。

第21屆智能體及多智能體系統國際會議（International Joint Conference on Autonomous Agents and Multi-Agent Systems, AAMAS-2020）近日在線舉行。智能體及多智能體系統國際會議（AAMAS) 是多智能體系統領域最具影響力的會議之一，由非營利組織IFAAMAS主辦。來自佐治亞理工大學Matthew Gombolay和Zheyuan Wang共同講述了圖神經網絡解決多機器人協調問題的能力，非常值得關注！

機器人隊越來越多地部署在生產設施和倉庫等環境中，以節省成本和提高生產率。為了有效地協調多機器人隊，快速、高質量的調度算法必須滿足動態任務規范、部件和機器人可用性在時間和空間上的約束。傳統的解決方案包括精確的方法，這對于大規模問題是棘手的，或者特定應用的啟發式，這需要專業的領域知識。迫切需要的是一種新的自動化方法，它可以自動學習輕量級的、特定于應用的協調策略，而不需要手工設計的特征。 本教程介紹了圖神經網絡，并展示了圖神經網絡解決多機器人協調問題的能力。本文綜述了近年來各種圖神經網絡的框架，重點討論了它們在多智能體系統建模中的應用。我們將介紹多機器人協調(MRC)問題，并回顧解決MRC問題最相關的方法。我們將討論圖神經網絡在MRC問題中的幾個成功應用，并以Python示例代碼的形式提供實踐教程。通過本教程，我們旨在提供使用圖神經網絡建模多機器人系統的經驗，從算法開發到代碼實現，從而為在更廣泛的多智能體研究中設計基于圖的學習算法打開未來的機會。

//core-robotics.gatech.edu/2022/01/18/aamas2022_tutorial_gnn_robot/

第一部分將討論以下內容: (a) 圖神經網絡是如何工作的——我們將全面概述以往文獻中提出的各種圖神經網絡，包括同質圖和異質圖以及注意力機制; (b) 如何用圖神經網絡為團隊協調問題建模——我們將討論哪些應用可以用圖神經網絡建模，重點是MRC問題;(c)如何為團隊協調問題優化圖神經網絡的參數-我們將討論哪些學習方法可以用于訓練基于圖神經網絡的求解器。我們以最常見的挑戰和開放問題來結束本部分。

第二部分將提供一個實際操作教程，介紹如何使用圖神經網絡來解決協調問題，并在Python Jupyter筆記本中編寫示例。特別地，我們將研究ScheduleNet架構[6]，這是一個基于異構圖神經網絡的求解器，用于在時間和空間約束下解決MRC問題。Jupyter將工作通過模型實現，訓練和評估的ScheduleNet模型在合成數據集。

**講者介紹： **

Matthew Gombolay博士是佐治亞理工學院交互計算專業的助理教授。他于2011年獲得約翰霍普金斯大學(the Johns Hopkins University)機械工程學士學位，2013年獲得麻省理工學院(MIT)航空航天學碩士學位，2017年獲得麻省理工學院(MIT)自主系統博士學位。Gombolay的研究興趣涵蓋機器人、人工智能/ML、人機交互和運行學。在答辯論文和加入喬治亞理工學院之間，Gombolay博士曾在麻省理工學院林肯實驗室(MIT Lincoln Laboratory)擔任技術人員，并將他的研究工作轉化到美國海軍，為他贏得了R&D 100獎。他的發表記錄包括美國航空航天學會的最佳論文獎，美國控制會議的最佳學生論文決賽，以及機器人學習會議的最佳論文決賽。2018年，Gombolay博士被選為DARPA Riser ，獲得了國家消防研討會的早期職業獎第一名，并因提高太空科學自主性而獲得了NASA的早期職業獎學金。

Zheyuan Wang，佐治亞理工學院電氣與計算機工程學院博士研究生。他在上海交通大學(Shanghai Jiao Tong University)獲得電氣工程學士學位和碩士學位。他還獲得了佐治亞理工學院ECE的碩士學位。他目前是由Matthew Gombolay教授領導的認知優化和關系(CORE)機器人實驗室的研究生研究助理。他目前的研究方向是基于圖的策略學習，利用圖神經網絡進行表示學習和強化學習進行決策，應用于人-機器人團隊協作、多智能體強化學習和隨機資源優化。

內容概覽

參考文獻：

Ernesto Nunes, Marie Manner, Hakim Mitiche, and Maria Gini. 2017. A taxonomy for task allocation problems with temporal and ordering constraints. Robotics and Autonomous Systems 90 (2017), 55–70. 1. Petar Veli?kovi?, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. 2018. Graph attention networks. International Conference on Learning Representations (2018). 1. Xiao Wang, Houye Ji, Chuan Shi, Bai Wang, Yanfang Ye, Peng Cui, and Philip S Yu. 2019. Heterogeneous graph attention network. The World Wide Web Conference (2019), 2022–2032. 1. Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, and Maosong Sun. 2020. Graph neural networks: A review of methods and applications. AI Open 1 (2020), 57-81. 1. Zheyuan Wang and Matthew Gombolay. 2020. Learning scheduling policies for multi-robot coordination with graph attention networks. IEEE Robotics and Automation Letters 5, 3 (2020), 4509–4516. 1. Zheyuan Wang, Chen Liu, and Matthew Gombolay. 2021. Heterogeneous graph attention networks for scalable multi-robot scheduling with temporospatial constraints. Autonomous Robots (2021), 1–20.

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

題目： 圖神經網絡的無冗余計算 會議： KDD2020 論文地址： //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由： 對于圖神經網絡中重復信息的聚合，這篇文章提出了一種簡單有效的層次化聚合的方法(HAG)，用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中，可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。

GNN在單層中基于遞歸鄰域聚合方案，每個節點聚合其鄰居的特征，并使用聚合值更新其自身的特征。這樣遞歸地傳播多次（多層），最后，GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務，例如節點分類、圖分類或鏈路預測。然而，如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是，許多當前的工作是使用整張圖的拉普拉斯矩陣，這樣即便是對于中等規模的圖，也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣，然后再聚合這些節點的鄰域信息，但是對于單個節點進行鄰域采樣是一個高復雜度的事情，因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。

圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。

摘要：

當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。

形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。

圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。

本篇內容結構：

• (1) 簡明易懂的GNNs入門教程。
• (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
• (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
• (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。

//deepai.org/publication/a-practical-guide-to-graph-neural-networks

圖神經網絡(GNN)是一種學習圖結構的神經網絡。學習圖結構允許我們在歐幾里德空間中表示圖的節點，這對于一些下游的機器學習任務非常有用。最近關于GNN的工作在鏈接預測、圖分類和半監督任務方面表現出了令人印象深刻的性能(Hamilton et al.， 2017b)。由于人們對機器學習社區越來越感興趣，希望更多地了解這些技術，因此本文提供了關于GNN的介紹。

本文組織如下:首先，介紹了圖和網絡的基本概念。其次，我們描述了在GNNs中用于計算節點嵌入的主要步驟。接下來，我們將介紹現有文獻中經常提到的三種GNN技術。最后，我們對該領域的其他著名作品進行了有限的綜述