亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習重塑了人工智能的研究和應用。現代深度學習模型主要是為規則結構的數據設計的，如序列和圖像。這些模型是為將這些規則結構的數據作為輸入(例如分類、回歸)、作為輸出(例如生成)或作為結構先驗(例如神經架構設計)的任務而建立的。然而，并非所有形式的數據都是規則結構的。一個值得注意的例子是圖結構數據，這是一種通用而強大的數據結構，它以簡潔的形式表示實體及其關系。雖然圖結構數據在自然和社會科學中無處不在，但它是離散的和非i.i.d的。大自然給現代深度學習模型帶來了獨特的挑戰。本文旨在通過促進深度學習模型將圖作為輸入、輸出和先驗，以圖結構數據為深度學習賦能。我在這三個方向的研究為深度學習的研究開辟了新的前沿:(1)基于深度學習的圖學習。開發了具有表現力的有效深度學習方法，可以將圖作為輸入，促進了圖的學習和理解。(2)基于深度學習的圖生成。用深度學習模型規范了圖的生成過程，促進了圖的發現和設計。(3)圖作為深度學習的先驗。發現圖結構可以作為神經架構和機器學習任務的強大先驗，為深度學習的設計和理解打開了一個新的方向。討論了上述技術的廣泛應用，包括推薦系統、藥物發現、神經架構設計和缺失數據填補。

//stacks.stanford.edu/file/druid:mz469rn9516/PhD_thesis_final_Jiaxuan-augmented.pdf

1.1 動機

在大數據時代，深度學習已經成為從數據中挖掘價值的主要工具。例如，深度學習為人臉識別(使用圖像數據)、機器翻譯(使用文本數據)和語音識別(使用音頻數據)等關鍵應用程序提供了強大的功能。與傳統的機器學習技術相比，深度學習代表了一種基于大規模數據集的自動化學習模式。此外，深度學習得益于指數級增長的計算資源和網絡規模的數據收集。由于這些原因，深度學習在研究和行業中得到了廣泛的普及。

現代深度學習模型主要是為文本和圖像等規則結構數據設計的。例如，遞歸神經網絡(rnn)[38,88]和變壓器[228]設計用于具有確定性排序的序列數據，卷積神經網絡(CNNs)[84,120]設計用于網格類數據。數據規律性的假設不僅導致了專門的高性能深度學習架構，而且簡化了深度學習管道的軟硬件實現，這有助于深度學習的成功。

然而，并不是所有形式的數據都是規則結構的。在本文中，我們特別關注圖結構數據。圖是一種通用的、功能強大的數據結構，它以簡潔的形式表示實體及其關系。圖結構數據在自然科學和社會科學中無處不在。例如，一個分子可以表示為一個圖，其中原子是節點，化學鍵是邊，一個社交網絡可以表示為一個圖，其中成員是節點，他們的友誼關系是邊。盡管圖結構數據無處不在，但它給深度學習模型帶來了獨特的挑戰，總結如下:

復雜的拓撲結構。圖中的節點可以任意地相互連接;因此，深度學習模型必須適應輸入數據的形狀/結構。此外，所有可能圖的空間是巨大的，因為有 個具有n個節點的可能簡單圖;因此，將圖映射到有意義的低維嵌入是極具挑戰性的。

Non-i.i.d。大自然。由于給定節點的語義意義取決于它與整個圖的連通性，因此我們不能將不同的節點視為i.i.d.分布的。因此，深度學習中廣泛采用的標準隨機梯度下降優化方法不能直接作用于圖（對于圖級任務，可以直接使用隨機梯度下降法。在這里，整個圖被視為單個數據點，通常假設為i.i.d）。

排列不變的性質。圖是一個無序的數據對象，它要求所有的深度學習算子對節點的排序不變量。

在本文中，我們的目標是用圖結構數據增強深度學習。我們的愿景是為圖形結構數據構建一個表達性強、使用方便的深度學習框架。我們希望這樣一個框架可以將深度學習在規則結構化數據上的成功轉化為圖結構數據，圖結構數據代表了更通用、更靈活的數據格式。同時，我們將展示一個成功的圖的深度學習框架，進而推動深度學習研究的總體進展。為了實現這些目標，我們建議賦予深度學習框架以能力，使其能夠將圖作為輸入、輸出和先驗。圖1.1總結了三個研究方向。

1. 圖形作為輸入。我們開發了富有表現力和有效的深度學習方法，可以將圖形作為輸入，促進圖形的學習和理解。

2. 作為輸出的圖形。我們使用深度學習模型闡明圖的生成過程，這促進了圖的發現和設計。

3.圖作為先驗。我們發現圖結構可以作為神經結構和機器學習任務的強大先驗，這為深度學習的設計和理解開辟了一個新的方向。

圖神經網絡(GNNs)成功地從大多數類型的網絡數據學習表示，但在大型圖的情況下受到限制。挑戰出現在學習架構的設計本身，因為大多數GNN是由圖的一些矩陣表示(例如，鄰接矩陣)參數化的，當網絡很大時，這可能很難獲得。此外，在許多GNN架構中，圖操作是通過譜域中的卷積操作來定義的。在這種情況下，另一個障礙是圖譜的獲得，這需要代價高昂的矩陣特征分解。

然而，從共享結構屬性的意義上來說，大型圖通常可以被識別為彼此相似。因此，我們可以預期，處理這些圖上支持的數據應該會產生類似的結果，這將減輕大尺寸的挑戰，因為我們可以為小圖設計GNN，并將它們轉移到更大的圖上。在這篇論文中，我將這種直覺形式化，并表明當這些圖屬于同一個“族”時，這種圖的可移植性是可能的，其中每個族由不同的圖元標識。

graphon是一個函數W(x,y)，它描述了一類具有相似形狀的隨機圖。我們可以將參數(x,y)看作是一對節點的標簽，以及圖元值W(x,y)作為x和y之間一條邊的概率的標簽。這產生了一個從圖元采樣的圖的概念，或者，等價地，一個隨著采樣圖中節點數量增長的極限的概念。從一個graphon上采樣的圖形幾乎肯定在極限上具有相同的屬性，例如同態密度，這在實踐中意味著，graphon識別的網絡家族在某種意義上是相似的，某些“motifs”的密度是保持不變的。這激發了對圖上的信息處理的研究，作為在大型圖上進行信息處理的一種方法。

信號處理理論的核心部分是一個移位的概念，它引入了一類具有傅立葉變換(FT)特征的光譜表示的線性濾波器。本文表明，graphon誘導了一個線性算子，可用于定義移位，從而定義graphon濾波器和graphon FT。基于圖序列和相關圖信號的收斂性質，可以證明對于這些序列，圖FT收斂到graphon FT，圖濾波器的輸出收斂到具有相同系數的graphon濾波器的輸出。這些定理表明，對于屬于某些族的圖，圖傅里葉分析和圖濾波器設計具有明確的限制。反過來，這些事實使具有大量節點的圖上的圖信息處理成為可能，因為為極限圖設計的信息處理管道可以應用于有限圖。

我們通過組合具有點非線性的graphon濾波器組來進一步定義graphon神經網絡(WNNs)。WNNs是理想的極限，在實際中并不存在，但它們是理解GNNs基本性質的有用工具。特別是，graphon濾波器的采樣和收斂結果可以很容易地擴展到WNNs，從而表明當圖收斂到graphon時，GNN收斂到WNNs。如果兩個GNN可以任意接近同一個WNN，那么通過一個簡單的三角形不等式參數，它們也可以任意接近彼此。這個結果證實了我們的直覺，即GNN可以在相似的圖之間轉移。一個GNN可以在中等規模的圖上訓練，并在一個可轉移性誤差主要為最小圖的大小的倒數的大尺度圖上執行。有趣的是，這種誤差隨著卷積濾波器光譜響應的可變性而增加，揭示了從圖濾波器繼承來的可轉移性和光譜鑒別性之間的權衡。在實踐中，由于非線性，這種權衡在GNN中很少出現，它能夠將數據的光譜成分分散到特征值譜的不同部分，在那里它們可以被區分。這解釋了為什么GNN比圖過濾器更可轉移。

在過去的十年里，深度學習取得了巨大的成功，但在權值更新和訓練樣本數量方面，實際有用的深度模型的訓練仍然非常低效。為了解決這些問題的一個方面，本文研究了持續學習設置，該模型利用一系列的任務，利用之前的知識來快速學習新任務。持續學習的主要挑戰是，在為新任務更新模型時，避免模型災難性地忘記之前的信息。

//ora.ox.ac.uk/objects/uuid:7a3e5c33-864f-4cfe-8b80-e85cbf651946

為此，本文首先提出了一種持續學習算法，通過正則化兩個連續任務的條件似然之間的kl -散度來保留之前的知識。結果表明，這種正則化對網絡權值施加了二次懲罰，該懲罰基于上一個任務的最小曲率。其次，本文提出了一種更有效的持續學習算法，利用對過去任務的情景記憶作為約束，這樣當對新任務進行權重更新時，情景記憶的損失不會增加。結果表明，使用情景記憶約束目標比正則化網絡參數更有效。此外，為了提高學習新任務的速度，提出了使用組合任務描述符的聯合嵌入模型，大大提高了正向遷移。基于情景記憶的持續學習目標通過直接在損失函數中使用記憶來簡化。盡管它傾向于記憶出現在微小情景記憶中的數據，結果算法顯示出比使用記憶作為約束的算法更好的泛化。分析認為，這種驚人的概化是由于新任務數據帶來的正則化效應。然后利用該算法對合成數據和真實數據進行持續學習。為此，提出了一種方法，通過優化重放緩沖區上的事后遺忘損失，為每個任務生成合成數據點。設計了一個嵌套的持續學習優化目標，有效地利用這些綜合點來減少基于記憶的持續學習方法的遺忘。最后，本文提出了一種持續學習算法，在不重疊的特征子空間中學習不同的任務。通過保持不同任務的子空間相互正交來最小化重疊，可以減少這些任務表示之間的干擾。

在這篇論文中，我們考慮了多模態在機器學習決策和協調問題中的作用。我們提出使用一系列多模態概率方法，使用(有限)混合模型的擴展來解決時間序列預測的挑戰，神經網絡中的高效不確定性量化，對抗模型和多智能體協調。在論文的第一部分中，我們關注多模態不確定性估計在時間序列預測中的應用，表明這種方法提供了易于操作的、有益的替代點估計方法，點估計仍然是預測的普遍選擇方法。我們討論了多模態不確定性的意義，并展示了更熟練的方法估計后驗目標分布的必要性。我們提出了一系列計算高效，但有能力的方法來估計豐富的多模態后驗分布。我們將我們的模型與用點測量或單峰分布估計不確定性的技術進行了比較，并在生成對抗網絡的啟發下，對所開發的方法進行了擴展，以此結束本部分。我們表明，該方法對加性噪聲提供了最先進的魯棒性，使其特別適用于包含大量未知隨機的數據集。

在本工作的第二部分，我們研究了協作多智能體系統(CMASs)的多模態模型的重要性，并將我們的工作擴展到采用概率方法。到目前為止，這一領域的大多數研究都局限于考慮自玩范式，即使這些方法解決了各種具有挑戰性的問題。雖然這些進步是重要的，但在自玩中使用任意約定會導致當智能體在此設置之外玩時的協調問題。我們考慮了特殊的CMAS設置，遠離了自玩框架。這是機器學習中一個特別具有挑戰性的領域，也是近年來備受關注的一個領域，為AI智能體在現實世界中能夠與人類(和其他智能體)有效交互提供了希望。我們通過在其他主體的策略上建立后驗信念來解決特別協調問題。這是通過吉布斯抽樣的擴展來實現的，以獲得接近最優的即席性能。我們在具有挑戰性的游戲Hanabi上測試了我們的算法，Hanabi是合作多智能體強化學習中最著名的測試平臺之一，近年來已成為一個具有發展勢頭的基準。我們表明，我們的方法可以實現強大的交叉游戲，即使與看不到的合作伙伴，實現成功的臨時協調，無需預先了解合作伙伴的戰略。

對稱和不變性在機器學習任務中無處不在。雖然卷積神經網絡以成功利用平移對稱性而聞名，但其他對稱性直到最近才經常被忽視。將對稱性或不變性納入神經網絡體系結構可以避免昂貴的數據增強，并減輕對大型數據集的需求。提出的工作集中在不變和等變神經網絡層，把對稱性放在神經網絡架構設計的中心。具體而言，本文涵蓋了三種不同的不變性:排列不變性、旋轉-平移不變性和標簽不變性。

• 對稱和不變性在機器學習任務中無處不在。雖然卷積神經網絡以成功利用平移對稱性而聞名，但其他對稱性直到最近才經常被忽視。
• 將對稱性或不變性納入神經網絡體系結構可以避免昂貴的數據增強，并減輕對大型數據集的需求。
• 提出的工作集中在不變和等變神經網絡層，把對稱性放在神經網絡架構設計的中心。具體而言，本文涵蓋了三種不同的不變性:排列不變性、旋轉-平移不變性和標簽不變性

圖是連接數據網絡結構的一種常用表示形式。圖數據可以在廣泛的應用領域中找到，如社會系統、生態系統、生物網絡、知識圖譜和信息系統。隨著人工智能技術的不斷滲透發展，圖學習(即對圖進行機器學習)越來越受到研究者和實踐者的關注。圖學習對許多任務都非常有效，如分類，鏈接預測和匹配。圖學習方法通常是利用機器學習算法提取圖的相關特征。在這個綜述中，我們提出了一個關于圖學習最全面的概述。特別關注四類現有的圖學習方法，包括圖信號處理、矩陣分解、隨機游走和深度學習。分別回顧了這些類別下的主要模型和算法。我們研究了諸如文本、圖像、科學、知識圖譜和組合優化等領域的圖學習應用。此外，我們還討論了該領域幾個有前景的研究方向。

真實的智能系統通常依賴于機器學習算法處理各種類型的數據。盡管圖數據無處不在，但由于其固有的復雜性，給機器學習帶來了前所未有的挑戰。與文本、音頻和圖像不同，圖數據嵌入在一個不規則的領域，使得現有機器學習算法的一些基本操作不適用。許多圖學習模型和算法已經被開發出來解決這些挑戰。本文系統地綜述了目前最先進的圖學習方法及其潛在的應用。這篇論文有多種用途。首先，它作為不同領域(如社會計算、信息檢索、計算機視覺、生物信息學、經濟學和電子商務)的研究人員和從業者提供圖學習的快速參考。其次，它提供了對該領域的開放研究領域的見解。第三，它的目的是激發新的研究思路和更多的興趣在圖學習。

圖，又稱網絡，可以從現實世界中豐富的實體之間的各種關系中提取。一些常見的圖表已經被廣泛用于表達不同的關系，如社會網絡、生物網絡、專利網絡、交通網絡、引文網絡和通信網絡[1]-[3]。圖通常由兩個集合定義，即頂點集和邊集。頂點表示圖形中的實體，而邊表示這些實體之間的關系。由于圖學習在數據挖掘、知識發現等領域的廣泛應用，引起了人們的廣泛關注。由于圖利用了頂點[4]，[5]之間的本質和相關關系，在捕獲復雜關系方面，圖學習方法變得越來越流行。例如，在微博網絡中，通過檢測信息級聯，可以跟蹤謠言的傳播軌跡。在生物網絡中，通過推測蛋白質的相互作用可以發現治療疑難疾病的新方法。在交通網絡中，通過分析不同時間戳[6]的共現現象，可以預測人類的移動模式。對這些網絡的有效分析很大程度上取決于網絡的表示方式。

一般來說，圖學習是指對圖進行機器學習。圖學習方法將圖的特征映射到嵌入空間中具有相同維數的特征向量。圖學習模型或算法直接將圖數據轉換為圖學習體系結構的輸出，而不將圖投影到低維空間。由于深度學習技術可以將圖數據編碼并表示為向量，所以大多數圖學習方法都是基于或從深度學習技術推廣而來的。圖學習的輸出向量在連續空間中。圖學習的目標是提取圖的期望特征。因此，圖的表示可以很容易地用于下游任務，如節點分類和鏈接預測，而無需顯式的嵌入過程。因此，圖學習是一種更強大、更有意義的圖分析技術。

在這篇綜述論文中，我們試圖以全面的方式檢驗圖機器學習方法。如圖1所示，我們關注現有以下四類方法:基于圖信號處理(GSP)的方法、基于矩陣分解的方法、基于隨機游走的方法和基于深度學習的方法。大致來說，GSP處理圖的采樣和恢復，并從數據中學習拓撲結構。矩陣分解可分為圖拉普拉斯矩陣分解和頂點接近矩陣分解。基于隨機游動的方法包括基于結構的隨機游動、基于結構和節點信息的隨機游動、異構網絡中的隨機游動和時變網絡中的隨機游動。基于深度學習的方法包括圖卷積網絡、圖注意力網絡、圖自編碼器、圖生成網絡和圖時空網絡。基本上，這些方法/技術的模型架構是不同的。本文對目前最先進的圖學習技術進行了廣泛的回顧。

傳統上，研究人員采用鄰接矩陣來表示一個圖，它只能捕捉相鄰兩個頂點之間的關系。然而，許多復雜和不規則的結構不能被這種簡單的表示捕獲。當我們分析大規模網絡時，傳統的方法在計算上是昂貴的，并且很難在現實應用中實現。因此，有效地表示這些網絡是解決[4]的首要問題。近年來提出的網絡表示學習(NRL)可以學習低維表示[7]-[9]的網絡頂點潛在特征。當新的表示被學習后，可以使用以前的機器學習方法來分析圖數據，并發現數據中隱藏的關系。

當復雜網絡被嵌入到一個潛在的、低維的空間中時，結構信息和頂點屬性可以被保留[4]。因此，網絡的頂點可以用低維向量表示。在以往的機器學習方法中，這些向量可以看作是輸入的特征。圖學習方法為新的表示空間中的圖分析鋪平了道路，許多圖分析任務，如鏈接預測、推薦和分類，都可以有效地解決[10]，[11]。網絡的圖形化表現方式揭示了社會生活的各個方面，如交流模式、社區結構和信息擴散[12]，[13]。根據頂點、邊和子圖的屬性，可以將圖學習任務分為基于頂點、基于邊和基于子圖三類。圖中頂點之間的關系可以用于分類、風險識別、聚類和社區檢測[14]。通過判斷圖中兩個頂點之間的邊的存在，我們可以進行推薦和知識推理。基于子圖[15]的分類，該圖可用于聚合物分類、三維可視化分類等。對于GSP，設計合適的圖形采樣方法以保持原始圖形的特征，從而有效地恢復原始圖形[16]具有重要意義。在存在不完整數據[17]的情況下，可以使用圖恢復方法構造原始圖。然后利用圖學習從圖數據中學習拓撲結構。綜上所述，利用圖學習可以解決傳統的圖分析方法[18]難以解決的以下挑戰。

賦予機器以感知三維世界的能力，就像我們人類一樣，是人工智能領域一個基本且長期存在的主題。給定不同類型的視覺輸入，如二維/三維傳感器獲取的圖像或點云，一個重要的目標是理解三維環境的幾何結構和語義。傳統的方法通常利用手工特征來估計物體或場景的形狀和語義。然而，他們很難推廣到新的對象和場景，并努力克服關鍵問題造成的視覺遮擋。相比之下，我們的目標是理解場景和其中的對象，通過學習一般和魯棒的表示使用深度神經網絡，訓練在大規模的真實世界3D數據。為了實現這些目標，本文從單視圖或多視圖的物體級三維形狀估計到場景級語義理解三個方面做出了核心貢獻。

在第3章中，我們從一張圖像開始估計一個物體的完整三維形狀。利用幾何細節恢復密集的三維圖形，提出一種強大的編碼器解碼器結構，并結合對抗式學習，從大型三維對象庫中學習可行的幾何先驗。在第4章中，我們建立了一個更通用的框架來從任意數量的圖像中精確地估計物體的三維形狀。通過引入一種新的基于注意力的聚合模塊和兩階段的訓練算法，我們的框架能夠集成可變數量的輸入視圖，預測穩健且一致的物體三維形狀。在第5章中，我們將我們的研究擴展到三維場景，這通常是一個復雜的個體對象的集合。現實世界的3D場景，例如點云，通常是雜亂的，無結構的，閉塞的和不完整的。在借鑒以往基于點的網絡工作的基礎上，我們引入了一種全新的端到端管道來同時識別、檢測和分割三維點云中的所有對象。

總的來說，本文開發了一系列新穎的數據驅動算法，讓機器感知我們真實的3D環境，可以說是在推動人工智能和機器理解的邊界。

//ora.ox.ac.uk/objects/uuid:5f9cd30d-0ee7-412d-ba49-44f5fd76bf28

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。