亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。Simone Scardapane講述關于圖與幾何深度學習的報告。圖神經網絡是一種功能強大的深度學習模型。

//www.sscardapane.it/

掌握使用PyTorch實現深度學習解決方案的實踐方面，使用實踐方法理解理論和實踐。Facebook的人工智能研究小組開發了一個名為PyTorch的平臺，該平臺擁有良好的理論基礎和實用技能，為你在現實世界中應用深度學習做好了準備。

首先，您將了解PyTorch的深度學習是如何以及為什么成為一種具有開創性的框架，它帶有一組工具和技術來解決現實世界中的問題。接下來，這本書將為你打下線性代數、向量微積分、概率和最優化的數學基礎。在建立了這個基礎之后，您將繼續討論PyTorch的關鍵組件和功能，包括層、損失函數和優化算法。

您還將了解基于圖形處理單元(GPU)的計算，這對訓練深度學習模型是必不可少的。介紹了深度學習的前饋網絡、卷積神經網絡、循環神經網絡、長短時記憶網絡、自動編碼器網絡和生成對抗網絡等關鍵網絡結構。在許多訓練和優化深度學習模型的技巧的支持下，這個版本的Python深度學習解釋了使用PyTorch將這些模型帶到生產中的最佳實踐。

你會: 回顧機器學習的基本原理，如過擬合、欠擬合和正則化。 了解深度學習的基本原理，如前饋網絡，卷積神經網絡，遞歸神經網絡，自動微分和隨機梯度下降。 使用PyTorch深入應用線性代數 探索PyTorch的基本原理及其構建塊 使用調優和優化模型

新版《概率論》第三版經過了徹底的修訂和擴充，在一本書中對現代概率進行了全面的闡述。它是一個真正的現代闡述版，不僅提供經典的結果，而且材料，將是重要的未來研究。很多已經添加到以前的版本，包括8個全新的章節，隨機度量，Malliavin 微積分，多元數組，和隨機微分幾何。除了重要的改進和修訂，一些早期章節已經被完全重寫。為了幫助讀者，這些材料被分為十個主要領域，每一個領域對于任何嚴肅的研究生和研究者來說都是必不可少的，無論他們的專業是什么。

每一章很大程度上是獨立的，包括大量的練習，使書理想的自學和設計研究生水平的課程和研討會在不同的領域和不同的水平。廣泛的注釋和詳細的參考書目使它很容易超越所提出的材料，如果需要。

本書是信息論領域中一本簡明易懂的教材。主要內容包括：熵、信源、信道容量、率失真、數據壓縮與編碼理論和復雜度理論等方面的介紹。

本書還對網絡信息論和假設檢驗等進行了介紹，并且以賽馬模型為出發點，將對證券市場研究納入了信息論的框架，從新的視角給投資組合的研究帶來了全新的投資理念和研究技巧。

本書適合作為電子工程、統計學以及電信方面的高年級本科生和研究生的信息論基礎教程教材，也可供研究人員和專業人士參考。

本書是一本簡明易懂的信息論教材。正如愛因斯坦所說：“凡事應該盡可能使其簡單到不能再簡單為止。''雖然我們沒有深人考證過該引語的來源（據說最初是在幸運蛋卷中發現的），但我們自始至終都將這種觀點貫穿到本書的寫作中。信息論中的確有這樣一些關鍵的思想和技巧，一旦掌握了它們、不僅使信息論的主題簡明，而且在處理新問題時提供重要的直覺。本書來自使用了十多年的信息論講義，原講義是信息論課程的高年級本科生和一年級研究生兩學期用的教材。本書打算作為通信理論．計算機科學和統計學專業學生學習信息論的教材。

信息論中有兩個簡明要點。第一，熵與互信息這樣的特殊量是為了解答基本問題而產生的。例如，熵是隨機變量的最小描述復雜度，互信息是度量在噪聲背景下的通信速率。另外，我們在以后還會提到，互信息相當于已知邊信息條件下財富雙倍的增長。第二，回答信息理論問邀的答案具有自然的代數結構。例如，熵具有鏈式法則，因而，謫和互信息也是相關的。因此，數據壓縮和通信中的問題得到廣泛的解釋。我們都有這樣的感受，當研究某個問題時，往往歷經大量的代數運算推理得到了結果，但此時沒有真正了解問題的全莪，最終是通過反復觀察結果，才對整個問題有完整、明確的認識。所以，對一個問題的全面理解，不是靠推理，而是靠對結果的觀察。要更具體地說明這一點，物理學中的牛頓三大定律和薛定諤波動方程也許是最合適的例子。誰曾預見過薛定諤波動方程后來會有如此令人敬畏的哲學解釋呢？

在本書中，我們常會在著眼于問題之前，先了解一下答案的性質。比如第2章中，我們定義熵、相對熵和互信息，研究它們之間的關系，再對這些關系作一點解釋·由此揭示如何融會貫通地使用各式各樣的方法解決實際問題。同理，我們順便探討熱力學第二定律的含義。熵總是增加嗎？答案既肯定也否定。這種結果會令專家感興趣，但初學者或i午認為這是必然的而不會深人考慮。

在實際教學中．教師往往會加人一自己的見解。事實上，尋找無人知道的證明或者有所創新的結果是一件很愉快的事情。如果有人將新的思想和已經證明的內容在課堂上講解給學生，那么不僅學生會積極反饋“對，對，對六而且會大大地提升教授該課程的樂崆我們正是這樣從研究本教材的許多新想法中獲得樂趣的。

本書加人的新素材實例包括信息論與博弈之間的關系，馬爾可夫鏈背景下熱力學第二定律的普遍性問題，信道容量定理的聯合典型性證明，赫夫曼碼的競爭最優性，以及關于最大熵譜密度估計的伯格（回定理的證明。科爾莫戈羅夫復雜度這一章也是本書的獨到之處。面將費希爾信息，互信息、中心極限定理以及布倫一閔可夫斯基不等式與熵冪不等式聯系在一起，也是我們引以為豪之處。令我們感到驚訝的是．關于行列式不等式的許多經典結論，當利用信息論不等式后會很容易得到證明。

自從香農的奠基性論文面世以來，盡管信息論已有了相當大的發展，但我們還是要努力強調它的連貫性。雖然香農創立信息論時受到通信理論中的問題啟發，然而我們認為信息論是一門獨立的學科，可應用于通信理論和統計學中。我們將信息論作為一個學科領域從通信理論、概率論和統計學的背景中獨立出來因為明顯不可能從這些學科中獲得難以理解的信息概念。由于本書中絕大多數結論以定理和證明的形式給出，所以，我們期望通過對這些定理的巧妙證明能說明這些結論的完美性。一般來講，我們在介紹問題之前先描述回題的解的性質，而這些很有的性質會使接下來的證明順理成章。

使用不等式串、中間不加任何文字、最后直接加以解釋，是我們在表述方式上的一項創新希望讀者學習我們所給的證明過程達到一定數量時，在沒有任何解釋的情況下就能理解其中的大部分步，并自己給出所需的解釋這些不等式串好比模擬到試題，讀者可以通過它們確認自己是否已掌握證明那些重要定理的必備知識。這些證明過程的自然流程是如此引人注目，以至于導致我們輕視了寫作技巧中的某條重要原則。由于沒有多余的話，因而突出了思路的邏輯性與主題思想u我們希望當讀者閱讀完本書后，能夠與我們共同分亨我們所推崇的，具有優美、簡潔和自然風格的信息論。

本書廣泛使用弱的典型序列的方法，此概念可以追溯到香農1948年的創造性工作，而它真正得到發展是在20世紀70年代初期。其中的主要思想就是所謂的漸近均分性(AEP),或許可以粗略地說成“幾乎一切事情都是等可能的"

第2章闡述了熵、相對熵和互信息之同的基本代數關系。漸近均分性是第3章重中之重的內容，這也使我們將隨機過程和數據壓縮的熵率分別放在第4章和第5章中論述。第6章介紹博弈，研究了數據壓縮的對偶性和財富的增長率。可作為對信息論進行理性思考基礎的科爾莫戈羅夫復雜度，擁有著巨大的成果，放在第14章中論述。我們的目標是尋找一個通用的最矩描述，而不是平均意義下的次佳描述。的確存在這樣的普遍性概念用來刻畫一個對象的復雜度。該章也論述了神奇數0，揭示數學上的不少奧秘，是圖靈機停止運轉概率的推廣。第7章論述信道容量定理。第8章敘述微分熵的必需知識，它們是將早期容量定理推廣到連續噪聲信道的基礎。基本的高斯信道容量問題在第9章中論述。第il章闡述信息論和統計學之間的關系，20世紀年代初期庫爾貝克首次對此進行了研究，此后相對被忽視。由于率失真理論比無噪聲數據壓縮理論需要更多的背景知識，因而將其放置在正文中比較靠后的第10章。

網絡信息理論是個大的主題，安排在第巧章，主要研究的是噪聲和干擾存在情形下的同時可達的信息流。有許多新的思想在網絡信息理論中開始活躍起來，其主要新要素有干擾和反饋第16章講述股票市場，這是第6章所討論的博弈的推廣，也再次表明了信息論和博弈之間的緊密聯系。第17章講述信息論中的不等式，我們借此一隅把散布于全書中的有趣不等式重新收攏在一個新的框架中，再加上一些關于隨機抽取子集熵率的有趣新不等式。集合和的體積的布倫一閔可夫斯基不等式，獨立隨機變量之和的有效方差的熵冪不等式以及費希爾信息不等式之間的美妙關系也將在此章中得到詳盡的闡述。

本書力求推理嚴密，因此對數學的要求相當高·要求讀者至少學過一學期的概率論課程且有扎實的數學背景，大致為本科高年級或研究生一年級水平。盡管如此，我們還是努力避免使用測度論。因為了解它只對第16章中的遍歷過程的AEP的證明過程起到簡化作用。這符合我們的觀點，那就是信息論基礎與技巧不同，后者才需要將所有推廣都寫進去。

本書的主體是第2，3，4，5，7，8，9，10，11和巧章，它們自成體系，讀懂了它們就可以對信息論有很好的理解。但在我們看來，第14章的科爾莫戈羅夫復雜度是深人理解信息論所需的必備知識。余下的幾章，從博弈到不等式．目的是使主題更加連貫和完美。

關于圖信號處理、圖分析、圖機器學習比較全面的一本書，值得關注！

當前強大的計算機和龐大的數據集正在為計算數學創造新的機會，將圖論、機器學習和信號處理的概念和工具結合在一起，創建圖數據分析。

在離散數學中，圖僅僅是連接一些點(節點)和線的集合。這些圖表的強大之處在于，節點可以代表各種各樣的實體，比如社交網絡的用戶或金融市場數據，這些可以轉換成信號，然后使用數據分析工具進行分析。《圖數據分析》是對生成高級數據分析的全面介紹，它允許我們超越時間和空間的標準常規采樣，以促進建模在許多重要領域，包括通信網絡，計算機科學，語言學，社會科學，生物學，物理學，化學，交通，城市規劃，金融系統，個人健康和許多其他。

作者從現代數據分析的角度重新審視了圖拓撲，并著手建立圖網絡的分類。在此基礎上，作者展示了頻譜分析如何引導最具挑戰性的機器學習任務，如聚類，以直觀和物理上有意義的方式執行。作者詳細介紹了圖數據分析的獨特方面，例如它們在處理從不規則域獲取的數據方面的好處，它們通過局部信息處理微調統計學習過程的能力，圖上的隨機信號和圖移位的概念，從圖上觀察的數據學習圖拓撲，以及與深度神經網絡、多路張量網絡和大數據的融合。包括了大量的例子，使概念更加具體，并促進對基本原則的更好理解。

本書以對數據分析的基礎有良好把握的讀者為對象，闡述了圖論的基本原理和新興的數學技術，用于分析在圖環境中獲得的各種數據。圖表上的數據分析將是一個有用的朋友和伙伴，所有參與數據收集和分析，無論應用領域。

地址： //www.nowpublishers.com/article/Details/MAL-078-1

Graph Signal Processing Part I: Graphs, Graph Spectra, and Spectral Clustering

圖數據分析領域預示著，當我們處理數據類的信息處理時，模式將發生改變，這些數據類通常是在不規則但結構化的領域(社交網絡，各種特定的傳感器網絡)獲得的。然而，盡管歷史悠久，目前的方法大多關注于圖本身的優化，而不是直接推斷學習策略，如檢測、估計、統計和概率推理、從圖上獲取的信號和數據聚類和分離。為了填補這一空白，我們首先從數據分析的角度重新審視圖拓撲，并通過圖拓撲的線性代數形式(頂點、連接、指向性)建立圖網絡的分類。這作為圖的光譜分析的基礎，圖拉普拉斯矩陣和鄰接矩陣的特征值和特征向量被顯示出來，以傳達與圖拓撲和高階圖屬性相關的物理意義，如切割、步數、路徑和鄰域。通過一些精心選擇的例子，我們證明了圖的同構性使得基本屬性和描述符在數據分析過程中得以保留，即使是在圖頂點重新排序的情況下，在經典方法失敗的情況下也是如此。其次，為了說明對圖信號的估計策略，通過對圖的數學描述符的特征分析，以一般的方式介紹了圖的譜分析。最后，建立了基于圖譜表示(特征分析)的頂點聚類和圖分割框架，說明了圖在各種數據關聯任務中的作用。支持的例子展示了圖數據分析在建模結構和功能/語義推理中的前景。同時，第一部分是第二部分和第三部分的基礎，第二部分論述了對圖進行數據處理的理論、方法和應用，以及從數據中學習圖拓撲。

Graph Signal Processing Part II: Processing and Analyzing Signals on Graphs

本專題第一部分的重點是圖的基本性質、圖的拓撲和圖的譜表示。第二部分從這些概念著手，以解決圍繞圖上的數據/信號處理的算法和實際問題，也就是說，重點是對圖上的確定性和隨機數據的分析和估計。

Graph Signal Processing -- Part III: Machine Learning on Graphs, from Graph Topology to Applications

許多關于圖的現代數據分析應用都是在圖拓撲而不是先驗已知的領域上操作的，因此它的確定成為問題定義的一部分，而不是作為先驗知識來幫助問題解決。本部分探討了學習圖拓撲。隨著越來越多的圖神經網絡(GNN)和卷積圖網絡(GCN)的出現，我們也從圖信號濾波的角度綜述了GNN和卷積圖網絡的主要發展趨勢。接著討論了格結構圖的張量表示，并證明了張量(多維數據數組)是一類特殊的圖信號，圖的頂點位于高維規則格結構上。本部分以金融數據處理和地下交通網絡建模的兩個新興應用作為結論。

圖片

這是我2004年，2006年和2009年在斯坦福大學教授的概率理論博士課程的講義。本課程的目標是為斯坦福大學數學和統計學系的博士生做概率論研究做準備。更廣泛地說，文本的目標是幫助讀者掌握概率論的數學基礎和在這一領域中證明定理最常用的技術。然后將此應用于隨機過程的最基本類的嚴格研究。

為此，我們在第一章中介紹了測度與積分理論中的相關元素，即事件的概率空間與格-代數、作為可測函數的隨機變量、它們的期望作為相應的勒貝格積分，以及獨立性的重要概念。

利用這些元素，我們在第二章中研究了隨機變量收斂的各種概念，并推導了大數的弱定律和強定律。

第三章討論了弱收斂的理論、分布函數和特征函數的相關概念以及中心極限定理和泊松近似的兩個重要特例。

基于第一章的框架，我們在第四章討論了條件期望的定義、存在性和性質，以及相關的規則條件概率分布。

第五章討論了過濾、信息在時間上的級數的數學概念以及相應的停止時間。關于后者的結果是作為一組稱為鞅的隨機過程研究的副產品得到的。討論了鞅表示、極大不等式、收斂定理及其各種應用。為了更清晰和更容易的表述，我們在這里集中討論離散時間的設置來推遲與第九章相對應的連續時間。

第六章簡要介紹了馬爾可夫鏈的理論，概率論的核心是一個龐大的主題，許多教科書都致力于此。我們通過研究一些有趣的特殊情況來說明這類過程的一些有趣的數學性質。

在第七章中，我們簡要介紹遍歷理論，將注意力限制在離散時間隨機過程的應用上。我們定義了平穩過程和遍歷過程的概念，推導了Birkhoff和Kingman的經典定理，并強調了該理論的許多有用應用中的少數幾個。

第八章建立了以連續時間參數為指標的右連續隨機過程的研究框架，引入了高斯過程族，并嚴格構造了布朗運動為連續樣本路徑和零均值平穩獨立增量的高斯過程。

第九章將我們先前對鞅和強馬爾可夫過程的處理擴展到連續時間的設定，強調了右連續濾波的作用。然后在布朗運動和馬爾可夫跳躍過程的背景下說明了這類過程的數學結構。

在此基礎上，在第十章中，我們利用不變性原理重新構造了布朗運動作為某些重新標定的隨機游動的極限。進一步研究了其樣本路徑的豐富性質以及布朗運動在clt和迭代對數定律(簡稱lil)中的許多應用。

//statweb.stanford.edu/~adembo/stat-310b/lnotes.pdf

圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。

摘要：

當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。

形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。

圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。

本篇內容結構：

• (1) 簡明易懂的GNNs入門教程。
• (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
• (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
• (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。

//deepai.org/publication/a-practical-guide-to-graph-neural-networks

多模態表示學習旨在縮小不同模態之間的異質性差距，在利用普遍存在的多模態數據方面起著不可或缺的作用。基于深度學習的多模態表示學習由于具有強大的多層次抽象表示能力，近年來受到了廣泛的關注。在本文中，我們提供了一個全面的深度多模態表示學習的綜述論文。為了便于討論如何縮小異質性差距，根據不同模態集成的底層結構，我們將深度多模態表示學習方法分為三種框架:聯合表示、協調表示和編解碼。此外，我們回顧了該領域的一些典型模型，從傳統模型到新開發的技術。本文強調在新開發的技術的關鍵問題,如encoder-decoder模型,生成對抗的網絡,和注意力機制學習的角度來看,多通道表示,我們所知,從來沒有審核之前,即使他們已經成為當代研究的主要焦點。對于每個框架或模型，我們將討論其基本結構、學習目標、應用場景、關鍵問題、優缺點，以使新研究者和有經驗的研究者都能從中受益。最后，提出了今后工作的一些重要方向。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

本備忘單是機器學習手冊的濃縮版，包含了許多關于機器學習的經典方程和圖表，旨在幫助您快速回憶起機器學習中的知識和思想。

這個備忘單有兩個顯著的優點:

1. 清晰的符號。數學公式使用了許多令人困惑的符號。例如，X可以是一個集合，一個隨機變量，或者一個矩陣。這是非常混亂的，使讀者很難理解數學公式的意義。本備忘單試圖規范符號的使用，所有符號都有明確的預先定義，請參見小節。

2. 更少的思維跳躍。在許多機器學習的書籍中，作者省略了數學證明過程中的一些中間步驟，這可能會節省一些空間，但是會給讀者理解這個公式帶來困難，讀者會在中間迷失。