亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在人類中，注意力是所有感知和認知操作的核心屬性。考慮到我們處理競爭性信息來源的能力有限，注意力機制選擇、調整和關注與行為最相關的信息。

幾十年來，哲學、心理學、神經科學和計算機科學都在研究注意力的概念和功能。在過去的六年中，這一特性在深度神經網絡中得到了廣泛的研究。目前，深度學習的研究進展主要體現在幾個應用領域的神經注意力模型上。

本研究對神經注意力模型的發展進行了全面的概述和分析。我們系統地回顧了該領域的數百個架構，識別并討論了那些注意力顯示出重大影響的架構。我們亦制訂了一套自動化方法體系，并將其公諸于眾，以促進這方面的研究工作。通過批判性地分析650部文獻，我們描述了注意力在卷積、循環網絡和生成模型中的主要用途，識別了使用和應用的共同子組。

此外，我們還描述了注意力在不同應用領域的影響及其對神經網絡可解釋性的影響。最后，我們列出了進一步研究的可能趨勢和機會，希望這篇綜述能夠對該領域的主要注意力模型提供一個簡明的概述，并指導研究者開發未來的方法，以推動進一步的改進。

交通預測是智能交通系統成功的一個重要因素。深度學習模型包括卷積神經網絡和遞歸神經網絡已被應用于來建模交通預測問題的空間和時間依賴性。近年來，為了對交通系統中的圖結構和上下文信息進行建模，引入了圖神經網絡(GNNs)作為新的工具，在一系列交通預測問題中取得了最先進的性能。在本綜述論文中，我們回顧了近年來快速增長的使用不同GNN的研究，如圖卷積和圖注意力網絡，用于各種交通預測問題，如道路交通流量和速度預測，城市軌道交通系統客流預測，網約車平臺的需求預測等。我們也為每個問題提供了一個開放的數據和資源的集合，以及未來的研究方向。據我們所知，本文是第一次對圖神經網絡在交通預測問題中的應用進行全面的研究。我們還創建了一個Github公共資源庫來更新最新的論文、開放數據和資源。

//www.zhuanzhi.ai/paper/3a297985e3b4ac9f1c395dc78cc5cf03

圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

導論

圖作為一種復雜的數據結構，由節點(或頂點)和邊(或鏈接)組成。它可以用于建模現實世界中的許多復雜系統，如社會網絡、蛋白質相互作用網絡、大腦網絡、道路網絡、物理相互作用網絡和知識圖等。因此，分析復雜網絡成為一個有趣的研究前沿。隨著深度學習技術的快速發展，許多學者采用深度學習體系結構來處理圖形。圖神經網絡(GNN)就是在這種情況下出現的。到目前為止，GNN已經發展成為一種流行和強大的計算框架，用于處理不規則數據，如圖形和流形。

GNN可以通過層次迭代算子學習任務特定的節點/邊/圖表示，從而利用傳統的機器學習方法執行與圖相關的學習任務，如節點分類、圖分類、鏈路預測和聚類等。盡管GNNs在圖形相關學習任務上取得了很大的成功，但他們仍然面臨著巨大的挑戰。首先，圖數據結構的復雜性給大型圖數據帶來了昂貴的計算代價。其次，擾動圖結構和/或初始特征會導致性能急劇下降。第三，wesfeiller - leman (WL)圖同構檢驗阻礙了GNNs的性能提升。最后，GNN的黑盒工作機制阻礙了將其安全部署到實際應用中。

本文將傳統的深度體系結構推廣到非歐氏域，總結了圖神經網絡的體系結構、擴展和應用、基準和評估缺陷以及未來的研究方向。到目前為止，已經對GNN進行了幾次調查。然而，他們通常從不同的角度、不同的側重點來討論GNN模型。據我們所知，關于GNN的第一次調查是由Michael M. Bronstein等人進行的。Peng Cui等[2]從三個方面綜述了應用于圖形的各種深度學習模型: 包括圖卷積神經網絡在內的半監督學習方法，包括圖自動編碼器在內的非監督學習方法，以及包括圖循環神經網絡和圖強化學習在內的最新進展。本研究側重于半監督學習模型，即空間圖和光譜圖卷積神經網絡，而對其他兩個方面的研究相對較少。由于篇幅有限，本調查只列出了GNNs的幾個關鍵應用，但忽略了應用的多樣性。孫茂松等人[3]從圖類型、傳播步驟和訓練方法三個方面詳細回顧了光譜和空間圖卷積神經網絡，并將其應用分為結構場景、非結構場景和其他場景三種場景。然而，這篇文章沒有涉及其他GNN架構，如圖形自動編碼器，圖形循環神經網絡和圖形生成網絡。Philip S. Yu等人[4]對圖神經網絡進行了全面的調查，并調查了可用的數據集、開源實現和實際應用。然而，對于每個研究主題，他們只列出了少量的核心文獻。Davide Bacciu等人[367]溫和地介紹了圖形數據的深度學習領域。本文的目的是介紹為圖數據構造神經網絡的主要概念和構建模塊，因此它沒有對最近的圖神經網絡工作進行闡述。

值得注意的是，上述所有調研都不涉及GNN的能力和可解釋性、概率推理和GNN的組合以及對圖的對抗攻擊。本文從架構、擴展和應用、基準測試和評估缺陷、未來研究方向四個方面為讀者提供了GNN的全景圖，如圖1所示。對于GNNs的結構，我們研究了圖卷積神經網絡(GCNNs)、圖池算子、圖注意機制和圖循環神經網絡(GRNNs)等方面的研究。通過對上述體系結構的集成，實現了GNNs的擴展和應用，展示了一些值得關注的研究課題。具體來說，這一視角包括深度圖表示學習、深度圖生成模型、概率推理(PI)和gnn的組合、GNN的對抗攻擊、圖神經結構搜索和圖強化學習和應用。綜上所述，本文對GNNs進行了完整的分類，并對GNNs的研究現狀和發展趨勢進行了全面的綜述。這些是我們與上述調查的主要不同之處。

我們的主要貢獻可以歸結為以下三個方面。

1. 我們提出了一種新的GNN分類方法，它有三個層次。第一個包括架構、基準測試和評估缺陷以及應用程序。體系結構分為9類，基準測試和評估缺陷分為2類，應用程序分為10類。此外，圖卷積神經網絡作為一種經典的GNN體系結構，又被分為6類。

2. 我們提供了GNN的全面回顧。所有的文獻都屬于相應的類別。希望讀者通過閱讀本概覽，不僅了解GNNs的全貌，而且了解GNNs的基本原理和各種計算模塊。

3.根據目前GNNs所面臨的挑戰，我們總結了未來四個研究方向，其中大部分在其他研究中沒有提及。希望通過克服這些挑戰，使GNNs的研究進入一個新的階段

未來研究方向：

盡管GNNs在許多領域取得了巨大的成功，但仍存在一些有待解決的問題。本節總結了GNNs未來的研究方向。

• 高度可伸縮的GNN。現實世界的圖通常包含數億個節點和邊，并具有動態演化的特征。事實證明，現有的GNN架構很難擴展到巨大的真實世界圖。這促使我們設計高度可伸縮的GNN架構，能夠高效和有效地學習節點/邊/圖表示為巨大的動態演化圖。

• 健壯的GNN。現有的GNN架構容易受到對抗性攻擊。也就是說，一旦輸入圖的結構和/或初始特征受到攻擊，GNN模型的性能就會急劇下降。因此，我們應該將攻擊防御機制整合到GNN體系結構中，即構建健壯的GNN體系結構，以增強其對抗攻擊的能力。

• GNNs超過WL測試。空間廣義網格網絡的性能受單WL的限制，而高階WL檢驗的計算代價昂貴。因此，在適當的條件下，兩個非同構圖將產生相同的節點/邊/圖表示。這促使我們開發一個超越WL測試的新的GNN框架，或者設計一個優雅的高階GNN架構來對應高階WL測試。

• 可解釋的GNN。現有的GNN在一個黑盒中工作。我們不明白為什么它們在節點分類任務、圖分類任務和圖嵌入任務等方面都能達到如此先進的性能。可解釋性已經成為將GNNs應用于現實問題的一個主要障礙。雖然已有一些研究對某些特定的GNN模型進行了解釋，但它們不能解釋一般的GNN模型。這促使我們為gnn構建一個統一的可解釋框架。

近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。

少樣本學習(FSL)在機器學習領域具有重要意義和挑戰性。成功地從很少的樣本中學習和歸納的能力是區分人工智能和人類智能的一個明顯的界限，因為人類可以很容易地從一個或幾個例子中建立他們對新穎性的認知，而機器學習算法通常需要數百或數千個監督樣本來保證泛化能力。盡管FSL的悠久歷史可以追溯到21世紀初，近年來隨著深度學習技術的蓬勃發展也引起了廣泛關注，但迄今為止，有關FSL的調研或評論還很少。在此背景下，我們廣泛回顧了2000年至2019年FSL的200多篇論文，為FSL提供了及時而全面的調研。在本綜述中，我們回顧了FSL的發展歷史和目前的進展，原則上將FSL方法分為基于生成模型和基于判別模型的兩大類，并特別強調了基于元學習的FSL方法。我們還總結了FSL中最近出現的幾個擴展主題，并回顧了這些主題的最新進展。此外，我們重點介紹了FSL在計算機視覺、自然語言處理、音頻和語音、強化學習和機器人、數據分析等領域的重要應用。最后，我們對調查進行了總結，并對未來的發展趨勢進行了討論，希望對后續研究提供指導和見解。

地址：

//www.zhuanzhi.ai/paper/ffc99a53aeb6629e21b9a42db76b9dd1

概述：

人類智能的一個令人印象深刻的特點是能夠從一個或幾個例子中迅速建立對新概念的認知。許多認知和心理學證據[184,224,371]表明，人類可以通過很少的圖像[23]識別視覺物體，甚至兒童也可以通過一次偶見就記住一個新單詞[35,51]。雖然從很少的樣本中支持人類學習和歸納能力的確切原因仍是一個深刻的謎，但一些神經生物學研究[285,29,157]認為，人類顯著的學習能力得益于人腦中的前額葉皮層(PFC)和工作記憶，特別是PFC特有的神經生物學機制與大腦中存儲的以往經驗之間的相互作用。相比之下，最先進的機器學習算法都需要大量數據，尤其是最廣為人知的深度學習[186]，它將人工智能推向了一個新的高潮。深度學習作為機器學習發展的重要里程碑，在視覺[172,319,120]、語言[231,318]、語言[127]、游戲[308]、人口學[97]、醫學[74]、植物病理學[100]、動物學[252]等廣泛的研究領域都取得了顯著的成就。一般來說，深度學習的成功可以歸結為三個關鍵因素:強大的計算資源(如GPU)、復雜的神經網絡(如CNN[172]、LSTM[129])和大規模數據集(如ImageNet[287]、Pascal-VOC[75])。然而，在現實的應用場景中，比如在醫學、軍事、金融等領域，由于隱私、安全、數據標注成本高等因素，我們無法獲得足夠的標簽訓練樣本。因此，使學習系統能夠有效地從很少的樣本中進行學習和歸納，成為幾乎所有機器學習研究人員所期待的藍圖。

從高層次上看，研究少樣本學習的理論和現實意義主要來自三個方面。首先，FSL方法不依賴于大規模的訓練樣本，從而避免了在某些特定應用中數據準備的高昂成本。第二，FSL可以縮小人類智能和人工智能之間的差距，是發展通用人工智能的必要之旅[191]。第三，FSL可以實現一個新興任務的低成本和快速的模型部署，而這個任務只有幾個暫時可用的樣本，這有利于闡明任務早期的潛在規律。

少數樣本學習(FSL)，又稱小樣本學習、少樣本學習或一次性學習，可以追溯到21世紀初。盡管該研究已有近20年的歷史，在理論和應用層面上都具有重要意義，但到目前為止，相關的調查和綜述還很少。在本文中，我們廣泛調查了從21世紀頭十年到2019年幾乎所有與FSL相關的科學論文，以詳細闡述一個系統的FSL調研。我們必須強調，這里討論的FSL與zero-shot learning (ZSL)正交[346]，這是機器學習的另一個熱門話題。ZSL的設置需要與概念相關的側面信息來支持跨概念的知識遷移，這與FSL有很大的不同。據我們所知，到目前為止，只有兩份與fsl相關的預先打印的綜述倫恩[305,349]。與他們相比，本次綜述的新穎之處和貢獻主要來自五個方面:

(1) 我們對2000年至2019年的200多篇與FSL相關的論文進行了更全面、更及時的綜述，涵蓋了從最早的凝固模型[233]到最新的元學習方法的所有FSL方法。詳盡的闡述有助于把握FSL的整個發展過程，構建完整的FSL知識體系。

(2) 根據FSL問題的建模原則，我們提供了一種可理解的層次分類法，將現有的FSL方法分為基于生成模型的方法和基于判別模型的方法。在每個類中，我們根據可一般化的屬性進一步進行更詳細的分類。

(3) 我們強調當前主流目前的方法,例如,基于目前的元學習方法,和分類成五大類,他們希望通過元學習策略學習學習,包括Learn-to-Measure Learn-to-Finetune, Learn-to-Parameterize,學會調整和Learn-to-Remember。此外，本調查還揭示了各種基于元學習的FSL方法之間潛在的發展關系。

(4) 總結了最近在普通FSL之外出現的幾個外延研究課題，并回顧了這些課題的最新進展。這些主題包括半監督FSL、無監督FSL、跨域FSL、廣義FSL和多模態FSL，它們具有挑戰性，同時也為許多現實機器學習問題的解決賦予了突出的現實意義。這些擴展主題在以前的綜述中很少涉及。

(5) 我們廣泛總結了現有FSL在計算機視覺、自然語言處理、音頻和語音、增強學習和機器人、數據分析等各個領域的應用，以及目前FSL在基準測試中的表現，旨在為后續研究提供一本手冊，這是之前綜述中沒有涉及到的。

本文的其余部分組織如下。在第2節中，我們給出了一個概述，包括FSL的發展歷史、我們稍后將使用的符號和定義，以及現有FSL方法的分類建議。第3節和第4節分別詳細討論了基于生成模型的方法和基于判別模型的方法。然后，第5節總結了FSL中出現的幾個擴展主題。在第6節中，我們廣泛地研究了FSL在各個領域的應用以及FSL的基準性能。在第8節中，我們以對未來方向的討論來結束這次綜述。

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

近年來，隨著深度學習的飛速發展，深度神經網絡受到了越來越多的關注，在許多應用領域取得了顯著效果。通常，在較高的計算量下，深度神經網絡的學習能力隨著網絡層深度的增加而不斷提高，因此深度神經網絡在大型數據集上的表現非常卓越。然而，由于其計算量大、存儲成本高、模型復雜等特性，使得深度學習無法有效地應用于輕量級移動便攜設備。因此，壓縮、優化深度學習模型成為目前研究的熱點，當前主要的模型壓縮方法有模型裁剪、輕量級網絡設計、知識蒸餾、量化、體系結構搜索等。通過對以上方法的性能、優缺點和最新研究成果進行分析總結，對未來研究方向進行了展望。

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。但是，大量的網絡數據為有效分析帶來了巨大的挑戰。因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。

• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。

• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。

• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。

傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、** Deep variational network embedding in wasserstein space**

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。