摘要：隨著計算機行業和互聯網時代的不斷發展與進步，圖神經網絡已經成為人工智能和大數據重要研究領域。圖神經網絡是對相鄰節點間信息的傳播和聚合的重要技術，可以有效地將深度學習的理念應用于非歐幾里德空間的數據上。簡述圖計算、圖數據庫、知識圖譜、圖神經網絡等圖技術領域的相關研究歷史，分類介紹不同類型的圖結構。分析對比不同的圖神經網絡技術，重點從頻域和空間與的信息聚合方式上分類比較不同的圖卷積網絡算法。闡述圖生成和圖對抗網絡、圖強化學習、圖遷移學習、神經任務圖和圖零樣本學習等不同的圖網絡與深度學習方法相結合的技術方法，并列舉不同的圖神經網絡技術在文本、圖像、知識圖譜、視頻任務等領域的具體應用。最后，對圖神經網絡未來的發展與研究方向加以展望。
概述
近年來隨著計算機行業的快速發展和數據量的井噴式增長，深度學習方法被提出并得到了廣泛的 應用。深度學習通過神經網絡端到端的解決方案， 在圖像處理、語音識別、語義理解[1]等領域取得了 巨大的成功，深度學習的應用往往都是在高維特征 空間上特征規則分布的歐幾里德數據。作為一種關 系型數據結構，圖（Graph）在深度學習中的應用研究近年來受到越來越多的關注，本文將圖的演進歷程分為數學起源、計算應用、神經網絡延伸三個階段。
圖的概念起源于 18 世紀著名的柯尼斯堡七橋問 題，到了 20 世紀中期，擬陣理論、超圖理論、極圖 理論等研究蓬勃發展，使得圖論（Graph Theory）[2] 在電子計算誕生前，就已經成為了重要的數學研究領域。
隨著計算機的出現和機器計算時代的到來和發 展，圖作為一種能夠有效且抽象地表達信息和數據 中的實體以及實體之間關系的重要數據結構被廣泛應用，圖數據庫有效解決了傳統的關系型數據結構 面對大量復雜的數據所暴露出的建模缺陷多、計算速度慢等問題，圖數據庫也成為了非常熱門的研究 領域。圖結構（Graph-structured Data）[3]可以將結構化數據點通過邊的形式，依照數據間的關系將不同類型和結構的數據節點連接起來，因而被廣泛地應用在數據的存儲、檢索以及計算應用中。基于圖結構數據，知識圖譜[4-7]可以通過點和邊的語義關系， 來實現精確地描述現實世界中實體之間的關聯關系， 作為人工智能非常重要的研究領域，知識圖譜的研究方向包括知識抽取、知識推理、知識圖譜可視化等。圖計算（Graph Computing）具有數據規模量大、 局部性低、計算性能高等特性，圖計算算法[8-9]主要 可以分為路徑搜索算法、中心性算法、社群發現算法等三類，實現了在關系復雜型的大規模數據上高 時效性和準確度的表現，在社交網絡、團體反欺詐 和用戶推薦等領域有著重要的應用。
與已經非常成熟圖計算不同，圖神經網絡 （Graph Neural Network）的研究主要是集中在相鄰節點信息的傳播與聚合上，從圖神經網絡的概念提 出，到受深度學習中卷積神經網絡的啟發，2013 年 提出的基于圖論的圖卷積神經網絡 [10-11]研究方向吸 引了大量學者關注。2018 年 DeepMind 提出圖網絡 （Graph Network）[12]的概念，希望能夠將深度學習 端到端的學習方式與圖結構關系歸納推理的理論結 合解決深度學習無法處理關系推理的問題。針對圖 神經網絡存在的問題，不同的學者們也給出了不同 的方案，隨著對圖神經網絡這一新興領域更加深入 的研究與探索，人工智能領域的版圖將得到更大擴展。
文獻[12]在關系歸納偏置和深度學習的研究基礎 上，提出了面向關系推理的圖網絡概念并進行了綜 述，但未對不同圖網絡技術進行分類和對比。文獻 [13]從半監督、無監督方法的角度對圖結構上的深度 學習進行了綜述，但缺少相近的分類和應用的討論。文獻[14]主要從傳播規則、網絡結構等角度分析了圖神經網絡的不同模型以及應用。文獻[15]則是詳細對 比了時域和空間的不同圖卷神經網絡方法結構，但沒有對圖神經網絡之于深度學習領域的探討，如圖強化學習、圖遷移學習等。本文針對圖神經網絡， 分析對比了六種圖神經網絡方法的優劣，首次對處 理異構圖數據的圖神經網絡技術進行了討論和研究， 綜述了五類圖神經網絡的研究領域，并對未來的發展方向進行了展望。
付費5元查看完整內容
相關內容
深度強化學習
·
近年來, 深度強化學習(Deep reinforcement learning, DRL)在諸多復雜序貫決策問題中取得巨大突破.由于融合了深度學習強大的表征能力和強化學習有效的策略搜索能力, 深度強化學習已經成為實現人工智能頗有前景的學習范式.然而, 深度強化學習在多Agent系統的研究與應用中, 仍存在諸多困難和挑戰, 以StarCraft Ⅱ為代表的部分觀測環境下的多Agent學習仍然很難達到理想效果.本文簡要介紹了深度Q網絡、深度策略梯度算法等為代表的深度強化學習算法和相關技術.同時, 從多Agent深度強化學習中通信過程的角度對現有的多Agent深度強化學習算法進行歸納, 將其歸納為全通信集中決策、全通信自主決策、欠通信自主決策3種主流形式.從訓練架構、樣本增強、魯棒性以及對手建模等方面探討了多Agent深度強化學習中的一些關鍵問題, 并分析了多Agent深度強化學習的研究熱點和發展前景.
付費5元查看完整內容
小樣本學習
·
小樣本學習旨在通過少量樣本學習到解決問題的模型.近年來在大數據訓練模型的趨勢下，機器學習和深度學習在許多領域中取得了成功.但是在現實世界中的很多應用場景中，樣本量很少或者標注樣本很少，而對大量無標簽樣本進行標注工作將會耗費很大的人力.所以，如何用少量樣本進行學習就成為了目前人們需要關注的問題.本文系統梳理了當前小樣本學習的相關工作，具體介紹了基于模型微調、基于數據增強和基于遷移學習三大類小樣本學習模型與算法的研究進展；本文將基于數據增強的方法細分為基于無標簽數據、基于數據合成和基于特征增強三類，將基于遷移學習的方法細分為基于度量學習、基于元學習和基于圖神經網絡三類.本文還總結了目前常用的小樣本數據集，以及代表性的小樣本學習模型在這些數據集上的實驗結果，隨后對小樣本學習的現狀和挑戰進行了概述，最后展望了小樣本學習的未來發展方向.
//www.jos.org.cn/jos/ch/reader/create_pdf.aspx?file_no=6138&journal_id=jos
隨著大數據時代的到來,深度學習模型已經在圖像分類、文本分類等任務中取得了先進成果.但深度學習模型的成功很大程度 上依賴于大量訓練數據,而在現實世界的真實場景中某些類別只有少量數據或少量標注數據,而對無標簽數據進行標注將會消耗 大量的時間和人力.與此相反,人類只需要通過少量數據就能做到快速學習.例如一個五六歲的小孩子從未見過企鵝,但如果給他看 過一張企鵝的圖像,當他進入動物園看到真正的企鵝時,就會馬上認出這是自己曾經在圖像上見過的“企鵝”,這就是機器學習和人類學習之間存在的差距.受到人類學習觀點的啟發[1],小樣本學習[2] [3](few-shot learning)的概念被提出,使得機器學習更加靠近人類思維.
早在 20 世紀八九十年代,就有一些研究人員注意到了單樣本學習(one-shot learning)的問題,直到 2003 年 Li 等[4]才正式提出了 單樣本學習的概念.他們認為當新的類別只有一個或幾個帶標簽的樣本時,已經學習到的舊類別可以幫助預測新類別[5].小樣本學 習也叫作少樣本學習(low-shot learning) [7],其目標是從少量樣本中學習到解決問題的方法.與小樣本學習相關的概念還有零樣本學 習(zero-shot learning)等.零樣本學習是指在沒有訓練數據的情況下,利用類別的屬性等信息訓練模型,從而識別新類別.
小樣本學習的概念最早從計算機視覺(Computer Vision) [8]領域興起,近幾年受到廣泛關注,在圖像分類任務中已有很多性能優 異的算法模型[34][37][45].但是在自然語言處理領域(Natural Language Processing) [9]的發展較為緩慢,原因在于圖像和語言特性不同.圖 像相比文本更為客觀,所以當樣本數量較少時,圖像的特征提取比文本更加容易[87].不過近年來小樣本學習在自然語言處理領域也 有了一些研究和發展[10][46][48].根據所采用方法的不同,本文將小樣本學習分為基于模型微調、基于數據增強和基于遷移學習三種. 基于模型微調的方法首先在含有大量數據的源數據集上訓練一個分類模型,然后在含有少量數據的目標數據集上對模型進行微 調.但這種做法可能導致模型過擬合,因為少量數據并不能很好地反映大量數據的真實分布情況.為解決上述過擬合的問題,基于數 據增強和基于遷移學習的小樣本學習方法被提出.基于數據增強的方法是利用輔助數據集或者輔助信息增強目標數據集中樣本的 特征或擴充對目標數據集,使模型能更好地提取特征.本文根據學習方法不同,將基于數據增強的小樣本學習方法進一步細分為基 于無標簽數據、基于數據合成和基于特征增強三類方法.基于遷移學習的方法是目前比較前沿的方法,是指將已經學會的知識遷移 到一個新的領域中.本文根據學習框架將基于遷移學習的方法細分為基于度量學習、基于元學習和基于圖神經網絡(Graph Neural Networks)的方法.在度量學習的框架下目前已有許多性能較好的小樣本學習模型,例如比較著名的原型網絡(Prototypical Networks) [34]和匹配網絡(Matching Networks) [31]等.基于元學習的方法不僅在目標任務上訓練模型,而是從許多不同的任務中學習 元知識,當一個新的任務到來時,利用元知識調整模型參數,使模型能夠快速收斂.近年來隨著圖神經網絡的興起,研究者將圖神經網 絡也應用到小樣本學習中,取得了先進的結果.
除了圖像分類和文本分類這兩個主要任務,許多其他任務也面臨著小樣本問題.在計算機視覺應用中,利用小樣本學習進行人臉識別[8][60][82]、食品識別[61]、表情識別[66]、手寫字體識別[70][79]以及其他的圖像識別[65]. 在自然語言處理應用中,使用小樣本方法 實現對話系統[67]、口語理解[62],或者完成 NLP 的基本任務,例如 word embedding[63].在多媒體領域應用中,可以使用小樣本方法實現 影像提取[73]和聲紋識別[80]等.在生物與醫學領域,可以應用于疾病診斷[71][72]、臨床實驗[84]、護士能力評價[75]、農作物病害識別[69][81]、 水量分析[76]等.在經濟領域,可應用于產品銷量預測[77]等.在工業與軍事領域,可應用于齒輪泵壽命預測[78]、軍事目標識別[74]和目標 威脅評估[83]等.
本文首先從基于模型微調、基于數據增強和基于遷移學習三種方法介紹小樣本學習的研究進展,總結小樣本學習的幾個著名數據集以及已有模型在這些數據集上的實驗結果;接下來,本文對小樣本學習的研究現狀和主要挑戰進行總結;最后展望了未來的 發展趨勢.
付費5元查看完整內容
通過學習可觀測數據的概率密度而隨機生成樣本的生成模型在近年來受到人們的廣泛關注, 網絡結構中包含多個隱藏層的深度生成式模型以更出色的生成能力成為研究熱點, 深度生成模型在計算機視覺、密度估計、自然語言和語音識別、半監督學習等領域得到成功應用, 并給無監督學習提供了良好的范式. 本文根據深度生成模型處理似然函數的不同方法將模型分為三類: 第一類方法是近似方法, 包括采用抽樣方法近似計算似然函數的受限玻爾茲曼機和以受限玻爾茲曼機為基礎模塊的深度置信網絡、深度玻爾茲曼機和亥姆霍茲機, 與之對應的另一種模型是直接優化似然函數變分下界的變分自編碼器以及其重要的改進模型, 包括重要性加權自編碼和可用于半監督學習的深度輔助深度模型; 第二類方法是避開求極大似然過程的隱式方法, 其代表模型是通過生成器和判別器之間的對抗行為來優化模型參數從而巧妙避開求解似然函數的生成對抗網絡以及重要的改進模型, 包括WGAN、深度卷積生成對抗網絡和當前最頂級的深度生成模型BigGAN; 第三類方法是對似然函數進行適當變形的流模型和自回歸模型, 流模型利用可逆函數構造似然函數后直接優化模型參數, 包括以NICE為基礎的常規流模型、變分流模型和可逆殘差網絡(i-ResNet), 自回歸模型(NADE)將目標函數分解為條件概率乘積的形式, 包括神經自回歸密度估計(NADE)、像素循環神經網絡(PixelRNN)、掩碼自編碼器(MADE)以及WaveNet等. 詳細描述上述模型的原理和結構以及模型變形后, 闡述各個模型的研究進展和應用, 最后對深度生成式模型進行展望和總結.
//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190866
受益于當前計算機性能的快速提升, 學習可觀測樣本的概率密度并隨機生成新樣本的生成模型成為熱點. 相比于需要學習條件概率分布的判別模型, 生成模型的訓練難度大、模型結構復雜, 但除了能夠生成新樣本外, 生成模型在圖像重構、缺失數據填充、密度估計、風格遷移和半監督學習等應用領域也獲得了巨大的成功. 當前可觀測樣本的數量和維數都大幅度增加, 淺層的生成模型受到性能瓶頸的限制而無法滿足應用需求, 從而被含有多個隱藏層的深度生成模型替代, 深度生成模型能夠學習到更好的隱表示, 模型性能更好. 本文對有重要意義的深度生成模型進行全面的分析和討論, 對各大類模型的結構和基本原理進行梳理和分類. 本文第1節介紹深度生成模型的概念和分類; 第2節介紹受限玻爾茲曼機和以受限玻爾茲曼機為基礎模塊的幾種深度生成模型, 重點內容是各種模型的不同訓練算法; 第3節介紹變分自編碼器的基本結構、變分下界的推理和重參數化方法; 第4節介紹生成對抗網絡, 主要內容為模型原理、訓練方法和穩定性研究, 以及兩種重要的模型結構; 第5節總結了流模型的結構, 詳細介紹了流模型的技術特點; 第6節分析了自回歸模型的模型結構以及幾種重要分支的研究進展; 第7節將介紹生成模型中的兩個小分支: 矩陣匹配模型和隨機生成模型; 第8節對深度生成模型存在的問題進行分析討論, 并對未來的研究方向和發展趨勢做出了展望.
付費5元查看完整內容
圖神經網絡
·
圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。
摘要：
當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。
形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。
圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。
本篇內容結構：
- (1) 簡明易懂的GNNs入門教程。
- (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
- (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
- (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。
//deepai.org/publication/a-practical-guide-to-graph-neural-networks
付費5元查看完整內容
近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。
付費5元查看完整內容
圖神經網絡
·
近年來, 隨著海量數據的涌現, 可以表示對象之間復雜關系的圖結構數據越來越受到重視并給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用于諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基于空間方法的圖神經網絡模型、基于譜方法的圖神經網絡模型和基于生成方法的圖神經網絡模型等,并提出可供未來進一步研究的問題.
//engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext
圖是對對象及其相互關系的一種簡潔抽象的直觀數學表達. 具有相互關系的數據—圖結構數據在眾多領域普遍存在, 并得到廣泛應用. 隨著大量數據的涌現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方面有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵復雜特征和 實現對海量數據的快速處理等方面, 例如, 預測化學分子的特性 [1]、文本的關系提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.
圖神經網絡的概念最早于 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用于處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此后, 陸續有關于圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.
目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重于將所述各種方法置于一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 并根據發展歷史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 并將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 并總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.
本文將對圖神經網絡模型的理論及應用進行綜述, 并討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在于, 我們給出新的分類標準, 并且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基于空間方法的圖神經網絡、基于譜方法的圖神經網絡和基于生成方法的圖神經網絡等; 然后介紹模型在節點分類、鏈路預測和圖生成等方面的應用; 最后提出未來的研究方向.
付費5元查看完整內容
動態網絡嵌入
·
現實網絡由多種相互作用、不斷進化的實體組成，而現有的研究大多將其簡單地描述為特定的靜態網絡，而沒有考慮動態網絡的演化趨勢。近年來，動態網絡的特性跟蹤研究取得了重大進展，利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與被廣泛提出的靜態網絡嵌入方法相比，動態網絡嵌入努力將節點編碼為低維密集表示，有效地保持了網絡結構和時間動態，有利于處理各種下游機器學習任務。本文對動態網絡嵌入問題進行了系統的研究，重點介紹了動態網絡嵌入的基本概念，首次對現有的動態網絡嵌入技術進行了分類，包括基于矩陣分解的、基于躍格的、基于自動編碼器的、基于神經網絡的等嵌入方法。此外，我們仔細總結了常用的數據集和各種各樣的后續任務，動態網絡嵌入可以受益。在此基礎上，提出了動態嵌入模型、大規模動態網絡、異構動態網絡、動態屬性網絡、面向任務的動態網絡嵌入以及更多的嵌入空間等現有算法面臨的挑戰，并提出了未來可能的研究方向。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191