亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

社區揭示了不同于網絡中其他社區成員的特征和聯系。社區檢測在網絡分析中具有重要意義。除了經典的譜聚類和統計推理方法，我們注意到近年來用于社區檢測的深度學習技術在處理高維網絡數據方面的優勢有了顯著的發展。因此，通過深度學習對社區檢測的最新進展進行全面概述，對學者和從業者都是及時的。本文設計并提出了一種新的分類方法，包括基于深度神經網絡的深度學習模型、深度非負矩陣分解和深度稀疏濾波。主要的類別，即深度神經網絡，進一步分為卷積網絡，圖注意力網絡，生成對抗網絡和自動編碼器。綜述還總結了流行的基準數據集、模型評估指標和開源實現，以解決實驗設置。然后討論了社區檢測在各個領域的實際應用，并提出了實現方案。最后，通過提出這一快速發展的深度學習領域中具有挑戰性的課題，我們概述了未來的發展方向。

//www.zhuanzhi.ai/paper/eb70a346cb2540dab57be737828445c6

引言

早在20世紀20年代，社會學和社會人類學就對社區進行了研究。然而，直到21世紀之后，研究人員才開始利用強大的數學工具和大規模數據操作來檢測社區，以解決具有挑戰性的問題[2]。自2002年[3]以來，Girvan和Newman將圖劃分問題引起了更廣泛的關注。在過去的10年里，計算機科學研究者廣泛研究了基于網絡拓撲結構[5]-[8]和實體語義信息[9]-[11]、靜態網絡[12]-[14]、小型網絡和大型網絡[15]-[17]的社區檢測問題[4]。越來越多的基于圖的方法被開發出來用于檢測具有復雜數據結構[18]，[19]環境中的社區。通過社區檢測，可以詳細分析網絡中社區的動態和影響，如謠言傳播、病毒爆發、腫瘤進化等。

社區的存在推動了社區檢測研究的發展，是一個越來越具有現實意義的研究領域。俗話說，物以類聚，人以群分。根據六度分離理論，世界上任何一個人都可以通過六個熟人認識其他人[21]。事實上，我們的世界是一個由一系列社區組成的巨大網絡。例如，通過檢測社交網絡[22]-[24]中的社區，如圖1所示，平臺贊助商可以向目標用戶推廣他們的產品。在引文網絡[25]中，社區檢測決定了研究主題的重要性、關聯性、演化和識別研究趨勢。在代謝網絡[26]、[27]和蛋白質-蛋白質相互作用(PPI)網絡[28]中，社區檢測揭示了具有相似生物學功能的代謝和蛋白質。同樣，腦網絡[19]、[29]中的社區檢測反映了腦區域的功能和解剖分離。

許多傳統的技術，如譜聚類[30]，[31]和統計推理[32]-[35]，被用于小型網絡和簡單的場景。然而，由于它們的計算和空間成本巨大，它們無法擴展到大型網絡或具有高維特征的網絡。現實網絡中非線性結構信息豐富，使得傳統模型在實際應用中不太適用。因此，需要更強大的具有良好計算性能的技術。目前，深度學習提供了最靈活的解決方案，因為深度學習模型: (1) 學習非線性網絡屬性，如節點之間的關系，(2) 提供一個低維的網絡表示，保持復雜的網絡結構，(3) 提高了從各種信息中檢測社區的性能。因此，深度學習用于社區檢測是一種新的趨勢，需要及時全面的調查。

據我們所知，本文是第一次全面調研深度學習在社區檢測方面的貢獻。以往的研究主要集中在傳統的社區檢測上，回顧了其在發現網絡固有模式和功能[36]、[37]方面的重要影響。這篇論文綜述了一些具體的技術，但不限于: 基于隨機塊模型(sms)的部分檢測[38]，標簽傳播算法(LPAs)[39]，[40]，以及單目標和多目標優化的進化計算[13]，[14]。在網絡類型方面，研究人員綜述了動態網絡[12]、有向網絡[41]和多層網絡[5]中的社區檢測方法。此外，[6]，[7]還回顧了一系列關于不相交和重疊的社區缺陷的概述。圍繞應用場景，以往的論文綜述了社交網絡[9]、[42]中的社區檢測技術。

本文旨在幫助研究人員和從業者從以下幾個方面了解社區檢測領域的過去、現在和未來趨勢:

• 系統性分類和綜合評價。我們為此項綜述提出了一個新的系統分類(見圖3)。對于每個類別，我們回顧、總結和比較代表性的工作。我們還簡要介紹了現實世界中的社區檢測應用。這些場景為未來的社區檢測研究和實踐提供了見解。

• 豐富的資源和高影響力的參考資料。該綜述不僅是文獻綜述，而且是基準數據集、評估指標、開源實現和實際應用的資源集合。我們在最新的高影響力國際會議和高質量同行評審期刊上廣泛調查社區檢測出版物，涵蓋人工智能、機器學習、數據挖掘和數據發現等領域。

• 未來的發展方向。由于深度學習是一個新的研究趨勢，我們討論了當前的局限性，關鍵的挑戰和開放的問題，為未來的方向。

社區檢測在網絡分析和數據挖掘中具有重要意義。圖4展示了傳統學習方法和深度學習方法的發展。傳統的方法是在網絡結構上探索社區。這七種方法(圖3左圖)僅以一種簡單的方式捕捉淺連接。傳統方法的檢測結果往往是次優的。我們將在本節簡要回顧它們的代表性方法。深度學習方法(圖3右圖)揭示了深度網絡信息，復雜關系，處理高維數據。

本文提出了一種深度社區檢測的分類方法。分類法將方法歸納為六類: 卷積網絡、圖注意力網絡(GAT)、生成對抗網絡(GAN)、自動編碼器(AE)、深度非負矩陣分解(DNMF)和基于深度稀疏濾波(DSF)的深度社區檢測方法。卷積網絡包括卷積神經網絡(CNN)和圖卷積網絡(GCN)。AE又分為堆疊型AE、稀疏型AE、去噪型AE、圖卷積型AE、圖關注型AE和變分型AE (VAE)。

圖機器學習(GML)因其建模生物分子結構、它們之間的功能關系以及整合多組數據集的能力而受到制藥和生物技術行業越來越多的關注。在此，我們提出了一個關于藥物發現和研發多學科的學術-工業綜述的主題。在介紹了關鍵術語和建模方法之后，我們按時間順序介紹了藥物開發流程，以確定和總結工作包括: 靶標識別、小分子和生物制劑的設計，以及藥物的重新利用。盡管該領域仍處于新興階段，但關鍵的里程碑，包括重新用途的藥物進入體內研究，表明GML將成為生物醫學機器學習的建模框架選擇。

引言

從藥物發現到上市，平均超過10億美元，可能持續12年或更長時間[1 - 3]; 由于高流失率，很少有人能在10年內進入市場[4,5]。整個過程的高損耗不僅使投資不確定，而且需要市場批準的藥物為早期的失敗買單。盡管在過去十多年里，整個行業都在關注效率問題，同時也受到了一些出版物和年度報告的推動，這些報告強調了終結排他性和生產率下降會導致收入下降，但事實證明，在科學、技術和監管變革的背景下，明顯的改善是難以實現的。由于上述原因，現在人們對運用計算方法來加快藥物發現和研發管道[6]的各個部分更感興趣，見圖1。

數字技術已經改變了產生大量數據的藥物研發過程。變化范圍從電子實驗室筆記本[7]，電子法規提交，通過增加實驗室、實驗和臨床試驗數據收集[8]，包括設備的使用[9,10]，到精準醫療和“大數據”[11]的使用。收集到的關于治療的數據遠遠超出了研發范圍，包括醫院、專家和初級保健醫療專業人員的患者記錄——包括從社交媒體上獲取的觀察數據，例如藥物警戒數據[12,13]。通過可重復使用藥物的數據庫，有無數的在線數據庫和其他信息來源，包括科學文獻、臨床試驗信息[14,15]。技術的進步現在允許更大的組學分析，而不僅僅是基因分型和全基因組測序(WGS);微流體技術和抗體標記的標準化使得單細胞技術廣泛應用于轉錄組的研究，例如使用RNA-seq[16]，蛋白質組(靶向)，例如通過大量細胞檢測[17]，甚至多種方式結合[18]。

在藥物發現過程中產生和使用的生物醫學數據的關鍵特征之一是其相互關聯的性質。這種數據結構可以用圖表示，這是一種數學抽象，在生物學的各個學科和領域中廣泛使用，以模擬在不同尺度上進行干預的生物實體之間的各種相互作用。在分子尺度上，蛋白質和其他生物分子的氨基酸殘基[19,20]和小分子藥物的組成原子和化學鍵結構[21,22]可以用圖表示。在中間尺度上，相互作用組是捕獲生物分子物種(如代謝物、mRNA、蛋白質)[23]之間特定類型相互作用的圖，其中蛋白質-蛋白質相互作用(PPI)圖可能是最常見的。最后，在更高的抽象層次上，知識圖譜可以表示電子病歷(EMR)中藥物、副作用、診斷、相關治療和檢測結果之間的復雜關系[24,25]。

在過去的十年里，兩個新興趨勢重塑了數據建模社區: 網絡分析和深度學習。“網絡醫學”范式早已在生物醫學領域[26]得到認可，借用了圖論和復雜網絡科學的多種方法，運用于生物圖，如PPIs和基因調控網絡(GRNs)。這一領域的大多數方法都局限于手工繪制的圖特征，如中心性度量和聚類。相比之下，深度神經網絡是一種特殊的機器學習算法，用于學習最優的特定任務特征。深度學習的影響在計算機視覺[27]和自然語言處理[28]方面具有開創性，但受限于對數據結構規律性的要求，局限于特定領域。在這兩個領域的收斂處是圖機器學習(GML)，這是一類利用圖和其他不規則數據集(點云、網格、流形等)的結構的新ML方法。

GML方法的基本思想是學習節點29,30、邊(如預測推薦系統中的未來交互)或整個圖31的有效特征表示。特別是，圖神經網絡(GNN)[32-34]，它是專為圖結構數據設計的深度神經網絡體系結構，正引起越來越多的興趣。GNN通過傳播鄰近節點的信息來迭代更新圖中節點的特征。這些方法已經成功地應用于各種任務和領域，如社交媒體和電子商務中的推薦[35-38]，谷歌地圖[39]中的流量估計，社交媒體[40]中的錯誤信息檢測，以及自然科學的各個領域，包括建模流體，硬質固體，以及可變形材料相互作用[41]和粒子物理學中的事件分類[44,43]。

在生物醫學領域，GML在挖掘圖結構數據(包括藥物-靶標相互作用和通過知識圖譜嵌入進行關系預測)方面已經達到了最新水平[30,44,45];分子特性預測[21,22]，包括預測吸收、分布、代謝和排泄(ADME)譜[46];靶標識別[47]到重新設計分子的早期工作[48,49]。最值得注意的是，Stokes等人利用定向信息傳遞的GNN作用于分子結構，為抗生素研發提出了可重用的候選抗生素，驗證了他們在體內的預測，從而提出了結構明顯不同于已知抗生素的合適的可重用候選抗生素。因此，GML方法在藥物開發過程中具有極大的應用前景。

結論：

• 歷史上，生物分子相互作用和基因調控網絡的分析一直具有巨大的學術興趣，但在藥物發現和開發中可翻譯的結果有限。

• 網絡醫學使用手工繪制的圖特征提供了很有前景的結果，但在整合不同的生物數據源的問題上缺乏任何有原則的解決方案: 結構數據(藥物和生物分子)、功能關系(抑制、激活等)和表達(RNA-seq、蛋白質組學等)。

• 深度學習目前已應用于生物醫學研究的多個領域，特別是在生物醫學圖像(如組織病理標本)的解釋方面，實現由上級到醫生的結果。

• 圖機器學習將網絡拓撲分析技術與深度學習技術相結合，學習有效的節點特征表示。

• 圖機器學習已被應用于藥物發現和開發中的問題，并取得了巨大的成功，出現了一些實驗結果: 小分子設計、藥物與靶標相互作用的預測、藥物與藥物相互作用的預測和藥物的重新利用都是比簡單的非圖ML方法取得了相當大的成功和改進的任務。

為機器配備對世界實體及其關系的全面了解一直是人工智能的一個長期目標。在過去的十年中，大規模知識庫(也稱為知識圖譜)已經從Web內容和文本源中自動構建出來，并且已經成為搜索引擎的關鍵模塊。這種機器知識可以被用來從語義上解釋新聞、社交媒體和網絡表格中的文本短語，并有助于回答問題、自然語言處理和數據分析。本文調查基本概念和實際的方法來創建和管理大型知識庫。它涵蓋了用于發現和規范化實體及其語義類型以及將它們組織成干凈的分類法的模型和方法。在此基礎上，本文討論了以實體為中心的屬性的自動提取。為了支持機器知識的長期生命周期和質量保證，本文提出了構建開放模式和知識管理的方法。學術項目的案例研究和工業知識圖表補充了概念和方法的調查。

概述

增強計算機的“機器知識”，可以推動智能應用是計算機科學的一個長期目標[323]。由于知識獲取方面取得了重大進展，這一以前難以捉摸的愿景如今已變得切實可行。這包括將嘈雜的互聯網內容轉化為實體和關系上的清晰知識結構的方法。知識獲取方法使得自動建設知識庫(KB):機器可讀的關于現實世界的事實的集合。如今，公開的KBs提供了數以百萬計的實體(比如人、組織、地點和書籍、音樂等創意作品)和數十億的聲明(比如誰研究了哪里，哪個國家擁有哪一種資本，或者哪位歌手演唱了哪首歌)。大公司部署的專有KBs包含了更大范圍的知識，有一到兩個數量級的實體。

知識庫成為關鍵資產的一個突出用例是Web搜索。當我們向百度、Bing或谷歌發送一個類似“迪倫抗議歌曲”的查詢時，我們會得到一個清晰的歌曲列表，比如《Blowin ' in the Wind》、《Masters of War》或《a- gonna Rain ' s a- gonna Fall》。因此，搜索引擎自動檢測到我們對某一個體實體的事實感興趣——這里是鮑勃·迪倫——并要求特定類型的相關實體——抗議歌曲——作為答案。這是可行的，因為搜索引擎在其后端數據中心有一個巨大的知識庫，有助于發現用戶請求(及其上下文)中的實體，并找到簡明的答案。

本文介紹了從Web和文本源自動構建和管理大型知識庫的方法。我們希望它將對博士生和對廣泛的主題感興趣的教師有用——從機器知識和數據質量到機器學習和數據科學，以及web內容挖掘和自然語言理解的應用。此外，本文還旨在為從事web、社會媒體或企業內容的語義技術的行業研究人員和實踐者提供幫助，包括從文本或半結構化數據構建意義的各種應用程序。不需要有自然語言處理或統計學習的先驗知識;我們將根據需要介紹相關的方法(或至少給出文獻的具體指示)。

這篇文章共分為十章。第2章給出了知識表示的基礎知識，并討論了知識庫的設計空間。第3、4和5章介紹了構建包含實體和類型的知識庫核心的方法。第3章討論了利用具有豐富和干凈的半結構化內容的優質資源，第4章討論了從文本內容中獲取的知識。第5章特別關注將實體規范化為唯一表示的重要問題。第6章和第7章通過發現和提取實體的屬性以及實體之間的關系的方法擴展了知識庫的范圍。第6章主要討論為感興趣的屬性預先設計模式的情況。第7章討論了為KB模式中尚未指定的屬性和關系發現新的屬性類型的情況。第8章討論了知識庫管理和知識庫長期維護的質量保證問題。第9章介紹了幾個具體KBs的案例研究，包括工業知識圖譜(KGs)。我們在第10章以關鍵課程和關于機器知識主題可能走向的展望來結束。

近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

現實網絡由多種相互作用、不斷進化的實體組成，而現有的研究大多將其簡單地描述為特定的靜態網絡，而沒有考慮動態網絡的演化趨勢。近年來，動態網絡的特性跟蹤研究取得了重大進展，利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與被廣泛提出的靜態網絡嵌入方法相比，動態網絡嵌入努力將節點編碼為低維密集表示，有效地保持了網絡結構和時間動態，有利于處理各種下游機器學習任務。本文對動態網絡嵌入問題進行了系統的研究，重點介紹了動態網絡嵌入的基本概念，首次對現有的動態網絡嵌入技術進行了分類，包括基于矩陣分解的、基于躍格的、基于自動編碼器的、基于神經網絡的等嵌入方法。此外，我們仔細總結了常用的數據集和各種各樣的后續任務，動態網絡嵌入可以受益。在此基礎上，提出了動態嵌入模型、大規模動態網絡、異構動態網絡、動態屬性網絡、面向任務的動態網絡嵌入以及更多的嵌入空間等現有算法面臨的挑戰，并提出了未來可能的研究方向。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

在本文中，我們對知識圖譜進行了全面的介紹，在需要開發多樣化、動態、大規模數據收集的場景中，知識圖譜最近引起了業界和學術界的極大關注。在大致介紹之后，我們對用于知識圖譜的各種基于圖的數據模型和查詢語言進行了歸納和對比。我們將討論模式、標識和上下文在知識圖譜中的作用。我們解釋如何使用演繹和歸納技術的組合來表示和提取知識。我們總結了知識圖譜的創建、豐富、質量評估、細化和發布的方法。我們將概述著名的開放知識圖譜和企業知識圖譜及其應用，以及它們如何使用上述技術。最后，我們總結了未來高層次的知識圖譜研究方向。

盡管“知識圖譜”一詞至少從1972年就開始出現在文獻中了[440]，但它的現代形式起源于2012年發布的谷歌知識圖譜[459]，隨后Airbnb[83]、亞馬遜[280]、eBay[392]、Facebook[365]、IBM[123]、LinkedIn[214]、微軟[457]、優步[205]等公司相繼發布了開發知識圖譜的公告。事實證明，學術界難以忽視這一概念的日益普及: 越來越多的科學文獻發表關于知識圖譜的主題，其中包括書籍(如[400])，以及概述定義(如[136])的論文，新技術(如[298,399,521])，以及對知識圖譜具體方面的調查(如[375,519])。

所有這些發展的核心思想是使用圖形來表示數據，通常通過某種方式顯式地表示知識來增強這種思想[365]。結果最常用于涉及大規模集成、管理和從不同數據源提取價值的應用場景[365]。在這種情況下，與關系模型或NoSQL替代方案相比，使用基于圖的知識抽象有很多好處。圖為各種領域提供了簡潔而直觀的抽象，其中邊捕獲了社會數據、生物交互、書目引用和合作作者、交通網絡等[15]中固有實體之間的(潛在的循環)關系。圖允許維護者推遲模式的定義，允許數據(及其范圍)以比關系設置中通常可能的更靈活的方式發展，特別是對于獲取不完整的知識[2]。與(其他)NoSQL模型不同，專門的圖形查詢語言不僅支持標準的關系運算符(連接、聯合、投影等)，而且還支持遞歸查找通過任意長度路徑[14]連接的實體的導航運算符。標準的知識表示形式主義——如本體論[66,228,344]和規則[242,270]——可以用來定義和推理用于標記和描述圖中的節點和邊的術語的語義。可伸縮的圖形分析框架[314,478,529]可用于計算中心性、集群、摘要等，以獲得對所描述領域的洞察。各種表示形式也被開發出來，支持直接在圖上應用機器學習技術[519,527]。

總之，構建和使用知識圖譜的決策為集成和從不同數據源提取價值提供了一系列技術。但是，我們還沒有看到一個通用的統一總結，它描述了如何使用知識圖譜，使用了哪些技術，以及它們如何與現有的數據管理主題相關。

本教程的目標是全面介紹知識圖譜: 描述它們的基本數據模型以及如何查詢它們;討論與schema, identity, 和 context相關的表征;討論演繹和歸納的方式使知識明確;介紹可用于創建和充實圖形結構數據的各種技術;描述如何識別知識圖譜的質量以及如何改進知識圖譜;討論發布知識圖譜的標準和最佳實踐;并提供在實踐中發現的現有知識圖譜的概述。我們的目標受眾包括對知識圖譜不熟悉的研究人員和實踐者。因此，我們并不假設讀者對知識圖譜有特定的專業知識。

知識圖。“知識圖譜”的定義仍然存在爭議[36,53,136]，其中出現了一些(有時相互沖突的)定義，從具體的技術建議到更具包容性的一般性建議;我們在附錄a中討論了這些先前的定義。在這里，我們采用了一個包容性的定義，其中我們將知識圖譜視為一個數據圖，目的是積累和傳遞真實世界的知識，其節點表示感興趣的實體，其邊緣表示這些實體之間的關系。數據圖(又稱數據圖)符合一個基于圖的數據模型，它可以是一個有向邊標記的圖，一個屬性圖等(我們在第二節中討論具體的替代方案)。這些知識可以從外部資源中積累，也可以從知識圖譜本身中提取。知識可以由簡單的語句組成，如“圣地亞哥是智利的首都”，也可以由量化的語句組成，如“所有的首都都是城市”。簡單的語句可以作為數據圖的邊來積累。如果知識圖譜打算積累量化的語句，那么就需要一種更有表現力的方式來表示知識——例如本體或規則。演繹的方法可以用來繼承和積累進一步的知識(例如，“圣地亞哥是一個城市”)。基于簡單或量化語句的額外知識也可以通過歸納方法從知識圖譜中提取和積累。

知識圖譜通常來自多個來源，因此，在結構和粒度方面可能非常多樣化。解決這種多樣性, 表示模式, 身份, 和上下文常常起著關鍵的作用,在一個模式定義了一個高層結構知識圖譜,身份表示圖中哪些節點(或外部源)引用同一個真實的實體,而上下文可能表明一個特定的設置一些單位的知識是真實的。如前所述，知識圖譜需要有效的提取、充實、質量評估和細化方法才能隨著時間的推移而增長和改進。

在實踐中 知識圖譜的目標是作為組織或社區內不斷發展的共享知識基礎[365]。在實踐中，我們區分了兩種類型的知識圖譜:開放知識圖譜和企業知識圖譜。開放知識圖譜在網上發布，使其內容對公眾有好處。最突出的例子——DBpedia[291]、Freebase[51]、Wikidata[515]、YAGO[232]等——涵蓋了許多領域，它們要么是從Wikipedia[232,291]中提取出來的，要么是由志愿者社區[51,515]建立的。開放知識圖譜也在特定領域內發表過，如媒體[406]、政府[222,450]、地理[472]、旅游[11,263,308,540]、生命科學[79]等。企業知識圖譜通常是公司內部的，并應用于商業用例[365]。使用企業知識圖譜的著名行業包括網絡搜索(如Bing[457]、谷歌[459])、商業(如Airbnb[83]、亞馬遜[127、280]、eBay[392]、Uber[205])、社交網絡(如Facebook[365]、LinkedIn[214])、金融(如埃森哲[368]、意大利銀行[32][326]、彭博[326]、Capital One[65]、富國銀行[355])等。應用包括搜索[457,459]，推薦[83,205,214,365]，個人代理[392]，廣告[214]，商業分析[214]，風險評估[107,495]，自動化[223]，以及更多。我們將在第10節中提供更多關于在實踐中使用知識圖譜的細節。

結構。本文件其余部分的結構如下:

• 第2節概述了圖形數據模型和可用于查詢它們的語言。
• 第3節描述了知識圖譜中模式、標識和上下文的表示形式。
• 第四節介紹了演繹式的形式主義，通過這種形式主義，知識可以被描述和推導出來。
• 第5節描述了可以提取額外知識的歸納技術。
• 第6節討論了如何從外部資源中創建和豐富知識圖譜。
• 第7節列舉了可用于評估知識圖譜的質量維度。
• 第8節討論知識圖譜細化的各種技術。
• 第9節討論發布知識圖譜的原則和協議。
• 第10節介紹了一些著名的知識圖譜及其應用。
• 第11節總結了知識圖譜的研究概況和未來的研究方向。
• 附錄A提供了知識圖譜的歷史背景和以前的定義。
• 附錄B列舉了將從論文正文中引用的正式定義。