亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： A Survey on Dynamic Network Embedding

簡介：

現實世界的網絡由各種相互作用和不斷發展的實體組成，而大多數現有研究只是將它們描述為特定的靜態網絡，而沒有考慮動態網絡的發展趨勢。近來，在跟蹤動態網絡特性方面取得了重大進展，它利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與靜態網絡嵌入方法相比，動態網絡嵌入致力于將節點編碼為低維密集表示形式，從而有效地保留了網絡結構和時間動態特性，這對眾多下游機器學習任務是有益的。在本文中，我們對動態網絡嵌入進行了系統的調查。特別是，描述了動態網絡嵌入的基本概念，特別是，我們首次提出了一種基于現有動態網絡嵌入技術的新分類法，包括基于矩陣分解的方法，基于Skip-Gram的方法，基于自動編碼器，基于神經網絡和其他嵌入方法。此外，我們仔細總結了常用的數據集以及動態網絡嵌入可以帶來的各種后續任務。之后，我們提出了現有算法面臨的幾個挑戰，并概述了促進未來研究的可能方向，例如動態嵌入模型，大規模動態網絡，異構動態網絡，動態屬性網絡，面向任務的動態網絡嵌入和更多的嵌入空間。

隨著web技術的發展，多模態或多視圖數據已經成為大數據的主要流，每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中于如何融合來自多模態空間的能量或信息，以提供比單一模態的同行更優越的性能。最近，深度神經網絡展示了一種強大的架構，可以很好地捕捉高維多媒體數據的非線性分布，對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢，從本質上深化了多模態深特征空間的融合。在這篇文章中，我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中，我們進一步指出，該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最后，我們就這一領域未來的一些方向分享我們的觀點。

深度學習在許多領域都取得了重大突破和進展。這是因為深度學習具有強大的自動表示能力。實踐證明，網絡結構的設計對數據的特征表示和最終的性能至關重要。為了獲得良好的數據特征表示，研究人員設計了各種復雜的網絡結構。然而，網絡架構的設計在很大程度上依賴于研究人員的先驗知識和經驗。因此，一個自然的想法是盡量減少人為的干預，讓算法自動設計網絡的架構。因此，這需要更深入到強大的智慧。

近年來,大量相關的神經結構搜索算法(NAS)已經出現。他們對NAS算法進行了各種改進，相關研究工作復雜而豐富。為了減少初學者進行NAS相關研究的難度，對NAS進行全面系統的調查是必不可少的。之前的相關調查開始主要從NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類。這種分類方法比較直觀，但是讀者很難把握中間的挑戰和標志性作品。因此，在本次調查中，我們提供了一個新的視角:首先概述最早的NAS算法的特點，總結這些早期NAS算法存在的問題，然后為后續的相關研究工作提供解決方案。并對這些作品進行了詳細而全面的分析、比較和總結。最后，提出了今后可能的研究方向。

概述

深度學習已經在機器翻譯[1-3]、圖像識別[4,6,7]和目標檢測[8-10]等許多領域展示了強大的學習能力。這主要是因為深度學習對非結構化數據具有強大的自動特征提取功能。深度學習已經將傳統的手工設計特征[13,14]轉變為自動提取[4,29,30]。這使得研究人員可以專注于神經結構的設計[11,12,19]。但是神經結構的設計很大程度上依賴于研究者的先驗知識和經驗，這使得初學者很難根據自己的實際需要對網絡結構進行合理的修改。此外，人類現有的先驗知識和固定的思維范式可能會在一定程度上限制新的網絡架構的發現。

因此，神經架構搜索(NAS)應運而生。NAS旨在通過使用有限的計算資源，以盡可能少的人工干預的自動化方式設計具有最佳性能的網絡架構。NAS- RL[11]和MetaQNN[12]的工作被認為是NAS的開創性工作。他們使用強化學習(RL)方法得到的網絡架構在圖像分類任務上達到了SOTA分類精度。說明自動化網絡架構設計思想是可行的。隨后，大規模演化[15]的工作再次驗證了這一想法的可行性，即利用演化學習來獲得類似的結果。然而，它們在各自的方法中消耗了數百天的GPU時間，甚至更多的計算資源。如此龐大的計算量對于普通研究者來說幾乎是災難性的。因此，如何減少計算量，加速網絡架構的搜索[18-20,48,49,52,84,105]就出現了大量的工作。與NAS的提高搜索效率,NAS也迅速應用領域的目標檢測(65、75、111、118),語義分割(63、64、120),對抗學習[53],建筑規模(114、122、124),多目標優化(39、115、125),platform-aware(28日34、103、117),數據增加(121、123)等等。另外，如何在性能和效率之間取得平衡也是需要考慮的問題[116,119]。盡管NAS相關的研究已經非常豐富，但是比較和復制NAS方法仍然很困難[127]。由于不同的NAS方法在搜索空間、超參數技巧等方面存在很多差異，一些工作也致力于為流行的NAS方法提供一個統一的評估平臺[78,126]。

隨著NAS相關研究的不斷深入和快速發展，一些之前被研究者所接受的方法被新的研究證明是不完善的。很快就有了改進的解決方案。例如，早期的NAS在架構搜索階段從無到有地訓練每個候選網絡架構，導致計算量激增[11,12]。ENAS[19]提出采用參數共享策略來加快架構搜索的進程。該策略避免了從頭訓練每個子網，但強制所有子網共享權值，從而大大減少了從大量候選網絡中獲得性能最佳子網的時間。由于ENAS在搜索效率上的優勢，權值共享策略很快得到了大量研究者的認可[23,53,54]。不久，新的研究發現，廣泛接受的權重分配策略很可能導致候選架構[24]的排名不準確。這將使NAS難以從大量候選架構中選擇最優的網絡架構，從而進一步降低最終搜索的網絡架構的性能。隨后DNA[21]將NAS的大搜索空間模塊化成塊，充分訓練候選架構以減少權值共享帶來的表示移位問題。此外，GDAS-NSAS[25]提出了一種基于新的搜索架構選擇(NSAS)損失函數來解決超網絡訓練過程中由于權值共享而導致的多模型遺忘問題。

在快速發展的NAS研究領域中，類似的研究線索十分普遍，基于挑戰和解決方案對NAS研究進行全面、系統的調研是非常有用的。以往的相關綜述主要根據NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類[26,27]。這種分類方法比較直觀，但不利于讀者捕捉研究線索。因此，在本次綜述查中，我們將首先總結早期NAS方法的特點和面臨的挑戰。基于這些挑戰，我們對現有研究進行了總結和分類，以便讀者能夠從挑戰和解決方案的角度進行一個全面和系統的概述。最后，我們將比較現有的研究成果，并提出未來可能的研究方向和一些想法。

深度神經網絡(DNN)是實現人類在許多學習任務上的水平的不可缺少的機器學習工具。然而，由于其黑箱特性，很難理解輸入數據的哪些方面驅動了網絡的決策。在現實世界中，人類需要根據輸出的dna做出可操作的決定。這種決策支持系統可以在關鍵領域找到，如立法、執法等。重要的是，做出高層決策的人員能夠確保DNN決策是由數據特征的組合驅動的，這些數據特征在決策支持系統的部署上下文中是適當的，并且所做的決策在法律上或倫理上是可辯護的。由于DNN技術發展的驚人速度，解釋DNN決策過程的新方法和研究已經發展成為一個活躍的研究領域。在定義什么是能夠解釋深度學習系統的行為和評估系統的“解釋能力”時所存在的普遍困惑，進一步加劇了這種復雜性。為了緩解這一問題，本文提供了一個“領域指南”，為那些在該領域沒有經驗的人提供深度學習解釋能力指南: i)討論了研究人員在可解釋性研究中增強的深度學習系統的特征，ii)將可解釋性放在其他相關的深度學習研究領域的背景下，iii)介紹了定義基礎方法空間的三個簡單維度。

【導讀】異構網絡表示學習Heterogeneous Network Representation Learning是當前自數據挖掘以及其他應用的研究熱點，在眾多任務中具有重要的應用。近日，UIUC韓家煒等學者發布了異構網絡表示學習的綜述大全，共15頁pdf115篇參考文獻，從背景知識到當前代表性HNE模型和應用研究挑戰等，是最新可參考絕好的異構網絡表示學習模型的文獻。

由于現實世界中的對象及其交互通常是多模態和多類型的，所以異構網絡被廣泛地用作傳統同構網絡(圖)的一個更強大、更現實和更通用的超類。與此同時，表示學習(representation learning，又稱嵌入)最近得到了深入的研究，并被證明對各種網絡挖掘和分析任務都是有效的。由于已有大量的異構網絡嵌入(HNE)算法，但沒有專門的調研綜述，作為這項工作的第一個貢獻，我們率先提供了一個統一的范式，對各種現有的HNE算法的優點進行系統的分類和分析。此外，現有的HNE算法雖然大多被認為是通用的，但通常是在不同的數據集上進行評估。由于HNE在應用上的天然優勢，這種間接的比較在很大程度上阻礙了任務性能的改善，特別是考慮到從真實世界的應用數據構建異構網絡的各種可能的方法。因此，作為第二項貢獻，我們創建了四個基準數據集，這些數據集具有不同來源的尺度、結構、屬性/標簽可用性等不同屬性，以全面評估HNE算法。作為第三個貢獻，我們對十種流行的HNE算法的實現進行了細致的重構和修改，并創建了友好的接口，并在多個任務和實驗設置上對它們進行了全方位的比較。

1.概述

網絡和圖形構成了一種規范的、普遍存在的交互對象建模范式，已經引起了各個科學領域的重要研究關注[59、30、24、3、89、87]。然而，現實世界的對象和交互通常是多模態和多類型的(例如，作者、論文、場所和出版物網絡中的術語[69,65];基于位置的社交網絡中的用戶、地點、類別和gps坐標[101,91,94];以及生物醫學網絡中的基因、蛋白質、疾病和物種[38,14])。為了捕獲和利用這種節點和鏈路的異構性，異構網絡被提出并廣泛應用于許多真實的網絡挖掘場景中，如基于元路徑的相似度搜索[70、64、92]、節點分類和聚類[18、20、11]、知識庫補全[68、48、103]和推薦[23、106、31]。

與此同時，目前對圖數據的研究主要集中在表示學習(圖數據嵌入)方面，特別是在神經網絡算法的先行者們展示了前所未有的有效而高效的圖數據挖掘的經驗證據之后[25,4,13]。他們的目標是將圖數據(如節點[49、72、26、77、37、28、9、75]、鏈接[107、1、50、96]和子圖[47、93、97、45])轉換為嵌入空間中的低維分布向量，在嵌入空間中保留圖的拓撲信息(如高階鄰近性[5、76、105、34]和結構[55、102、42、17])。這樣的嵌入向量可以被各種下游的機器學習算法直接執行[58,39,10]。

在異構網絡與圖嵌入的交叉點上，異構網絡嵌入(HNE)近年來也得到了較多的研究關注[8、85、108、16、66、67、27、22、90、35、104、57、52、99、7、98、32、83、95、82、41]。由于HNE的應用優勢，許多算法在不同的應用領域分別被開發出來，如搜索和推薦[23,63,6,89]。此外，由于知識庫(KBs)也屬于異構網絡的一般范疇，許多KB嵌入算法可以與HNE算法相比較[81、3、40、68、88、15、48、79、60]。

不幸的是，不同的HNE算法是在學術界和工業界完全不同的社區開發的。無論是在概念上還是在實驗中，都沒有對其進行系統全面的分析。事實上，由于缺乏基準平臺(有現成的數據集和基線)，研究人員往往傾向于構建自己的數據集，并重新實現一些最流行的(有時是過時的)比較算法，這使得公平的性能評估和明確的改進屬性變得極其困難。

只需考慮圖1中發布數據小例子。較早的HNE算法如metapath2vec [16])是在作者、論文和場所節點類型為(a)的異構網絡上發展起來的，但是可以像(b)那樣用大量的術語和主題作為附加節點來豐富論文，這使得基于隨機游走的淺嵌入算法效果不佳，而傾向于R-GCN[57]這樣的基于鄰域聚合的深度圖神經網絡。此外，還可以進一步加入術語嵌入等節點屬性和研究領域等標簽，使其只適用于半監督歸納學習算法，這可能會帶來更大的偏差[104、82、33、54]。最后，通常很難清楚地將性能收益歸因于技術新穎性和數據調整之間的關系。

在這項工作中，我們首先制定了一個統一而靈活的數學范式，概括了所有的HNE算法，便于理解每個模型的關鍵優點(第2節)。特別地，基于對現有模型(以及可能的未來模型)進行清晰分類和總結的統一分類，我們提出了網絡平滑度的一般目標函數，并將所有現有的模型重新組織成統一的范式，同時突出其獨特的新穎貢獻(第3節)。我們認為該范式將有助于指導未來新型HNE算法的發展，同時促進它們與現有算法的概念對比。

作為第二個貢獻，我們通過詳盡的數據收集、清理、分析和整理(第4節)，特意準備了四個基準的異構網絡數據集，具有規模、結構、屬性/標簽可用性等多種屬性。這些不同的數據集，以及一系列不同的網絡挖掘任務和評估指標，構成了未來HNE算法的系統而全面的基準資源。

作為第三個貢獻，許多現有的HNE算法(包括一些非常流行的算法)要么沒有一個靈活的實現(例如，硬編碼的節點和邊緣類型、固定的元路徑集等)，要么不能擴展到更大的網絡(例如，在訓練期間的高內存需求)，這給新的研究增加了很多負擔(例如，，在正確的重新實現中需要大量的工程工作)。為此，我們選擇了10種流行的HNE算法，在這些算法中，我們仔細地重構和擴展了原始作者的實現，并為我們準備好的數據集的插件輸入應用了額外的接口(第5節)。基于這些易于使用和有效的實現，我們對算法進行了全面的經驗評估，并報告了它們的基準性能。實證結果在提供了與第3節的概念分析相一致的不同模型的優點的同時，也為我們的基準平臺的使用提供了范例，以供今后對HNE的研究參考。

本文的其余部分組織如下。第2節首先介紹我們提出的通用HNE范式。隨后，第3節對我們調查中的代表性模型進行了概念上的分類和分析。然后，我們在第4節中提供了我們準備好的基準數據集，并進行了深入的分析。在第5節中，我們對10種常用的HNE算法進行了系統而全面的實證研究，對HNE的發展現狀進行了評價。第六部分是對未來HNE平臺使用和研究的展望。

異構網絡示例

算法分類

Proximity-Preserving Methods

如前所述，網絡嵌入的一個基本目標是捕獲網絡拓撲信息。這可以通過在節點之間保留不同類型的鄰近性來實現。在HNE中，有兩類主要的接近性保護方法:基于隨機步法的方法(靈感來自DeepWalk[49])和基于一階/二階接近性的方法(靈感來自LINE[72])。

Message-Passing Methods

網絡中的每個節點都可以將屬性信息表示為特征向量xu。消息傳遞方法的目標是通過聚合來自u鄰居的信息來學習基于xu的節點嵌入eu。在最近的研究中，圖神經網絡(GNNs)[37]被廣泛用于促進這種聚合/消息傳遞過程。

Relation-Learning方法

異類網絡中的每條邊都可以看作是一個三元組(u, l, v)，由兩個節點u, v∈v和一個邊緣類型l∈TE(即。，實體和關系，用KG表示)。關系學習方法的目標是學習一個評分函數sl(u, v)，該函數對任意三元組求值并輸出一個標量來度量該三元組的可接受性。這種思想在KB嵌入中被廣泛采用。由于已經有關于KB嵌入算法的調查[81]，我們在這里只討論最流行的方法，并強調它們與HNE的聯系。

基準

未來方向

在這項工作中，我們對各種現有的HNE算法進行了全面的調研，并提供了基準數據集和基線實現，以方便今后在這方面的研究。盡管HNE已經在各種下游任務中表現出了強大的性能，但它仍處于起步階段，面臨著許多尚未解決的挑戰。為了總結這項工作并啟發未來的研究，我們現在簡要地討論一下當前HNE的局限性和幾個可能值得研究的具體方向。

超越同質性。如式(1)所述，目前的HNE算法主要關注網絡同質性作用。由于最近對同構網絡的研究，研究位置和結構嵌入的組合，探索如何將這種設計原則和范式推廣到HNE將是很有趣的。特別是在異構網絡中，節點的相對位置和結構角色都可以在不同的元路徑或元圖下測量，這自然更具有信息性和多樣性。然而，這樣的考慮也帶來了更困難的計算挑戰。

超越準確性。大多數，如果不是全部，現有的研究主要集中在對不同的下游任務的準確性。進一步研究HNE的效率和可擴展性(用于大規模網絡)、時間適應性(用于動態演化網絡)、魯棒性(用于對抗攻擊)、可解釋性、不確定性、公平性等將是非常有趣的。

超越節點嵌入。圖級和子圖級嵌入在同構網絡上得到了廣泛的研究，但在異構網絡上卻很少有研究。雖然諸如HIN2Vec[22]等現有的工作都在研究元路徑的嵌入以改進節點的嵌入，但是圖和子圖級嵌入在異構網絡環境中的直接應用仍然處于萌芽狀態。

回顧KB嵌入。KB嵌入與其他HNE類型的區別主要在于節點和鏈接類型的數量不同。直接將KB嵌入到異構網絡中不能考慮具有豐富語義的元路徑，而將HNE直接應用到KB中由于元路徑的數量呈指數增長而不現實。然而，研究這兩組方法(以及兩種類型的數據)之間的交集仍然很有趣。例如，我們如何將異構網絡上的元路徑和HNE在KB上嵌入轉換的思想與更多的語義感知轉換結合起來?我們如何設計基于截斷隨機游走的方法來包含高階關系的知識庫嵌入?

異構上下文建模。異構網絡主要模擬不同類型的節點和鏈接。然而，現在的網絡常常與豐富的內容相關聯，這些內容提供了節點、鏈接和子網的上下文。因此，如何通過多模態內容和結構的集成來對多方面環境下的異構交互進行建模可能是一個具有挑戰性但值得研究的領域。

理解局限性。雖然HNE(以及許多神經表示學習模型)已經在各個領域顯示出了強大的性能，但值得了解其潛在的局限性。例如，與傳統的網絡挖掘方法(例如，路徑計數、子圖匹配、非神經或線性傳播)相比，現代HNE算法何時能更好地工作?我們怎樣才能把兩個世界的優點結合起來呢?此外，雖然對同構網絡數據的神經網絡背后的數學機制(如平滑、低通濾波、不變和等變變換)進行了深入的研究，通過統一現有的HNE模型，本工作也旨在激發對HNE的能力和局限性的進一步理論研究。

圖神經網絡是解決各種圖學習問題的有效的機器學習模型。盡管它們取得了經驗上的成功，但是GNNs的理論局限性最近已經被揭示出來。因此，人們提出了許多GNN模型來克服這些限制。在這次調查中，我們全面概述了GNNs的表達能力和可證明的強大的GNNs變體。

在本文中，我們對知識圖譜進行了全面的介紹，在需要開發多樣化、動態、大規模數據收集的場景中，知識圖譜最近引起了業界和學術界的極大關注。在大致介紹之后，我們對用于知識圖譜的各種基于圖的數據模型和查詢語言進行了歸納和對比。我們將討論模式、標識和上下文在知識圖譜中的作用。我們解釋如何使用演繹和歸納技術的組合來表示和提取知識。我們總結了知識圖譜的創建、豐富、質量評估、細化和發布的方法。我們將概述著名的開放知識圖譜和企業知識圖譜及其應用，以及它們如何使用上述技術。最后，我們總結了未來高層次的知識圖譜研究方向。

盡管“知識圖譜”一詞至少從1972年就開始出現在文獻中了[440]，但它的現代形式起源于2012年發布的谷歌知識圖譜[459]，隨后Airbnb[83]、亞馬遜[280]、eBay[392]、Facebook[365]、IBM[123]、LinkedIn[214]、微軟[457]、優步[205]等公司相繼發布了開發知識圖譜的公告。事實證明，學術界難以忽視這一概念的日益普及: 越來越多的科學文獻發表關于知識圖譜的主題，其中包括書籍(如[400])，以及概述定義(如[136])的論文，新技術(如[298,399,521])，以及對知識圖譜具體方面的調查(如[375,519])。

所有這些發展的核心思想是使用圖形來表示數據，通常通過某種方式顯式地表示知識來增強這種思想[365]。結果最常用于涉及大規模集成、管理和從不同數據源提取價值的應用場景[365]。在這種情況下，與關系模型或NoSQL替代方案相比，使用基于圖的知識抽象有很多好處。圖為各種領域提供了簡潔而直觀的抽象，其中邊捕獲了社會數據、生物交互、書目引用和合作作者、交通網絡等[15]中固有實體之間的(潛在的循環)關系。圖允許維護者推遲模式的定義，允許數據(及其范圍)以比關系設置中通常可能的更靈活的方式發展，特別是對于獲取不完整的知識[2]。與(其他)NoSQL模型不同，專門的圖形查詢語言不僅支持標準的關系運算符(連接、聯合、投影等)，而且還支持遞歸查找通過任意長度路徑[14]連接的實體的導航運算符。標準的知識表示形式主義——如本體論[66,228,344]和規則[242,270]——可以用來定義和推理用于標記和描述圖中的節點和邊的術語的語義。可伸縮的圖形分析框架[314,478,529]可用于計算中心性、集群、摘要等，以獲得對所描述領域的洞察。各種表示形式也被開發出來，支持直接在圖上應用機器學習技術[519,527]。

總之，構建和使用知識圖譜的決策為集成和從不同數據源提取價值提供了一系列技術。但是，我們還沒有看到一個通用的統一總結，它描述了如何使用知識圖譜，使用了哪些技術，以及它們如何與現有的數據管理主題相關。

本教程的目標是全面介紹知識圖譜: 描述它們的基本數據模型以及如何查詢它們;討論與schema, identity, 和 context相關的表征;討論演繹和歸納的方式使知識明確;介紹可用于創建和充實圖形結構數據的各種技術;描述如何識別知識圖譜的質量以及如何改進知識圖譜;討論發布知識圖譜的標準和最佳實踐;并提供在實踐中發現的現有知識圖譜的概述。我們的目標受眾包括對知識圖譜不熟悉的研究人員和實踐者。因此，我們并不假設讀者對知識圖譜有特定的專業知識。

知識圖。“知識圖譜”的定義仍然存在爭議[36,53,136]，其中出現了一些(有時相互沖突的)定義，從具體的技術建議到更具包容性的一般性建議;我們在附錄a中討論了這些先前的定義。在這里，我們采用了一個包容性的定義，其中我們將知識圖譜視為一個數據圖，目的是積累和傳遞真實世界的知識，其節點表示感興趣的實體，其邊緣表示這些實體之間的關系。數據圖(又稱數據圖)符合一個基于圖的數據模型，它可以是一個有向邊標記的圖，一個屬性圖等(我們在第二節中討論具體的替代方案)。這些知識可以從外部資源中積累，也可以從知識圖譜本身中提取。知識可以由簡單的語句組成，如“圣地亞哥是智利的首都”，也可以由量化的語句組成，如“所有的首都都是城市”。簡單的語句可以作為數據圖的邊來積累。如果知識圖譜打算積累量化的語句，那么就需要一種更有表現力的方式來表示知識——例如本體或規則。演繹的方法可以用來繼承和積累進一步的知識(例如，“圣地亞哥是一個城市”)。基于簡單或量化語句的額外知識也可以通過歸納方法從知識圖譜中提取和積累。

知識圖譜通常來自多個來源，因此，在結構和粒度方面可能非常多樣化。解決這種多樣性, 表示模式, 身份, 和上下文常常起著關鍵的作用,在一個模式定義了一個高層結構知識圖譜,身份表示圖中哪些節點(或外部源)引用同一個真實的實體,而上下文可能表明一個特定的設置一些單位的知識是真實的。如前所述，知識圖譜需要有效的提取、充實、質量評估和細化方法才能隨著時間的推移而增長和改進。

在實踐中 知識圖譜的目標是作為組織或社區內不斷發展的共享知識基礎[365]。在實踐中，我們區分了兩種類型的知識圖譜:開放知識圖譜和企業知識圖譜。開放知識圖譜在網上發布，使其內容對公眾有好處。最突出的例子——DBpedia[291]、Freebase[51]、Wikidata[515]、YAGO[232]等——涵蓋了許多領域，它們要么是從Wikipedia[232,291]中提取出來的，要么是由志愿者社區[51,515]建立的。開放知識圖譜也在特定領域內發表過，如媒體[406]、政府[222,450]、地理[472]、旅游[11,263,308,540]、生命科學[79]等。企業知識圖譜通常是公司內部的，并應用于商業用例[365]。使用企業知識圖譜的著名行業包括網絡搜索(如Bing[457]、谷歌[459])、商業(如Airbnb[83]、亞馬遜[127、280]、eBay[392]、Uber[205])、社交網絡(如Facebook[365]、LinkedIn[214])、金融(如埃森哲[368]、意大利銀行[32][326]、彭博[326]、Capital One[65]、富國銀行[355])等。應用包括搜索[457,459]，推薦[83,205,214,365]，個人代理[392]，廣告[214]，商業分析[214]，風險評估[107,495]，自動化[223]，以及更多。我們將在第10節中提供更多關于在實踐中使用知識圖譜的細節。

結構。本文件其余部分的結構如下:

• 第2節概述了圖形數據模型和可用于查詢它們的語言。
• 第3節描述了知識圖譜中模式、標識和上下文的表示形式。
• 第四節介紹了演繹式的形式主義，通過這種形式主義，知識可以被描述和推導出來。
• 第5節描述了可以提取額外知識的歸納技術。
• 第6節討論了如何從外部資源中創建和豐富知識圖譜。
• 第7節列舉了可用于評估知識圖譜的質量維度。
• 第8節討論知識圖譜細化的各種技術。
• 第9節討論發布知識圖譜的原則和協議。
• 第10節介紹了一些著名的知識圖譜及其應用。
• 第11節總結了知識圖譜的研究概況和未來的研究方向。
• 附錄A提供了知識圖譜的歷史背景和以前的定義。
• 附錄B列舉了將從論文正文中引用的正式定義。

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。但是，大量的網絡數據為有效分析帶來了巨大的挑戰。因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。

• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。

• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。

• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。

傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、** Deep variational network embedding in wasserstein space**

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。

1、題目： Advances and Open Problems in Federated Learning

簡介： 聯邦學習（Federated Learning）是一種新興的人工智能基礎技術，在 2016 年由谷歌最先提出，原本用于解決安卓手機終端用戶在本地更新模型的問題，其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下，在多參與方或多計算結點之間開展高效率的機器學習。其中，聯邦學習可使用的機器學習算法不局限于神經網絡，還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。最近來自斯坦福、CMU、Google等25家機構58位學者共同發表了關于聯邦學習最新進展與開放問題的綜述論文《Advances and Open Problems in Federated Learning》，共105頁pdf調研了438篇文獻，講解了最新聯邦學習進展，并提出大量開放型問題。

2、題目： Deep learning for time series classification: a review

簡介： 時間序列分類(Time Series Classification， TSC )是數據挖掘中的一個重要而富有挑戰性的問題。隨著時間序列數據可用性的提高，已經提出了數百種TSC算法。在這些方法中，只有少數考慮使用深度神經網絡來完成這項任務。這令人驚訝，因為在過去幾年里，深度學習得到了非常成功的應用。DNNs的確已經徹底改變了計算機視覺領域，特別是隨著新型更深層次的結構的出現，如殘差和卷積神經網絡。除了圖像，文本和音頻等連續數據也可以用DNNs處理，以達到文檔分類和語音識別的最新性能。在本文中，本文通過對TSC最新DNN架構的實證研究，研究了TSC深度學習算法的最新性能。在TSC的DNNs統一分類場景下，本文概述了各種時間序列領域最成功的深度學習應用。本文還為TSC社區提供了一個開源的深度學習框架，實現了本文所對比的各種方法，并在單變量TSC基準( UCR archive)和12個多變量時間序列數據集上對它們進行了評估。通過在97個時間序列數據集上訓練8730個深度學習模型，本文提出了迄今為止針對TSC的DNNs的最詳盡的研究。

3、 題目： Optimization for deep learning: theory and algorithms

簡介： 本文概述了用于訓練神經網絡的優化算法和理論。 首先，我們討論梯度爆炸/消失的問題以及不希望有的頻譜的更一般性的問題，然后討論實用的解決方案，包括仔細的初始化和歸一化方法。 其次，我們回顧了用于訓練神經網絡的通用優化方法，例如SGD，自適應梯度法和分布式方法，以及這些算法的現有理論結果。 第三，我們回顧了有關神經網絡訓練的全球性問題的現有研究，包括不良局部極小值，模式連通性，彩票假說和無限寬度分析的結果。

4、題目： Optimization for deep learning: theory and algorithms

簡介： 本文概述了用于訓練神經網絡的優化算法和理論。 首先，我們討論梯度爆炸/消失的問題以及不希望有的頻譜的一般性的問題，然后討論解決方案，包括初始化和歸一化方法。 其次，我們回顧了用于訓練神經網絡的通用優化方法，例如SGD，自適應梯度法和分布式方法，以及這些算法的現有理論結果。 第三，我們回顧了有關神經網絡訓練的現有研究。

5、題目： Normalizing Flows for Probabilistic Modeling and Inference

簡介： 歸一化流提供了一種定義表達概率分布的通用機制，只需要指定基本分布和一系列雙射變換。 最近有許多關于標準化流的工作，從提高其表達能力到擴展其應用。 我們認為該領域已經成熟，需要一個統一的觀點。 在這篇綜述中，我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理，并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯，我們還擴大了flow的概念框架。 最后，我們總結了在諸如生成模型，近似推理和監督學習等任務中使用歸一化流提供了一種定義表達概率分布的通用機制，只需要指定（通常是簡單的）基本分布和一系列雙射變換。 最近有許多關于標準化流的工作，從提高其表達能力到擴展其應用。 我們認為該領域已經成熟，需要一個統一的觀點。 在這篇綜述中，我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理，并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯，我們還擴大了流量的概念框架。 最后，我們總結了在諸如生成模型，近似推理和監督學習等任務中使用流。

6、題目： Fantastic Generalization Measures and Where to Find Them

簡介： 近年來，深度網絡的普遍性引起了人們極大的興趣，從而產生了許多從理論和經驗出發推動復雜性的措施。 但是，大多數提出此類措施的論文只研究了一小部分模型，而這些實驗得出的結論在其他情況下是否仍然有效的問題尚待解決。 我們提出了深度網絡泛化的第一個大規模研究。 我們研究了從理論界和實證研究中采取的40多種復雜性度量。 通過系統地改變常用的超參數，我們訓練了10,000多個卷積網絡。 為了揭示每個度量與泛化之間的潛在因果關系，我們分析了實驗，并顯示了有希望進行進一步研究的度量。

7、題目： Neural Style Transfer: A Review

簡介： Gatys等人的開創性工作通過分離和重新組合圖像內容和樣式，展示了卷積神經網絡（CNN）在創建藝術圖像中的作用。使用CNN渲染不同樣式的內容圖像的過程稱為神經樣式傳輸（NST）。從那時起，NST成為學術文獻和工業應用中的一個熱門話題。它正受到越來越多的關注，并且提出了多種方法來改進或擴展原始的NST算法。在本文中，我們旨在全面概述NST的最新進展。我們首先提出一種NST領域中當前算法的分類法。然后，我們提出幾種評估方法，并定性和定量地比較不同的NST算法。審查結束時討論了NST的各種應用和未解決的問題，以供將來研究。