亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡和強化學習都是機器學習中研究的主流模型，如何結合GNN和RL，是一個有趣的問題。最近來自美國堪薩斯州立大學發布了《基于圖神經網絡的強化學習》綜述，闡述相關算法與應用。

深度強化學習(DRL)已經增強了各種人工智能領域的能力，包括模式識別、機器人、推薦系統和游戲。類似地，圖神經網絡(GNN)也證明了它們在對圖結構數據進行監督學習方面的卓越性能。近年來，GNN與DRL在圖形結構環境中的融合引起了廣泛關注。本文對這些混合工作進行了全面的綜述。這些工作可以分為兩類: (1)算法增強，其中DRL和GNN相輔相成，發揮更好的效用;(2)特定于應用的增強，其中DRL和GNN相互支持。這種融合有效地解決了工程和生命科學中的各種復雜問題。在此基礎上，我們進一步分析了融合這兩個域的適用性和好處，特別是在提高通用性和降低計算復雜度方面。最后，強調了整合DRL和GNN的關鍵挑戰，以及潛在的未來研究方向，這將是更廣泛的機器學習社區的興趣。

近年來，深度學習的體系結構、算法和框架得到了爆炸式的發展，用于解決計算機視覺、建模和控制等一系列具有挑戰性的現實問題。在這些發展中，使用深度神經網絡(DNN)在強化學習(RL)框架內解決順序決策問題，導致深度強化學習(DRL)被認為是人工智能1中最先進的框架之一。該方法應用于組合優化[2]、游戲[3]、機器人[4]、自然語言處理[5]和計算機視覺[6]。DRL在這些應用中的巨大成功可以歸功于(1)以一種計算高效、可伸縮和靈活的方式處理復雜問題的能力，這在其他情況下是數值棘手的[7];(2)計算效率高，能夠快速生成高保真度解決方案，這在需要實時決策[8]的高動態環境中至關重要;(3)理解環境動力學的能力，并僅基于與環境的交互產生接近最優的行動，而不需要明確的基礎系統[9]，[10]的先驗知識。

雖然DRL的有效性在游戲中得到了最廣泛的證明，但它正在迅速地應用于其他各種現實應用中。其中一些應用程序涉及到顯示可以用圖形表示的顯式結構關系的環境。例如，旅行商問題(TSP)中的城市網絡或不完整的知識圖譜本質上具有基于圖的不同實體排列的特征。在歐幾里得空間中處理數據的方法并不適合這種環境，需要在編碼節點或聚合來自不同代理的信息方面進行特殊處理。這些方面用圖神經網絡(GNN)系統建模，詳見§II。這種結構關系的融入是一種輔助輸入，進一步提高了解決方案的質量。最近，研究人員一直在探索將強大的GNN模型與DRL融合的優勢，以有效地解決這類圖結構應用。這些混合工作的徹底調研可能是極其有益的，在識別挑戰和確定未來的研究方向。此外，一些與DRL相關的綜述作品也在[2]、[5]-[15]不斷發表。然而，這些綜述存在兩個主要缺陷:** (1)這些調研的大多數是通過特定應用領域的視角進行的。因此，他們被局限于特定的方法，忽視了跨領域的整體視角;(2)據我們所知，目前的文獻中還沒有關于DRL和GNN聯合研究的全面綜述**。

深度強化學習與圖神經網絡的融合

本文對DRL和GNN融合的相關文獻進行了系統綜述，主要貢獻如下:

對涉及DRL和GNN的橫跨理論發展(§III-A)和多個應用領域(§III-B)的文獻進行了嚴格的綜述。 * 對綜合DRL-GNN的理論和應用貢獻進行了分類(§III)。為此，對現有作品進行分類和分析的各種屬性被確定(§IV)。 * 該調研采取了一個整體的方法來回顧文獻，特別關注算法的關鍵方面，如計算效率，可擴展性，通用性和適用性。 * DRL和GNN仍處于發展的早期階段，兩者融合的研究也處于早期階段。因此，對相關挑戰進行了徹底的調研究，并確定了未來的研究方向(§V)。

DRL和GNN已經成為現代深度學習中極其強大的工具。DRL利用DNN的表達能力來解決RL的順序決策問題，而GNN是一種新穎的體系結構，特別適合處理圖結構數據。我們確定了兩大類聯合使用GNN和DRL的研究文章，如圖2所示。第一類文章利用GNN(或DRL)對DRL(或GNN)的應用進行算法和方法上的改進。另一方面，第二類文章同時使用DRL和GNN來解決不同應用領域的實際問題。表一描述了調研DRL和GNN融合工程的概況，表二概述了調研論文的個別組成部分。

A.算法發展

在本節中，我們將討論著重于開發改進DRL或GNN的新公式或算法的文章。在這些文章中，要么使用GNN來改進DRL的配方和性能，要么使用DRL來提高GNN的適用性。

1) DRL增強GNN:

利用DRL改進GNN的工作被用于不同的目的，包括神經體系結構搜索(NAS)，提高GNN預測的可解釋性和為GNN設計對抗樣本。

神經體系結構搜索(NAS): 指自動搜索神經網絡的最優體系結構的過程。層數，層中的節點數等)來解決一個特定的任務。[24]采用一種基于DRL的控制器，采用探索引導和保守利用的方法，對不同的GNN架構進行高效搜索。搜索空間由隱藏維度、注意力頭、注意力、聚合、組合和激活函數組成。作者將模型同質化作為一種方法，在子代和祖先體系結構之間執行引導參數共享。與現有的架構搜索方法[25]相比，該方法在基準數據集上具有更好的性能。

**解釋GNN預測: **為DNN預測生成解釋是提高ML模型透明度的一項重要任務。Shan等人[26]使用DRL來改進現有的解釋GNN預測的方法。為GNN預測生成解釋的問題涉及識別對生成預測影響最大的子圖。作者設計了一個基于DRL的迭代圖生成器，它從種子節點(預測的最重要節點)開始，并添加邊來生成解釋子圖。DRL模型僅基于解釋性子圖，利用預測的相互信息和預測的分布來學習具有策略梯度的子圖生成策略。作者表明，該方法在生成的子圖和基礎真理解釋之間的定性和定量相似性方面獲得了更好的可解釋性。

2) GNN增強DRL:

本小節討論與DRL算法改進相關的論文。具體而言，我們著重研究了GNN在關系型DRL問題(RDRL)中的應用，以有效地建模(1)多智能體深度強化學習(MADRL)框架中的不同智能體之間的關系，以及(2)多任務深度強化學習(MTDRL)框架中的不同任務之間的關系。

在MADRL中，agent之間的關系建模: 在MADRL中，一群agent為了實現一個共同的目標而相互合作或競爭。該框架最近被用于許多具有挑戰性的任務，包括交通燈控制、自動駕駛和網絡數據包傳輸[32]-[34]。在這種情況下，代理之間的通信提供關于其他代理的環境和狀態的附加信息。人們提出了幾種學習這種交流的方法。捕捉這些關系的第一個工作主體與基于注意力的方法[35]-[38]有關。ATOC[39]、DGN[40]和COMA-GAT[36]通過注意力機制提供通信。

**在MTDRL中對任務之間的關系進行建模:**該框架提供了一種優雅的方法來利用多個任務之間的共性，以便學習具有更高回報、泛化、數據效率和健壯性的策略。在大多數MTDRL工作中，一個固有的假設是相容的狀態-動作空間，即跨多個任務的相同維度的狀態和動作。然而，這在許多實際應用中被違背，如組合優化和機器人。這個問題已經通過使用能夠處理任意大小的圖的GNN得到了解決，從而在不兼容的狀態-動作環境[46]中支持MTDRL。由于GNN提供了合并結構信息的靈活性，它允許集成額外的領域知識，其中狀態被標記為圖。GNN在MTDRL中的使用已經在連續控制環境中得到證實，利用RL代理的物理形態來構建輸入圖[47]，[48]。

RDRL的關系符號輸入:RDRL的基本前提是將DRL與關系學習或歸納邏輯編程[49]集成，其中狀態、動作和策略用一階/關系語言[50]表示。該空間中的任務具有變化的狀態空間和動作空間的特點。在這些問題中，很難找到大多數現有DRL方法所需要的固定長度的表示。這個問題可以使用GNN來處理，方法是根據圖形結構數據制定關系問題。關系域的機制通常由關系動態影響圖語言(RDDL)[51]表示。

B .應用

第二大類論文利用DRL的多功能性和GNN的靈活編碼能力來解決不同應用領域的有趣挑戰。這些領域涵蓋了廣泛的范圍，包括組合優化、運輸、控制、知識圖譜和生命科學，我們將在接下來簡要回顧。

1) 組合優化(CO):

許多CO問題的計算是昂貴的，需要近似和啟發式來解決多項式時間。人們對使用機器學習技術解決CO問題越來越感興趣。在這方面，CO問題通常被定義為MDP，其中最優行動/解決方案可以通過DRL學習到。此外，底層環境表示為使用GNN處理的圖。

**2) 交通: **用DRL和GNN處理的運輸問題大致可以分為路由和速度預測兩類。

**

**

3) 制造與控制:由于過程和系統級之間日益增加的復雜性和相互依賴性，DRL也在現代制造系統中得到了探索[73]-[75]。

4. 知識圖譜補全 :在推薦系統[93]、社交網絡[94]、問答系統[95]、智能制造[96]、信息抽取[97]、語義解析[98]和命名實體消歧[99]等各種應用中，知識圖譜(Knowledge Graphs, KG)被越來越多地用于表示異構的圖結構數據。現實世界知識庫的一個關鍵問題是，它們是不完整，也就是說，很多關系都缺失了。知識圖譜(KGC)補全。是一個知識庫完成過程，旨在通過推斷缺失的條目與現有的幫助下，填補不完整的現實世界的知識庫。

**5)生命科學: **除了工程應用之外，ML最近的進展也展示了它在各種生命科學應用方面的革命性潛力，如藥物發現[101]-[103]和腦網絡分析[104]。為此，[101]提出了一種設計將DRL耦合到深度生成模型的抗病毒候選藥物的新方法。

《工程師和科學家概率論和統計導論》第六版特別強調了概率論如何連接統計問題，從而幫助讀者對實踐工程師和科學家常用的統計程序建立直觀的理解。利用真實的數據從實際研究跨越生命科學，工程，計算和商業，這個有用的介紹支持讀者理解通過各種各樣的練習和例子。結束的章節審查材料突出關鍵的想法，也討論與每個材料的實際應用相關的風險。在新版中，涵蓋了大數據和R。

這本書是為在工程項目中學習概率和統計課程的高年級本科生和研究生準備的，以及那些跨生物、物理和計算機科學部門的學生。它也適合于科學家，工程師和其他專業人員尋求參考的基礎內容和應用這些領域。

• 提供了作者獨特的訪問和參與方法為工程師和科學家的需要
• 功能示例，使用來自生命科學、工程、計算和商業的實際研究的重要真實數據
• 包括支持R的使用的新覆蓋
• 提供大數據技術的新章節

圖是連接數據網絡結構的一種常用表示形式。圖數據可以在廣泛的應用領域中找到，如社會系統、生態系統、生物網絡、知識圖譜和信息系統。隨著人工智能技術的不斷滲透發展，圖學習(即對圖進行機器學習)越來越受到研究者和實踐者的關注。圖學習對許多任務都非常有效，如分類，鏈接預測和匹配。圖學習方法通常是利用機器學習算法提取圖的相關特征。在這個綜述中，我們提出了一個關于圖學習最全面的概述。特別關注四類現有的圖學習方法，包括圖信號處理、矩陣分解、隨機游走和深度學習。分別回顧了這些類別下的主要模型和算法。我們研究了諸如文本、圖像、科學、知識圖譜和組合優化等領域的圖學習應用。此外，我們還討論了該領域幾個有前景的研究方向。

真實的智能系統通常依賴于機器學習算法處理各種類型的數據。盡管圖數據無處不在，但由于其固有的復雜性，給機器學習帶來了前所未有的挑戰。與文本、音頻和圖像不同，圖數據嵌入在一個不規則的領域，使得現有機器學習算法的一些基本操作不適用。許多圖學習模型和算法已經被開發出來解決這些挑戰。本文系統地綜述了目前最先進的圖學習方法及其潛在的應用。這篇論文有多種用途。首先，它作為不同領域(如社會計算、信息檢索、計算機視覺、生物信息學、經濟學和電子商務)的研究人員和從業者提供圖學習的快速參考。其次，它提供了對該領域的開放研究領域的見解。第三，它的目的是激發新的研究思路和更多的興趣在圖學習。

圖，又稱網絡，可以從現實世界中豐富的實體之間的各種關系中提取。一些常見的圖表已經被廣泛用于表達不同的關系，如社會網絡、生物網絡、專利網絡、交通網絡、引文網絡和通信網絡[1]-[3]。圖通常由兩個集合定義，即頂點集和邊集。頂點表示圖形中的實體，而邊表示這些實體之間的關系。由于圖學習在數據挖掘、知識發現等領域的廣泛應用，引起了人們的廣泛關注。由于圖利用了頂點[4]，[5]之間的本質和相關關系，在捕獲復雜關系方面，圖學習方法變得越來越流行。例如，在微博網絡中，通過檢測信息級聯，可以跟蹤謠言的傳播軌跡。在生物網絡中，通過推測蛋白質的相互作用可以發現治療疑難疾病的新方法。在交通網絡中，通過分析不同時間戳[6]的共現現象，可以預測人類的移動模式。對這些網絡的有效分析很大程度上取決于網絡的表示方式。

一般來說，圖學習是指對圖進行機器學習。圖學習方法將圖的特征映射到嵌入空間中具有相同維數的特征向量。圖學習模型或算法直接將圖數據轉換為圖學習體系結構的輸出，而不將圖投影到低維空間。由于深度學習技術可以將圖數據編碼并表示為向量，所以大多數圖學習方法都是基于或從深度學習技術推廣而來的。圖學習的輸出向量在連續空間中。圖學習的目標是提取圖的期望特征。因此，圖的表示可以很容易地用于下游任務，如節點分類和鏈接預測，而無需顯式的嵌入過程。因此，圖學習是一種更強大、更有意義的圖分析技術。

在這篇綜述論文中，我們試圖以全面的方式檢驗圖機器學習方法。如圖1所示，我們關注現有以下四類方法:基于圖信號處理(GSP)的方法、基于矩陣分解的方法、基于隨機游走的方法和基于深度學習的方法。大致來說，GSP處理圖的采樣和恢復，并從數據中學習拓撲結構。矩陣分解可分為圖拉普拉斯矩陣分解和頂點接近矩陣分解。基于隨機游動的方法包括基于結構的隨機游動、基于結構和節點信息的隨機游動、異構網絡中的隨機游動和時變網絡中的隨機游動。基于深度學習的方法包括圖卷積網絡、圖注意力網絡、圖自編碼器、圖生成網絡和圖時空網絡。基本上，這些方法/技術的模型架構是不同的。本文對目前最先進的圖學習技術進行了廣泛的回顧。

傳統上，研究人員采用鄰接矩陣來表示一個圖，它只能捕捉相鄰兩個頂點之間的關系。然而，許多復雜和不規則的結構不能被這種簡單的表示捕獲。當我們分析大規模網絡時，傳統的方法在計算上是昂貴的，并且很難在現實應用中實現。因此，有效地表示這些網絡是解決[4]的首要問題。近年來提出的網絡表示學習(NRL)可以學習低維表示[7]-[9]的網絡頂點潛在特征。當新的表示被學習后，可以使用以前的機器學習方法來分析圖數據，并發現數據中隱藏的關系。

當復雜網絡被嵌入到一個潛在的、低維的空間中時，結構信息和頂點屬性可以被保留[4]。因此，網絡的頂點可以用低維向量表示。在以往的機器學習方法中，這些向量可以看作是輸入的特征。圖學習方法為新的表示空間中的圖分析鋪平了道路，許多圖分析任務，如鏈接預測、推薦和分類，都可以有效地解決[10]，[11]。網絡的圖形化表現方式揭示了社會生活的各個方面，如交流模式、社區結構和信息擴散[12]，[13]。根據頂點、邊和子圖的屬性，可以將圖學習任務分為基于頂點、基于邊和基于子圖三類。圖中頂點之間的關系可以用于分類、風險識別、聚類和社區檢測[14]。通過判斷圖中兩個頂點之間的邊的存在，我們可以進行推薦和知識推理。基于子圖[15]的分類，該圖可用于聚合物分類、三維可視化分類等。對于GSP，設計合適的圖形采樣方法以保持原始圖形的特征，從而有效地恢復原始圖形[16]具有重要意義。在存在不完整數據[17]的情況下，可以使用圖恢復方法構造原始圖。然后利用圖學習從圖數據中學習拓撲結構。綜上所述，利用圖學習可以解決傳統的圖分析方法[18]難以解決的以下挑戰。

關于圖信號處理、圖分析、圖機器學習比較全面的一本書，值得關注！

當前強大的計算機和龐大的數據集正在為計算數學創造新的機會，將圖論、機器學習和信號處理的概念和工具結合在一起，創建圖數據分析。

在離散數學中，圖僅僅是連接一些點(節點)和線的集合。這些圖表的強大之處在于，節點可以代表各種各樣的實體，比如社交網絡的用戶或金融市場數據，這些可以轉換成信號，然后使用數據分析工具進行分析。《圖數據分析》是對生成高級數據分析的全面介紹，它允許我們超越時間和空間的標準常規采樣，以促進建模在許多重要領域，包括通信網絡，計算機科學，語言學，社會科學，生物學，物理學，化學，交通，城市規劃，金融系統，個人健康和許多其他。

作者從現代數據分析的角度重新審視了圖拓撲，并著手建立圖網絡的分類。在此基礎上，作者展示了頻譜分析如何引導最具挑戰性的機器學習任務，如聚類，以直觀和物理上有意義的方式執行。作者詳細介紹了圖數據分析的獨特方面，例如它們在處理從不規則域獲取的數據方面的好處，它們通過局部信息處理微調統計學習過程的能力，圖上的隨機信號和圖移位的概念，從圖上觀察的數據學習圖拓撲，以及與深度神經網絡、多路張量網絡和大數據的融合。包括了大量的例子，使概念更加具體，并促進對基本原則的更好理解。

本書以對數據分析的基礎有良好把握的讀者為對象，闡述了圖論的基本原理和新興的數學技術，用于分析在圖環境中獲得的各種數據。圖表上的數據分析將是一個有用的朋友和伙伴，所有參與數據收集和分析，無論應用領域。

地址： //www.nowpublishers.com/article/Details/MAL-078-1

Graph Signal Processing Part I: Graphs, Graph Spectra, and Spectral Clustering

圖數據分析領域預示著，當我們處理數據類的信息處理時，模式將發生改變，這些數據類通常是在不規則但結構化的領域(社交網絡，各種特定的傳感器網絡)獲得的。然而，盡管歷史悠久，目前的方法大多關注于圖本身的優化，而不是直接推斷學習策略，如檢測、估計、統計和概率推理、從圖上獲取的信號和數據聚類和分離。為了填補這一空白，我們首先從數據分析的角度重新審視圖拓撲，并通過圖拓撲的線性代數形式(頂點、連接、指向性)建立圖網絡的分類。這作為圖的光譜分析的基礎，圖拉普拉斯矩陣和鄰接矩陣的特征值和特征向量被顯示出來，以傳達與圖拓撲和高階圖屬性相關的物理意義，如切割、步數、路徑和鄰域。通過一些精心選擇的例子，我們證明了圖的同構性使得基本屬性和描述符在數據分析過程中得以保留，即使是在圖頂點重新排序的情況下，在經典方法失敗的情況下也是如此。其次，為了說明對圖信號的估計策略，通過對圖的數學描述符的特征分析，以一般的方式介紹了圖的譜分析。最后，建立了基于圖譜表示(特征分析)的頂點聚類和圖分割框架，說明了圖在各種數據關聯任務中的作用。支持的例子展示了圖數據分析在建模結構和功能/語義推理中的前景。同時，第一部分是第二部分和第三部分的基礎，第二部分論述了對圖進行數據處理的理論、方法和應用，以及從數據中學習圖拓撲。

Graph Signal Processing Part II: Processing and Analyzing Signals on Graphs

本專題第一部分的重點是圖的基本性質、圖的拓撲和圖的譜表示。第二部分從這些概念著手，以解決圍繞圖上的數據/信號處理的算法和實際問題，也就是說，重點是對圖上的確定性和隨機數據的分析和估計。

Graph Signal Processing -- Part III: Machine Learning on Graphs, from Graph Topology to Applications

許多關于圖的現代數據分析應用都是在圖拓撲而不是先驗已知的領域上操作的，因此它的確定成為問題定義的一部分，而不是作為先驗知識來幫助問題解決。本部分探討了學習圖拓撲。隨著越來越多的圖神經網絡(GNN)和卷積圖網絡(GCN)的出現，我們也從圖信號濾波的角度綜述了GNN和卷積圖網絡的主要發展趨勢。接著討論了格結構圖的張量表示，并證明了張量(多維數據數組)是一類特殊的圖信號，圖的頂點位于高維規則格結構上。本部分以金融數據處理和地下交通網絡建模的兩個新興應用作為結論。

圖片

摘要

本文綜述了遷移學習在強化學習問題設置中的應用。RL已經成為序列決策問題的關鍵的解決方案。隨著RL在各個領域的快速發展。包括機器人技術和游戲，遷移學習是通過利用和遷移外部專業知識來促進學習過程來幫助RL的一項重要技術。在這篇綜述中，我們回顧了在RL領域中遷移學習的中心問題，提供了一個最先進技術的系統分類。我們分析他們的目標，方法，應用，以及在RL框架下這些遷移學習技術將是可接近的。本文從RL的角度探討了遷移學習與其他相關話題的關系，并探討了RL遷移學習的潛在挑戰和未來發展方向。

關鍵詞：遷移學習，強化學習，綜述，機器學習

介紹

強化學習(RL)被認為是解決連續決策任務的一種有效方法，在這種方法中，學習主體通過與環境相互作用，通過[1]來提高其性能。源于控制論并在計算機科學領域蓬勃發展的RL已被廣泛應用于學術界和工業界，以解決以前難以解決的任務。此外，隨著深度學習的快速發展，應用深度學習服務于學習任務的集成框架在近年來得到了廣泛的研究和發展。DL和RL的組合結構稱為深度強化學習[2](Deep Reinforcement Learning, DRL)。

DRL在機器人控制[3]、[4]、玩[5]游戲等領域取得了巨大的成功。在醫療保健系統[6]、電網[7]、智能交通系統[8]、[9]等領域也具有廣闊的應用前景。

在這些快速發展的同時，DRL也面臨著挑戰。在許多強化學習應用中，環境模型通常是未知的，只有收集到足夠的交互經驗，agent才能利用其對環境的知識來改進其性能。由于環境反饋的部分可觀察性、稀疏性或延遲性以及高維觀察和/或行動空間等問題，學習主體在沒有利用任何先驗知識的情況下尋找好的策略是非常耗時的。因此，遷移學習作為一種利用外部專業知識來加速學習過程的技術，在強化學習中成為一個重要的課題。

在監督學習(SL)領域[10]中，TL得到了廣泛的研究。與SL場景相比，由于MDP環境中涉及的組件更多，RL中的TL(尤其是DRL中的TL)通常更復雜。MDP的組件(知識來自何處)可能與知識轉移到何處不同。此外，專家知識也可以采取不同的形式，以不同的方式轉移，特別是在深度神經網絡的幫助下。隨著DRL的快速發展，以前總結用于RL的TL方法的努力沒有包括DRL的最新發展。注意到所有這些不同的角度和可能性，我們全面總結了在深度強化學習(TL in DRL)領域遷移學習的最新進展。我們將把它們分成不同的子主題，回顧每個主題的理論和應用，并找出它們之間的聯系。

本綜述的其余部分組織如下:在第2節中，我們介紹了強化學習的背景，關鍵的DRL算法，并帶來了這篇綜述中使用的重要術語。我們還簡要介紹了與TL不同但又緊密相關的相關研究領域(第2.3節)。

在第3節中，我們采用多種視角來評價TL方法，提供了對這些方法進行分類的不同方法(第3.1節)，討論了遷移源和目標之間的潛在差異(第3.2節)，并總結了評價TL有效性的常用指標(第3.3節)。

第4節詳細說明了DRL領域中最新的TL方法。特別是，所討論的內容主要是按照遷移知識的形式組織的，如成型的獎勵(4.1節)、先前的演示(4.2節)、專家策略(4.3節)，或者按照轉移發生的方式組織的，如任務間映射(4.4節)、學習可轉移表示(4.5節和4.6節)等。我們在第5節討論了TL在DRL中的應用，并在第6節提供了一些值得研究的未來展望。

回答大規模知識圖譜上的復雜邏輯查詢是一項基本而又具有挑戰性的任務。在本文中，我將概述如何使用向量空間嵌入在知識圖譜中執行邏輯推理。首先，我將討論預測一對實體之間關系的知識圖譜補全方法:通過捕獲與實體相鄰的關系類型來考慮每個實體的關系上下文，并通過一種新的基于邊的消息傳遞方案進行建模;考慮關系路徑捕獲兩個實體之間的所有路徑;通過一種可學習的注意力機制，自適應地整合關系上下文和關系路徑。其次，我們還將討論QUERY2BOX，這是一個基于嵌入的框架，用于推理使用and、or和存在操作符進行的大量且不完整的KGs中的任意查詢。

【導讀】新加坡國立大學的Xiang Wang、Tat-Seng Chua，以及來自中國科學技術大學的Xiangnan He在WSDM 2020會議上通過教程《Learning and Reasoning on Graph for Recommendation》介紹了基于圖學習和推理的推薦系統，涵蓋了基于隨機游走的推薦系統、基于網絡嵌入的推薦系統，基于圖神經網絡的推薦系統等內容。

Tutorial摘要：

推薦方法構建預測模型來估計用戶-項目交互的可能性。之前的模型在很大程度上遵循了一種通用的監督學習范式——將每個交互視為一個單獨的數據實例，并基于“信息孤島”進行預測。但是，這些方法忽略了數據實例之間的關系，這可能導致性能不佳，特別是在稀疏場景中。此外，建立在單獨數據實例上的模型很難展示推薦背后的原因，這使得推薦過程難以理解。

在本教程中，我們將從圖學習的角度重新討論推薦問題。用于推薦的公共數據源可以組織成圖，例如用戶-項目交互(二部圖)、社交網絡、項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來，為開發高階連接帶來了好處，這些連接為協作過濾、基于內容的過濾、社會影響建模和知識感知推理編碼有意義的模式。隨著最近圖形神經網絡(GNNs)的成功，基于圖形的模型顯示了成為下一代推薦系統技術的潛力。本教程對基于圖的推薦學習方法進行了回顧，重點介紹了GNNs的最新發展和先進的推薦知識。通過在教程中介紹這一新興而有前景的領域，我們希望觀眾能夠對空間有更深刻的理解和準確的洞察，激發更多的想法和討論，促進技術的發展。

Tutorial大綱：

簡介： 圖是表示知識的有效方法。它們可以在一個統一的結構中表示不同類型的知識。生物科學和金融等領域已經開始積累大量的知識圖，但是它們缺乏從中提取見解的機器學習工具。

David Mack概述了自己相關想法并調查了最流行的方法。在此過程中，他指出了積極研究的領域，并共享在線資源和參考書目以供進一步研究。

作者介紹： David Mack是Octavian.ai的創始人和機器學習工程師，致力于探索圖機器學習的新方法。在此之前，他與他人共同創立了SketchDeck，這是一家由Y Combinator支持的初創公司，提供設計即服務。他擁有牛津大學的數學碩士學位和計算機科學的基礎，并擁有劍橋大學的計算機科學學士學位。

內容介紹： 本次報告涵蓋內容：為什么將圖應用在機器學習上；圖機器學習的不同方法。現存的圖機器學習往往會忽略數據中的上下文信息，使用圖可以獲取更多的潛在信息。圖的構建方法為節點分類、邊的預測，圖的分類以及邊的分類。兩個主要方法是使用機器學習算法將圖轉換為table，另一種方法是將圖轉換為網絡。在報告中作者詳細介紹了這兩種方法。