亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

知識圖譜以圖的方式承載著結構化的人類知識。作為將知識整合進入人工智能系統的媒介, 知識圖譜的研究日益流行。知識圖譜在眾多人工智能相關的應用上嶄露頭角, 例如問答系統、 信息檢索、 自然語言處理、 推薦系統等。然而, 傳統的深度學習不能很好地處理知識圖譜這類非歐式數據。隨著圖神經網絡的快速發展, 幾何深度學習成為建模非歐式數據的重要理論。 本文以幾何深度學習的視角, 以圖神經網絡為重點, 總結了近期基于圖神經網絡的知識圖譜關鍵技術研究進展。具體地, 本文總結了知識圖譜中知識獲取、 知識表示、 知識推理這三個較為核心的研究領域, 并展望了未來的研究方向和前景, 探討知識圖譜在航空航天軍事上的潛在應用。

//www.aeroweaponry.avic.com/CN/abstract/abstract10635.shtml

【導讀】知識圖譜一直是學術界和工業界關注的焦點。之前專知報道了AAAI2020相關接受論文。最近Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu等學者發表了關于知識圖譜的最新綜述論文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》，25頁pdf涵蓋107篇參考文獻，對知識圖譜進行了全面的綜述，涵蓋了知識圖譜表示學習、知識獲取與補全、時序知識圖譜、知識感知應用等方面的研究課題，并總結了最近的突破和未來的研究方向。我們提出對這些主題進行全視角分類和新的分類法。是關于知識圖譜最近非常重要的參考文獻。

摘要

人類知識提供了對世界的認知理解。表征實體間結構關系的知識圖譜已經成為認知和人類智能研究的一個日益流行的方向。在本次綜述論文中，我們對知識圖譜進行了全面的綜述，涵蓋了知識圖譜表示學習、知識獲取與補全、時序知識圖譜、知識感知應用等方面的研究課題，并總結了最近的突破和未來的研究方向。我們提出對這些主題進行全視角分類和新的分類法。知識圖譜嵌入從表示空間、得分函數、編碼模型和輔助信息四個方面進行組織。對知識獲取，特別是知識圖譜的補全、嵌入方法、路徑推理和邏輯規則推理進行了綜述。我們進一步探討了幾個新興的主題，包括元關系學習、常識推理和時序知識圖譜。為了方便未來對知識圖的研究，我們還提供了不同任務的數據集和開源庫的集合。最后，我們對幾個有前景的研究方向進行了深入的展望。

1. 引言

融合人類知識是人工智能的研究方向之一。知識表示與推理是受人類解決問題方式的啟發，為智能系統表示知識以獲得解決復雜任務的能力。近年來，知識圖譜作為結構化人類知識的一種形式，受到了學術界和產業界的廣泛關注。知識圖譜是事實的結構化表示，由實體、關系和語義描述組成。實體可以是現實世界的對象和抽象概念，關系表示實體之間的關聯，實體及其關系的語義描述包含定義良好的類型和屬性。屬性圖或性質圖被廣泛使用，其中節點和關系具有屬性或性質。

知識圖譜與知識庫是同義的，只是略有不同。當考慮知識圖譜的圖結構時，知識圖譜可以看作是一個圖。當它涉及到形式語義時，它可以作為解釋和推斷事實的知識庫。知識庫實例和知識圖譜如圖1所示。知識可以用事實的三元組形式來表達（頭實體，關系，尾實體）或者（主語，謂語，賓語）(head, relation,tail)或 (subject, predicate,object)

例如(Albert Einstein; WinnerOf; Nobel Prize). 它也可以表示為一個有向圖，其中節點是實體，邊是關系。為了簡化和順應研究領域的發展趨勢，本文將知識圖譜和知識庫這兩個術語互換使用。

圖1 知識庫和知識圖譜示例

近年來，基于知識圖譜的研究主要集中在知識表示學習(KRL)和知識圖譜嵌入(KGE)兩個方面。具體的知識獲取任務包括知識圖譜補全(KGC)、三元組分類、實體識別和關系提取。知識感知模型得益于異構信息、豐富的知識表示本體和語義以及多語言知識的集成。因此，許多現實世界的應用，如推薦系統和問題回答已經具備常識性的理解和推理能力。一些現實世界的產品，例如微軟的Satori和谷歌的Knowledge Graph，已經顯示出提供更高效服務的強大能力。

為了對現有的文獻進行全面的綜述，本文重點研究了知識表示，它為知識獲取和知識感知應用提供了更加上下文化、智能化和語義化的知識表示方法。我們的主要貢獻總結如下：

• 全面性綜述。我們對知識圖譜的起源和現代知識圖譜的關系學習技術進行了全面的綜述。介紹和比較了知識圖譜表示、學習和推理的主要神經網絡結構。此外，我們還提供了不同領域中許多應用的完整概述。

• 全視圖分類和新的分類法。對知識圖譜的研究進行了全面的分類，并提出了精細的分類方法。具體來說，在高層次上，我們從KRL、知識獲取和知識感知應用三個方面對知識圖譜進行了回顧。對于KRL方法，我們進一步將細粒度分類法分為四個視圖，包括表示空間、評分函數、編碼模型和輔助信息。在知識獲取方面，將知識獲取分為基于嵌入的排序、關系路徑推理、邏輯規則推理和元關系學習; 實體關系獲取任務分為實體識別、類型識別、消歧和對齊; 并根據神經范式對關系抽取進行了討論。

• 對新進展的廣泛綜述。知識圖譜經歷了快速的發展。本論文提供了廣泛的新興主題，包括基于transformer的知識編碼、基于圖神經網絡(GNN)的知識傳播、基于路徑推理的強化學習和元關系學習。

• 總結并展望未來的發展方向。這項綜述對每個類別進行了總結，并強調了有前途的未來研究方向。

該綜述的其余部分組織如下: 首先，知識圖譜的概述，包括歷史、符號、定義和分類，在第2節中給出; 然后，我們在第三節從四個范圍討論KRL; 接下來，我們將回顧第4節和第5節中知識獲取和時間知識圖譜的任務;下游應用介紹在第6節; 最后，討論了未來的研究方向，并得出結論。其他信息，包括KRL模型訓練和一組知識圖譜數據集以及開源實現，可以在附錄中找到。

2 概述

2.1 知識庫簡史

知識表示在邏輯和人工智能領域經歷了漫長的發展歷史。圖形化知識表示的思想最早可以追溯到1956年Richens[127]提出的語義網概念，而符號邏輯知識可以追溯到1959年的一般問題求解者[109]。知識庫首先用于基于知識的推理和問題解決系統。MYCIN[138]是最著名的基于規則的醫學診斷專家系統之一，知識庫約有600條規則。后來，人類知識表示的社區看到了基于框架的語言、基于規則的表示和混合表示的發展。大約在這個時期的末期，Cyc項目開始了，目的是收集人類的知識。資源描述框架(RDF)和Web本體語言(OWL)相繼發布，成為語義Web的重要標準。然后，許多開放知識庫或本體被發布，如WordNet、DBpedia、YAGO和Freebase。Stokman和Vries[140]在1988年的圖表中提出了結構知識的現代概念。然而，自2012年谷歌搜索引擎首次提出知識圖譜概念以來，知識圖譜得到了極大的普及，當時提出了知識庫[33]的知識融合框架來構建大規模的知識圖譜。附錄A說明了知識庫歷史的簡要路線圖。

圖2: 知識庫簡史

2.2 定義和符號

大多數現有工作都是通過描述一般的語義表示或基本特征來給出定義。然而，還沒有這樣被廣泛接受的正式定義。Paulheim[117]定義了知識圖譜的四個標準。Ehrlinger和Wo?[35]分析了現有的一些定義并提出定義1強調知識圖譜的推理引擎。Wang等[158]在定義2中提出了多關系圖的定義。根據之前的文獻，我們將知識圖譜定義為G={E,R,F}，其中E、R和F分別是實體、關系和事實的集合。一個事實記作一個三元組A triple (h,r,t)∈F。

定義1 (Ehrlinger和Wo?[35])。知識圖譜獲取信息并將其集成到本體中，應用推理引擎獲得新知識。

定義2 (Wang et al.[158])。知識圖譜是由實體和關系構成的多關系圖，實體和關系分別被視為節點和不同類型的邊。

表一 列出了具體的符號表示及其描述。附錄B解釋了幾種數學運算的細節。

2.3 知識圖研究的分類

本綜述對知識圖譜的研究，即KRL、知識獲取、下游知識感知應用等方面進行了全面的文獻綜述，整合了許多最新的先進深度學習技術。研究的總體分類如圖2所示。

圖2: 知識圖譜研究的分類

知識表示學習(Knowledge Representation Learning，KRL）是知識圖譜的一個重要研究課題，它為許多知識獲取任務和后續應用奠定了基礎。我們將KRL分為表示空間、評分函數、編碼模型和輔助信息四個方面，為開發KRL模型提供了清晰的工作流程。具體的內容包括:

• 關系和實體所表示的表示空間;
• 度量事實三元組似然性的評分函數
• 用于表示和學習關系交互的編碼模型;
• 嵌入方法所集成的輔助信息。

表示學習包括點向空間、流形、復向量空間、高斯分布和離散空間。評分指標一般分為基于距離的評分函數和基于相似度匹配的評分函數。目前的研究集中在編碼模型，包括線性/雙線性模型，因式分解和神經網絡。輔助信息包括文本信息、視覺信息和類型信息。

知識獲取任務分為三類:關系提取和實體發現。第一個用于擴展現有的知識圖譜，而其他兩個用于從文本中發現新知識(即關系和實體)。KGC分為以下幾類: 基于嵌入的排序、關系路徑推理、基于規則的推理和元關系學習。實體發現包括識別、消歧、類型化和對齊。關系提取模型利用了注意力機制、圖卷積網絡、對抗性訓練、強化學習、深度殘差學習和遷移學習。

時序知識圖譜包含了表示學習的時態信息。本研究將時間嵌入、實體動態、時序關系依賴、時序邏輯推理四個研究領域進行了分類。

知識感知應用包括自然語言理解(NLU)、問題回答、推薦系統和各種真實世界的任務，這些應用程序注入知識以改進表示學習。

2.4 相關綜述論文

以往關于知識圖譜的綜述論文主要集中在統計相關學習[112]、知識圖譜精細化[117]、中文知識圖譜構建[166]、KGE[158]或KRL[87]。后兩項綜述與我們的工作關系更大。Lin等[87]以線性的方式提出KRL，著重于定量分析。Wang等人[158]根據評分函數對KRL進行分類，并特別關注KRL中使用的信息類型。它僅從評分度量的角度提供了當前研究的一般視角。我們的綜述深入到KRL，并提供了一個完整的視圖，它來自四個方面，包括表示空間、評分函數、編碼模型和輔助信息。此外，本文還對知識獲取和知識感知應用進行了全面的綜述，討論了基于知識圖譜的推理和小樣本學習等幾個新興的主題。

3 知識表示學習

KRL在文獻中也被稱為KGE、多關系學習和統計關系學習。本節介紹在分布式表示學習豐富的語義信息的實體和關系形成4個范圍的最新進展，包括表示空間(表示實體和關系,3.1節), 得分函數(度量事實的合理性,3.2節),編碼模型(模型的語義交互事實,3.3節),和輔助信息(利用外部信息,3.4節)。我們還在第3.5節中提供了一個摘要。KRL模型的訓練策略在附錄D中進行了回顧。

3.1 表示空間

表示學習的關鍵是學習低維分布式嵌入的實體和關系。現有文獻主要使用實值點向空間(圖2(a))，包括向量空間、矩陣空間和張量空間，其他類型的空間如復向量空間(圖2(b))、高斯空間(圖2(c))、流形空間(圖2(d))也被利用。

圖3: 不同空間的知識表示示意圖

3.2 評分函數

評分函數用于度量事實的可信度，在基于能量的學習框架中也稱為能量函數。能量學習的目的是學習能量函數。基于能量的學習目標學習能量函數Eθ(x)參數化θ采取x作為輸入,以確保正樣本分數高于負樣本。本文采用評分函數的形式進行統一。評分函數有兩種典型類型，即基于距離的(圖3(a))和基于相似性的(圖3(b))函數，用于度量事實的合理性。基于距離的評分函數通過計算實體之間的距離來衡量事實的合理度，其中使用較多的是關系為h+r≈t的翻譯函數。基于語義相似度的評分方法是通過語義匹配來衡量事實的合理性，通常采用乘法公式，即h?Mr≈t?,轉換頭尾部附近的實體表示空間。

圖4: 以TransE[10]和DistMult[185]為例的基于距離和基于相似匹配的評分函數示意圖。

3.3 編碼模型

本節介紹通過特定的模型體系結構(包括線性/雙線性模型、因子分解模型和神經網絡)對實體和關系的交互進行編碼的模型。線性模型通過將頭部實體投射到接近尾部實體的表示空間中，將關系表示為線性/雙線性映射。因子分解的目的是將關系數據分解為低秩矩陣進行表示學習。神經網絡用非線性神經激活和更復雜的網絡結構來編碼關系數據。幾個神經模型如圖5所示。

圖5: 神經編碼模型示意圖。(a) MLP[33]和(b) CNN[110]將三元組數據輸入到稠密層和卷積運算中學習語義表示，(c) GCN[132]作為知識圖譜的編碼器，產生實體和關系嵌入。(d) RSN[50]對實體關系序列進行編碼，有區別地跳躍關系。

3.4 嵌入輔助信息

為了促進更有效的知識表示，多模態嵌入將諸如文本描述、類型約束、關系路徑和視覺信息等外部信息與知識圖譜本身結合起來。

3.5 總結

知識表示學習是知識圖譜研究領域的一個重要課題。本節回顧了KRL的四方面，其中最近的幾種方法總結在表II中，更多的方法在附錄c中。總的來說，開發一個新的KRL模型是為了回答以下四個問題:1)選擇哪個表示空間; 2)如何測量特定空間中三元組的合理度; 3)采用何種編碼模型對關系交互進行建模; 4)是否利用輔助信息。

最常用的表示空間是基于歐幾里德點的空間，它通過在向量空間中嵌入實體，并通過向量、矩陣或張量對相互作用進行建模。研究了復向量空間、高斯分布、流形空間和群等表示空間。流形空間相對于點向歐幾里德空間的優點是松弛點向嵌入。高斯嵌入能夠表達實體和關系的不確定性，以及多重關系語義。在復雜向量空間中嵌入可以有效地建模不同的關系連接模式，特別是對稱/反對稱模式。表示空間在實體語義信息的編碼和關系屬性的獲取中起著重要的作用。在建立表示學習模型時，應仔細選擇和設計合適的表示空間，以匹配編碼方法的性質，平衡表達性和計算復雜度。基于距離度量的評分函數采用了翻譯原則，而語義匹配評分函數采用了組合運算符。編碼模型，尤其是神經網絡，在實體和關系的交互建模中起著至關重要的作用。雙線性模型也引起了廣泛的關注，一些張量因子分解也可以看作是這一類。其他方法包括文本描述、關系/實體類型和實體圖像的輔助信息。

圖6 知識圖譜表示學習模型全面集合

4 知識獲取

知識獲取的目的是從非結構化文本中構造知識圖譜，補全已有的知識圖，發現和識別實體和關系。良好的構造和大規模的知識圖譜可以用于許多下游應用，并賦予知識感知模型常識推理的能力，從而為人工智能鋪平道路。知識獲取的主要任務包括關系提取、KGC和其他面向實體的獲取任務，如實體識別和實體對齊。大多數方法分別制定KGC和關系提取。然而，這兩個任務也可以集成到一個統一的框架中。Han等人[57]提出了一種知識圖譜與文本數據融合的聯合學習框架，實現了知識圖譜與文本的數據融合，解決了文本的KGC和關系提取問題。與知識獲取相關的任務還有三元組分類、關系分類等。在這一部分中，我們將對知識獲取技術的三個方面進行全面的回顧，即知識圖譜補全、實體發現技術和關系提取技術。

4.1 知識圖譜補全

基于知識圖譜不完備性的特點，提出了一種新的知識圖譜三元組生成方法。典型的子任務包括鏈路預測、實體預測和關系預測。這里給出了一個面向任務的定義。給定一個不完全知識圖譜 G = ( E , R , F ) , KGC 的目的推斷缺失的三元組 T = { ( h , r , t ) | ( h , r , t ) ? F } 。

對KGC的初步研究主要集中在學習低維嵌入進行三元組預測。在本次綜述中，我們將這些方法稱為基于嵌入的方法。然而，它們中的大多數都沒有捕捉到多步關系。因此，最近的工作轉向探索多步驟的關系路徑和合并邏輯規則，分別稱為關系路徑推理和基于規則的推理。三元組分類是KGC的一個相關任務，它評估了一個事實三元組分類的正確性，本節還將對此進行討論。

圖7: 基于嵌入的排序和關系路徑推理示意圖

4.2 實體的發現

本節將基于實體的知識獲取分為幾個細分的任務，即實體識別、實體消歧、實體類型和實體對齊。我們將它們稱為實體發現，因為它們都在不同的設置下探索實體相關的知識。

圖8: 實體發現任務的示意圖

4.3 關系提取

關系抽取是從純文本中抽取未知關系事實并將其加入到知識圖譜中，是自動構建大規模知識圖譜的關鍵。由于缺乏標記的關系數據，遠距離監督25使用啟發式匹配來創建訓練數據，假設包含相同實體提及的句子在關系數據庫的監督下可以表達相同的關系。Mintz等人[103]利用文本特征(包括詞匯和句法特征、命名實體標記和連接特征)對關系分類進行遠程監控。傳統的方法高度依賴于特征工程[103]，最近的一種方法探索了特征之間的內在相關性[123]。深度神經網絡正在改變知識圖譜和文本的表示學習。本節回顧了神經關系提取(NRE)方法的最新進展，概述如圖9所示。

圖9: 神經關系提取概述

4.4 總結

這一部分回顧了不完全知識圖譜的知識補全和純文本的知識獲取。

知識圖譜補全完成了現有實體之間缺失的鏈接，或者推斷出給定實體和關系查詢的實體。基于嵌入的KGC方法通常依賴于三元組表示學習來捕獲語義，并對完成的候選排序。基于嵌入的推理仍然停留在個體關系層面，由于忽略了知識圖譜的符號性，缺乏可解釋性，使得復雜推理能力較差。符號學與嵌入相結合的混合方法結合了基于規則的推理，克服了知識圖譜的稀疏性，提高了嵌入的質量，促使有效的規則注入，并引入了可解釋的規則。從知識圖譜的圖形性質出發，研究了路徑搜索和神經路徑表示學習，但它們在大規模圖上遍歷時存在連通性不足的問題。元關系學習的新方向是學習在低資源環境下對未知關系提取的快速適應使用。

實體發現從文本中獲取面向實體的知識，將知識融合到知識圖譜中。以序列對序列的方式探討實體識別，實體類標討論有噪聲的類型標簽和零樣本，實體消歧和對齊學習統一嵌入的迭代對齊模型，解決有限數量的對齊種子樣本問題。但是，如果新對齊的實體性能較差，則可能會面臨錯誤積累問題。近年來，針對語言的知識越來越多，跨語言知識對齊的研究應運而生。

關系抽取在距離監督的假設下存在噪聲模式，尤其是在不同領域的文本語料庫中。因此，弱監督關系提取對于減輕噪聲標記的影響是很重要的，例如，以句子包為輸入的多實例學習，軟選擇超過實例的注意機制[90]以減少噪聲模式，以及基于rl的方法將實例選擇描述為硬決策。另一個原則是學習盡可能豐富的表示。由于深度神經網絡可以解決傳統特征提取方法中的誤差傳播問題，因此該領域以基于dnn的模型為主，如表四所示。

表四: 神經關系提取與研究進展綜述

5 時序知識圖

當前的知識圖譜研究多集中在靜態知識圖上，事實不隨時間變化，而對知識圖譜的時間動態研究較少。然而，時間信息是非常重要的，因為結構化的知識只在一個特定的時期內存在，而事實的演變遵循一個時間序列。最近的研究開始將時間信息引入到KRL和KGC中，與之前的靜態知識圖相比，這被稱為時序知識圖。同時對時間嵌入和關系嵌入進行了研究。

6 知識圖譜嵌入應用

豐富的結構化知識對人工智能應用非常有用。但是如何將這些符號化知識集成到現實世界應用的計算框架中仍然是一個挑戰。本節介紹幾種最新的基于dnn的知識驅動方法，以及NLU、推薦和問題回答方面的應用。附錄E中介紹了其他應用，如數字健康和搜索引擎。

6.1自然語言理解

知識感知NLU將結構化的知識注入到統一的語義空間中，增強了語言表示。近年來，知識驅動的發展利用了顯性事實知識和隱性語言表示，并探索了許多NLU任務。Chen等人[22]提出了兩個知識圖譜上的雙圖隨機游動，即提出了一個基于槽的語義知識圖譜和一個基于詞的詞匯知識圖譜，以考慮口語理解中的槽間關系。Wang等[156]通過加權的詞-概念嵌入，將基于知識概念化的短文本表示學習加以擴充。Peng等[118]整合外部知識庫，構建用于社會短文本事件分類的異構信息圖。

語言建模是一項基本的NLP任務，它根據給定的順序預測前面的單詞。傳統的語言建模方法沒有利用文本語料庫中經常出現的實體來挖掘事實知識。如何將知識整合到語言表達中，越來越受到人們的關注。知識圖譜語言模型(Knowledge graph language model, KGLM)[96]學習通過選擇和復制實體來呈現知識。ERNIE-Tsinghua[205]通過聚合的預訓練和隨機掩蔽來融合信息實體。BERT-MK[62]對圖上下文知識進行編碼，主要關注醫學語料庫。ERNIE- baidu[142]引入了命名實體掩蔽和短語掩蔽來將知識整合到語言模型中，ERNIE 2.0[143]通過持續的多任務學習對其進行了進一步的改進。Petroni等[119]對語言模型的大規模訓練和知識圖譜的查詢進行了反思，對語言模型和知識庫進行了分析，發現通過預訓練語言模型可以獲得一定的事實知識。

6.2 問答

基于知識圖譜的問答(KG-QA)利用知識圖譜中的事實回答自然語言問題。基于神經網絡的方法在分布式語義空間中表示問題和答案，也有一些方法對常識推理進行符號知識注入。

6.3 推薦系統

基于用戶歷史信息的協同過濾是推薦系統研究的熱點。然而，它往往不能解決稀疏性問題和冷啟動問題。將知識圖譜作為外部信息進行集成，使推薦系統具有常識性推理能力。

通過注入基于知識圖譜的邊側信息(如實體、關系和屬性)，許多人致力于基于嵌入的正則化以改進推薦。協同CKE[195]通過翻譯KGE模型和堆疊的自動編碼器聯合訓練KGEs、物品的文本信息和視覺內容。DKN[154]注意到時間敏感和主題敏感的新聞文章是由壓縮的實體和常識組成的，它通過一個知識感知CNN模型將知識圖譜與多通道的單詞實體對齊的文本輸入合并在一起。然而，DKN不能以端到端方式進行訓練，因為實體嵌入需要提前學習。為了實現端到端訓練，MKR[155]通過共享潛在特征和建模高階項-實體交互，將多任務知識圖譜表示和推薦關聯起來。其他文獻考慮知識圖譜的關系路徑和結構，而KPRN[160]將用戶與項目之間的交互視為知識圖譜中的實體-關系路徑，并利用LSTM對該路徑進行偏好推理，獲取順序依賴關系。PGPR[170]在基于知識圖譜的用戶-物品交互的基礎上，實現了增強策略引導的路徑推理。KGAT[159]將圖注意網絡應用于實體-關系和用戶-物品圖的協作知識圖譜上，通過嵌入傳播和基于注意的聚合對高階連通性進行編碼。

7 未來的發展方向

為了解決知識表示及其相關應用的挑戰，人們做了很多努力。但仍存在一些難以解決的問題和有希望的未來方向。

7.1 復雜推理

知識表示和推理的數值計算需要一個連續的向量空間來捕獲實體和關系的語義。雖然基于嵌入的方法對于復雜的邏輯推理有一定的局限性，但關系路徑和符號邏輯的兩個方向值得進一步探討。遞歸關系路徑編碼、基于GNN的消息傳遞知識圖譜、基于強化學習的路徑查找和推理等方法是處理復雜推理的有效方法。對于邏輯規則和嵌入的組合，最近的著作[124,202]將馬爾科夫邏輯網絡與KGE結合起來，旨在利用邏輯規則并處理它們的不確定性。利用有效的嵌入技術實現不確定性和領域知識的概率推理是一個值得關注的研究方向。

7.2 統一框架

已有多個知識圖譜表示學習模型被證明是等價的，如Hayshi和Shimbo[61]證明了在一定約束條件下，HOIE和ComplEx在鏈接預測的數學上是等價的。ANALOGY [91]提供了幾種代表性模型的統一視圖，包括DistMult、ComplEx和HolE。Wang等人[162]探索了幾種雙線性模型之間的聯系。Chandrahas等[133]探討了加法和乘法KRL模型的幾何理解。大部分工作分別采用不同的模型對知識獲取KGC和關系提取進行了闡述。Han等人[57]將兩者放在同一框架下，提出了一種相互關注的知識圖譜與文本信息共享的聯合學習框架。對知識表示和推理的統一理解研究較少。然而，以類似于圖網絡[5]的統一框架的方式進行統一的研究，將是值得填補研究空白的。

7.3 可解釋性

知識表示和注入的可解釋性是知識獲取和實際應用的關鍵問題。已經為可解釋性作了初步的努力。ITransF[175]使用稀疏向量進行知識遷移，并用注意力可視化進行解釋。CrossE[200]通過使用基于嵌入的路徑搜索來生成鏈接預測的解釋，探索了知識圖譜的解釋方案。然而，最近的神經模型在透明性和可解釋性方面存在局限性，盡管它們取得了令人印象深刻的性能。一些方法結合了黑盒神經模型和符號推理，通過合并邏輯規則來提高互操作性。可解釋性可以說服人們相信預測。因此，進一步的工作應該是提高預測知識的可解釋性和可靠性。

7.4 可擴展性

可擴展性是大規模知識圖譜的關鍵。在計算效率和模型表達性之間存在一種權衡。幾種嵌入方法都是利用簡化來降低計算成本，如利用循環相關運算來簡化張量積[113]。然而，這些方法仍然難以擴展到數百萬個實體和關系。

使用馬爾可夫邏輯網絡等概率邏輯推理需要大量的計算，因此很難擴展到大規模的知識圖譜。最近的一個神經邏輯模型[124]中的規則是通過簡單的窮舉搜索生成的，這使得它在大規模的知識圖譜上顯得不足。ExpressGNN[202]試圖使用NeuralLP[186]進行有效的規則歸納。但是，要處理復雜的深層架構和不斷增長的知識圖譜，還有很長的路要走。

7.5 知識聚合

全局知識的聚合是知識感知應用的核心。例如，推薦系統使用知識圖譜對用戶-物品交互進行建模，聯合對文本進行分類，將文本和知識圖譜編碼到語義空間中。現有的知識聚合方法大多設計了注意機制和GNNs等神經網絡結構。自然語言處理社區已經從大規模的通過Transformer和BERT模型等變體的訓練中得到了發展，而最近的一項發現[119]表明，在非結構化文本上的訓練預訓練語言模型實際上可以獲得一定的事實知識。大規模的訓練是一種直接的知識注入方式。然而，以一種有效的、可解釋的方式重新思考知識聚合的方式也具有重要的意義。

7.6 自動構建和動態知識圖譜

當前的知識圖譜高度依賴于手工構建，這是一種勞動密集型和昂貴的工作。知識圖譜在不同認知智能領域的廣泛應用，要求從大規模非結構化內容中自動構建知識圖譜。目前的研究主要集中在已有知識圖譜監督下的半自動構建方面。面對多模態性、異構性和大規模的應用，自動構建仍然面臨著巨大的挑戰。

主流的研究主要集中在靜態知識圖譜上，在預測時間范圍有效性和學習時間信息和實體動態方面也有一些工作。許多事實只在特定的時期內有效。考慮到知識圖鋪的時間特性，動態知識圖譜可以解決傳統知識表示和推理的局限性。

8 結論

知識圖譜作為人類知識的集合，隨著知識表示學習、知識獲取方法的出現和知識感知應用的廣泛，知識圖譜的研究越來越受到重視。本文從四個方面進行了全面的綜述: 1)知識圖譜嵌入，從嵌入空間、評分指標、編碼模型、外部信息嵌入、訓練策略等方面進行了全方位的系統綜述; 2)從嵌入學習、關系路徑推理、邏輯規則推理三個角度對實體發現、關系提取、圖補全的知識獲取;時序知識圖表示學習與完成；4) 在自然語言理解，推薦系統，問題回答和其他雜項應用上的真實世界的知識感知應用。此外，還介紹了數據集和開源庫的一些有用資源，并對未來的研究方向進行了討論。知識圖譜承載著一個龐大的研究社區，并具有廣泛的方法和應用。我們進行這項綜述是為了總結當前有代表性的研究工作和趨勢，并期望它能促進未來的研究。

【導讀】知識圖譜一直是學術界和工業界關注的熱點。隨著AAAI2020的到來，專知小編整理了最新10篇關于知識圖譜的論文，來自清華大學、中科大、北航、中山大學、UCL、Facebook、騰訊、阿里巴巴等，包含義原知識圖譜、知識遷移、知識圖譜層次表示、常識知識圖譜補全。

1、Towards Building a Multilingual Sememe Knowledge Base: Predicting Sememes for BabelNet Synsets（建立多語言義原知識庫:預測BabelNet Synsets的義原）

AAAI2020 oral ，清華大學

作者：Fanchao Qi, Liang Chang, Maosong Sun, Sicong Ouyang, Zhiyuan Liu

摘要：義原是人類語言中最小的語義單位。義原知識庫(KBs)包含了由義原標注的詞，已成功地應用于許多自然語言處理任務中。然而，現有的義原KBs僅建立在少數幾種語言上，這阻礙了它們的廣泛應用。為了解決這個問題，我們提出基于BabelNet(一種多語言百科詞典)為多種語言構建統一的義原知識庫。我們首先構建一個作為多語言義原知識庫種子的數據集。它為超過15000個synset (BabelNet的條目)手工注釋義位。然后，我們提出了一種新的自動預測synsets義位的任務，目的是將種子數據集擴展成一個可用的知識庫。我們還提出了兩個簡單有效的模型，利用了不同的synsets信息。最后，我們進行了定量和定性分析，以探索任務中的重要因素和困難。所有的源代碼和數據，這項工作可以獲得 //github.com/thunlp/BabelNet-Sememe-Prediction

論文地址：

2、Knowledge Graph Transfer Network for Few-Shot Recognition（知識圖譜遷移網絡小樣本識別）

AAAI2020 oral ，中山大學，暗物質

作者：Riquan Chen, Tianshui Chen, Xiaolu Hui, Hefeng Wu, Guanbin Li, Liang Lin

摘要：小樣本學習的目標是在給定一些基類有充足訓練樣本的情況下，從非常少的樣本中學習新的類別。這個任務的主要挑戰是新類很容易由顏色、質地、形狀的物體或背景上下文(即特異性),這特別是對于訓練樣本少且不常見的相應的類別非常突出(見圖1)。幸運的是,我們發現遷移信息的相關類別可以幫助學習新概念,從而避免新概念主導的特異性。此外，結合不同類別之間的語義關聯可以有效地規范這種信息傳遞。在本文中，我們將語義關聯以結構化的知識圖譜的形式表示出來，并將此圖集成到深度神經網絡中，通過一種新的知識圖譜傳輸網絡(KGTN)來促進小樣本學習。具體地，通過使用對應類別的分類器權值初始化每個節點，學習一種傳播機制，通過圖來自適應地傳播節點消息，探索節點間的交互，將基類的分類器信息傳遞給新類別的分類器信息。在ImageNet數據集上的大量實驗表明，與當前領先的對比方法相比，性能有了顯著的改進。此外，我們還構建了一個覆蓋更大范圍類別的ImageNet-6K數據集。在這個數據集上的實驗進一步證明了我們提出的模型的有效性。

論文地址：

3、Reasoning on Knowledge Graphs with Debate Dynamics（基于辯論動力學的知識圖譜推理）

AAAI2020 ，Siemens Corporate Technology

作者：Marcel Hildebrandt, Jorge Andres Quintero Serna, Yunpu Ma, Martin Ringsquandl, Mitchell Joblin, Volker Tresp

摘要： 我們提出了一種基于辯論動力學的知識圖譜自動推理方法。其主要思想是將三元組分類任務框定為兩個抽取論點(知識圖譜中的路徑)的強化學習代理之間的辯論游戲，目標分別是促進事實為真(正題)或事實為假(反題)。基于這些論據，一個叫做“法官”的二元分類器決定事實是對還是錯。這兩個代理可以被看作是稀疏的、對抗性的特征生成器，它們為正題或反題提供了可解釋的證據。與其他黑盒方法相比，這些參數允許用戶了解法官的決定。由于這項工作的重點是創建一個可解釋的方法，以保持一個有競爭力的預測精度，我們基準的三重分類和鏈接預測任務我們的方法。因此，我們發現我們的方法優于基準數據集FB15k-237、WN18RR和Hetionet上的幾個基線。我們也進行了一個調查，發現提取的參數對用戶是有益的。

論文地址：

4、Differentiable Reasoning on Large Knowledge Bases and Natural Language（大規模知識庫與自然語言上的可微分推理）

AAAI2020 ，UCL Centre for Artificial Intelligence, University College London，Facebook AI Research

作者：Pasquale Minervini, Matko Bo?njak, Tim Rockt?schel, Sebastian Riedel, Edward Grefenstette

摘要：用自然語言和知識庫(KBs)表達的知識進行推理是人工智能面臨的主要挑戰，在機器閱讀、對話和問題回答等方面都有應用。聯合學習文本表示和轉換的一些神經體系結構非常缺乏數據效率，很難分析它們的推理過程。這些問題由端到端的可微推理系統(如神經定理證明程序(NTPs))來解決，盡管它們只能用于小型符號KBs。在本文中，我們首先提出貪心NTPs (GNTPs)，這是NTPs的擴展，解決了它們的復雜性和可伸縮性限制，從而使它們適用于真實世界的數據集。該結果是通過動態構建NTPs的計算圖來實現的，并且只包含推理過程中最有希望的證明路徑，從而獲得更有效的模型。然后，我們提出了一種新的方法，通過在一個共享的嵌入空間中嵌入邏輯事實和自然語言句子來聯合推理KBs和篇章提及。我們發現，GNTPs的性能與NTPs相當，但成本僅為NTPs的一小部分，同時在大型數據集上獲得了具有競爭力的鏈接預測結果，為預測提供了解釋，并引入了可解釋的模型。源代碼，數據集，和補充材料可在網上

論文地址：

5、Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering（通過知識庫問題回答來改進知識感知對話的生成）

AAAI2020 ，華南理工，騰訊

作者：Jian Wang, Junhao Liu, Wei Bi, Xiaojiang Liu, Kejing He, Ruifeng Xu, Min Yang

摘要：神經網絡模型常常面臨將常識引入開放域對話系統的挑戰。本文提出了一種新的知識感知對話生成模型(TransDG)，該模型將基于知識庫問答(KBQA)任務的問題表示和知識匹配能力進行轉換，以促進話語理解和對話生成的事實知識選擇。此外，我們提出了一種響應引導注意和多步驟解碼策略，以指導我們的模型將重點放在用于響應生成的相關特征上。在兩個基準數據集上的實驗表明，該模型在生成信息豐富、流暢的對話方面具有較強的優越性。我們的代碼在 .

論文地址：

6、Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction（用于鏈接預測的學習層次感知知識圖嵌入）

AAAI2020 ，中科大

作者：Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, Jie Wang

摘要：知識圖譜嵌入的目的是將實體和關系表示為低維向量(或矩陣、張量等)，已經被證明是一種預測知識圖譜中缺失鏈接的強大技術。現有的知識圖譜嵌入模型主要側重于對稱/反對稱、反轉、復合等關系模式的建模。然而，許多現有的方法無法對語義層次結構建模，而這在實際應用程序中是很常見的。為了解決這一問題，我們提出了一種新的知識圖譜嵌入模型——層次感知知識圖譜嵌入(HAKE)，它將實體映射到極坐標系統中。HAKE的靈感來自于這樣一個事實，即在極坐標系統中的同心圓可以自然地反映層次結構。具體來說，徑向坐標的目標是在層次結構的不同層次上對實體進行建模，半徑較小的實體被期望在更高的層次上;角坐標的目的是區分層次結構中同一層次上的實體，這些實體的半徑大致相同，但角度不同。實驗表明，HAKE可以有效地對知識圖譜中的語義層次進行建模，并在鏈接預測任務的基準數據集上顯著優于現有的最先進的方法。

.

論文地址：

7、Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation（用具有門控多跳鄰居聚合的知識圖譜對齊網絡）

AAAI2020 ，南京大學，阿里巴巴

作者：Zequn Sun, Chengming Wang, Wei Hu, Muhao Chen, Jian Dai, Wei Zhang, Yuzhong Qu

摘要：圖神經網絡由于具有識別同構子圖的能力，已經成為一種強大的基于嵌入的實體對齊范式。然而，在實知識圖(KGs)中，對應實體通常具有非同構的鄰域結構，這很容易導致gnn產生不同的表示。為了解決這一問題，我們提出了一種新的KG對齊網絡，即AliNet，旨在以端到端方式緩解鄰域結構的非同構性。由于模式異構性，對等實體的直接鄰居通常是不相似的，AliNet引入了遠程鄰居來擴展它們的鄰居結構之間的重疊。它采用了一種注意機制，以突出有益的遙遠的鄰居和減少噪音。然后，利用門控機制控制直接和遠處鄰居信息的聚合。我們進一步提出了一個關系損失來細化實體表示。我們進行了深入的實驗，詳細的燒蝕研究和分析的五個實體對齊數據集，證明了AliNet的有效性。

.

論文地址：

8、Rule-Guided Compositional Representation Learning on Knowledge Graphs（規則指導的知識圖譜組合式表示學習）

AAAI2020 ，北航

作者：Guanglin Niu, Yongfei Zhang, Bo Li, Peng Cui, Si Liu, Jingyang Li, Xiaowei Zhang

摘要：知識圖譜的表示學習是將知識圖中的實體和關系嵌入到低維連續向量空間中。早期的KG嵌入方法只關注三元組編碼的結構化信息，由于KGs的結構稀疏性，導致其性能有限。最近的一些嘗試考慮路徑信息來擴展KGs的結構，但在獲取路徑表示的過程中缺乏可解釋性。本文提出了一種新的基于規則和路徑的聯合嵌入(RPJE)方案，該方案充分利用了邏輯規則的可解釋性和準確性、KG嵌入的泛化性以及路徑的補充語義結構。具體來說，首先從KG中挖掘出不同長度(規則體中的關系數)的Horn子句形式的邏輯規則，并對其進行編碼，用于表示學習。然后，利用長度2的規則來精確地組合路徑，而使用長度1的規則來明確地創建關系之間的語義關聯和約束關系嵌入。優化時還考慮了規則的置信度，保證了規則在表示學習中的可用性。大量的實驗結果表明，RPJE在KG完成任務上的表現優于其他最先進的基線，這也證明了利用邏輯規則和路徑來提高表示學習的準確性和可解釋性的優越性。

.

論文地址：

9、InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions（規InteractE:通過增加特征交互來改進基于卷積的知識圖譜嵌入）

AAAI2020 ，Indian Institute of Science, Columbia University

作者：Shikhar Vashishth, Soumya Sanyal, Vikram Nitin, Nilesh Agrawal, Partha Talukdar

摘要：現有的知識圖譜大多存在不完備性，可以通過基于已知事實推斷缺失的鏈接來緩解不完備性。一種流行的方法是生成實體和關系的低維嵌入，并使用它們進行推論。ConvE是最近提出的一種方法，它將卷積濾波器應用于實體和關系嵌入的二維重塑，以捕獲其組件之間豐富的交互。然而，ConvE能夠捕獲的交互的數量是有限的。在這篇論文中，我們分析了增加這些相互作用的數量如何影響鏈路預測性能，并利用我們的觀測結果提出了相互作用。InteractE基于三個關鍵思想:特征置換、新穎的特征重塑和循環卷積。通過大量的實驗，我們發現InteractE在FB15k-237上的性能優于最先進的卷積鏈路預測基線。此外，InteractE在FB15k-237、WN18RR和YAGO3-10數據集上的MRR評分分別比ConvE高9%、7.5%和23%。結果驗證了我們的中心假設——增加特征交互有助于鏈接預測性能。我們提供InteractE的源代碼，以鼓勵可重復的研究。 InteractE.

.

論文地址：

10、Commonsense Knowledge Base Completion with Structural and Semantic Context（具有結構和語義上下文的常識知識庫的完成）

AAAI2020 ，Allen Institute for Artificial Intelligence 華盛頓大學

作者：Chaitanya Malaviya, Chandra Bhagavatula, Antoine Bosselut, Yejin Choi

摘要：與經過大量研究的傳統知識庫(如Freebase)相比，對常識知識圖譜(如原子圖和概念圖)的自動知識庫補全帶來了獨特的挑戰。常識知識圖譜使用自由格式的文本來表示節點，這使得節點的數量比傳統KBs多了幾個數量級(ATOMIC比Freebase多18倍(FB15K-237))。重要的是，這意味著圖數據結構將顯著稀疏化——這是現有KB補全方法面臨的主要挑戰，因為這些方法在相對較小的節點集上采用密集連接的圖數據。在本文中，我們提出了新的知識庫完成模型，該模型可以通過利用節點的結構和語義上下文來解決這些挑戰。具體來說，我們研究了兩個關鍵的思想: (1) 從局部圖結構學習，使用圖卷積網絡和自動圖加密，(2) 從預先訓練的語言模型學習到知識圖譜，以增強知識的上下文表示。我們描述了將來自這兩個來源的信息合并到一個聯合模型中的方法，并提供了原子知識庫完成和使用ConceptNet上的排名指標進行評估的第一個經驗結果。我們的結果證明了語言模型表示在提高鏈接預測性能方面的有效性，以及在訓練子圖以提高計算效率時從局部圖結構(對ConceptNet的MRR +1.5分)學習的優勢。對模型預測的進一步分析揭示了語言模型能夠很好地捕捉到的常識類型。

.

論文地址：

主題： Ceres: Harvesting Knowledge from Semi-Structured web pages

摘要： 在本次主題演講中，Xin Luna Dong講述了知識圖譜的類型，講述了為什么需要半結構網頁，以及如何從半結構化網頁獲取知識。

嘉賓介紹： Xin Luna Dong，自2016年7月起擔任亞馬遜首席科學家，領導亞馬遜產品知識圖的構建工作，管理科學家團隊開展知識管理、數據清洗與集成、信息提取、圖形挖掘與嵌入、基于知識的搜索與推薦等方面的研究。

講座題目

大時間序列預測的理論與實踐：Forecasting Big Time Series: Theory and Practice

講座簡介

時間序列預測是業務流程自動化和優化的一個關鍵組成部分：在零售業，根據對不同地區未來需求的預測來決定要訂購哪些產品以及在哪里存儲這些產品；在云計算中，服務和基礎設施組件的估計未來使用量指導容量規劃；倉庫和工廠的勞動力調度需要對未來的工作量進行預測。近年來，預測技術和應用的范式發生了變化，從基于計算機輔助的模型和假設到數據驅動和全自動化。這種轉變可以歸因于大量、豐富和多樣的時間序列數據源的可用性，并導致一系列需要解決的挑戰，例如：我們如何建立統計模型，以便有效地學習從大量和多樣的數據源進行預測？在觀測有限的情況下，我們如何利用“相似”時間序列的統計能力來改進預測？對于構建能夠處理大量數據的預測系統有什么意義？ 本教程的目標是提供解決大規模預測問題的最重要方法和工具的簡明直觀概述。我們回顧了三個相關領域的研究現狀：（1）時間序列的經典建模，（2）包括張量分析和深度學習的現代預測方法。此外，我們還討論了建立大規模預測系統的實際方面，包括數據集成、特征生成、回溯測試框架、誤差跟蹤和分析等。

講座嘉賓

Christos Faloutsos 現任職務于卡內基梅隆大學 (Carnegie Mellon University)電子和計算機工程教授，研究領域：圖和流的數據挖掘，分形、自相似與冪律，視頻、生物和醫學數據庫的索引和數據挖掘，數據庫性能評估（數據放置、工作負載特征）。

主題： Storytelling from Structured Data and Knowledge Graphs : An NLG Perspective

摘要： 在本教程中，我們討論將結構化數據（如表格形式的數據）和知識庫（如知識圖譜）翻譯成自然語言論述的基礎、方法和系統開發方面。本教程涵蓋自然語言生成（NLG）的挑戰和方法，主要關注（結構化）數據到文本的范式。我們的與會者將能夠了解以下內容：（1）關于如何應用現代自然語言處理和自然語言處理技術來描述和總結非語言性質或具有某種結構的文本數據的基本觀點和趨勢，以及（2）一些有趣的開放式問題，這將為今后的研究做出重大貢獻。我們將概述各種方法，從數據表示技術到適用于數據的領域解決方案，再到文本問題設置。從傳統的基于規則/啟發式驅動、現代的數據驅動和超現代的深層神經風格體系結構出發，討論了各種解決方案，并簡要討論了評價和質量評估。 由于大規模的領域獨立標記（并行）數據很少用于數據到文本的問題，本教程的很大一部分將致力于無監督、可伸縮和領域適應性的方法。

邀請嘉賓：

Abhijit Mishra，目前是印度班加羅爾IBM Research的一員，擔任人工智能技術系的研究科學家。在加入IBM Research之前，他是孟買IIT計算機科學與工程系（CSE）的博士學者，在Pushpak Bhattacharyya教授的指導下工作。

Anirban Laha，他目前是亞倫·庫爾維爾教授建議的蒙特勒大學（MILA）一年級博士生。他的興趣在于機器學習/深度學習在自然語言處理中的應用。此前，他在IBM Research的自然語言生成（NLG）項目中工作了三年，并在頂級會議和期刊上發表過論文，如NeurIPS、ACL、NAACL-HLT和計算語言學。在IBM，他還為IBM項目辯論會做出了貢獻，該會最近在全球范圍內獲得了廣泛的新聞報道，因為一場現場機器與人類的辯論（更多新聞）。在加入IBM之前，他曾在微軟必應廣告公司（2013-2015）擔任應用科學家，在亞馬遜網站（2010-2011）擔任SDE。

報告主題： On The Role of Knowledge Graphs in Explainable AI

嘉賓介紹： Freddy Lecue博士是加拿大蒙特利爾泰勒斯人工智能技術研究中心的首席人工智能科學家。他也是法國索菲亞安提波利斯溫姆斯的INRIA研究所的研究員。在加入泰雷茲新成立的人工智能研發實驗室之前，他曾于2016年至2018年在埃森哲愛爾蘭實驗室擔任人工智能研發主管。在加入埃森哲之前，他是一名研究科學家，2011年至2016年在IBM research擔任大規模推理系統的首席研究員，2008年至2011年在曼徹斯特大學(University of Manchester)擔任研究員，2005年至2008年在Orange Labs擔任研究工程師。

報告目錄：

• 人工智能中的解釋
  • 動機
  • 定義
  • 評估（以及人類在可解釋性人工智能中的角色）
  • 人類作用
  • 不同AI領域的解釋性
• 知識圖譜在可解釋性機器學習中的角色和作用
• 利用知識圖譜在機器學習中的可解釋性人工智能工業應用
• 結論

awesome-taxonomy