題目
Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings,使用知識庫嵌入改進知識圖上的多跳問答
摘要
知識圖(KG)是由實體作為節點,實體之間的關系作為類型化邊組成的多關系圖。 KG問答(KGQA)任務的目的是回答對KG提出的自然語言查詢。 多跳KGQA要求在KG的多個邊緣進行推理,以得出正確的答案。 KG通常缺少許多鏈接,這給KGQA尤其是多跳KGQA帶來了額外的挑戰。 最近對多跳KGQA的研究已嘗試使用相關的外部文本來處理KG稀疏性,但這種方式并非一帆風順。 在另一項研究中,提出了KG嵌入方法,以通過執行丟失的鏈接預測來減少KG稀疏性。 此類KG嵌入方法盡管非常相關,但迄今為止尚未針對多跳KGQA進行探索。 我們在本文中填補了這一空白,并提出了EmbedKGQA。 EmbedKGQA在執行稀疏KG上的多跳KGQA方面特別有效(但是當知識圖譜不稀疏時,也應該能夠超過基線)。 EmbedKGQA還放寬了從預先指定的鄰域中選擇答案的要求,這是先前的多跳KGQA方法實施的次優約束。 通過在多個基準數據集上進行的廣泛實驗,我們證明了EmbedKGQA在其他最新基準上的有效性。
【導讀】知識圖譜是學術界和工業界近年來關注的焦點。2020年最近以來,KDD、ICML、ACL、IJCAI會議論文公布,專知小編整理了最新8篇關于知識圖譜的論文,來自Amazon、CMU、斯坦福 、Google等,請大家查看!
1、MultiImport: Inferring Node Importance in a Knowledge Graph from Multiple Input Signals(推斷知識圖譜節點重要性),KDD 2020
摘要:給定多個輸入信號,我們如何推斷知識圖譜(KG)中的節點重要性?節點重要性估計是一項非常重要和具有挑戰性的任務,它可以為許多應用帶來好處,包括推薦、搜索和查詢消歧。實現這一目標的一個關鍵挑戰是如何有效地利用來自不同來源的輸入。一方面,KG是一個豐富的信息源,具有多種類型的節點和邊。另一方面,有外部輸入信號,如投票或頁面瀏覽量,可以直接告訴我們實體在KG中的重要性。雖然已經開發了一些方法來解決這個問題,但它們對這些外部信號的使用受到了限制,因為它們沒有同時考慮多個信號的輸入。在本文中,我們提出了一個端到端的多輸入模型,它從多個可能重疊的輸入信號中推斷出潛在節點的重要性。MultiImport是一種潛在的變量模型,它捕捉節點重要性與輸入信號之間的關系,有效地從多個可能存在沖突的信號中學習。同時,MultiImport提供了一種基于注意力圖神經網絡的有效估計器。我們在真實的KGs上進行了實驗,表明MultiImport處理了多個涉及從多個輸入信號推斷節點重要性的挑戰,并且始終優于現有方法,實現了比最先進的方法高23.7%的NDCG@100。
論文地址:
2、Low-Dimensional Hyperbolic Knowledge Graph Embeddings(低維雙曲知識圖譜嵌入),ACL 2020
摘要: 知識圖譜(KG)嵌入通過學習實體和關系的低維表示,以預測缺失事實。KGs通常具有層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于分層數據,雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而,現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中,我們引入了一類雙曲KG嵌入模型,可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外,我們觀察到不同的幾何變換捕捉不同類型的關系,而基于注意的變換則推廣到多重關系。在高維情況下,我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。
論文地址:
3、Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding(正交關系轉換與圖上下文建模的知識圖譜嵌入),ACL 2020
摘要: 基于距離的知識圖譜嵌入已經在知識圖譜鏈接預測任務上有了實質性的改進,從TransE到目前最先進的RotatE。然而,諸如 N-to-1, 1-to-N和N-to-N的復雜關系仍然難以預測。在這項工作中,我們提出了一種新的基于距離的知識圖譜鏈接預測方法。首先,通過對模型關系的正交變換,將RotatE從二維復數域擴展到高維空間。關系的正交變換嵌入保持了對于對稱/反對稱關系、逆關系和復合關系的建模能力,同時具有更好的建模能力。其次,將圖形上下文直接集成到距離評分函數中。具體地說,圖上下文是通過兩個有向上下文表示來顯式建模的。嵌入到知識圖中的每個節點都增加了兩個上下文表示,這兩個上下文表示分別從相鄰的傳出節點/邊和傳入節點/邊計算得到。該方法提高了N-to-1, 1-to-N和N-to-N情況下的預測精度。實驗結果表明,該算法在兩個常用的基準測試FB15k237和WNRR-18上都取得了最好的結果,特別是在節點數較多的FB15k-237上。
論文地址:
4、SEEK: Segmented Embedding of Knowledge Graphs(知識圖譜可分割嵌入),ACL 2020
摘要:近年來,知識圖譜嵌入成為人工智能領域的研究熱點,在推薦、問答等各種下游應用中發揮著越來越重要的作用。然而,現有的知識圖譜嵌入方法沒有在模型復雜度和模型表現力之間取得適當的折衷,這使得它們仍然遠遠不能令人滿意。為了緩解這一問題,我們提出了一個輕量級的建模框架,它可以在不增加模型復雜度的情況下獲得具有高度競爭力的關系表達能力。我們的框架側重于評分函數的設計,并突出了兩個關鍵特征:1)促進充分的特征交互;2)保持關系的對稱性和反對稱性。值得注意的是,由于評分函數設計的通用性和美觀性,我們的框架可以將現有的許多著名的方法作為特例合并在一起。此外,在公共基準上的大量實驗證明了該框架的有效性。
論文地址:
5、Reasoning Like Human: Hierarchical Reinforcement Learning for Knowledge Graph Reasoning(層次強化學習知識圖譜推理),IJCAI 2020
摘要:知識圖譜通常存在不完備性。知識圖譜補全的一種流行方法是通過對連接兩個實體的其他路徑上發現的信息進行多跳推理來推斷丟失的知識。然而,多跳推理仍然具有挑戰性,因為推理過程通常經歷多個語義問題,即一個關系或一個實體具有多個含義。針對這種情況,我們提出了一種新的層次強化學習框架來自動地從知識圖譜中學習推理鏈。我們的框架是受層次結構的啟發,通過人類處理認知模糊的情況。整個推理過程分解為兩層強化學習策略,用于編碼歷史信息和學習結構化行動空間。因此,處理多重語義問題更加可行和自然。實驗結果表明,我們提出的模型在模糊關系任務方面取得了顯著的改進。
論文地址:
6、TransOMCS: From Linguistic Graphs to Commonsense Knowledge(從語言圖譜到常識圖譜),IJCAI 2020
摘要:常識的獲取是人工智能的關鍵問題。傳統的獲取常識的方法通常需要費力而昂貴的人工注釋,這在大規模上是不可行的。本文探討了一種實用的從語言圖中挖掘常識知識的方法,目的是將用語言模式獲得的廉價知識轉化為昂貴的常識知識。其結果是將大規模選擇偏好知識資源ASER [Zhang et al., 2020]轉換為與ConceptNet表示相同但比前者大兩個數量級的TransOMCS [Liu and Singh, 2004]。實驗結果表明,該方法在數量、新穎性和質量上都是有效的。TransOMCS可以通過以下網址公開訪問。
論文地址:
題目: KG-BERT: BERT for Knowledge Graph Completion
摘要: 知識圖譜是許多人工智能任務的重要資源,但往往是不完整的。在這項工作中,我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列,并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入,利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明,我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。
題目: Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings 在大規模的不完全知識圖譜(KGs)上回答復雜的邏輯查詢是一項基本而又具有挑戰性的任務。最近,解決這個問題的一個很有前景的方法是將KG實體和查詢嵌入到向量空間中,這樣回答查詢的實體就會被嵌入到查詢附近。然而,以前的工作將查詢建模為向量空間中的單點,這是有問題的,因為一個復雜的查詢表示一個可能很大的答案實體集合,但是不清楚如何將這樣的集合表示為單點。此外,以前的工作只能處理使用連詞和存在量詞的查詢。使用邏輯分隔處理查詢仍然是一個有待解決的問題。在這里,我們提出Query2box,這是一個基于嵌入的框架,用于在大量且不完整的KG中使用、和操作符對任意查詢進行推理。,其中框內的一組點對應于查詢的一組回答實體。我們證明了連詞可以自然地表示為盒子的交叉點,同時也證明了一個否定的結果,即處理拆分需要嵌入的維度與KG實體的數量成比例。但是,通過將查詢轉換為析取范式,Query2box能夠以一種可伸縮的方式處理帶有、的任意邏輯查詢。我們演示了query2box在兩個大型KGs上的有效性,并表明Query2box實現了比現有技術高25%的改進。
有關實體及其關系的真實世界事實的知識庫是各種自然語言處理任務的有用資源。然而,由于知識庫通常是不完整的,因此能夠執行知識庫補全或鏈接預測是很有用的。本文全面概述了用于知識庫完成的實體和關系的嵌入模型,總結了標準基準數據集上最新的實驗結果。