回答大規模知識圖譜上的復雜邏輯查詢是一項基本而又具有挑戰性的任務。在本文中,我將概述如何使用向量空間嵌入在知識圖譜中執行邏輯推理。首先,我將討論預測一對實體之間關系的知識圖譜補全方法:通過捕獲與實體相鄰的關系類型來考慮每個實體的關系上下文,并通過一種新的基于邊的消息傳遞方案進行建模;考慮關系路徑捕獲兩個實體之間的所有路徑;通過一種可學習的注意力機制,自適應地整合關系上下文和關系路徑。其次,我們還將討論QUERY2BOX,這是一個基于嵌入的框架,用于推理使用and、or和存在操作符進行的大量且不完整的KGs中的任意查詢。
主題: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入學習實體和關系的低維表示,以預測缺失的內容。 KG通常表現出必須保留在嵌入空間中的分層和邏輯模式。對于分層數據,雙曲線嵌入方法已顯示出對高保真和簡約表示的希望。但是,現有的雙曲線嵌入方法無法解決KG中的豐富邏輯模式。在這項工作中,我們介紹了一類雙曲KG嵌入模型,該模型同時捕獲層次結構和邏輯模式。我們的方法將雙曲線反射和旋轉結合在一起,以注意對復雜的關系模式進行建模。在標準KG基準上的實驗結果表明,我們的方法在較低維度上的平均倒數排名(MRR)比以前的基于歐幾里德和雙曲線的方法提高了6.1%。此外,我們觀察到,不同的幾何變換捕獲不同類型的關系,而基于注意力的變換則泛化為多個關系。在高維度上,我們的方法在WN18RR上產生了49.6%的最新技術水平,在YAGO3-10上產生了57.7%的最新技術水平。
題目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入通過學習實體和關系的低維表示,以預測缺失事實。KGs通常具有層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于分層數據,雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而,現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中,我們引入了一類雙曲KG嵌入模型,可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外,我們觀察到不同的幾何變換捕捉不同類型的關系,而基于注意的變換則推廣到多重關系。在高維情況下,我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。
題目: Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings 在大規模的不完全知識圖譜(KGs)上回答復雜的邏輯查詢是一項基本而又具有挑戰性的任務。最近,解決這個問題的一個很有前景的方法是將KG實體和查詢嵌入到向量空間中,這樣回答查詢的實體就會被嵌入到查詢附近。然而,以前的工作將查詢建模為向量空間中的單點,這是有問題的,因為一個復雜的查詢表示一個可能很大的答案實體集合,但是不清楚如何將這樣的集合表示為單點。此外,以前的工作只能處理使用連詞和存在量詞的查詢。使用邏輯分隔處理查詢仍然是一個有待解決的問題。在這里,我們提出Query2box,這是一個基于嵌入的框架,用于在大量且不完整的KG中使用、和操作符對任意查詢進行推理。,其中框內的一組點對應于查詢的一組回答實體。我們證明了連詞可以自然地表示為盒子的交叉點,同時也證明了一個否定的結果,即處理拆分需要嵌入的維度與KG實體的數量成比例。但是,通過將查詢轉換為析取范式,Query2box能夠以一種可伸縮的方式處理帶有、的任意邏輯查詢。我們演示了query2box在兩個大型KGs上的有效性,并表明Query2box實現了比現有技術高25%的改進。
知識圖譜(KG)嵌入通過學習實體和關系的低維表示來預測缺失的事實。KGs通常表現出層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于層次數據,雙曲線嵌入方法已經顯示出高保真和精簡表示的前景。然而,現有的雙曲線嵌入方法并不能解釋KGs中豐富的邏輯模式。在本文中,我們介紹了一類雙曲線KG嵌入模型,該模型同時捕獲層次模式和邏輯模式。我們的方法結合了雙曲線反射和旋轉,并注意到模型的復雜關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維平均倒數秩(MRR)方面比以前的基于歐幾里德和雙曲線的方法提高了6.1%。此外,我們觀察到不同的幾何變換捕獲不同類型的關系,而基于注意的變換泛化為多個關系。在高維情況下,我們的方法可以得到最新的MRRs, WN18RR為49.6%,YAGO3-10為57.7%。
知識圖譜補全的目的是預測知識圖譜中實體之間的缺失關系。雖然已經提出了許多不同的方法,但缺乏一個統一的框架產生SOTA的結果。在這里,我們開發了PathCon,這是一種知識圖譜補全方法,它利用四個新穎的見解來超越現有的方法。PathCon通過以下方法預測一對實體之間的關系: (1)通過捕獲實體附近的關系類型,并通過基于邊緣的消息傳遞模式建模,來考慮每個實體的關系上下文; (2)考慮獲取兩個實體之間所有路徑的關系路徑; (3)通過可學習的注意力機制,自適應地整合關系上下文和關系路徑。重要的是,與傳統的基于節點的表示不同,PathCon僅使用關系類型表示上下文和路徑,這使得它適用于歸納設置。在知識圖譜基準上的實驗結果以及我們新提出的數據集表明,PathCon在很大程度上優于最先進的知識圖譜補全方法。最后,PathCon能夠通過識別對給定的預測關系很重要的上下文和路徑關系來提供可解釋的說明。
簡介: 今年AAAI 2020接收了1591篇論文,其中有140篇是與圖相關的。接下來將會介紹幾篇與圖和知識圖譜相關的幾篇論文。以下為內容大綱:
Hayashi等人在知識圖上建立了自然語言生成(NLG)任務的潛在關系語言模型(LRLM)。就是說,模型在每個時間步上要么從詞匯表中提取一個單詞,要么求助于已知關系。 最終的任務是在給定主題實體的情況下生成連貫且正確的文本。 LRLM利用基礎圖上的KG嵌入來獲取實體和關系表示,以及用于嵌入表面形式的Fasttext。 最后,要參數化流程,需要一個序列模型。作者嘗試使用LSTM和Transformer-XL來評估與使用Wikidata批注的Freebase和WikiText鏈接的WikiFacts上的LRLM。
Liu等人提出了K-BERT,它希望每個句子(如果可能)都用來自某些KG的命名實體和相關(謂詞,賓語)對進行注釋。 然后,將豐富的句子樹線性化為一個新的位置相似嵌入,并用可見性矩陣進行遮罩,該矩陣控制輸入的哪些部分在訓練過程中可以看到并得到關注。
Bouraoui等人進一步評估了BERT的關系知識,即在給定一對實體(例如,巴黎,法國)的情況下,它是否可以預測正確的關系。 作者指出,BERT在事實和常識性任務中通常是好的,而不是糟糕的非詞性任務,并且在形態任務中相當出色。
不同的KG具有自己的模型來建模其實體,以前,基于本體的對齊工具僅依靠此類映射來標識相似實體。 今天,我們有GNN只需少量培訓即可自動學習此類映射!
Sun等人提出了AliNet,這是一種基于端到端GNN的體系結構,能夠對多跳鄰域進行聚合以實現實體對齊。 由于架構異質性,由于相似的實體KG的鄰域不是同構的,因此任務變得更加復雜。 為了彌補這一點,作者建議關注節點的n跳環境以及具有特定損失函數的TransE樣式關系模式。
Xu等人研究了多語言KG(在這種情況下為DBpedia)中的對齊問題,其中基于GNN的方法可能陷入“多對一”的情況,并為給定的目標實體生成多個候選源實體。 作者研究了如何使他們的預測中的GNN編碼輸出更加確定。
AAAI’20標記并概述了兩個增長趨勢:神經符號計算與臨時性的KG越來越受到關注。
AAAI’20主持了“對話狀態跟蹤研討會”(DSTC8)。 該活動聚集了對話AI方面的專家,包括來自Google Assistant,Amazon Alexa和DeepPavlov的人員。在研討會上,多個專家都提出了對話AI的相關研究方法。
可解釋性是當前AI研究的熱點之一。倫敦大學學院Pasquale Minervini博士在可解釋AI研討會做了關于可解釋高效可驗證表示的報告《Back to Seminars Explainable, Verifiable, Relational Representation Learning from Knowledge Graphs》,共62頁PPT,
可解釋、數據有效、可驗證的表示學習
知識圖譜是圖結構化的知識庫,其中關于世界的知識以實體之間關系的形式進行編碼。我們將討論在大規模知識圖譜使用神經鏈接預測缺失鏈接的工作,以及如何結合背景知識——形式的一階邏輯規則或約束——神經鏈接預測,從更少的數據歸納和整合。最后,我們將討論如何通過端到端可微推理器共同學習表示和規則。