【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括:KG-Augmented語言模型,異構KGs中的實體匹配,KG完成和鏈路預測,基于kg的會話人工智能和問題回答,包括論文,值得查看!
Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020
題目: KG-BERT: BERT for Knowledge Graph Completion
摘要: 知識圖譜是許多人工智能任務的重要資源,但往往是不完整的。在這項工作中,我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列,并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入,利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明,我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。
題目: Probability Calibration for Knowledge Graph Embedding Models
摘要: 知識圖譜嵌入的研究忽略了概率定標問題。我們展示了流行的嵌入模型確實是未經校準的。這意味著與預測三元組相關的概率估計是不可靠的。摘要針對知識圖譜中常見的情況,提出了一種新的校準模型的方法。我們建議在我們的方法的同時使用普拉特尺度和等滲回歸。在三個帶有地面真值負樣本的數據集上進行的實驗表明,與使用負樣本的黃金標準相比,我們的貢獻使模型得到了很好的校準。我們得到的結果顯著優于未校準的模型從所有校準方法。我們證明等滲回歸提供了最好的整體性能,而不是沒有權衡。我們還表明,經過校準的模型不需要定義特定于關系的決策閾值就可以達到最先進的精度。
題目: Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings 在大規模的不完全知識圖譜(KGs)上回答復雜的邏輯查詢是一項基本而又具有挑戰性的任務。最近,解決這個問題的一個很有前景的方法是將KG實體和查詢嵌入到向量空間中,這樣回答查詢的實體就會被嵌入到查詢附近。然而,以前的工作將查詢建模為向量空間中的單點,這是有問題的,因為一個復雜的查詢表示一個可能很大的答案實體集合,但是不清楚如何將這樣的集合表示為單點。此外,以前的工作只能處理使用連詞和存在量詞的查詢。使用邏輯分隔處理查詢仍然是一個有待解決的問題。在這里,我們提出Query2box,這是一個基于嵌入的框架,用于在大量且不完整的KG中使用、和操作符對任意查詢進行推理。,其中框內的一組點對應于查詢的一組回答實體。我們證明了連詞可以自然地表示為盒子的交叉點,同時也證明了一個否定的結果,即處理拆分需要嵌入的維度與KG實體的數量成比例。但是,通過將查詢轉換為析取范式,Query2box能夠以一種可伸縮的方式處理帶有、的任意邏輯查詢。我們演示了query2box在兩個大型KGs上的有效性,并表明Query2box實現了比現有技術高25%的改進。
題目: Knowledge Graph Embeddings and Explainable AI
摘要: 知識圖譜嵌入是一種廣泛采用的知識表示方法,它將實體和關系嵌入到向量空間中。在這一章中,我們通過解釋知識圖譜嵌入是什么,如何生成它們以及如何對它們進行評估,向讀者介紹知識圖譜嵌入的概念。我們總結了這一領域的最新研究成果,對向量空間中表示知識的方法進行了介紹。在知識表示方面,我們考慮了可解釋性問題,并討論了通過知識圖譜嵌入來解釋預測的模型和方法。
有關實體及其關系的真實世界事實的知識庫是各種自然語言處理任務的有用資源。然而,由于知識庫通常是不完整的,因此能夠執行知識庫補全或鏈接預測是很有用的。本文全面概述了用于知識庫完成的實體和關系的嵌入模型,總結了標準基準數據集上最新的實驗結果。
簡介: 今年AAAI 2020接收了1591篇論文,其中有140篇是與圖相關的。接下來將會介紹幾篇與圖和知識圖譜相關的幾篇論文。以下為內容大綱:
Hayashi等人在知識圖上建立了自然語言生成(NLG)任務的潛在關系語言模型(LRLM)。就是說,模型在每個時間步上要么從詞匯表中提取一個單詞,要么求助于已知關系。 最終的任務是在給定主題實體的情況下生成連貫且正確的文本。 LRLM利用基礎圖上的KG嵌入來獲取實體和關系表示,以及用于嵌入表面形式的Fasttext。 最后,要參數化流程,需要一個序列模型。作者嘗試使用LSTM和Transformer-XL來評估與使用Wikidata批注的Freebase和WikiText鏈接的WikiFacts上的LRLM。
Liu等人提出了K-BERT,它希望每個句子(如果可能)都用來自某些KG的命名實體和相關(謂詞,賓語)對進行注釋。 然后,將豐富的句子樹線性化為一個新的位置相似嵌入,并用可見性矩陣進行遮罩,該矩陣控制輸入的哪些部分在訓練過程中可以看到并得到關注。
Bouraoui等人進一步評估了BERT的關系知識,即在給定一對實體(例如,巴黎,法國)的情況下,它是否可以預測正確的關系。 作者指出,BERT在事實和常識性任務中通常是好的,而不是糟糕的非詞性任務,并且在形態任務中相當出色。
不同的KG具有自己的模型來建模其實體,以前,基于本體的對齊工具僅依靠此類映射來標識相似實體。 今天,我們有GNN只需少量培訓即可自動學習此類映射!
Sun等人提出了AliNet,這是一種基于端到端GNN的體系結構,能夠對多跳鄰域進行聚合以實現實體對齊。 由于架構異質性,由于相似的實體KG的鄰域不是同構的,因此任務變得更加復雜。 為了彌補這一點,作者建議關注節點的n跳環境以及具有特定損失函數的TransE樣式關系模式。
Xu等人研究了多語言KG(在這種情況下為DBpedia)中的對齊問題,其中基于GNN的方法可能陷入“多對一”的情況,并為給定的目標實體生成多個候選源實體。 作者研究了如何使他們的預測中的GNN編碼輸出更加確定。
AAAI’20標記并概述了兩個增長趨勢:神經符號計算與臨時性的KG越來越受到關注。
AAAI’20主持了“對話狀態跟蹤研討會”(DSTC8)。 該活動聚集了對話AI方面的專家,包括來自Google Assistant,Amazon Alexa和DeepPavlov的人員。在研討會上,多個專家都提出了對話AI的相關研究方法。
題目
Few-Shot Knowledge Graph Completion
簡介
知識圖是各種自然語言處理應用的有用資源。以前的KG完成方法需要為每個關系提供大量的訓練實例(即頭-尾實體對)。實際情況是,對于大多數關系,很少有實體對可用。現有的單鏡頭學習極限方法普遍適用于少鏡頭場景,不能充分利用監控信息,但很少有人對KG完工的研究還很少。在這項工作中,我們提出了一個新的少數鏡頭關系學習模型(FSRL),旨在發現新的關系事實很少鏡頭參考。FSRL可以有效地從異構圖結構中獲取知識,聚集少量鏡頭引用的表示,并為每個關系匹配相似的引用集實體對。在兩個公共數據集上進行的大量實驗表明,FSRL優于最新技術。
作者
Chuxu Zhang, Meng Jiang,Nitesh V. Chawla,來自圣母大學
Huaxiu Yao, Zhenhui Li,來自賓夕法尼亞州立大學
Chao Huang, 來自JD金融美國公司
論文題目:
Latent Relation Language Models
論文摘要: 在本文中,我們提出了潛在關系語言模型(LRLM),它是一類語言模型,它通過知識圖的關系參數化文檔中單詞和其中出現的實體的聯合分布。 該模型具有許多吸引人的屬性:它不僅提高了語言建模性能,而且還能夠注釋實體跨度對于關聯文本的后驗概率。 實驗表明,在基于單詞的基準語言模型和結合了知識圖譜信息的先前方法上,經驗性改進。 定性分析進一步證明了該模型在上下文中學習最佳預測適當關系的能力。
論文摘要:知識圖譜嵌入是一種將符號實體和關系投影到連續向量空間的方法,越來越受到人們的重視。以前的方法允許對每個實體或關系進行單一的靜態嵌入,忽略它們的內在上下文性質,即。,實體和關系可能出現在不同的圖上下文中,因此,它們具有不同的屬性。該工作提出了一種新的基于上下文的知識圖譜嵌入(CoKE)范式,該范式考慮了這種上下文性質,并學習了動態的、靈活的、完全上下文化的實體和關系嵌入。研究了兩類圖的上下文:邊和路徑,它們都被表示為實體和關系的序列。CoKE采用一個序列作為輸入,并使用Transformer編碼器獲得上下文化的表示。因此,這些表現形式自然地適應輸入,捕捉實體的上下文含義和其中的關系。通過對各種公共基準的評估,驗證了CoKE在鏈路預測和路徑查詢應答方面的優越性。在幾乎所有情況下,它的性能始終比當前的技術水平更好,或者至少與之相當,特別是在H@10的路徑查詢應答方面提高了19.7%。
代碼鏈接:[ /tree/develop/PaddleKG/CoKE]( /tree/develop/PaddleKG/CoKE)