題目: KG-BERT: BERT for Knowledge Graph Completion
摘要: 知識圖譜是許多人工智能任務的重要資源,但往往是不完整的。在這項工作中,我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列,并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入,利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明,我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。
題目: Probability Calibration for Knowledge Graph Embedding Models
摘要: 知識圖譜嵌入的研究忽略了概率定標問題。我們展示了流行的嵌入模型確實是未經校準的。這意味著與預測三元組相關的概率估計是不可靠的。摘要針對知識圖譜中常見的情況,提出了一種新的校準模型的方法。我們建議在我們的方法的同時使用普拉特尺度和等滲回歸。在三個帶有地面真值負樣本的數據集上進行的實驗表明,與使用負樣本的黃金標準相比,我們的貢獻使模型得到了很好的校準。我們得到的結果顯著優于未校準的模型從所有校準方法。我們證明等滲回歸提供了最好的整體性能,而不是沒有權衡。我們還表明,經過校準的模型不需要定義特定于關系的決策閾值就可以達到最先進的精度。
有關實體及其關系的真實世界事實的知識庫是各種自然語言處理任務的有用資源。然而,由于知識庫通常是不完整的,因此能夠執行知識庫補全或鏈接預測是很有用的。本文全面概述了用于知識庫完成的實體和關系的嵌入模型,總結了標準基準數據集上最新的實驗結果。
題目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要: 近年來隨著知識圖譜(KGs)的大量涌現,加上實體間缺失關系(鏈接)的不完全或部分信息,催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明,基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入,因此在關系預測方面也有很好的表現。然而,我們觀察到這些KG嵌入獨立地處理三元組,因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此,本文提出了一種新的基于注意的特征嵌入方法,該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外,我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解,并且與所有數據集上的最先進的方法相比,有顯著的性能提升。
簡介: 今年AAAI 2020接收了1591篇論文,其中有140篇是與圖相關的。接下來將會介紹幾篇與圖和知識圖譜相關的幾篇論文。以下為內容大綱:
Hayashi等人在知識圖上建立了自然語言生成(NLG)任務的潛在關系語言模型(LRLM)。就是說,模型在每個時間步上要么從詞匯表中提取一個單詞,要么求助于已知關系。 最終的任務是在給定主題實體的情況下生成連貫且正確的文本。 LRLM利用基礎圖上的KG嵌入來獲取實體和關系表示,以及用于嵌入表面形式的Fasttext。 最后,要參數化流程,需要一個序列模型。作者嘗試使用LSTM和Transformer-XL來評估與使用Wikidata批注的Freebase和WikiText鏈接的WikiFacts上的LRLM。
Liu等人提出了K-BERT,它希望每個句子(如果可能)都用來自某些KG的命名實體和相關(謂詞,賓語)對進行注釋。 然后,將豐富的句子樹線性化為一個新的位置相似嵌入,并用可見性矩陣進行遮罩,該矩陣控制輸入的哪些部分在訓練過程中可以看到并得到關注。
Bouraoui等人進一步評估了BERT的關系知識,即在給定一對實體(例如,巴黎,法國)的情況下,它是否可以預測正確的關系。 作者指出,BERT在事實和常識性任務中通常是好的,而不是糟糕的非詞性任務,并且在形態任務中相當出色。
不同的KG具有自己的模型來建模其實體,以前,基于本體的對齊工具僅依靠此類映射來標識相似實體。 今天,我們有GNN只需少量培訓即可自動學習此類映射!
Sun等人提出了AliNet,這是一種基于端到端GNN的體系結構,能夠對多跳鄰域進行聚合以實現實體對齊。 由于架構異質性,由于相似的實體KG的鄰域不是同構的,因此任務變得更加復雜。 為了彌補這一點,作者建議關注節點的n跳環境以及具有特定損失函數的TransE樣式關系模式。
Xu等人研究了多語言KG(在這種情況下為DBpedia)中的對齊問題,其中基于GNN的方法可能陷入“多對一”的情況,并為給定的目標實體生成多個候選源實體。 作者研究了如何使他們的預測中的GNN編碼輸出更加確定。
AAAI’20標記并概述了兩個增長趨勢:神經符號計算與臨時性的KG越來越受到關注。
AAAI’20主持了“對話狀態跟蹤研討會”(DSTC8)。 該活動聚集了對話AI方面的專家,包括來自Google Assistant,Amazon Alexa和DeepPavlov的人員。在研討會上,多個專家都提出了對話AI的相關研究方法。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括:KG-Augmented語言模型,異構KGs中的實體匹配,KG完成和鏈路預測,基于kg的會話人工智能和問題回答,包括論文,值得查看!
Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020
論文摘要:知識圖譜嵌入是一種將符號實體和關系投影到連續向量空間的方法,越來越受到人們的重視。以前的方法允許對每個實體或關系進行單一的靜態嵌入,忽略它們的內在上下文性質,即。,實體和關系可能出現在不同的圖上下文中,因此,它們具有不同的屬性。該工作提出了一種新的基于上下文的知識圖譜嵌入(CoKE)范式,該范式考慮了這種上下文性質,并學習了動態的、靈活的、完全上下文化的實體和關系嵌入。研究了兩類圖的上下文:邊和路徑,它們都被表示為實體和關系的序列。CoKE采用一個序列作為輸入,并使用Transformer編碼器獲得上下文化的表示。因此,這些表現形式自然地適應輸入,捕捉實體的上下文含義和其中的關系。通過對各種公共基準的評估,驗證了CoKE在鏈路預測和路徑查詢應答方面的優越性。在幾乎所有情況下,它的性能始終比當前的技術水平更好,或者至少與之相當,特別是在H@10的路徑查詢應答方面提高了19.7%。
代碼鏈接:[ /tree/develop/PaddleKG/CoKE]( /tree/develop/PaddleKG/CoKE)
Knowledge graphs are important resources for many artificial intelligence tasks but often suffer from incompleteness. In this work, we propose to use pre-trained language models for knowledge graph completion. We treat triples in knowledge graphs as textual sequences and propose a novel framework named Knowledge Graph Bidirectional Encoder Representations from Transformer (KG-BERT) to model these triples. Our method takes entity and relation descriptions of a triple as input and computes scoring function of the triple with the KG-BERT language model. Experimental results on multiple benchmark knowledge graphs show that our method can achieve state-of-the-art performance in triple classification, link prediction and relation prediction tasks.