簡介: 今年AAAI 2020接收了1591篇論文,其中有140篇是與圖相關的。接下來將會介紹幾篇與圖和知識圖譜相關的幾篇論文。以下為內容大綱:
Hayashi等人在知識圖上建立了自然語言生成(NLG)任務的潛在關系語言模型(LRLM)。就是說,模型在每個時間步上要么從詞匯表中提取一個單詞,要么求助于已知關系。 最終的任務是在給定主題實體的情況下生成連貫且正確的文本。 LRLM利用基礎圖上的KG嵌入來獲取實體和關系表示,以及用于嵌入表面形式的Fasttext。 最后,要參數化流程,需要一個序列模型。作者嘗試使用LSTM和Transformer-XL來評估與使用Wikidata批注的Freebase和WikiText鏈接的WikiFacts上的LRLM。
Liu等人提出了K-BERT,它希望每個句子(如果可能)都用來自某些KG的命名實體和相關(謂詞,賓語)對進行注釋。 然后,將豐富的句子樹線性化為一個新的位置相似嵌入,并用可見性矩陣進行遮罩,該矩陣控制輸入的哪些部分在訓練過程中可以看到并得到關注。
Bouraoui等人進一步評估了BERT的關系知識,即在給定一對實體(例如,巴黎,法國)的情況下,它是否可以預測正確的關系。 作者指出,BERT在事實和常識性任務中通常是好的,而不是糟糕的非詞性任務,并且在形態任務中相當出色。
不同的KG具有自己的模型來建模其實體,以前,基于本體的對齊工具僅依靠此類映射來標識相似實體。 今天,我們有GNN只需少量培訓即可自動學習此類映射!
Sun等人提出了AliNet,這是一種基于端到端GNN的體系結構,能夠對多跳鄰域進行聚合以實現實體對齊。 由于架構異質性,由于相似的實體KG的鄰域不是同構的,因此任務變得更加復雜。 為了彌補這一點,作者建議關注節點的n跳環境以及具有特定損失函數的TransE樣式關系模式。
Xu等人研究了多語言KG(在這種情況下為DBpedia)中的對齊問題,其中基于GNN的方法可能陷入“多對一”的情況,并為給定的目標實體生成多個候選源實體。 作者研究了如何使他們的預測中的GNN編碼輸出更加確定。
AAAI’20標記并概述了兩個增長趨勢:神經符號計算與臨時性的KG越來越受到關注。
AAAI’20主持了“對話狀態跟蹤研討會”(DSTC8)。 該活動聚集了對話AI方面的專家,包括來自Google Assistant,Amazon Alexa和DeepPavlov的人員。在研討會上,多個專家都提出了對話AI的相關研究方法。
題目: KG-BERT: BERT for Knowledge Graph Completion
摘要: 知識圖譜是許多人工智能任務的重要資源,但往往是不完整的。在這項工作中,我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列,并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入,利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明,我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。
題目: Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction
摘要: 知識圖譜(KGs)嵌入的是一個強大的工具,能夠預測KGs缺失的鏈接。現有的技術通常將KG表示一個三元組集合,每個三元組(h, r, t)通過關系r將兩個實體h和t聯系起來,并從這樣的三元組中學習實體/關系嵌入,同時保留這樣的結構。然而,這種三元組的表示過分簡化了存儲在KG中的數據的復雜性,尤其是超關系的事實,其中每個事實不僅包含基本三元組(h r t),還有相關的鍵-值對(k、v)。盡管最近有一些技術試圖通過將超關系事實轉換為n元表示來學習這些數據(即一組沒有三元組組的鍵值對)。由于它們不知道三元組結構,導致了次優模型,三元組結構是現代KGs的基本數據結構,保留了鏈接預測的基本信息。為了解決這個問題,我們提出了HINGE,一個超相關KG嵌入模型,它直接從KG學習超相關事實。HINGE不僅捕獲了在三元組中編碼的KG的主要結構信息,而且還捕獲了每個三元組及其相關鍵-值對之間的相關性。我們在KG預測任務大量的實驗顯示了優越性。特別是,HINGE不僅始終優于僅從三元組學習的KG嵌入方法,而且始終優于使用n元表示從超關系事實學習的方法。
有關實體及其關系的真實世界事實的知識庫是各種自然語言處理任務的有用資源。然而,由于知識庫通常是不完整的,因此能夠執行知識庫補全或鏈接預測是很有用的。本文全面概述了用于知識庫完成的實體和關系的嵌入模型,總結了標準基準數據集上最新的實驗結果。
題目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要: 近年來隨著知識圖譜(KGs)的大量涌現,加上實體間缺失關系(鏈接)的不完全或部分信息,催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明,基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入,因此在關系預測方面也有很好的表現。然而,我們觀察到這些KG嵌入獨立地處理三元組,因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此,本文提出了一種新的基于注意的特征嵌入方法,該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外,我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解,并且與所有數據集上的最先進的方法相比,有顯著的性能提升。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括:KG-Augmented語言模型,異構KGs中的實體匹配,KG完成和鏈路預測,基于kg的會話人工智能和問題回答,包括論文,值得查看!
Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020
題目
Few-Shot Knowledge Graph Completion
簡介
知識圖是各種自然語言處理應用的有用資源。以前的KG完成方法需要為每個關系提供大量的訓練實例(即頭-尾實體對)。實際情況是,對于大多數關系,很少有實體對可用。現有的單鏡頭學習極限方法普遍適用于少鏡頭場景,不能充分利用監控信息,但很少有人對KG完工的研究還很少。在這項工作中,我們提出了一個新的少數鏡頭關系學習模型(FSRL),旨在發現新的關系事實很少鏡頭參考。FSRL可以有效地從異構圖結構中獲取知識,聚集少量鏡頭引用的表示,并為每個關系匹配相似的引用集實體對。在兩個公共數據集上進行的大量實驗表明,FSRL優于最新技術。
作者
Chuxu Zhang, Meng Jiang,Nitesh V. Chawla,來自圣母大學
Huaxiu Yao, Zhenhui Li,來自賓夕法尼亞州立大學
Chao Huang, 來自JD金融美國公司