知識圖譜(KG)補全被廣泛研究,以解決現代知識圖譜中的不完整性問題(即缺少事實)。知識圖譜中的一個事實被表示為一個三元組(?,??,??),通過一個關系??連接兩個實體?和??。現有的工作主要考慮鏈接預測來解決這個問題,即給定一個三元組中的兩個元素來預測缺失的那個元素,例如(?,??,?)然而,這項任務對三元組中的兩個給定元素有一個強有力的假設,這兩個元素必須是相關的,否則就會導致毫無意義的預測,例如(居里夫人,總部的位置,?)此外,KG補全問題也被表述為一個關系預測任務,即預測給定實體?的關系??。在沒有預測??的情況下,這項任務離完成KG的最終目標還有一步之遙。在此背景下,本文研究了一個實例完成任務,為給定的?提出了??-??對,即(?,?,?)我們提出了一個端到端解決方案,稱為RETA(因為它暗示了給定頭部實體的關系和尾部),由兩個組件組成:RETA- filter和RETA- grader。更準確地說,我們的RETA-Filter首先通過提取和利用KG的模式為給定的?生成候選的??-??對;然后,我們的RETA-Grader使用一個新設計的KG嵌入模型,考慮候選三元組及其對應模式的可信性,對候選??-??對進行評估和排名。我們在三個真實世界的KG數據集上評估我們的方法與相當數量的先進技術的收集。結果表明,我們的RETA-Filter生成了高質量的候選??-??對,在相同的候選質量保證下,候選數量減少了10.61%-84.75%,優于最佳基準技術。此外,我們的RETA-Grader在實例完成任務上也顯著優于最先進的鏈接預測技術,在不同的數據集上提高了16.25%- 65.92%。
現有的協同過濾(CF)方法大多是基于匹配的思想設計的,即通過使用淺層或深層模型從數據中學習用戶和項目嵌入,試圖捕獲數據中的關聯關聯模式,這樣用戶嵌入就可以通過設計或學習的相似函數與相關的物品嵌入相匹配。然而,推薦作為一種認知而非感知智能任務,不僅需要從數據中進行模式識別和匹配的能力,還需要對數據進行認知推理的能力。在本文中,我們將協同過濾(CF)提升為協同推理(CR),即每個用戶知道推理空間的一部分,并在空間中協作進行推理,以估計彼此的偏好。在技術上,我們提出了一個神經協作推理(NCR)框架來連接學習和推理。具體來說,我們整合了表示學習和邏輯推理的能力,其中表示從感知的角度捕捉數據中的相似模式,而邏輯促進了知情決策的認知推理。然而,一個重要的挑戰是在一個共享的體系結構中架起可微分神經網絡和符號推理的橋梁,以進行優化和推理。為解決這一問題,我們提出了一種模塊化的推理體系結構,將AND(∧)、OR(∨)、NOT(?)等邏輯運算學習為蘊涵推理(→)的神經模塊。這樣,邏輯表達式就可以等效地組織成神經網絡,從而在連續空間中進行邏輯推理和預測。與淺層、深層和推理模型相比,在真實數據集上的實驗驗證了我們的框架的優勢。
時序知識圖譜推理是信息檢索和語義搜索的關鍵任務。當TKG頻繁更新時,這是特別具有挑戰性的。該模型必須適應TKG的變化,以便進行有效的訓練和推理,同時保持其對歷史知識的表現。最近的工作通過增加一個時間感知編碼函數來實現TKG補全(TKGC)。然而,使用這些方法在每個時間步驟中直接微調模型并不能解決以下問題:1)災難性遺忘;2)模型不能識別事實的變化(例如,政治派別的變化和婚姻的結束);3)缺乏訓練效率。為了解決這些挑戰,我們提出了時間感知增量嵌入(TIE)框架,該框架結合了TKG表示學習、經驗回放和時間正則化。我們引入一組度量標準來描述模型的不妥協性,并提出一個約束,將刪除的事實與負面標簽相關聯。在Wikidata12k和YAGO11k數據集上的實驗結果表明,本文提出的TIE框架減少了大約10倍的訓練時間,并在提出的指標上有所改進。對于任何傳統的度量方法,它都不會造成性能上的重大損失。廣泛的消融研究揭示了不同評估指標之間的性能權衡,這對于真實世界的TKG應用的決策是至關重要的。
//www.zhuanzhi.ai/paper/19590a2a40a84addde18b8a37112c3fc
關于概念及其屬性的常識知識(CSK)對于人工智能應用程序(如健壯的聊天機器人)是有用的。以前的作品,如ConceptNet、TupleKB和其他一些人編譯了大量的CSK集合,但它們在表達上受到限制,只包含了S的簡單概念和P和o的單一字符串的主語-謂語-賓語(SPO)三元組。此外,這些項目要么優先考慮精度,要么優先考慮回憶,但很難協調這些互補的目標。本文提出了一種自動構建大規模CSK斷言知識庫的方法——Ascent,該方法具有更高的表達能力,同時具有比以往的研究更好的查全率和查全率。Ascent通過捕獲帶有子組和方面的復合概念,以及使用語義方面精煉斷言,從而超越了三元組。后者對于表示斷言和進一步限定符的時間和空間有效性很重要。Ascent使用語言模型將開放信息提取相結合。內部評估顯示了提升Ascent KB知識庫的卓越大小和質量。
//www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4
消息傳遞圖神經網絡(GNNs)為關系數據提供了強大的建模框架。曾經,現有GNN的表達能力上界取決于1- Weisfeiller -Lehman (1-WL)圖同構測試,這意味著gnn無法預測節點聚類系數和最短路徑距離,無法區分不同的d-正則圖。在這里,我們提出了一類傳遞消息的GNN,稱為身份感知圖神經網絡(ID- GNNs),具有比1-WL測試更強的表達能力。ID-GNN為現有GNN的局限性提供了一個最小但強大的解決方案。ID-GNN通過在消息傳遞過程中歸納地考慮節點的身份來擴展現有的GNN體系結構。為了嵌入一個給定的節點,IDGNN首先提取以該節點為中心的自我網絡,然后進行輪次異構消息傳遞,中心節點與自我網絡中其他周圍節點應用不同的參數集。我們進一步提出了一個簡化但更快的ID-GNN版本,它將節點標識信息作為增強節點特征注入。總之,ID-GNN的兩個版本代表了消息傳遞GNN的一般擴展,其中實驗表明,在具有挑戰性的節點、邊緣和圖屬性預測任務中,將現有的GNN轉換為ID-GNN平均可以提高40%的準確率;結點和圖分類在基準測試上提高3%精度;在實際鏈路預測任務提高15%的ROC AUC。此外,與其他特定于任務的圖網絡相比,ID- GNN表現出了更好的或相當的性能。
知識圖譜是關于實體及其關系的集合,是非常有用資源。然而,由于知識圖通常是不完備的,所以進行知識圖補全或鏈接預測是有用的,即預測一個不在知識圖譜中的關系是否可能是真的。本文綜述了用于知識圖譜完成的實體和關系嵌入模型,總結了在標準基準數據集上最新的實驗結果,并指出了未來可能的研究方向。
簡介: 今年AAAI 2020接收了1591篇論文,其中有140篇是與圖相關的。接下來將會介紹幾篇與圖和知識圖譜相關的幾篇論文。以下為內容大綱:
Hayashi等人在知識圖上建立了自然語言生成(NLG)任務的潛在關系語言模型(LRLM)。就是說,模型在每個時間步上要么從詞匯表中提取一個單詞,要么求助于已知關系。 最終的任務是在給定主題實體的情況下生成連貫且正確的文本。 LRLM利用基礎圖上的KG嵌入來獲取實體和關系表示,以及用于嵌入表面形式的Fasttext。 最后,要參數化流程,需要一個序列模型。作者嘗試使用LSTM和Transformer-XL來評估與使用Wikidata批注的Freebase和WikiText鏈接的WikiFacts上的LRLM。
Liu等人提出了K-BERT,它希望每個句子(如果可能)都用來自某些KG的命名實體和相關(謂詞,賓語)對進行注釋。 然后,將豐富的句子樹線性化為一個新的位置相似嵌入,并用可見性矩陣進行遮罩,該矩陣控制輸入的哪些部分在訓練過程中可以看到并得到關注。
Bouraoui等人進一步評估了BERT的關系知識,即在給定一對實體(例如,巴黎,法國)的情況下,它是否可以預測正確的關系。 作者指出,BERT在事實和常識性任務中通常是好的,而不是糟糕的非詞性任務,并且在形態任務中相當出色。
不同的KG具有自己的模型來建模其實體,以前,基于本體的對齊工具僅依靠此類映射來標識相似實體。 今天,我們有GNN只需少量培訓即可自動學習此類映射!
Sun等人提出了AliNet,這是一種基于端到端GNN的體系結構,能夠對多跳鄰域進行聚合以實現實體對齊。 由于架構異質性,由于相似的實體KG的鄰域不是同構的,因此任務變得更加復雜。 為了彌補這一點,作者建議關注節點的n跳環境以及具有特定損失函數的TransE樣式關系模式。
Xu等人研究了多語言KG(在這種情況下為DBpedia)中的對齊問題,其中基于GNN的方法可能陷入“多對一”的情況,并為給定的目標實體生成多個候選源實體。 作者研究了如何使他們的預測中的GNN編碼輸出更加確定。
AAAI’20標記并概述了兩個增長趨勢:神經符號計算與臨時性的KG越來越受到關注。
AAAI’20主持了“對話狀態跟蹤研討會”(DSTC8)。 該活動聚集了對話AI方面的專家,包括來自Google Assistant,Amazon Alexa和DeepPavlov的人員。在研討會上,多個專家都提出了對話AI的相關研究方法。