論文摘要:知識圖譜嵌入是一種將符號實體和關系投影到連續向量空間的方法,越來越受到人們的重視。以前的方法允許對每個實體或關系進行單一的靜態嵌入,忽略它們的內在上下文性質,即。,實體和關系可能出現在不同的圖上下文中,因此,它們具有不同的屬性。該工作提出了一種新的基于上下文的知識圖譜嵌入(CoKE)范式,該范式考慮了這種上下文性質,并學習了動態的、靈活的、完全上下文化的實體和關系嵌入。研究了兩類圖的上下文:邊和路徑,它們都被表示為實體和關系的序列。CoKE采用一個序列作為輸入,并使用Transformer編碼器獲得上下文化的表示。因此,這些表現形式自然地適應輸入,捕捉實體的上下文含義和其中的關系。通過對各種公共基準的評估,驗證了CoKE在鏈路預測和路徑查詢應答方面的優越性。在幾乎所有情況下,它的性能始終比當前的技術水平更好,或者至少與之相當,特別是在H@10的路徑查詢應答方面提高了19.7%。
代碼鏈接:[ /tree/develop/PaddleKG/CoKE]( /tree/develop/PaddleKG/CoKE)
題目: Multi-view Knowledge Graph Embedding for Entity Alignment
摘要: 我們研究了知識圖譜之間基于嵌入的實體對齊問題。之前的研究主要集中在實體的關系結構上。有些還進一步合并了另一種類型的特性,比如屬性,以進行細化。然而,大量的實體特征尚未被探索或沒有被平等地放在一起處理,這損害了基于嵌入的實體對齊的準確性和魯棒性。在本文中,我們提出了一個新的框架,統一實體的多個視圖來學習嵌入來實現實體對齊。具體來說,我們根據實體名稱、關系和屬性的視圖嵌入實體,并使用幾種組合策略。此外,我們設計了一些跨KG推理方法來增強兩個KG之間的對齊。我們在真實數據集上的實驗表明,所提出的框架顯著優于目前最先進的基于嵌入的實體對齊方法。所選擇的視圖、跨KG推理和組合策略都有助于性能的提高。
題目: Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph
摘要: 近年來,圖神經網絡(GNN)被應用于知識圖譜(KG)的開發。現有的基于GNN的方法在KG中對實體與其本地圖上下文之間的依賴關系進行了建模。,但可能無法有效地捕獲其非局部圖上下文(例如,它的一階鄰居的集合),最相關的高階鄰居集)。在本文中,我們提出了一個新的推薦框架——上下文化的圖注意網絡(CGAT),它可以顯式地利用KG中實體的局部和非局部圖上下文信息。特別地,CGAT通過用戶特定的圖形注意機制捕獲本地上下文信息,考慮用戶對實體的個性化偏好。此外,CGAT采用了一個有偏隨機游走采樣過程來提取一個實體的非局部上下文,并利用遞歸神經網絡(RNN)來建模實體與其非局部上下文實體之間的依賴關系。為了捕捉用戶對物品的個性化偏好,本文還建立了物品特定注意機制,以模擬目標物品與從用戶歷史行為中提取的上下文物品之間的依賴關系。在真實數據集上的實驗結果驗證了CGAT的有效性,并與最新的基于KG的推薦方法進行了比較。
題目: KG-BERT: BERT for Knowledge Graph Completion
摘要: 知識圖譜是許多人工智能任務的重要資源,但往往是不完整的。在這項工作中,我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列,并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入,利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明,我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。
有關實體及其關系的真實世界事實的知識庫是各種自然語言處理任務的有用資源。然而,由于知識庫通常是不完整的,因此能夠執行知識庫補全或鏈接預測是很有用的。本文全面概述了用于知識庫完成的實體和關系的嵌入模型,總結了標準基準數據集上最新的實驗結果。
題目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要: 近年來隨著知識圖譜(KGs)的大量涌現,加上實體間缺失關系(鏈接)的不完全或部分信息,催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明,基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入,因此在關系預測方面也有很好的表現。然而,我們觀察到這些KG嵌入獨立地處理三元組,因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此,本文提出了一種新的基于注意的特征嵌入方法,該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外,我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解,并且與所有數據集上的最先進的方法相比,有顯著的性能提升。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括:KG-Augmented語言模型,異構KGs中的實體匹配,KG完成和鏈路預測,基于kg的會話人工智能和問題回答,包括論文,值得查看!
Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020
論文題目: Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation
論文摘要
圖神經網絡由于具有識別同構子圖的能力,已經成為一種強大的基于嵌入的實體對齊范式。然而,在真實知識圖(KGs)中,通常是對應的實體 具有非同構的鄰域結構,這很容易導致GNN產生不同的表示。為了解決這一問題,我們提出了一種新的KG對齊網絡,即AliNet,旨在以端到端方式緩解鄰域結構的非同構性。由于模式異構性,對等實體的直接鄰域通常是不相似的,AliNet引入了遠程鄰域來擴展它們的鄰域結構之間的重疊。它采用了一種注意機制,以突出有益的遙遠的鄰域和減少噪音。然后,利用門控機制控制直接和遠處鄰域信息的聚合。我們進一步提出了一個關系損失來細化實體表示。我們進行了深入的實驗,詳細的研究和分析的五個實體對齊數據集,證明了AliNet的有效性。
論文作者
孫澤群是南京大學計算機科學與技術系在讀博士,目前在南京大學軟件新技術國家重點實驗室,博士導師為胡偉副教授。
胡偉,博士,南京大學計算機科學與技術系副教授,博士生導師。2005年、2009年分別于東南大學計算機科學與工程學院獲學士、博士學位。2009年12月加入南京大學工作至今。研究領域為知識挖掘,數據集成,智能軟件。
Knowledge graph embedding, which projects symbolic entities and relations into continuous vector spaces, is gaining increasing attention. Previous methods allow a single static embedding for each entity or relation, ignoring their intrinsic contextual nature, i.e., entities and relations may appear in different graph contexts, and accordingly, exhibit different properties. This work presents Contextualized Knowledge Graph Embedding (CoKE), a novel paradigm that takes into account such contextual nature, and learns dynamic, flexible, and fully contextualized entity and relation embeddings. Two types of graph contexts are studied: edges and paths, both formulated as sequences of entities and relations. CoKE takes a sequence as input and uses a Transformer encoder to obtain contextualized representations. These representations are hence naturally adaptive to the input, capturing contextual meanings of entities and relations therein. Evaluation on a wide variety of public benchmarks verifies the superiority of CoKE in link prediction and path query answering. It performs consistently better than, or at least equally well as current state-of-the-art in almost every case, in particular offering an absolute improvement of 19.7% in H@10 on path query answering. Our code is available at \url{//github.com/paddlepaddle/models/tree/develop/PaddleKG/CoKE}.