題目: Multi-view Knowledge Graph Embedding for Entity Alignment
摘要: 我們研究了知識圖譜之間基于嵌入的實體對齊問題。之前的研究主要集中在實體的關系結構上。有些還進一步合并了另一種類型的特性,比如屬性,以進行細化。然而,大量的實體特征尚未被探索或沒有被平等地放在一起處理,這損害了基于嵌入的實體對齊的準確性和魯棒性。在本文中,我們提出了一個新的框架,統一實體的多個視圖來學習嵌入來實現實體對齊。具體來說,我們根據實體名稱、關系和屬性的視圖嵌入實體,并使用幾種組合策略。此外,我們設計了一些跨KG推理方法來增強兩個KG之間的對齊。我們在真實數據集上的實驗表明,所提出的框架顯著優于目前最先進的基于嵌入的實體對齊方法。所選擇的視圖、跨KG推理和組合策略都有助于性能的提高。
題目: M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems
摘要: 將圖表示學習與多視圖數據(邊信息)相結合進行推薦是當前行業的發展趨勢。現有的方法大多可歸納為多視圖表示融合;它們首先構建一個圖,然后將多視圖數據集成到圖中每個節點的一個緊湊表示中。然而,這些方法在工程和算法方面都引起了關注:1)工業中的多視圖數據豐富且信息量大,可能超過單個矢量的能力;2)由于多視圖數據往往來自不同的分布,可能會引入歸納偏差。在本文中,我們使用多視圖表示對齊方法來解決這個問題。特別地,我們提出了一個多任務多視圖圖表示學習框架(M2GRL),用于從多視圖圖中學習節點表示。M2GRL為每個單視圖數據構造一個圖,從多個圖中學習多個獨立的表達式,并執行與模型跨視圖關系的對齊。M2GRL選擇了多任務學習范式來聯合學習視圖內表示和跨視圖關系。M2GRL運用同方差不確定性自適應調整訓練過程中任務的減重。我們在淘寶上部署了M2GRL,并對它進行了570億例的培訓。根據離線度量和在線A/B測試,M2GRL顯著優于其他最先進的算法。在淘寶上對多樣性推薦的進一步探索表明,利用M2GRL產生的多重表示是有效的,我們認為這是一個很有前途的方向,為各種不同重點的行業推薦任務。
題目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入通過學習實體和關系的低維表示,以預測缺失事實。KGs通常具有層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于分層數據,雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而,現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中,我們引入了一類雙曲KG嵌入模型,可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外,我們觀察到不同的幾何變換捕捉不同類型的關系,而基于注意的變換則推廣到多重關系。在高維情況下,我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。
有關實體及其關系的真實世界事實的知識庫是各種自然語言處理任務的有用資源。然而,由于知識庫通常是不完整的,因此能夠執行知識庫補全或鏈接預測是很有用的。本文全面概述了用于知識庫完成的實體和關系的嵌入模型,總結了標準基準數據集上最新的實驗結果。
題目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要: 近年來隨著知識圖譜(KGs)的大量涌現,加上實體間缺失關系(鏈接)的不完全或部分信息,催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明,基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入,因此在關系預測方面也有很好的表現。然而,我們觀察到這些KG嵌入獨立地處理三元組,因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此,本文提出了一種新的基于注意的特征嵌入方法,該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外,我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解,并且與所有數據集上的最先進的方法相比,有顯著的性能提升。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括:KG-Augmented語言模型,異構KGs中的實體匹配,KG完成和鏈路預測,基于kg的會話人工智能和問題回答,包括論文,值得查看!
Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020
We study the problem of embedding-based entity alignment between knowledge graphs (KGs). Previous works mainly focus on the relational structure of entities. Some further incorporate another type of features, such as attributes, for refinement. However, a vast of entity features are still unexplored or not equally treated together, which impairs the accuracy and robustness of embedding-based entity alignment. In this paper, we propose a novel framework that unifies multiple views of entities to learn embeddings for entity alignment. Specifically, we embed entities based on the views of entity names, relations and attributes, with several combination strategies. Furthermore, we design some cross-KG inference methods to enhance the alignment between two KGs. Our experiments on real-world datasets show that the proposed framework significantly outperforms the state-of-the-art embedding-based entity alignment methods. The selected views, cross-KG inference and combination strategies all contribute to the performance improvement.