題目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入通過學習實體和關系的低維表示,以預測缺失事實。KGs通常具有層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于分層數據,雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而,現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中,我們引入了一類雙曲KG嵌入模型,可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外,我們觀察到不同的幾何變換捕捉不同類型的關系,而基于注意的變換則推廣到多重關系。在高維情況下,我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。
主題: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入學習實體和關系的低維表示,以預測缺失的內容。 KG通常表現出必須保留在嵌入空間中的分層和邏輯模式。對于分層數據,雙曲線嵌入方法已顯示出對高保真和簡約表示的希望。但是,現有的雙曲線嵌入方法無法解決KG中的豐富邏輯模式。在這項工作中,我們介紹了一類雙曲KG嵌入模型,該模型同時捕獲層次結構和邏輯模式。我們的方法將雙曲線反射和旋轉結合在一起,以注意對復雜的關系模式進行建模。在標準KG基準上的實驗結果表明,我們的方法在較低維度上的平均倒數排名(MRR)比以前的基于歐幾里德和雙曲線的方法提高了6.1%。此外,我們觀察到,不同的幾何變換捕獲不同類型的關系,而基于注意力的變換則泛化為多個關系。在高維度上,我們的方法在WN18RR上產生了49.6%的最新技術水平,在YAGO3-10上產生了57.7%的最新技術水平。
題目: Multi-view Knowledge Graph Embedding for Entity Alignment
摘要: 我們研究了知識圖譜之間基于嵌入的實體對齊問題。之前的研究主要集中在實體的關系結構上。有些還進一步合并了另一種類型的特性,比如屬性,以進行細化。然而,大量的實體特征尚未被探索或沒有被平等地放在一起處理,這損害了基于嵌入的實體對齊的準確性和魯棒性。在本文中,我們提出了一個新的框架,統一實體的多個視圖來學習嵌入來實現實體對齊。具體來說,我們根據實體名稱、關系和屬性的視圖嵌入實體,并使用幾種組合策略。此外,我們設計了一些跨KG推理方法來增強兩個KG之間的對齊。我們在真實數據集上的實驗表明,所提出的框架顯著優于目前最先進的基于嵌入的實體對齊方法。所選擇的視圖、跨KG推理和組合策略都有助于性能的提高。
題目: Hyperbolic Heterogeneous Information Network Embedding
摘要: 異構信息網絡嵌入(Heterogeneous information network, HIN)以將其投射到低維空間為目標,已經引起了相當多的研究關注。現有的HIN嵌入方法主要是在歐幾里得空間中保留內部網絡結構和語義相關性。然而,一個基本的問題是歐幾里得空間是否是HIN的合適的或內在的等距空間?。近年來的研究認為,復雜網絡的底層可能具有雙曲幾何,因為底層的雙曲幾何可以自然地反映復雜網絡的一些特性,如層次結構和冪律結構。在本文中,我們首次嘗試將HIN嵌入到雙曲空間中。我們分析了兩個實際HIN的結構,發現HIN中也存在冪律分布等性質。為此,我們提出了一種新的雙曲異構信息網絡嵌入模型。具體地說,為了捕獲節點之間的結構和語義關系,我們采用元路徑引導隨機游走對每個節點的序列進行采樣。然后利用雙曲空間中的距離作為近似度量。雙曲距離能滿足三角不等式,并能很好地保持HIN中的傳遞性。我們的模型使節點及其鄰域具有小的雙曲線距離。進一步推導出有效的優化策略,迭代更新雙曲嵌入。實驗結果表明,該模型不僅在網絡重構和鏈路預測任務上具有優越的性能,而且在HIN中通過可視化顯示了捕獲層次結構的能力。
題目: Hyperbolic Graph Attention Network
摘要: 圖神經網絡(GNN)在圖處理方面表現出了優越的性能,近年來引起了人們的廣泛關注。然而,大多數現有的GNN模型主要是為歐幾里得空間中的圖設計的。最近的研究已經證明,圖數據顯示非歐幾里得潛在的解剖學。不幸的是,到目前為止,很少有研究GNN在非歐幾里得的設置。為了彌補這一缺陷,本文首次對雙曲空間中具有注意機制的GNN進行了研究。雙曲GNN的研究有一些獨特的挑戰:由于雙曲空間不是向量空間,不能進行向量操作(如向量的加法、減法和標量乘法)。為了解決這個問題,我們使用回旋向量空間,它提供了一個優雅的代數形式的雙曲幾何,以轉換圖的特征;在此基礎上,我們提出了基于雙曲接近的注意力聚合機制。此外,由于雙曲空間中的數學運算比歐幾里得空間中的更為復雜,我們進一步設計了一種新的利用對數和指數映射的加速策略來提高模型的效率。通過與其他最先進的基線方法的比較,發現在四個真實數據集上的綜合實驗結果證明了我們提出的雙曲圖注意力網絡模型的性能。
題目: Multi-relational Poincaré Graph Embeddings
摘要: 雙曲嵌入最近在機器學習中獲得了關注,因為它們能夠比歐幾里得類似物更準確和簡潔地表示層次數據。然而,多關系知識圖譜經常顯示多個同時的層次結構,這是目前的雙曲模型沒有捕捉到的。為了解決這個問題,我們提出了一個模型,在雙曲空間的龐加萊球模型中嵌入多關系圖數據。我們的多關系龐加萊模型(MuRP)通過Mobius矩陣向量乘法和Mobius加法學習特定關系參數來轉換實體嵌入。在WN18RR層次知識圖上的實驗表明,我們的龐加萊嵌入方法在鏈路預測任務上優于歐氏嵌入方法和現有的嵌入方法,特別是在低維的情況下。
題目: Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction
摘要: 知識圖譜(KGs)嵌入的是一個強大的工具,能夠預測KGs缺失的鏈接。現有的技術通常將KG表示一個三元組集合,每個三元組(h, r, t)通過關系r將兩個實體h和t聯系起來,并從這樣的三元組中學習實體/關系嵌入,同時保留這樣的結構。然而,這種三元組的表示過分簡化了存儲在KG中的數據的復雜性,尤其是超關系的事實,其中每個事實不僅包含基本三元組(h r t),還有相關的鍵-值對(k、v)。盡管最近有一些技術試圖通過將超關系事實轉換為n元表示來學習這些數據(即一組沒有三元組組的鍵值對)。由于它們不知道三元組結構,導致了次優模型,三元組結構是現代KGs的基本數據結構,保留了鏈接預測的基本信息。為了解決這個問題,我們提出了HINGE,一個超相關KG嵌入模型,它直接從KG學習超相關事實。HINGE不僅捕獲了在三元組中編碼的KG的主要結構信息,而且還捕獲了每個三元組及其相關鍵-值對之間的相關性。我們在KG預測任務大量的實驗顯示了優越性。特別是,HINGE不僅始終優于僅從三元組學習的KG嵌入方法,而且始終優于使用n元表示從超關系事實學習的方法。
知識圖譜(KG)嵌入通過學習實體和關系的低維表示來預測缺失的事實。KGs通常表現出層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于層次數據,雙曲線嵌入方法已經顯示出高保真和精簡表示的前景。然而,現有的雙曲線嵌入方法并不能解釋KGs中豐富的邏輯模式。在本文中,我們介紹了一類雙曲線KG嵌入模型,該模型同時捕獲層次模式和邏輯模式。我們的方法結合了雙曲線反射和旋轉,并注意到模型的復雜關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維平均倒數秩(MRR)方面比以前的基于歐幾里德和雙曲線的方法提高了6.1%。此外,我們觀察到不同的幾何變換捕獲不同類型的關系,而基于注意的變換泛化為多個關系。在高維情況下,我們的方法可以得到最新的MRRs, WN18RR為49.6%,YAGO3-10為57.7%。
Knowledge graph (KG) embeddings learn low-dimensional representations of entities and relations to predict missing facts. KGs often exhibit hierarchical and logical patterns which must be preserved in the embedding space. For hierarchical data, hyperbolic embedding methods have shown promise for high-fidelity and parsimonious representations. However, existing hyperbolic embedding methods do not account for the rich logical patterns in KGs. In this work, we introduce a class of hyperbolic KG embedding models that simultaneously capture hierarchical and logical patterns. Our approach combines hyperbolic reflections and rotations with attention to model complex relational patterns. Experimental results on standard KG benchmarks show that our method improves over previous Euclidean- and hyperbolic-based efforts by up to 6.1% in mean reciprocal rank (MRR) in low dimensions. Furthermore, we observe that different geometric transformations capture different types of relations while attention-based transformations generalize to multiple relations. In high dimensions, our approach yields new state-of-the-art MRRs of 49.6% on WN18RR and 57.7% on YAGO3-10.
有關實體及其關系的真實世界事實的知識庫是各種自然語言處理任務的有用資源。然而,由于知識庫通常是不完整的,因此能夠執行知識庫補全或鏈接預測是很有用的。本文全面概述了用于知識庫完成的實體和關系的嵌入模型,總結了標準基準數據集上最新的實驗結果。
題目: Multi-relational Poincaré Graph Embeddings
摘要: 雙曲型嵌入方法由于其比歐幾里德類似方法更準確、簡潔地表示層次數據的能力,近年來在機器學習中得到了廣泛的關注。然而,多關系知識圖往往表現出多個同時的層次結構,而目前的雙曲線模型并沒有捕捉到這些層次結構。為了解決這個問題,我們提出了一個在雙曲空間的Poincaréball模型中嵌入多關系圖數據的模型。我們的多關系Poincaré模型(Multi-Relational Poincarémodel,MuRP)通過Móbius矩陣向量乘法和Móbius加法學習特定于關系的參數來轉換實體嵌入。分層WN18RR知識圖上的實驗表明,我們的Poincar EI嵌入優于其歐幾里得對和現有的嵌入方法在鏈路預測任務上,特別是在低維上。
作者簡介: Ivana Bala?evi?,愛丁堡大學信息學院機器學習組的博士,也是據科學博士培訓中心的成員。她的研究方向是知識圖的關系機器學習、表示學習、數學原理嵌入模型和非歐幾里德幾何。個人主頁://homepages.inf.ed.ac.uk/s1656585/