題目: Multi-relational Poincaré Graph Embeddings
摘要: 雙曲嵌入最近在機器學習中獲得了關注,因為它們能夠比歐幾里得類似物更準確和簡潔地表示層次數據。然而,多關系知識圖譜經常顯示多個同時的層次結構,這是目前的雙曲模型沒有捕捉到的。為了解決這個問題,我們提出了一個模型,在雙曲空間的龐加萊球模型中嵌入多關系圖數據。我們的多關系龐加萊模型(MuRP)通過Mobius矩陣向量乘法和Mobius加法學習特定關系參數來轉換實體嵌入。在WN18RR層次知識圖上的實驗表明,我們的龐加萊嵌入方法在鏈路預測任務上優于歐氏嵌入方法和現有的嵌入方法,特別是在低維的情況下。
主題: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入學習實體和關系的低維表示,以預測缺失的內容。 KG通常表現出必須保留在嵌入空間中的分層和邏輯模式。對于分層數據,雙曲線嵌入方法已顯示出對高保真和簡約表示的希望。但是,現有的雙曲線嵌入方法無法解決KG中的豐富邏輯模式。在這項工作中,我們介紹了一類雙曲KG嵌入模型,該模型同時捕獲層次結構和邏輯模式。我們的方法將雙曲線反射和旋轉結合在一起,以注意對復雜的關系模式進行建模。在標準KG基準上的實驗結果表明,我們的方法在較低維度上的平均倒數排名(MRR)比以前的基于歐幾里德和雙曲線的方法提高了6.1%。此外,我們觀察到,不同的幾何變換捕獲不同類型的關系,而基于注意力的變換則泛化為多個關系。在高維度上,我們的方法在WN18RR上產生了49.6%的最新技術水平,在YAGO3-10上產生了57.7%的最新技術水平。
題目: Hyperbolic Heterogeneous Information Network Embedding
摘要: 異構信息網絡嵌入(Heterogeneous information network, HIN)以將其投射到低維空間為目標,已經引起了相當多的研究關注。現有的HIN嵌入方法主要是在歐幾里得空間中保留內部網絡結構和語義相關性。然而,一個基本的問題是歐幾里得空間是否是HIN的合適的或內在的等距空間?。近年來的研究認為,復雜網絡的底層可能具有雙曲幾何,因為底層的雙曲幾何可以自然地反映復雜網絡的一些特性,如層次結構和冪律結構。在本文中,我們首次嘗試將HIN嵌入到雙曲空間中。我們分析了兩個實際HIN的結構,發現HIN中也存在冪律分布等性質。為此,我們提出了一種新的雙曲異構信息網絡嵌入模型。具體地說,為了捕獲節點之間的結構和語義關系,我們采用元路徑引導隨機游走對每個節點的序列進行采樣。然后利用雙曲空間中的距離作為近似度量。雙曲距離能滿足三角不等式,并能很好地保持HIN中的傳遞性。我們的模型使節點及其鄰域具有小的雙曲線距離。進一步推導出有效的優化策略,迭代更新雙曲嵌入。實驗結果表明,該模型不僅在網絡重構和鏈路預測任務上具有優越的性能,而且在HIN中通過可視化顯示了捕獲層次結構的能力。
題目: Hyperbolic Graph Attention Network
摘要: 圖神經網絡(GNN)在圖處理方面表現出了優越的性能,近年來引起了人們的廣泛關注。然而,大多數現有的GNN模型主要是為歐幾里得空間中的圖設計的。最近的研究已經證明,圖數據顯示非歐幾里得潛在的解剖學。不幸的是,到目前為止,很少有研究GNN在非歐幾里得的設置。為了彌補這一缺陷,本文首次對雙曲空間中具有注意機制的GNN進行了研究。雙曲GNN的研究有一些獨特的挑戰:由于雙曲空間不是向量空間,不能進行向量操作(如向量的加法、減法和標量乘法)。為了解決這個問題,我們使用回旋向量空間,它提供了一個優雅的代數形式的雙曲幾何,以轉換圖的特征;在此基礎上,我們提出了基于雙曲接近的注意力聚合機制。此外,由于雙曲空間中的數學運算比歐幾里得空間中的更為復雜,我們進一步設計了一種新的利用對數和指數映射的加速策略來提高模型的效率。通過與其他最先進的基線方法的比較,發現在四個真實數據集上的綜合實驗結果證明了我們提出的雙曲圖注意力網絡模型的性能。
題目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入通過學習實體和關系的低維表示,以預測缺失事實。KGs通常具有層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于分層數據,雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而,現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中,我們引入了一類雙曲KG嵌入模型,可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外,我們觀察到不同的幾何變換捕捉不同類型的關系,而基于注意的變換則推廣到多重關系。在高維情況下,我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。
題目: Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction
摘要: 知識圖譜(KGs)嵌入的是一個強大的工具,能夠預測KGs缺失的鏈接。現有的技術通常將KG表示一個三元組集合,每個三元組(h, r, t)通過關系r將兩個實體h和t聯系起來,并從這樣的三元組中學習實體/關系嵌入,同時保留這樣的結構。然而,這種三元組的表示過分簡化了存儲在KG中的數據的復雜性,尤其是超關系的事實,其中每個事實不僅包含基本三元組(h r t),還有相關的鍵-值對(k、v)。盡管最近有一些技術試圖通過將超關系事實轉換為n元表示來學習這些數據(即一組沒有三元組組的鍵值對)。由于它們不知道三元組結構,導致了次優模型,三元組結構是現代KGs的基本數據結構,保留了鏈接預測的基本信息。為了解決這個問題,我們提出了HINGE,一個超相關KG嵌入模型,它直接從KG學習超相關事實。HINGE不僅捕獲了在三元組中編碼的KG的主要結構信息,而且還捕獲了每個三元組及其相關鍵-值對之間的相關性。我們在KG預測任務大量的實驗顯示了優越性。特別是,HINGE不僅始終優于僅從三元組學習的KG嵌入方法,而且始終優于使用n元表示從超關系事實學習的方法。
知識圖譜(KG)嵌入通過學習實體和關系的低維表示來預測缺失的事實。KGs通常表現出層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于層次數據,雙曲線嵌入方法已經顯示出高保真和精簡表示的前景。然而,現有的雙曲線嵌入方法并不能解釋KGs中豐富的邏輯模式。在本文中,我們介紹了一類雙曲線KG嵌入模型,該模型同時捕獲層次模式和邏輯模式。我們的方法結合了雙曲線反射和旋轉,并注意到模型的復雜關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維平均倒數秩(MRR)方面比以前的基于歐幾里德和雙曲線的方法提高了6.1%。此外,我們觀察到不同的幾何變換捕獲不同類型的關系,而基于注意的變換泛化為多個關系。在高維情況下,我們的方法可以得到最新的MRRs, WN18RR為49.6%,YAGO3-10為57.7%。
題目: Composition-Based Multi-Relational Graph Convolutional Networks
摘要: 圖卷積網絡(GCNs)最近被證明在對圖結構數據建模方面是非常成功的。然而,主要的重點是處理簡單的無向圖。多關系圖是一種更為普遍和流行的圖,其中每條邊都有一個與之相關的標簽和方向。現有的大多數處理此類圖的方法都存在參數過多的問題,并且僅限于學習節點的表示形式。在本文中,我們提出了一種新的圖卷積框架COMP-GCN,它將節點和關系共同嵌入到一個關系圖中。COMP-GCN利用知識圖譜嵌入技術中的各種實體關系組合操作,并根據關系的數量進行擴展。它還概括了幾種現有的多關系GCN方法。我們評估了我們提出的方法在多個任務,如節點分類,鏈接預測,和圖分類,并取得了明顯的結果。
題目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要: 近年來隨著知識圖譜(KGs)的大量涌現,加上實體間缺失關系(鏈接)的不完全或部分信息,催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明,基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入,因此在關系預測方面也有很好的表現。然而,我們觀察到這些KG嵌入獨立地處理三元組,因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此,本文提出了一種新的基于注意的特征嵌入方法,該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外,我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解,并且與所有數據集上的最先進的方法相比,有顯著的性能提升。
題目: Multi-relational Poincaré Graph Embeddings
摘要: 雙曲型嵌入方法由于其比歐幾里德類似方法更準確、簡潔地表示層次數據的能力,近年來在機器學習中得到了廣泛的關注。然而,多關系知識圖往往表現出多個同時的層次結構,而目前的雙曲線模型并沒有捕捉到這些層次結構。為了解決這個問題,我們提出了一個在雙曲空間的Poincaréball模型中嵌入多關系圖數據的模型。我們的多關系Poincaré模型(Multi-Relational Poincarémodel,MuRP)通過Móbius矩陣向量乘法和Móbius加法學習特定于關系的參數來轉換實體嵌入。分層WN18RR知識圖上的實驗表明,我們的Poincar EI嵌入優于其歐幾里得對和現有的嵌入方法在鏈路預測任務上,特別是在低維上。
作者簡介: Ivana Bala?evi?,愛丁堡大學信息學院機器學習組的博士,也是據科學博士培訓中心的成員。她的研究方向是知識圖的關系機器學習、表示學習、數學原理嵌入模型和非歐幾里德幾何。個人主頁://homepages.inf.ed.ac.uk/s1656585/