題目： InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions
摘要： 現有的大多數知識圖譜是不完整的，這個問題是可以通過基于已知事實推斷缺失的鏈接來進行緩解的。目前一種流行的方法是通過生成實體和關系的低維嵌入，并使用它們進行推斷。ConvE是最近提出的一種方法，它將卷積濾波器應用于實體和關系嵌入的 2D重構，以捕獲它們之間的交互信息。然而，ConvE捕獲的交互作用的量是有限的。在這篇文章中，我們分析了增加這些相互作用的數量如何影響鏈路預測性能，并利用我們的觀察提出了InteractE。InteractE基于三個關鍵思想:特征排列、新穎的特征重塑和循環卷積。通過大量的實驗，我們發現InteractE在FB15k-237上的性能優于最先進的卷積鏈路預測基線方法。此外，在FB15k-237、WN18RR和YAGO3-10數據集上，InteractE的MRR評分分別比ConvE高9%、7.5%和23%。結果驗證了我們的假設，即增加特征交互有助于提高鏈接預測性能。
付費5元查看完整內容
相關內容
知識圖譜（Knowledge Graph），在圖書情報界稱為知識域可視化或知識領域映射地圖，是顯示知識發展進程與結構關系的一系列各種不同的圖形，用可視化技術描述知識資源及其載體，挖掘、分析、構建、繪制和顯示知識及它們之間的相互聯系。
知識圖譜是通過將應用數學、圖形學、信息可視化技術、信息科學等學科的理論與方法與計量學引文分析、共現分析等方法結合，并利用可視化的圖譜形象地展示學科的核心結構、發展歷史、前沿領域以及整體知識架構達到多學科融合目的的現代理論。它能為學科研究提供切實的、有價值的參考。
主題： Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
摘要： 會話推薦系統（CRS）旨在通過交互式對話向用戶推薦高質量的項目。盡管已為CRS做出了一些努力，但仍有兩個主要問題有待解決。首先，對話數據本身缺少足夠的上下文信息，無法準確地了解用戶的偏好。第二，自然語言表達與項目級用戶偏好之間存在語義鴻溝。為了解決這些問題，我們結合了面向單詞和面向實體的知識圖（KG）來增強CRS中的數據表示，并采用互信息最大化來對齊單詞級和實體級的語義空間。基于對齊的語義表示，我們進一步開發了用于進行準確推薦的KGenhanced推薦器組件，以及可以在響應文本中生成信息性關鍵字或實體的KG增強對話框組件。大量的實驗證明了我們的方法在推薦和對話任務上都能產生更好的性能。
付費5元查看完整內容
題目： Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph
摘要： 近年來，圖神經網絡(GNN)被應用于知識圖譜(KG)的開發。現有的基于GNN的方法在KG中對實體與其本地圖上下文之間的依賴關系進行了建模。，但可能無法有效地捕獲其非局部圖上下文(例如，它的一階鄰居的集合)，最相關的高階鄰居集)。在本文中，我們提出了一個新的推薦框架——上下文化的圖注意網絡(CGAT)，它可以顯式地利用KG中實體的局部和非局部圖上下文信息。特別地，CGAT通過用戶特定的圖形注意機制捕獲本地上下文信息，考慮用戶對實體的個性化偏好。此外，CGAT采用了一個有偏隨機游走采樣過程來提取一個實體的非局部上下文，并利用遞歸神經網絡(RNN)來建模實體與其非局部上下文實體之間的依賴關系。為了捕捉用戶對物品的個性化偏好，本文還建立了物品特定注意機制，以模擬目標物品與從用戶歷史行為中提取的上下文物品之間的依賴關系。在真實數據集上的實驗結果驗證了CGAT的有效性，并與最新的基于KG的推薦方法進行了比較。
付費5元查看完整內容
題目： Multi-relational Poincaré Graph Embeddings
摘要： 雙曲嵌入最近在機器學習中獲得了關注，因為它們能夠比歐幾里得類似物更準確和簡潔地表示層次數據。然而，多關系知識圖譜經常顯示多個同時的層次結構，這是目前的雙曲模型沒有捕捉到的。為了解決這個問題，我們提出了一個模型，在雙曲空間的龐加萊球模型中嵌入多關系圖數據。我們的多關系龐加萊模型(MuRP)通過Mobius矩陣向量乘法和Mobius加法學習特定關系參數來轉換實體嵌入。在WN18RR層次知識圖上的實驗表明，我們的龐加萊嵌入方法在鏈路預測任務上優于歐氏嵌入方法和現有的嵌入方法，特別是在低維的情況下。
付費5元查看完整內容
摘要
知識圖譜(KGs)在工業和學術領域有很多應用，這反過來又推動了朝著大規模地從各種來源提取信息大量的研究工作。盡管付出了這些努力，但眾所周知，即使是最先進的KGs也是不完整的。鏈路預測(Link Prediction, LP)是一種根據KG中已存在的實體去預測缺失事實的任務，是一種有前途的、廣泛研究的、旨在解決KG的不完整的任務。在最近的LP技術中，基于KG嵌入的LP技術在一些基準測試中取得了很好的性能。盡管這方面的文獻在迅速增加，但對這些方法中各種設計選擇的影響卻沒有引起足夠的注意。此外，這一領域的標準做法是通過測試大量的事實來報告準確性，其中一些實體被過度表示；這允許LP方法通過只修改包含這些實體的結構屬性來展示良好的性能，而忽略KG的主要部分。本篇綜述分析提供了基于嵌入的LP方法的全面比較，將分析的維度擴展到常見的文獻范圍之外。我們通過實驗比較了16種最先進的方法的有效性和效率，考慮了一個基于規則的基準，并報告了文獻中最流行的基準的詳細分析。
介紹
知識圖譜(KGs)是真實世界信息的結構化表示。在一個KG中，節點表示實體，例如人和地點；標簽是連接它們的關系類型；邊是用關系連接兩個實體的特定事實。由于KGs能夠以機器可讀的方式對結構化、復雜的數據進行建模，因此它被廣泛應用于各個領域，從問答到信息檢索和基于內容的推薦系統，并且對于任何語義web項目都非常重要。常見的KG有FreeBase、WikiData、DBPedia、Yago和行業KG有谷歌KG、Satori和Facebook Graph Search。這些巨大的KG可以包含數百萬個實體和數十億個事實。
盡管有這樣的努力，但眾所周知，即使是最先進的KGs也存在不完整性問題。例如，據觀察FreeBase是用于研究目的的最大和最廣泛使用的KGs之一，但是在FreeBase中超過70%的個體沒有出生地點，超過99%的個體沒有民族。這使得研究人員提出了各種各樣的技術來糾正錯誤，并將缺失的事實添加到KGs中，通常稱為知識圖譜補全或知識圖譜增強任務。可以通過從外部源(如Web語料庫)提取新的事實，或者從KG中已經存在的事實推斷缺失的事實，來增長現有的KG。后來的方法，稱為鏈接預測(LP)，是我們分析的重點。
LP一直是一個日益活躍的研究領域，最近受益于機器學習和深度學習技術的爆炸式增長。目前絕大多數LP模型使用原始的KG元素來學習低維表示，稱為知識圖譜嵌入，然后利用它們來推斷新的事實。在短短幾年的時間里，研究人員受到RESCAL和TransE等一些開創性工作的啟發，開發了幾十種基于不同的架構的新模型。這一領域的絕大多數論文都有一個共同點，但也存在問題，那就是它們報告的結果匯總在大量的測試事實之上，其中很少有實體被過度表示。因此，LP方法可以在這些基準上表現出良好的性能，只對這些實體進行訪問，而忽略其他實體。此外，當前最佳實踐的局限性可能使人們難以理解這一文獻中的論文是如何結合在一起的，以及如何描述出值得追求的研究方向。除此之外，目前技術的優點、缺點和局限性仍然是未知的，也就是說，幾乎沒有研究過允許模型更好地執行的情況。粗略地說，我們仍然不知道是什么可以讓一個事實變得容易還是難以學習和預測。
為了緩解上述問題，我們對一組有代表性的基于KG嵌入的LP模型進行了廣泛的比較分析。我們優先考慮最先進的系統，并考慮屬于廣泛的體系結構的工作。我們從零開始對這些系統進行訓練和調整，并通過提出新的、信息豐富的評估實踐，提供超出原始論文的實驗結果。具體是：
我們考慮了16個模型，屬于不同的機器學習和深度學習架構；我們還采用了一個基于規則挖掘的附加的最先進的LP模型作為基線。我們提供了實驗比較考慮的方法的詳細描述和相關文獻的總結，以及知識圖譜嵌入技術的教育分類。 我們考慮了5個最常用的數據集，以及目前用于基準測試的最流行的指標；我們詳細分析了它們的特點和特性。 對于每個模型，我們為每個數據集提供了效率和有效性的定量結果。 我們在訓練數據中提出一組結構特征，并測量它們如何影響每個模型對每個測試事實的預測性能。
方法概述
在本節中，我們描述并討論了基于潛在特征的知識管理的主要方法。正如在第2節中所描述的，LP模型可以利用各種各樣的方法和架構，這取決于它們如何對優化問題進行建模，以及它們實現來處理優化問題的技術。
為了概述它們高度不同的特征，我們提出了一種新的分類法，如圖1所示。我們列出了三個主要的系列模型，并進一步將它們劃分為更小的組，以獨特的顏色標識。對于每個組，我們都包括最有效的代表性模型，優先考慮那些達到最先進性能的模型，并且在任何可能的情況下，優先考慮那些具有公開可用實現的模型。結果是一組16個模型，基于極其多樣化的架構；這些是我們隨后在比較分析的實驗部分所使用的模型。對于每個模型，我們還報告了發表的年份以及從其他模型得到的信息。我們認為，這種分類有助于理解這些模型和在我們的工作中進行的實驗。表1報告了關于所包括的模型的進一步信息，例如它們的損失函數和空間復雜性。我們確定了三大類模型:1)張量分解模型;2)幾何模型;3)深度學習模型。
張量分解模型
這個家族的模型將LP解釋為一個張量分解的任務。這些模型隱式地將KG考慮為一個三維鄰接矩陣(即一個3維張量)，由于KG的不完整性，這個鄰接矩陣只有部分可觀測。張量被分解成低維向量的組合(比如一個多線性乘積):這些向量被用作實體和關系的嵌入表示。張量分解的核心思想是，只要訓練集訓練不過擬合，則學習到的嵌入應該能夠泛化，并將高值與圖鄰接矩陣中不可觀測的真實事實相關聯。在實踐中，每個事實的得分都是通過對事實中涉及的特定嵌入進行組合計算得出的；通過優化所有訓練事實的評分函數，可以像往常一樣進行學習嵌入。這些模型傾向于使用很少或根本沒有共享參數；這使得它們特別容易訓練。
幾何模型
幾何模型將關系解釋為潛在空間的幾何變換。對于給定的事實，頭實體嵌入進行空間轉換τ，使用嵌入的關系作為參數的值。對事實評分的值是結果向量和尾向量之間的距離；這樣則可以使用距離函數計算δ(例如L1和L2范數)。
?
深度學習模型
深度學習模型使用深度神經網絡來執行LP任務。神經網絡學習參數，如權重和偏差，它們結合輸入數據，以識別顯著模式。深度神經網絡通常將參數組織成獨立的層，通常穿插非線性激活函數。
隨著時間的推移，人們開發了許多不同類型的層，對輸入數據應用不同的操作。例如，全連接層將把輸入數據X與權重W結合起來，并添加一個偏差B: W X + B。為了簡單起見，在下面的公式中我們將不提及偏差的使用，使其保持隱式。更高級的層執行更復雜的操作，如卷積層(它學習卷積內核以應用于輸入數據)或遞歸層(以遞歸方式處理順序輸入)。
在LP任務中，通常結合各層的權重和偏差來學習KG嵌入；這些共享的參數使這些模型更有表現力，但可能導致參數更多，更難訓練，更容易過擬合。
付費5元查看完整內容
題目： Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要： 近年來隨著知識圖譜(KGs)的大量涌現，加上實體間缺失關系(鏈接)的不完全或部分信息，催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明，基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入，因此在關系預測方面也有很好的表現。然而，我們觀察到這些KG嵌入獨立地處理三元組，因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此，本文提出了一種新的基于注意的特征嵌入方法，該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外，我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解，并且與所有數據集上的最先進的方法相比，有顯著的性能提升。
付費5元查看完整內容
To solve the information explosion problem and enhance user experience in various online applications, recommender systems have been developed to model users preferences. Although numerous efforts have been made toward more personalized recommendations, recommender systems still suffer from several challenges, such as data sparsity and cold start. In recent years, generating recommendations with the knowledge graph as side information has attracted considerable interest. Such an approach can not only alleviate the abovementioned issues for a more accurate recommendation, but also provide explanations for recommended items. In this paper, we conduct a systematical survey of knowledge graph-based recommender systems. We collect recently published papers in this field and summarize them from two perspectives. On the one hand, we investigate the proposed algorithms by focusing on how the papers utilize the knowledge graph for accurate and explainable recommendation. On the other hand, we introduce datasets used in these works. Finally, we propose several potential research directions in this field.
【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括：KG-Augmented語言模型，異構KGs中的實體匹配，KG完成和鏈路預測，基于kg的會話人工智能和問題回答，包括論文，值得查看！
Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020
- 潛在關系語言模型：本文提出了一種潛在關系語言模型(LRLMs)，這是一類通過知識圖譜關系對文檔中詞語的聯合分布及其所包含的實體進行參數化的語言模型。該模型具有許多吸引人的特性:它不僅提高了語言建模性能，而且能夠通過關系標注給定文本的實體跨度的后驗概率。實驗證明了基于單詞的基線語言模型和先前合并知識圖譜信息的方法的經驗改進。定性分析進一步證明了該模型的學習能力，以預測適當的關系在上下文中。
付費5元查看完整內容
InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions
Most existing knowledge graphs suffer from incompleteness, which can be alleviated by inferring missing links based on known facts. One popular way to accomplish this is to generate low-dimensional embeddings of entities and relations, and use these to make inferences. ConvE, a recently proposed approach, applies convolutional filters on 2D reshapings of entity and relation embeddings in order to capture rich interactions between their components. However, the number of interactions that ConvE can capture is limited. In this paper, we analyze how increasing the number of these interactions affects link prediction performance, and utilize our observations to propose InteractE. InteractE is based on three key ideas -- feature permutation, a novel feature reshaping, and circular convolution. Through extensive experiments, we find that InteractE outperforms state-of-the-art convolutional link prediction baselines on FB15k-237. Further, InteractE achieves an MRR score that is 9%, 7.5%, and 23% better than ConvE on the FB15k-237, WN18RR and YAGO3-10 datasets respectively. The results validate our central hypothesis -- that increasing feature interaction is beneficial to link prediction performance. We make the source code of InteractE available to encourage reproducible research.
Providing model-generated explanations in recommender systems is important to user experience. State-of-the-art recommendation algorithms -- especially the collaborative filtering (CF) based approaches with shallow or deep models -- usually work with various unstructured information sources for recommendation, such as textual reviews, visual images, and various implicit or explicit feedbacks. Though structured knowledge bases were considered in content-based approaches, they have been largely ignored recently due to the availability of vast amount of data and the learning power of many complex models. However, structured knowledge bases exhibit unique advantages in personalized recommendation systems. When the explicit knowledge about users and items is considered for recommendation, the system could provide highly customized recommendations based on users' historical behaviors and the knowledge is helpful for providing informed explanations regarding the recommended items. In this work, we propose to reason over knowledge base embeddings for explainable recommendation. Specifically, we propose a knowledge base representation learning framework to embed heterogeneous entities for recommendation, and based on the embedded knowledge base, a soft matching algorithm is proposed to generate personalized explanations for the recommended items. Experimental results on real-world e-commerce datasets verified the superior recommendation performance and the explainability power of our approach compared with state-of-the-art baselines.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191