亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： KG-BERT: BERT for Knowledge Graph Completion

摘要： 知識圖譜是許多人工智能任務的重要資源，但往往是不完整的。在這項工作中，我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列，并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入，利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明，我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。

摘要

知識圖譜(KGs)在工業和學術領域有很多應用，這反過來又推動了朝著大規模地從各種來源提取信息大量的研究工作。盡管付出了這些努力，但眾所周知，即使是最先進的KGs也是不完整的。鏈路預測(Link Prediction, LP)是一種根據KG中已存在的實體去預測缺失事實的任務，是一種有前途的、廣泛研究的、旨在解決KG的不完整的任務。在最近的LP技術中，基于KG嵌入的LP技術在一些基準測試中取得了很好的性能。盡管這方面的文獻在迅速增加，但對這些方法中各種設計選擇的影響卻沒有引起足夠的注意。此外，這一領域的標準做法是通過測試大量的事實來報告準確性，其中一些實體被過度表示；這允許LP方法通過只修改包含這些實體的結構屬性來展示良好的性能，而忽略KG的主要部分。本篇綜述分析提供了基于嵌入的LP方法的全面比較，將分析的維度擴展到常見的文獻范圍之外。我們通過實驗比較了16種最先進的方法的有效性和效率，考慮了一個基于規則的基準，并報告了文獻中最流行的基準的詳細分析。

介紹

知識圖譜(KGs)是真實世界信息的結構化表示。在一個KG中，節點表示實體，例如人和地點；標簽是連接它們的關系類型；邊是用關系連接兩個實體的特定事實。由于KGs能夠以機器可讀的方式對結構化、復雜的數據進行建模，因此它被廣泛應用于各個領域，從問答到信息檢索和基于內容的推薦系統，并且對于任何語義web項目都非常重要。常見的KG有FreeBase、WikiData、DBPedia、Yago和行業KG有谷歌KG、Satori和Facebook Graph Search。這些巨大的KG可以包含數百萬個實體和數十億個事實。

盡管有這樣的努力，但眾所周知，即使是最先進的KGs也存在不完整性問題。例如，據觀察FreeBase是用于研究目的的最大和最廣泛使用的KGs之一，但是在FreeBase中超過70%的個體沒有出生地點，超過99%的個體沒有民族。這使得研究人員提出了各種各樣的技術來糾正錯誤，并將缺失的事實添加到KGs中，通常稱為知識圖譜補全或知識圖譜增強任務。可以通過從外部源(如Web語料庫)提取新的事實，或者從KG中已經存在的事實推斷缺失的事實，來增長現有的KG。后來的方法，稱為鏈接預測(LP)，是我們分析的重點。

LP一直是一個日益活躍的研究領域，最近受益于機器學習和深度學習技術的爆炸式增長。目前絕大多數LP模型使用原始的KG元素來學習低維表示，稱為知識圖譜嵌入，然后利用它們來推斷新的事實。在短短幾年的時間里，研究人員受到RESCAL和TransE等一些開創性工作的啟發，開發了幾十種基于不同的架構的新模型。這一領域的絕大多數論文都有一個共同點，但也存在問題，那就是它們報告的結果匯總在大量的測試事實之上，其中很少有實體被過度表示。因此，LP方法可以在這些基準上表現出良好的性能，只對這些實體進行訪問，而忽略其他實體。此外，當前最佳實踐的局限性可能使人們難以理解這一文獻中的論文是如何結合在一起的，以及如何描述出值得追求的研究方向。除此之外，目前技術的優點、缺點和局限性仍然是未知的，也就是說，幾乎沒有研究過允許模型更好地執行的情況。粗略地說，我們仍然不知道是什么可以讓一個事實變得容易還是難以學習和預測。

為了緩解上述問題，我們對一組有代表性的基于KG嵌入的LP模型進行了廣泛的比較分析。我們優先考慮最先進的系統，并考慮屬于廣泛的體系結構的工作。我們從零開始對這些系統進行訓練和調整，并通過提出新的、信息豐富的評估實踐，提供超出原始論文的實驗結果。具體是：

我們考慮了16個模型，屬于不同的機器學習和深度學習架構；我們還采用了一個基于規則挖掘的附加的最先進的LP模型作為基線。我們提供了實驗比較考慮的方法的詳細描述和相關文獻的總結，以及知識圖譜嵌入技術的教育分類。 我們考慮了5個最常用的數據集，以及目前用于基準測試的最流行的指標；我們詳細分析了它們的特點和特性。 對于每個模型，我們為每個數據集提供了效率和有效性的定量結果。 我們在訓練數據中提出一組結構特征，并測量它們如何影響每個模型對每個測試事實的預測性能。

方法概述

在本節中，我們描述并討論了基于潛在特征的知識管理的主要方法。正如在第2節中所描述的，LP模型可以利用各種各樣的方法和架構，這取決于它們如何對優化問題進行建模，以及它們實現來處理優化問題的技術。

為了概述它們高度不同的特征，我們提出了一種新的分類法，如圖1所示。我們列出了三個主要的系列模型，并進一步將它們劃分為更小的組，以獨特的顏色標識。對于每個組，我們都包括最有效的代表性模型，優先考慮那些達到最先進性能的模型，并且在任何可能的情況下，優先考慮那些具有公開可用實現的模型。結果是一組16個模型，基于極其多樣化的架構；這些是我們隨后在比較分析的實驗部分所使用的模型。對于每個模型，我們還報告了發表的年份以及從其他模型得到的信息。我們認為，這種分類有助于理解這些模型和在我們的工作中進行的實驗。表1報告了關于所包括的模型的進一步信息，例如它們的損失函數和空間復雜性。我們確定了三大類模型:1)張量分解模型;2)幾何模型;3)深度學習模型。

張量分解模型

這個家族的模型將LP解釋為一個張量分解的任務。這些模型隱式地將KG考慮為一個三維鄰接矩陣(即一個3維張量)，由于KG的不完整性，這個鄰接矩陣只有部分可觀測。張量被分解成低維向量的組合(比如一個多線性乘積):這些向量被用作實體和關系的嵌入表示。張量分解的核心思想是，只要訓練集訓練不過擬合，則學習到的嵌入應該能夠泛化，并將高值與圖鄰接矩陣中不可觀測的真實事實相關聯。在實踐中，每個事實的得分都是通過對事實中涉及的特定嵌入進行組合計算得出的；通過優化所有訓練事實的評分函數，可以像往常一樣進行學習嵌入。這些模型傾向于使用很少或根本沒有共享參數；這使得它們特別容易訓練。

幾何模型

幾何模型將關系解釋為潛在空間的幾何變換。對于給定的事實，頭實體嵌入進行空間轉換τ，使用嵌入的關系作為參數的值。對事實評分的值是結果向量和尾向量之間的距離；這樣則可以使用距離函數計算δ(例如L1和L2范數)。

?

深度學習模型

深度學習模型使用深度神經網絡來執行LP任務。神經網絡學習參數，如權重和偏差，它們結合輸入數據，以識別顯著模式。深度神經網絡通常將參數組織成獨立的層，通常穿插非線性激活函數。

隨著時間的推移，人們開發了許多不同類型的層，對輸入數據應用不同的操作。例如，全連接層將把輸入數據X與權重W結合起來，并添加一個偏差B: W X + B。為了簡單起見，在下面的公式中我們將不提及偏差的使用，使其保持隱式。更高級的層執行更復雜的操作，如卷積層(它學習卷積內核以應用于輸入數據)或遞歸層(以遞歸方式處理順序輸入)。

在LP任務中，通常結合各層的權重和偏差來學習KG嵌入；這些共享的參數使這些模型更有表現力，但可能導致參數更多，更難訓練，更容易過擬合。

題目： Probability Calibration for Knowledge Graph Embedding Models

摘要： 知識圖譜嵌入的研究忽略了概率定標問題。我們展示了流行的嵌入模型確實是未經校準的。這意味著與預測三元組相關的概率估計是不可靠的。摘要針對知識圖譜中常見的情況，提出了一種新的校準模型的方法。我們建議在我們的方法的同時使用普拉特尺度和等滲回歸。在三個帶有地面真值負樣本的數據集上進行的實驗表明，與使用負樣本的黃金標準相比，我們的貢獻使模型得到了很好的校準。我們得到的結果顯著優于未校準的模型從所有校準方法。我們證明等滲回歸提供了最好的整體性能，而不是沒有權衡。我們還表明，經過校準的模型不需要定義特定于關系的決策閾值就可以達到最先進的精度。

題目： Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction

摘要： 知識圖譜(KGs)嵌入的是一個強大的工具,能夠預測KGs缺失的鏈接。現有的技術通常將KG表示一個三元組集合,每個三元組(h, r, t)通過關系r將兩個實體h和t聯系起來,并從這樣的三元組中學習實體/關系嵌入，同時保留這樣的結構。然而,這種三元組的表示過分簡化了存儲在KG中的數據的復雜性,尤其是超關系的事實,其中每個事實不僅包含基本三元組(h r t),還有相關的鍵-值對(k、v)。盡管最近有一些技術試圖通過將超關系事實轉換為n元表示來學習這些數據（即一組沒有三元組組的鍵值對）。由于它們不知道三元組結構，導致了次優模型，三元組結構是現代KGs的基本數據結構，保留了鏈接預測的基本信息。為了解決這個問題，我們提出了HINGE，一個超相關KG嵌入模型，它直接從KG學習超相關事實。HINGE不僅捕獲了在三元組中編碼的KG的主要結構信息，而且還捕獲了每個三元組及其相關鍵-值對之間的相關性。我們在KG預測任務大量的實驗顯示了優越性。特別是，HINGE不僅始終優于僅從三元組學習的KG嵌入方法，而且始終優于使用n元表示從超關系事實學習的方法。

題目： Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

摘要： 近年來隨著知識圖譜(KGs)的大量涌現，加上實體間缺失關系(鏈接)的不完全或部分信息，催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明，基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入，因此在關系預測方面也有很好的表現。然而，我們觀察到這些KG嵌入獨立地處理三元組，因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此，本文提出了一種新的基于注意的特征嵌入方法，該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外，我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解，并且與所有數據集上的最先進的方法相比，有顯著的性能提升。

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括：KG-Augmented語言模型，異構KGs中的實體匹配，KG完成和鏈路預測，基于kg的會話人工智能和問題回答，包括論文，值得查看！

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

• 潛在關系語言模型：本文提出了一種潛在關系語言模型(LRLMs)，這是一類通過知識圖譜關系對文檔中詞語的聯合分布及其所包含的實體進行參數化的語言模型。該模型具有許多吸引人的特性:它不僅提高了語言建模性能，而且能夠通過關系標注給定文本的實體跨度的后驗概率。實驗證明了基于單詞的基線語言模型和先前合并知識圖譜信息的方法的經驗改進。定性分析進一步證明了該模型的學習能力，以預測適當的關系在上下文中。

論文摘要：知識圖譜嵌入是一種將符號實體和關系投影到連續向量空間的方法，越來越受到人們的重視。以前的方法允許對每個實體或關系進行單一的靜態嵌入，忽略它們的內在上下文性質，即。，實體和關系可能出現在不同的圖上下文中，因此，它們具有不同的屬性。該工作提出了一種新的基于上下文的知識圖譜嵌入(CoKE)范式，該范式考慮了這種上下文性質，并學習了動態的、靈活的、完全上下文化的實體和關系嵌入。研究了兩類圖的上下文:邊和路徑，它們都被表示為實體和關系的序列。CoKE采用一個序列作為輸入，并使用Transformer編碼器獲得上下文化的表示。因此，這些表現形式自然地適應輸入，捕捉實體的上下文含義和其中的關系。通過對各種公共基準的評估，驗證了CoKE在鏈路預測和路徑查詢應答方面的優越性。在幾乎所有情況下，它的性能始終比當前的技術水平更好，或者至少與之相當，特別是在H@10的路徑查詢應答方面提高了19.7%。

代碼鏈接：[ /tree/develop/PaddleKG/CoKE]( /tree/develop/PaddleKG/CoKE)