亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要: 知識圖譜(KG)是一種用圖模型來描述知識和建模事物之間關聯關系的技術. 知識圖譜嵌入(KGE)作為一種被廣泛采用的知識表示方法, 其主要思想是將知識圖譜中的實體和關系嵌入到連續的向量空間中, 用來簡化操作, 同時保留KG的固有結構. 可以使得多種下游任務受益, 例如KG補全和關系提取等. 首先對現有的知識圖譜嵌入技術進行全面回顧, 不僅包括使用KG中觀察到的事實進行嵌入的技術, 還包括添加時間維度的動態KG嵌入方法, 以及融合多源信息的KG嵌入技術. 對相關模型從實體嵌入、關系嵌入、評分函數等方面進行分析、對比與總結. 然后簡要介紹KG嵌入技術在下游任務中的典型應用, 包括問答系統、推薦系統和關系提取等. 最后闡述知識圖譜嵌入面臨的挑戰, 對未來的研究方向進行展望.

地址： //www.jos.org.cn/jos/article/abstract/6429

0 引言

知識圖譜(knowledge graph, KG)作為人工智能的一個分支, 引起了學術界和工業界的廣泛關注, 其構建與應用也得到了迅速發展. 例如Freebase[1], DBpedia[2], YAGO[3], NELL[4], Wikidata[5]等知識圖譜已經被成功創建并應用于許多現實世界應用, 從語義分析[6, 7]、命名實體消歧[8, 9], 到信息提取[10, 11]和問答系統[12, 13]等. 知識圖譜是以現實世界的實體為節點, 實體之間的關系為邊的有向圖. 在這個圖中, 每個有向邊連同其頭實體與尾實體構成了一個三元組, 即(頭實體, 關系, 尾實體), 表示頭實體與尾實體通過關系進行連接. 盡管知識圖譜在表示結構化數據方面非常有效, 但這種三元組的基本符號性質使KG難以操作[14].

為了解決這個問題, 近年來提出了一個新的研究方向, 稱為知識圖譜嵌入(knowledge graph embedding, KGE)或知識表示學習(knowledge representation learning, KRL), 旨在將KG的組成部分(包括實體和關系)嵌入到連續的向量空間中, 以在簡化操作的同時保留KG的固有結構. 與傳統的表示方法相比, KGE為KG中的實體和關系提供了更加密集的表示, 降低了其應用中的計算復雜度. 此外, KGE可以通過度量實體和關系低維嵌入的相似性來顯式地捕獲實體和關系之間的相似性.盡管研究者已提出多種模型來學習KG中的實體和關系表示, 但是目前大多數可用的技術仍然僅根據知識圖譜中觀察到的事實來執行嵌入任務. 具體地說, 給定一個KG, 首先在低維向量空間中表示實體和關系, 并為每個三元組定義一個評分函數以衡量其在該空間中的合理性. 然后通過最大化觀察到的三元組的總合理性來學習實體和關系的嵌入. 這些學習的嵌入還可以進一步用于實現各種任務, 例如KG補全[15, 16], 關系提取[10, 17], 實體分類[18, 19], 實體解析[18, 20]等. 由于在整個過程中僅要求學習的嵌入在每個單獨的事實中兼容, 因此對下游任務可能沒有足夠的預測性[21, 22]. 近年來, 越來越多的研究者開始進一步考慮利用其他類型的信息, 例如實體類型[23, 24], 文本描述[25-28], 關系路徑[29-31], 甚至邏輯規則[32, 33]來學習更多的預測嵌入.

本文第1節介紹相關工作調查與基本符號定義; 第2節對僅使用KG中觀察到的事實進行嵌入的技術進行全面回顧, 具體介紹基于距離的模型, 語義匹配模型以及最新的KGE技術; 第3節主要討論了融合時間信息的動態知識圖譜嵌入技術, 詳細介紹t-TransE、Know-Evolve、HyTE、TDG2E等代表性的動態KGE方法; 第4節歸納了除KG中觀察到的事實以外的結合附加信息的KGE技術, 例如實體類別、文本描述、關系路徑等. 第5節介紹KGE技術在下游任務中的典型應用. 第6節對KGE技術面臨的挑戰與未來研究方向進行討論. 最后, 第7節對全文工作進行總結.

1 相關調查與符號定義

先前有關知識圖譜的調查論文主要集中在統計關系學習(statistical relational learning)[34], knowledge graph refinement[35], 中文知識圖譜構建(Chinese knowledge graph construction)[36], KGE[14]或KRL[37]. Liu等人[37]在2016年詳細介紹了知識表示學習(KRL)的基本概念和主要方法, 對知識表示學習面臨的主要挑戰、已有解決方案以及未來研究方向進行了全面總結, 為后續的調查和研究奠定了堅實的基礎. 近年來, Lin等人[37]以線性方式提出KRL, 著重于進行定量分析. Wang等人[14]根據評分函數對KRL模型進行分類, 側重于KRL中使用的信息類型.

我們的調查研究以Wang等人[14]的調查為基礎. 與之不同的是, 本文對基于距離的模型與語義匹配模型進行了全新角度的分類, 對主流KGE技術進行了闡述, 同時介紹了動態知識圖譜嵌入方法的最新進展, 并分析了相關代表模型. 此外, 本文討論了結合事實以外的其他信息的嵌入技術, 以及KGE技術的典型應用. 最后, 總結了KGE技術面臨的挑戰, 并對其未來方向進行展望.

2. 使用事實進行知識圖譜嵌入

本節對僅使用事實進行知識圖譜嵌入的方法采用評分函數進行劃分. 評分函數用于衡量事實的合理性, 在基于能量的學習框架中也被稱為能量函數. 典型類型的評分函數分為兩種: 基于距離的評分函數(如圖1(a))與基于相似性的評分函數(如圖1(b)).

基于距離的模型

基于距離的模型使用基于距離的評分函數, 即通過計算實體之間的距離來衡量事實的合理性, 在這種情況下, 翻譯原理 h+r≈th+r≈t 被廣泛使用. 也就是說, 基于距離的模型通常由關系執行翻譯后, 根據兩個實體之間的距離來度量一個事實的合理性. 本小節將基于距離的模型進一步細分為基本距離模型, 翻譯模型和復雜關系建模. 下圖基于距離的模型進行了全面總結.

語義匹配模型

語義匹配模型利用基于相似性的評分函數, 即通過語義匹配來衡量事實的合理性. 語義匹配通常采用乘法公式 (h?Mr≈t?)(h?Mr≈t?) 來變換表示空間中的頭實體, 使其與尾實體相近. 本節根據實體和關系編碼的不同模型結構來介紹代表性的語義匹配模型.

最新的知識圖譜嵌入模型 大多數翻譯模型和雙線性模型是2016年之前提出的方法, 而最近幾年研究KGE的方法眾多. 本小節簡要介紹其中的主流方法, 具體劃分為卷積神經網絡模型, 旋轉模型, 雙曲幾何模型和其他模型.

3 動態知識圖譜嵌入

當前KGE的研究主要集中于靜態知識圖譜, 其中事實不會隨時間發生變化, 例如: TransE, TransH, TransR, RESCAL等. 但是, 在實際應用中, 知識圖譜通常是動態的, 例如Twitter中的社交知識圖, DBLP中的引文知識圖等, 其中事實隨時間演變, 僅在特定時間段內有效. 以往的靜態KGE方法完全忽略了時間信息, 這使得靜態KGE方法無法在這些實際場景中工作. 因此, 有必要設計一種用于動態知識圖譜嵌入的方法. 本節介紹了典型的動態知識圖譜嵌入方法, 其中分析了t-TransE, Know-Evolve, HyTE, TDG2E等相關模型, 表6將TDG2E模型與其他動態KGE方法進行對比, 直觀地展示了TDG2E方法的優越性. 然而, 從大量文獻中可以得出結論: 現有的大多數知識圖譜嵌入方法仍然關注于靜態知識圖譜, 忽略了知識圖譜中時間范圍信息的可用性與重要性. 實際上, 在表示學習過程中合并時間信息可能會產生更好的KG嵌入, 時間感知的知識圖譜嵌入研究仍然是一個有待于進一步探索的領域.

4. 融合多源信息的知識圖譜嵌入

多源信息提供了知識圖譜中三元組事實以外的信息, 能夠幫助構建更加精準的知識表示, 僅使用事實進行知識圖譜嵌入的方法忽略了蘊含在多源信息中的豐富知識, 例如: 實體類別信息、文本描述信息、關系路徑等. 充分利用這些多源信息對于降低實體與關系之間的模糊程度, 進而提高推理預測的準確度至關重要.

5 知識圖譜嵌入的應用

近年來, 知識驅動的應用在信息檢索和問答等領域取得了巨大成功, 這些應用有望幫助準確深入地了解用戶需求, 并給出適當響應. 知識圖譜嵌入方法的核心思想是將每個實體、關系表示為一個低維向量, 而學習到的實體、關系嵌入可以受益于多種下游任務. 在本節中, 我們將介紹KGE的典型應用.

基于知識圖譜嵌入的問答 隨著大規模知識圖譜的興起, 基于知識圖譜的問答(QA)成為重要的研究方向, 引起了人們的廣泛關注. 現實世界的領域中通常包含數百萬到數十億個事實, 其龐大的數據量和復雜的數據結構使得用戶很難訪問其中有價值的知識. 為了緩解這個問題, 提出了基于知識圖譜的問答(QA-KG). QA-KG旨在利用知識圖譜中的事實來回答自然語言問題. 可以幫助普通用戶在不知道KG數據結構的情況下, 高效地訪問KG中對自己有價值的知識. 然而, 由于涉及到語義分析[112]和實體鏈接[113, 114]等多個具有挑戰性的子問題, QA-KG的問題還遠未得到解決. 近年來, 隨著KGE在不同的實際應用中表現出的有效性, 人們開始探索其在解決QA-KG問題中的一些潛在作用.

**推薦系統 **在過去的幾年中, 利用知識圖譜的推薦系統已被證明與最先進的協作過濾系統具有競爭力, 能有效地解決新項目和數據稀疏性等問題[124-128]. 最近, KGE的流行促進了利用KGE捕獲實體語義進行推薦這一研究熱點, 使用KGE已被證明對推薦系統有效.

**關系提取 **關系提取(relation extraction, RE)是信息提取中的一項重要任務, 旨在根據兩個給定實體的上下文來提取它們之間的關系. 由于RE具有提取文本信息的能力, 并使許多自然語言處理應用受益(例如: 信息檢索, 對話生成, 問答等), 因此受到很多研究者的青睞.

6. 挑戰與展望

目前, KGE作為處理大型知識圖譜的一種方便有效的工具, 被廣泛探索并應用于多種知識驅動型任務, 極大地提高了任務的性能, 同時也存在許多可能的有待探索的領域. 在本小節中, 我們將討論KGE面臨的挑戰及其未來研究方向. 面臨的挑戰 探索KG的內部和外部信息知識應用的復雜性

未來方向

統一框架 * 可解釋性 * 可擴展性 * 自動構建

**7. 總　結 **知識圖譜作為一種語義網絡擁有極強的表達能力和建模靈活性, 可以對現實世界中的實體、概念、屬性以及它們之間的關系進行建模. 隨著最近出現的知識表示學習、知識獲取方法和各種知識圖譜應用, 知識圖譜引起了越來越多的研究關注. 知識圖譜嵌入旨在將實體和關系嵌入到連續向量空間中, 在各種面向實體的任務中得到了重要應用. 本文圍繞知識圖譜嵌入技術的研究現狀, 通過回顧僅使用事實進行知識圖譜嵌入的方法、添加時間維度的動態 KGE方法以及融合多源信息的 KGE技術介紹了現有的知識圖譜嵌入技術. 并簡要討論了KGE技術在下游任務中的實際應用. 最后總結了知識圖譜嵌入領域所面臨的挑戰, 并對其未來的方向做出展望. 我們進行這項調查的目的是對當前KGE的代表性研究工作進行總結, 并且希望這一探索可以為KGE的未來研究提供幫助.

首篇跨域少樣本圖分類

我們通過引入三個新的跨域基準來研究具有非等效特征空間的跨域少樣本圖分類問題。我們還提出了一種基于注意力的圖編碼器，該編碼器使用三個一致的圖形視圖、一個上下文視圖和兩個拓撲視圖，學習任務特定信息的表示，以便快速適應，以及任務無關信息的表示，以便進行知識遷移。我們進行了詳盡的實驗來評估對比學習策略和元學習策略的表現。我們發現，當與基于度量的元學習框架相結合時，所提出的編碼器在所有基準測試中都獲得了最佳的元測試平均分類精度。源代碼和數據將在這里發布://github.com/kavehhassani/metagrl

在“少樣本學習”中，一個模型從幾個被標記的樣本中學習適應新的類別。常見的做法，如使用增強、正則化和預訓練可能有助于緩解數據匱乏，但不能解決這個問題。受人類學習(Lake, Salakhutdinov, and Tenenbaum 2015)的啟發，元學習(Hospedales, et al. 2020)利用類似任務的分布(Satorras, and Estrach 2018)來積累可遷移的經驗知識，這些經驗可以作為快速適應下游任務的強烈歸納偏差(Sung, et al. 2018)。在元學習中，快速學習發生在任務內，而關于任務結構變化的知識是在任務間逐步學習的(Huang and Zitnik 2020)。這種學習知識的例子是嵌入函數(Vinyals et al. 2016; Snell, Swersky, and Zemel 2017; Satorras and Estrach 2018; Sung et al. 2018)，初始參數(Finn, Abbeel, and Levine 2017; Raghu et al. 2020)、優化策略(Li et al. 2017)，或可以直接將訓練樣本映射到網絡權重的模型(Garnelo et al. 2018; Mishra et al. 2018)。

元學習的一個基本假設是，元訓練和元測試階段的任務是從相同的分布中采樣的，即任務是iid。然而，在許多現實世界的應用程序中，從相同的分布中收集任務是不可行的。相反，有來自相同模態但不同領域的數據集。在遷移學習中，源域和目標域之間的特征/標簽空間是不等效的，通常是不重疊的，這被稱為異構遷移學習(Day和Khoshgoftaar 2017)。據觀察，當源域和目標域之間有很大的轉移時，元學習算法被預訓練/微調方法所超越(Chen et al. 2019b)。

計算機視覺方面的一些工作通過歸一化層的元學習統計來解決跨領域的少樣本學習(Tseng et al. 2020; Du et al. 2021)。這些方法局限于仍然包含高度視覺相似性的自然圖像(Guo et al. 2020)。跨域學習對于尺寸變化順序不變的圖結構數據更為重要。與其他常見模態相比，圖形標注更具挑戰性，因為它們通常表示特定領域的概念，如生物學，在這些領域中，通過wet-lab實驗進行標注是資源密集型(Hu et al. 2020b)，而使用領域知識進行程序性標注的成本較高(Sun et al. 2020)。此外，除了在邊際/條件概率分布上的偏移外，非等價和非重疊特征空間在圖數據集上是常見的。例如，可以訪問小分子數據集，其中每個數據集使用不同的特征集來表示分子(Day和Khoshgoftaar 2017)。

據我們所知，這是關于圖的跨域少樣本學習的第一項工作。為了解決這個問題，我們設計了一個以任務為條件的編碼器，它可以學習處理任務的不同表示。我們的貢獻如下:

• 我們引入了跨域少樣本圖分類的三個基準，并進行了詳盡的實驗來評估監督、對比和元學習策略的性能。

• 我們提出了一種圖編碼器，可以學習圖的三個一致視圖、一個上下文視圖和兩個拓撲視圖，學習任務特定信息的表示，以便快速適應，以及任務無關信息，以便進行知識遷移。

• 我們表明，當與基于指標的元測試框架相結合時，所提出的編碼器在所有三個基準上都實現了最佳的平均元測試分類準確度。

方法

圖結構數據可以從兩個一致的視圖進行分析: 上下文視圖和拓撲視圖。上下文視圖基于初始節點或邊緣特征(為了簡單和不失一般性，我們只考慮節點特征)，并攜帶特定于任務的信息。另一方面，拓撲視圖表示圖的拓撲屬性，這些拓撲屬性是任務無關的，因此可以作為錨點來對齊來自特征空間中不同領域的圖。我們利用這種對偶表示，并通過為每個視圖設計專用編碼器來明確地解開它們，這些視圖反過來施加了所需的歸納偏見，以學習特定于任務的域不變特征。在異構的少樣本環境中，拓撲特征有助于跨任務的知識遷移，而上下文特征有助于快速適應。我們還使用了一種注意力機制，該機制隱含地限制了任務，并學習從兩種視圖中聚合學習到的特征。我們采用元學習策略，通過共同學習編碼器參數和注意機制來模擬泛化過程。如圖1所示，我們的方法由以下組件組成:

增強機制，將一個采樣圖轉換為一個上下文視圖和兩個拓撲視圖。對初始節點特征和圖結構進行增強處理。

編碼器包括兩個專用的GNN，即圖形編碼器，和一個MLP，分別用于上下文和拓撲視圖，以及一個注意力機制來聚合學習的特征。

元學習機制，基于查詢集的錯誤信號，聯合學習專用編碼器和注意力模型的參數。

實驗結果

我們詳盡地進行了實證評估，以回答以下問題:(1)基準的元測試集分類精度的實證上限是多少?(2)跨元域是否存在知識遷移?如果沒有，是否會發生負遷移?(3)基于對比的預訓練效果如何?(4)基于度量的元學習方法與基于優化的元學習方法相比表現如何?(5)使用提出的編碼器有什么效果?

結果表明: (1)在這三個基準上，都存在可遷移的潛在知識。實驗結果證實通過觀察元學習和對比方法都優于單純分類器。(2) 對比方法與元學習方法相比具有更強的性能。例如，在20-shot生物信息學基準測試中，MVGRL的絕對準確度比最佳的元學習方法高出1.57%。(3) 將基于度量的元學習方法與我們提出的編碼器相結合，顯著提高了性能。例如，在單次測試的情況下，最佳元學習方法結合我們的編碼器，在分子、生物信息學和社交網絡基準上的絕對精度分別比常規元學習方法的最佳結果高出3.28%、4.29%和5.17%。(4)與我們的編碼器相結合，僅用20個例子訓練的RelationNet模型，與全監督模型在所有可用的分子數據、生物信息學和社會網絡基準上訓練的模型相比，準確率分別只有4.46%、6.96%和2.68%。注意，其中一些數據集有成千上萬個訓練樣本。(5) 當我們將知識從分子元訓練遷移到社會網絡元測試時，我們得到了最大的改進。這是因為社會網絡任務不包含任何初始節點特征，因此對它們進行分類完全依賴于任務不可知的幾何特征。這表明我們的編碼器能夠在一個領域學習表達幾何表示并泛化到另一個領域。

傳統的靜態知識圖譜將關系數據中的實體作為節點，由特定關系類型的邊連接。然而，信息和知識不斷演變，時間動態的出現，預計這將影響未來的情況。在時序知識圖譜中，通過在每條邊上設置時間戳或時間范圍，將時間信息集成到圖中。基于嵌入的方法已經被引入到時間知識圖的鏈接預測中，但它們大多缺乏可解釋的和可理解的推理鏈。特別是，它們通常不是設計來處理鏈接預測——涉及未來時間戳的事件預測。我們解決了時序知識圖譜上的鏈接預測任務，并引入了TLogic，一個基于時間隨機漫步提取的時間邏輯規則的可解釋框架。我們在三個基準數據集上將TLogic與最先進的基線進行了比較，顯示了更好的總體性能，同時我們的方法還提供了保持時間一致性的解釋。此外，與大多數最先進的基于嵌入的方法相比，TLogic在歸納設置中工作得很好，在歸納設置中，已經學習的規則被轉移到具有公共詞匯表的相關數據集。

//arxiv.org/abs/2112.08025

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

通過在終身學習中存儲舊知識來尋求提醒模型，是緩解災難性遺忘最有效的方法之一，即在轉向新任務時對先前知識的偏差遺忘。然而，在訓練新任務時，以往大多數基于預演的舊任務存在不可預測的域偏移問題。這是因為這些方法總是忽略兩個重要的因素。首先，新任務和舊任務之間的數據不平衡，使得舊任務的域容易移位。其次，所有任務之間的任務隔離會使領域向不可預測的方向移動;針對不可預測的領域遷移問題，本文提出多領域多任務排練，對新老任務進行并行、平等的訓練，打破任務之間的隔離狀態。具體地說，提出了一個兩級的角裕度損失模型，以促進類內/任務的緊湊性和類間/任務的差異，使模型避免領域混亂。此外，為了進一步解決舊任務的領域轉移問題，我們在記憶上提出了一個可選的情景蒸餾損失來錨定每個舊任務的知識。在基準數據集上的實驗驗證了該方法能夠有效地抑制不可預測的領域漂移。

//www.zhuanzhi.ai/paper/14cea5f6a54c9dafce7141871467aa0d

博文鏈接://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2020-ebb1f0a6e0b1#ce67

這篇文章是為了紀念這個系列的一周年，在這個系列中，我們研究了由知識圖譜驅動的NLP和圖形ML的進步! 觀眾的反饋促使我繼續說下去，所以請系緊安全帶(或許也可以系上一些)，在這一集中，我們來看看與知識圖譜（KG）相關的ACL 2020進程。 今天的議程如下:

• 結構化數據的問答

• KG嵌入:雙曲空間和超關系

• 數據到文本NLG:準備你的Transformer

• 對話式AI:改進面向目標的機器人

• 信息提取:OpenIE和鏈接預測

• 結論

KG嵌入：雙曲空間和超關系

雙曲空間是ML中最近的熱門話題之一。用更簡單的術語來說，在雙曲空間中(得益于其屬性)，你可以使用更少的維數有效地表示層次結構和樹狀結構。

基于這個動機，Chami等人提出了AttH，一種雙曲線的KG嵌入算法，在KG中利用使用旋轉、反射和轉換對邏輯和層次模式進行建模。Att來自于應用于旋轉和反射矢量的雙曲注意。繞過不穩定的黎曼優化的訣竅是使用正切空間，d維的龐加萊球的每個點都可以映射到正切空間。在這個明顯不平凡的設置中，每個關系不僅與一個向量相關，而且與描述特定關系的反射和旋轉的參數相關。然而，在現實生活中，KGs中R << V，所以開銷不是很大。 在實驗中，AttH在具有一定層次結構的WN18RR和Yago3和Yago10上表現優越，在FB15k-237上的差距較小。更重要的是，僅32維的AttH就顯示了巨大的優勢，相比于真實和復雜平面的32維模型。此外，WN18RR和FB15k-237的32維在評價標準MRR評分上僅比SOTA 500維的嵌入模型分別小0.02和0.03。消融研究證明了可學習的曲率的重要性，而其優于最接近的匹配模型MurP。

圖表示學習的另一個趨勢是超越簡單的KG組成的三元組和學習表示對于更復雜,超關系KG,當每一個三元組可能有一組鍵-值對屬性,提供細粒度細節三在各種情況下的有效性。事實上，Wikidata在其Wikidata語句模型中采用了超關系模型，其中屬性被稱為限定符。重要的是不要將模型與n元事實(生成冗余謂詞)和超圖混合在一起。也就是說，如果你只在三元組層面上與Wikidata一起工作，你就會失去一大半的內容。 Guan等人不想失去Wikidata的一半，他們提出了NeuInfer，一種學習超關系KGs嵌入的方法(他們之前的工作，NaLP，更適合n元事實)。

NeuInfer的思想是計算一個超關系事實(見圖)的有效性和兼容性評分。首先，(h,r,t)嵌入輸入到一個全連接的網絡(FCN)來估計這個三元組(有效性)的合理的概率。其次，為每個鍵值對構造一個五組(h,r,t,k,v)，并通過另一組FCNs傳遞。有m對，m個向量經過最小池化，得到表示相容度評分的結果，即這些限定符在主要三元組中的表現如何。最后，用兩個分數的加權和得到最終評分。 作者在標準基準JF17K(提取自Freebase)和WikiPeople(來自Wikidata)上評估了NeuInfer，并報告說JF17K在預測頭實體、尾實體和屬性值方面比NaLP有顯著的改進。我鼓勵作者將他們的數字與HINGE(來自Rosso等人)進行比較，因為這兩種方法在概念上是相似的。 現在我們需要談談頂級會議上發布的KG嵌入算法的復現性，比如ACL 2019，Sun, Vashishth, Sanyal等人發現，報告SOTA結果(明顯優于現有基線)的幾個最近的KGE模型受到測試集泄漏的影響，或在ReLU激活有效三元組得分后出現許多異常零化的神經元。此外，他們還表明，他們的性能度量標準(如Hits@K和MRR)取決于在有效三元組負采樣(實際上，這是不應該發生的)中的位置。另一方面，現有的強基線在任何位置的表現都是一樣的。我們要做的就是使用評估原則，將一個有效的三元組隨機放置在負樣本的位置上。

我們的團隊對這個問題也有話要說:在我們的新論文《讓黑暗變得光明》(bring Light Into the Dark)中:大規模評估知識圖譜嵌入模型的一個統一的框架下我們執行65 k +實驗和k + GPU 21小時評估19模型從RESCAL首先發表在2011年RESCAL到2019年末 RotatE 和TuckER,，5種損失函數,各種訓練策略有/沒有負采用，和更多重要考慮的超參數。我們還將為您和我們熱愛的社區發布為所有模型找到的最佳超參數。此外，我們正在發布PyKEEN 1.0，這是一個PyTorch庫，用于訓練和基準測試KG嵌入式模型! 我鼓勵你仔細閱讀其他一些作品:Sachan研究了通過離散化壓縮KG實體嵌入的問題，例如，Barack Obama將被編碼為“2 1 3 3”，而不是200維的32位的浮點向量，Michelle Obama將被編碼為“2 1 3 2”。

也就是說，你只需要一個有K個值的D維長向量(這里D=4, K=3)。對于離散化，Softmax被發現性能更好。并且作為一個從KD代碼返回到n維浮點數向量的反向函數，作者建議使用一個簡單的Bi-LSTM。實驗結果顯示，FB15k-237和WN18RR的壓縮率達到了100-1000倍，但在推理時(當需要解碼KD代碼時)的性能下降和計算開銷可以忽略不計(最大MRR為2%)。 我建議大家坐下來，重新考慮一下KGE的pipelines(特別是在生產場景中)。例如，通過PyTorch-BigGraph獲得的78M Wikidata實體的200維嵌入需要110 GB的空間。想象一下壓縮100倍會有什么可能？ 還有一系列的工作改進了流行的KGE模型:

• Tang等人用正交關系變換將二維旋轉推廣到高維空間，這種正交關系變換對1-N和N-N關系更有效。
• Xu等人通過對K個部分的稠密向量進行分塊，將雙線性模型推廣為多線性模型。結果表明，當K=1時，該方法等于DistMult，當K=2時，該方法簡化為 ComplEx 和 HolE，并在K=4和K=8時進行了實驗。
• Xie等人對ConvE進行了擴展，將標準的卷積濾波器替換為計算機視覺領域中最著名的Inception網絡。
• Nguyen等人應用了一個自注意風格的編碼器和一個CNN解碼器的三元組分類和個性化搜索任務。

結論

在今年的ACL2020中，我們看到了更少的KG增強的語言模型(但是可以看看TaPas和TABERT，它們被設計用于在 tables上工作)，NER可能也少了一些。另一方面，圖形到文本的NLG正在上升!