題目： 魯棒的跨語言知識圖譜實體對齊
會議： KDD 2020
論文地址： //dl.acm.org/doi/pdf/10.1145/3394486.3403268
代碼地址：
推薦理由： 這篇論文首次提出了跨語言實體對齊中的噪音問題，并提出了一種基于迭代訓練的除噪算法，從而進行魯棒的跨語言知識圖譜實體對齊。本工作對后續跨語言實體對齊的去噪研究具有重要的開創性意義。
跨語言實體對齊旨在將不同知識圖譜中語義相似的實體進行關聯，它是知識融合和知識圖譜連接必不可少的研究問題，現有方法只在有干凈標簽數據的前提下，采用有監督或半監督的機器學習方法進行了研究。但是，來自人類注釋的標簽通常包含錯誤，這可能在很大程度上影響對齊的效果。因此，本文旨在探索魯棒的實體對齊問題，提出的REA模型由兩個部分組成：噪聲檢測和基于噪聲感知的實體對齊。噪聲檢測是根據對抗訓練原理設計的，基于噪聲感知的實體對齊利用圖神經網絡對知識圖譜進行建模。兩個部分迭代進行訓練，從而讓模型去利用干凈的實體對來進行節點的表示學習。在現實世界的幾個數據集上的實驗結果證明了提出的方法的有效性，并且在涉及噪聲的情況下，此模型始終優于最新方法，并且在準確度方面有顯著提高。
1 引言 現有方法在進行跨語言實體對齊時沒有考慮噪音問題，而這些噪音可能會損害模型的效果。如圖1所示，（a）中的兩個不同語言的知識圖譜存在實體對噪音（虛線表示的實體對1-4），（b）是理想狀況下節點在特征空間中的表示，可以看出不同語言知識圖譜中具有相似語義的實體在特征空間中也相近。（c）是利用含有噪音的訓練數據得到的節點特征表示，由于噪音的存在，節點的表示存在了一定的偏差。我們希望跨語言實體對齊是魯棒性的，即使訓練數據中存在噪音，模型也能盡量減少噪音的消極影響，得到如圖（b）中的表示。為了克服現有的跨語言實體對齊方法在處理帶噪標簽實體對時存在的局限性，本文探討了如何將噪聲檢測與實體對齊模型結合起來，以及如何共同訓練它們以對齊不同語言知識圖譜中的實體。
付費5元查看完整內容
相關內容
推薦系統的數據稀疏性是一個固有的挑戰，因為推薦系統的大部分數據都來自于用戶的隱式反饋。這就帶來了兩個困難：
一是大部分用戶與系統的交互很少，沒有足夠的數據進行學習;
二是隱式反饋中不存在負樣本。通常采用負樣本的方法來產生負樣本。
然而，這導致了許多潛在的正樣本被誤標記為負樣本，數據的稀疏性會加劇誤標記問題。這是容易解釋的，因為：用戶購買了某一商品，你可以說他喜歡這一商品；但是用戶如果沒有買的那些商品，你沒有辦法說他就不喜歡。為了解決這些困難，作者沒有像其他的做法一樣，而是將稀疏隱式反饋的推薦問題作為半監督學習任務，并探索領域適應（Domain Adaptation）來解決這個問題。具體地，是將從密集數據中學習到的知識轉移到稀疏數據中，并專注于最具挑戰性的沒有用戶或項目重疊的情況。
在這種極端情況下，直接對齊兩個數據集的嵌入并不理想，因為這兩個潛在空間編碼的信息非常不同。因此，作者采用領域不變（domain-invariant）的文本特性作為錨點來對齊潛在空間。為了對齊嵌入，我們為每個用戶和項提取文本特性，并將它們與用戶和物品的嵌入一起提供給域分類器。訓練嵌入來迷惑分類器，并將文本特征固定為錨點。通過域適應，將源域內的分布模式轉移到目標域。由于目標部分可以通過區域自適應來監督，因此我們在目標數據集中放棄了負采樣以避免標簽噪聲。
付費5元查看完整內容
在本文中，我們提出了一種端到端的圖學習框架，即迭代深度圖學習(IDGL)，用于共同迭代地學習圖結構和圖嵌入。IDGL的關鍵原理是學習基于更好的節點嵌入的更好的圖結構，反之亦然(即基于更好的圖結構的更好的節點嵌入)。我們的迭代方法動態停止時，學習圖接近足夠優化的圖預測任務。此外，我們將圖學習問題轉換為一個相似度量學習問題，并利用自適應圖正則化來控制學習圖的質量。最后，結合基于錨點的近似技術，我們進一步提出了一個可擴展的IDGL版本，即IDGL- anch，在不影響性能的前提下，顯著降低了IDGL的時間和空間復雜度。我們在9個基準上進行的廣泛實驗表明，我們提出的IDGL模型始終能夠優于或匹配最先進的基線。此外，IDGL還能更魯棒地處理對抗圖，并能同時處理傳導學習和歸納學習。
付費5元查看完整內容
盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功，但在生成過程中需要對基本常識進行推理的情況下，它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法，只是簡單地通過對單個知識三元組的后訓練來遷移關系知識，而忽略了知識圖譜中豐富的連接。我們認為，利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中，我們提出用多跳推理流(GRF)進行生成，使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明，我們的模型在三個文本生成任務上優于現有的基線，這些任務需要推理而非常識知識。通過模型推導出的推理路徑，證明了動態多跳推理模塊的有效性，為生成過程提供了理論依據。
付費5元查看完整內容
知識圖譜
·
論文專欄：KDD 2020 知識圖譜相關論文分享
論文解讀者：北郵 GAMMA Lab 博士生 閆博
題目：利用多信號輸入推斷知識圖譜中節點的重要性 會議： KDD 2020 論文地址：//dl.acm.org/doi/10.1145/3394486.3403093 推薦理由：這篇論文是作者在KDD19上利用單一輸入信號進行節點重要性推斷論文的后續研究，擴展成了多輸入信號。利用迭代的方式對輸入的不同類信號進行聚類，從而解決不同信號的沖突問題。實驗表明，多種信號比相比單一信號，能更準確地推斷出節點的重要性，對輸入信號進行迭代聚類的方式有效解決了信號沖突問題。 節點重要性估計是知識圖譜中一項重要的任務，它可以被下游許多任務利用，如推薦系統，搜索和查詢消歧，節點資源分配等。在現實生活中，除了知識圖譜本身的信息，還有許多外界的輸入信息(輸入信號)，這些輸入信號對節點的重要性評估也至關重要。此任務的關鍵是如何有效利用來自不同來源的輸入信號。這些外部輸入信號，例如票數或瀏覽量，可以直接告訴我們知識圖譜中實體的重要性。現有方法無法同時考慮多個信號，所以它們對這些外部信號的使用受到一定限制，造成了外部信號的利用率低下。本文設計了一個端到端的隱變量模型MultiImport，從多個稀疏，可能重疊的輸入信號中推斷潛在節點的重要性。它捕獲節點重要性和輸入信號之間的關系，并有效地處理了多個信號的潛在沖突問題。在多個知識圖譜上的實驗表明，MultiImport在利用多個輸入信號推斷節點重要性的任務中優于現有方法，并且與最先進的方法相比，NDCG@100提高了23.7％ 。
付費5元查看完整內容
題目： Multi-view Knowledge Graph Embedding for Entity Alignment
摘要： 我們研究了知識圖譜之間基于嵌入的實體對齊問題。之前的研究主要集中在實體的關系結構上。有些還進一步合并了另一種類型的特性，比如屬性，以進行細化。然而，大量的實體特征尚未被探索或沒有被平等地放在一起處理，這損害了基于嵌入的實體對齊的準確性和魯棒性。在本文中，我們提出了一個新的框架，統一實體的多個視圖來學習嵌入來實現實體對齊。具體來說，我們根據實體名稱、關系和屬性的視圖嵌入實體，并使用幾種組合策略。此外，我們設計了一些跨KG推理方法來增強兩個KG之間的對齊。我們在真實數據集上的實驗表明，所提出的框架顯著優于目前最先進的基于嵌入的實體對齊方法。所選擇的視圖、跨KG推理和組合策略都有助于性能的提高。
付費5元查看完整內容
領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而，對于具有不同數據可用性的時間序列數據，還沒有考慮到健壯的技術。在本文中，我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS)，該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據，我們增加了CoDATS的有用性，從而進一步提高了與以前的單源方法相比的準確性，特別是在域之間具有高度可變性的復雜時間序列數據集上。其次，我們提出了一種新的弱監督域自適應(DA-WS)方法，利用目標域標簽分布形式的弱監督，這可能比其他數據標簽更容易收集。第三，我們對不同的真實數據集進行了綜合實驗，以評估我們的域適應和弱監督方法的有效性。結果表明，用于單源DA的CoDATS比最先進的方法有了顯著的改進，并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191