時序知識圖譜推理是信息檢索和語義搜索的關鍵任務。當TKG頻繁更新時,這是特別具有挑戰性的。該模型必須適應TKG的變化,以便進行有效的訓練和推理,同時保持其對歷史知識的表現。最近的工作通過增加一個時間感知編碼函數來實現TKG補全(TKGC)。然而,使用這些方法在每個時間步驟中直接微調模型并不能解決以下問題:1)災難性遺忘;2)模型不能識別事實的變化(例如,政治派別的變化和婚姻的結束);3)缺乏訓練效率。為了解決這些挑戰,我們提出了時間感知增量嵌入(TIE)框架,該框架結合了TKG表示學習、經驗回放和時間正則化。我們引入一組度量標準來描述模型的不妥協性,并提出一個約束,將刪除的事實與負面標簽相關聯。在Wikidata12k和YAGO11k數據集上的實驗結果表明,本文提出的TIE框架減少了大約10倍的訓練時間,并在提出的指標上有所改進。對于任何傳統的度量方法,它都不會造成性能上的重大損失。廣泛的消融研究揭示了不同評估指標之間的性能權衡,這對于真實世界的TKG應用的決策是至關重要的。
論文題目:Knowledge-based Review Generation by Coherence Enhanced Text Planning
論文概述:生成信息豐富、連貫性強的評論文本是自然語言生成中一個具有挑戰性的任務。為了豐富文本內容,現有的解決方案通常從知識圖譜中學習如何復制實體或三元組。然而,這些方法對如何選擇和安排知識圖譜缺乏整體的考慮,容易造成文本不連貫問題。為了解決上述問題,我們以實體為中心,利用知識圖譜的語義結構提高生成評論文本的連貫性。在本文中,我們提出了一種基于知識圖譜的增強連貫性文本規劃模型(CETP),以提高生成評論文本的全局連貫性和局部連貫性。我們的模型學習生成兩個階段的文本規劃:(1)文檔規劃為一個句子規劃序列;(2)每個句子規劃是一個基于實體的知識圖譜子圖。局部連貫性可以自然而然地通過子圖上實體與實體間的句內關系實現。對于全局連貫性,我們設計了一個層次自注意架構,學習子圖在節點級和子圖級的關系,以增強子圖之間的全局連貫性。
推薦系統已被證明是緩解過多選擇問題和提供準確和量身定制的推薦的有效方法。然而,所提出的推薦算法、分割策略、評估協議、指標和任務的數量令人印象深刻,使得嚴格的實驗評估尤其具有挑戰性。由于對適當的評估基準、實驗流程、超參數優化和評估程序的不斷重建感到困惑和沮喪,我們開發了一個詳盡的框架來滿足這些需求。Elliot是一個全面的推薦框架,旨在通過處理一個簡單的配置文件來運行和重現整個實驗流程。該框架加載、過濾和分割數據需要考慮大量的策略(13種分割方法和8種過濾方法,從時間訓練測試分割到嵌套的k -fold交叉驗證)。Elliot為幾種推薦算法(50)優化超參數(51個策略),選擇最佳模型,將它們與提供模型內統計數據的基線進行比較,計算從準確性到準確度、偏差和公平性的度量(36),并進行統計分析(Wilcoxon和配對t檢驗)。其目的是為研究人員提供一種工具,以簡化(并使其可重復)所有的實驗評估階段,從數據讀取到結果收集。可以在GitHub (//github.com/sisinflab/elliot)上找到Elliot。
知識圖譜(KG)是一種靈活的結構,能夠描述數據實體之間的復雜關系。目前,大多數KG嵌入模型都是基于負采樣進行訓練的,即模型的目標是最大限度地增加KG內被連接實體的某些相似度,同時最小化被采樣的斷開實體的相似度。負抽樣通過只考慮負實例的子集,降低了模型學習的時間復雜度,這可能會由于抽樣過程的不確定性而無法提供穩定的模型性能。為了避免這一缺陷,我們提出了一種新的KG嵌入高效非采樣知識圖譜嵌入框架(NS-KGE)。其基本思想是在模型學習中考慮KG中的所有負面實例,從而避免負面抽樣。框架可應用于基于平方損失的知識圖譜嵌入模型或其損失可轉換為平方損失的模型。這種非抽樣策略的一個自然副作用是增加了模型學習的計算復雜度。為了解決這一問題,我們利用數學推導來降低非采樣損失函數的復雜度,最終為我們提供了比現有模型更好的KG嵌入效率和精度。在基準數據集上的實驗表明,NS-KGE框架在效率和準確率方面均優于傳統的基于負采樣的模型,該框架適用于大規模知識圖譜嵌入模型。
協同演化的時間序列出現在環境監測、金融分析、智能交通等眾多應用中。本文旨在解決以下挑戰:(1)如何加入時間序列的顯性關系網絡;(2)如何模擬時間動態的隱性關系。同時,作者提出了一個新的模型,稱為張量時間序列網絡,它由兩個模塊組成:張量圖卷積網絡(TGCN)和張量循環神經網絡(TRNN)。TGCN通過將平面圖的圖卷積網絡(GCN)泛化到張量圖中來解決第一個挑戰,它抓住了與張量相關的多個圖之間的協同作用。TRNN利用張量分解來模擬共同演化的時間序列之間的隱性關系。在五個真實世界數據集上的實驗結果證明了所提出的方法的有效性。
首次嘗試提出一個新的多輪選擇機器閱讀理解框架M3,該框架設計了一個NIL驗證器來處理本地消歧中的不可鏈接提及預測,此外還為該框架設計了一個具有歷史流的多回合機制來解決短文本中的全局消歧問題。
快速增長的短文本(如搜索查詢和新聞標題)實體鏈接(EL)是至關重要的工業應用。現有的方法大多依賴于足夠的上下文來進行長文本EL,但對于簡潔、稀疏的短文本來說并不有效。在本文中,我們提出一個新的框架稱為多向選擇題機器閱讀理解(M3)從一個新的角度解決短EL:查詢為每個模糊生成提到利用周圍的環境,和一個選項選擇模塊被用來確認金從候選人使用查詢實體。通過這種方式,M3框架在編碼過程中充分地與候選實體交互有限的上下文,并在選擇階段隱式地考慮候選群內部的差異。此外,我們設計了一個納入M3的兩階段驗證器,以解決短文本中普遍存在的不可鏈接問題。為了進一步考慮話題的連貫性和被提及實體之間的相互依賴,M3通過回顧歷史線索,利用多回合的方式以序列的方式處理提及。評估表明,我們的M3框架在5個中文和英文數據集上為真實世界的短文本EL實現了最先進的性能。
知識圖譜補全的目的是預測知識圖譜中實體之間的缺失關系。雖然已經提出了許多不同的方法,但缺乏一個統一的框架產生SOTA的結果。在這里,我們開發了PathCon,這是一種知識圖譜補全方法,它利用四個新穎的見解來超越現有的方法。PathCon通過以下方法預測一對實體之間的關系: (1)通過捕獲實體附近的關系類型,并通過基于邊緣的消息傳遞模式建模,來考慮每個實體的關系上下文; (2)考慮獲取兩個實體之間所有路徑的關系路徑; (3)通過可學習的注意力機制,自適應地整合關系上下文和關系路徑。重要的是,與傳統的基于節點的表示不同,PathCon僅使用關系類型表示上下文和路徑,這使得它適用于歸納設置。在知識圖譜基準上的實驗結果以及我們新提出的數據集表明,PathCon在很大程度上優于最先進的知識圖譜補全方法。最后,PathCon能夠通過識別對給定的預測關系很重要的上下文和路徑關系來提供可解釋的說明。