亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功,但在生成過程中需要對基本常識進行推理的情況下,它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法,只是簡單地通過對單個知識三元組的后訓練來遷移關系知識,而忽略了知識圖譜中豐富的連接。我們認為,利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中,我們提出用多跳推理流(GRF)進行生成,使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明,我們的模型在三個文本生成任務上優于現有的基線,這些任務需要推理而非常識知識。通過模型推導出的推理路徑,證明了動態多跳推理模塊的有效性,為生成過程提供了理論依據。

//arxiv.org/abs/2009.11692

付費5元查看完整內容

相關內容

【導讀】一年一度的全球學術大會EMNLP是計算機語言學和自然語言處理領域最受關注的國際學術會議之一,由國際語言學會(ACL)旗下SIGDAT組織。據悉,EMNLP 2020共收到有效投稿3114篇,錄用602篇長文和150篇短文。近期,所有Paper list 放出,也包括(Findings of EMNLP),知識圖譜表示及其應用相關的接受paper很多,在其他領域比如CV、數據挖掘、推薦等也廣受關注。

為此,這期小編為大家奉上EMNLP 2020必讀的六篇知識圖譜(Knowledge Graph)相關論文——知識圖譜表示、常識、任務型對話、多語種知識庫補全、開放式KG表示、社會常識推理

EMNLP 2020 Accepted Papers : //2020.emnlp.org/papers/main

ICLR2020CI、ICML2020CI

1. AutoETER: Automated Entity Type Representation for Knowledge Graph Embedding

作者:Guanglin Niu, Bo Li, Yongfei Zhang, Shiliang Pu, Jingyang Li

摘要:知識圖譜嵌入(KGE)可以表示連續向量空間中的實體和關系。一些利用附加類型信息的傳統KGE模型可以改善實體的表示,但這些模型完全依賴于顯式類型(explicit types),或者忽略了特定于各種關系的不同類型表示。此外,現有的方法中沒有一種方法能夠同時推斷對稱、反轉、合成的所有關系模式以及1-N、N-1和n-N關系的復雜屬性。為了探索任何KG的類型信息,我們提出了一種新的KGE框架自動實體類型表示(AutoETER),通過將每個關系看作是兩個實體類型之間的轉換(translation)操作來學習每個實體的潛在類型嵌入,并利用關系感知映射機制來學習每個實體的潛在類型嵌入。特別是,我們設計的自動類型表示學習機制是一個可插拔的模塊,可以很容易地與任何KGE模型集成。此外,我們的方法可以對所有的關系模式和復雜關系進行建模和推理。在四個數據集上的實驗表明,該模型在鏈接預測任務上的性能優于最新的基線,類型聚類的可視化清楚地解釋了類型嵌入的原因,驗證了該模型的有效性。

網址:

2. COSMIC: COmmonSense knowledge for eMotion Identification in Conversations

作者:Deepanway Ghosal, Navonil Majumder,

Alexander Gelbukh, Rada Mihalcea, Soujanya Poria

摘要:在本文中,我們利用常識知識解決了會話中語言級別的情感識別問題。我們提出了COSMIC,這是一個新的框架,它融合了不同的常識元素,如心理狀態、事件和因果關系,并在它們的基礎上學習參與對話的對話者之間的互動。目前最先進的方法在上下文傳播、情感轉移檢測和區分相關情感類別方面經常遇到困難。通過學習不同的常識表示,COSMIC解決了這些挑戰,并在四個不同的基準對話數據集上取得了新的情感識別最先進的結果。

代碼: .

網址:

3. Learning Knowledge Bases with Parameters for Task-Oriented Dialogue Systems

作者:Andrea Madotto, Samuel Cahyawijaya,

Genta Indra Winata, Yan Xu, Zihan Liu, Zhaojiang Lin, Pascale Fung

摘要:面向任務的對話系統要么通過單獨的對話狀態跟蹤(DST)和管理步驟實現模塊化,要么是端到端可訓練。在這兩種情況下,知識庫(KB)在滿足用戶請求方面起著至關重要的作用。模塊化系統依賴DST與知識庫交互,這在注釋和推理時間方面是昂貴的。端到端系統直接使用知識庫作為輸入,但當知識庫大于幾百個條目時,它們無法進行擴展。在本文中,我們提出了一種將任意大小的知識庫直接嵌入到模型參數中的方法。所得到的模型不需要任何DST或模板響應,也不需要知識庫作為輸入,并且它可以通過微調來動態更新其知識庫。我們在五個小、中、大的KB的面向任務的對話數據集中對我們的解決方案進行了評估。我們的實驗表明,端到端模型可以有效地將知識庫嵌入到它們的參數中,并在所有被評估的數據集上獲得具有競爭力的性能。

代碼:

網址:

4. Multilingual Knowledge Graph Completion via Ensemble Knowledge Transfer

作者:Xuelu Chen, Muhao Chen, Changjun Fan, Ankith Uppunda, Yizhou Sun, Carlo Zaniolo

摘要:預測知識圖(KG)中的缺失事實是知識庫構建和推理中的一項重要任務,也是近年來利用知識圖嵌入(KG embeddings)進行研究的一個重要課題。雖然現有的KG嵌入方法主要是在單個KG中學習和預測事實,但考慮到不同KG在數據質量和覆蓋范圍方面有各自的優勢和局限性,一個更合理的解決方案是從多個特定語言KG中的知識去嘗試融合。但這是相當具有挑戰性的,因為多個獨立維護的KG之間的知識遷移經常受到比對信息不足和描述事實不一致的障礙。在本文中,我們提出了一種新的框架KENS,用于嵌入學習和跨多個特定語言的KG進行集成知識遷移。KENS將所有KG嵌入到一個共享的嵌入空間中,在那里基于自學習捕獲實體之間的關聯。然后,KENS進行集成推理,合并來自多個特定語言KG嵌入的預測結果,并為此研究了多個集成技術。在五個實際語言特定的KG上的實驗表明,KENS通過有效地識別和利用互補知識,不斷改進KG補全的最新方法。

網址:

5. Out-of-Sample Representation Learning for Knowledge Graphs

作者:Marjan Albooyeh, Rishab Goel, Seyed Mehran Kazemi

摘要:許多重要問題都可以表示為知識圖中的推理。表示學習已經被證明對直推式推理(transductive reasoning)非常有效,在transductive 推理中,一個人需要對已經觀察到的實體做出新的預測,屬性圖(其中每個實體都有初始特征向量)和非屬性圖(其中唯一的初始信息來自與其他實體的已知關系)都是如此。對于樣本外推理( out-of-sample reasoning),人們需要對訓練時看不到的實體進行預測,許多以前的工作都考慮屬性圖。然而,對于非屬性圖的樣本外推理,并沒有得到充分的研究。在本文中,我們研究了非屬性知識圖的樣本外表示學習問題,為這一任務創建了基準數據集,開發了幾個模型和基線,并對所提出的模型和基線進行了實證分析和比較。

網址:

6. Social Commonsense Reasoning with Multi-Head Knowledge Attention

作者:Debjit Paul, Anette Frank

摘要:社會常識推理需要對文本的理解,對社會事件及其實際含義的了解以及常識推理能力。在這項工作中,我們提出了一種新的多頭知識注意模型,該模型對半結構化常識推理規則進行編碼,并學習將其合并到基于transformer的推理單元中。我們評估了該模型在兩個需要不同推理技能的任務上的性能:作為一項新任務的歸納自然語言推理(Abductive Natural Language Inference)和反事實不變性預測(Counterfactual Invariance Prediction)。我們表明,我們提出的模型在兩個推理任務上都比最先進模型(即Roberta)提高了性能。值得注意的是,據我們所知,我們是第一個證明學習執行反事實推理的模型有助于在溯因推理任務中預測最佳解釋的人。通過對知識的擾動,我們驗證了模型推理能力的健壯性,并對模型的知識融合能力進行了定性分析。

網址:

付費5元查看完整內容
北京阿比特科技有限公司