亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

語言模型的預訓練已經被證明能夠獲取大量的世界知識,這對于NLP任務(如回答問題)是至關重要的。然而,這些知識隱式地存儲在神經網絡的參數中,需要更大的網絡來覆蓋更多的事實。

為了以更模塊化和可解釋性的方式捕獲知識,我們在語言模型前訓練中增加了一個潛在的知識檢索器,它允許模型從一個大型語料庫(如Wikipedia)中檢索和處理文檔,這些語料庫在前訓練、微調和推理期間使用。我們第一次展示了如何以一種無監督的方式預先訓練這種知識檢索器,

使用掩碼語言建模作為學習信號,并通過一個考慮數百萬文檔的檢索步驟進行反向傳播。

通過對具有挑戰性的開放領域問題回答(Open-QA)任務進行微調,我們證明了增強語言模型預訓練(REALM)的有效性。我們比較了三種流行的開放qa基準上的最先進的顯式和隱式知識存儲模型,發現我們的性能顯著優于所有以前的方法(4-16%的絕對準確性),同時還提供了定性的好處,如可解釋性和模塊化。

地址:

//kentonl.com/pub/gltpc.2020.pdf

付費5元查看完整內容

相關內容

近年來,預訓練模型(例如ELMo、GPT、BERT和XLNet等)的快速發展大幅提升了諸多NLP任務的整體水平,同時也使得很多應用場景進入到實際落地階段。預訓練語言模型本身就是神經網絡語言模型,它的特點包括:第一,可以使用大規模無標注純文本語料進行訓練;第二,可以用于各類下游NLP任務,不是針對某項定制的,但以后可用在下游NIP任務上,你不需要為下游任務專門設計一種神經網絡,或者提供一種結構,直接在幾種給定的固定框架中選擇一種進行 fine-tune,就可以從而得到很好的結果。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

題目

Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings,使用知識庫嵌入改進知識圖上的多跳問答

摘要

知識圖(KG)是由實體作為節點,實體之間的關系作為類型化邊組成的多關系圖。 KG問答(KGQA)任務的目的是回答對KG提出的自然語言查詢。 多跳KGQA要求在KG的多個邊緣進行推理,以得出正確的答案。 KG通常缺少許多鏈接,這給KGQA尤其是多跳KGQA帶來了額外的挑戰。 最近對多跳KGQA的研究已嘗試使用相關的外部文本來處理KG稀疏性,但這種方式并非一帆風順。 在另一項研究中,提出了KG嵌入方法,以通過執行丟失的鏈接預測來減少KG稀疏性。 此類KG嵌入方法盡管非常相關,但迄今為止尚未針對多跳KGQA進行探索。 我們在本文中填補了這一空白,并提出了EmbedKGQA。 EmbedKGQA在執行稀疏KG上的多跳KGQA方面特別有效(但是當知識圖譜不稀疏時,也應該能夠超過基線)。 EmbedKGQA還放寬了從預先指定的鄰域中選擇答案的要求,這是先前的多跳KGQA方法實施的次優約束。 通過在多個基準數據集上進行的廣泛實驗,我們證明了EmbedKGQA在其他最新基準上的有效性。

付費5元查看完整內容

自然語言理解(NLU)的最新進展正在推動信息檢索(IR)的快速發展,這在很大程度上要歸功于對文檔排序的深層語言模型(LMs)的微調。雖然非常有效,但是基于這些LMs的排序模型比以前的方法增加了幾個數量級的計算成本,特別是因為它們必須通過一個龐大的神經網絡來為每個查詢文檔對提供數據,從而計算單個相關分數。為了解決這個問題,我們提出了一種新的排序模型ColBERT,它采用深度LMs(特別是BERT)來進行有效的檢索。ColBERT引入了一種后期交互體系結構,該體系結構使用BERT獨立地對查詢和文檔進行編碼,然后使用一種廉價但功能強大的交互步驟來建模它們的細粒度相似性。通過延遲并保留這種細粒度交互,ColBERT可以利用深度LMs的表達能力,同時獲得離線預先計算文檔表示的能力,這大大加快了查詢處理的速度。除了降低通過傳統模型檢索的文檔重新排序的成本外,ColBERT的修剪友好交互機制還支持利用向量相似度索引來直接從大型文檔集合進行端到端檢索。我們使用兩個最近的文章搜索數據集對ColBERT進行了廣泛的評估。結果表明,ColBERT的有效性與現有的基于bert的模型相比是有競爭力的(并且優于每個非bert基線),同時執行兩個數量級的速度更快,每個查詢需要減少四個數量級的錯誤。

付費5元查看完整內容

論文摘要: Multi-paragraph推理對于open-domain問答(OpenQA)是必不可少的,盡管在當前的OpenQA系統中受到的關注較少。在這項工作中,我們提出一個知識增強圖神經網絡(KGNN),使用實體對多個段落進行推理。為了顯式地捕捉到實體的關系,KGNN利用關系事實知識圖譜構建實體圖譜。實驗結果表明,與HotpotQA數據集上的基線方法相比,KGNN在分散注意力和完整的wiki設置方面都有更好的表現。我們進一步的分析表明,KGNN在檢索更多的段落方面是有效和具有魯棒性的。

付費5元查看完整內容
北京阿比特科技有限公司