亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

將知識引入到依靠數據驅動的人工智能模型中是實現人機混合智能的一種重要途徑。當前以BERT為代表的預訓練模型在自然語言處理領域取得了顯著的成功,但是由于預訓練模型大多是在大規模非結構化的語料數據上訓練出來的,因此可以通過引入外部知識在一定程度上彌補其在確定性和可解釋性上的缺陷。該文針對預訓練詞嵌入和預訓練上下文編碼器兩個預訓練模型的發展階段,分析了它們的特點和缺陷,闡述了知識增強的相關概念,提出了預訓練詞嵌入知識增強的分類方法,將其分為四類:詞嵌入改造、層次化編解碼過程、優化注意力和引入知識記憶。將預訓練上下文編碼器的知識增強方法分為任務特定和任務通用兩大類,并根據引入知識的顯隱性對其中任務通用的知識增強方法進行了進一步的細分。該文通過分析預訓練模型知識增強方法的類型和特點,為實現人機混合的人工智能提供了模式和算法上的參考依據。

論文針對現有跨語言命名實體識別方法主要使用源語言數據和翻譯數據的局限性，提出充分利用目標語言的大規模無標簽數據提升遷移性能。作者基于半監督學習和強化學習方法，提出RIKD模型，首先通過在目標語言無標簽數據上迭代知識蒸餾，不斷獲得更高效的學生模型。其次，為了降低蒸餾過程中教師模型的推理錯誤和低質量數據帶來的噪聲，設計了一個基于強化學習的樣本選擇器，動態選擇信息量更大的樣本進行蒸餾。實驗結果表明，RIKD在基準數據集和內部數據集上顯著優于現有最優模型。

//www.zhuanzhi.ai/paper/18a3b87ee49058589b9acb0098a3ab42

論文題目：Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models

論文概述：本文研究如何自動生成描述知識圖譜（KG）中事實的自然語言文本。借助預訓練語言模型（PLMs）在語言理解和生成方面的能力，我們主要考慮少樣本場景。我們提出了三個主要的技術貢獻，即用于彌合KG編碼和PLM之間語義差距的表示對齊，用于生成更好的輸入表示的基于關系的KG線性化策略，以及用于學習KG和文本之間對應關系的多任務學習。在三個基準數據集上進行的大量實驗證明了我們的模型在KG到文本生成任務上的有效性。特別是，我們的模型可以實現在只有幾百個標記樣本的情況下取得非常好的效果。

我們提出了一個簡單的詞匯適應方案來擴展多語言機器翻譯模型的語言能力，為多語言機器翻譯的高效持續學習鋪平了道路。該方法適用于大規模的數據集，適用于具有不可見腳本的遠程語言，僅對原語言對的翻譯性能有較小的降低，即使在僅對新語言擁有單語數據的情況下，也能提供具有很好的性能。

//www.zhuanzhi.ai/paper/e0b15338f98c37775bd0113ceaa1d9dd

生成式常識推理是文本生成的一個關鍵瓶頸，它旨在使機器能夠根據一組概念生成具有推理能力的句子。即使是最先進的預訓練語言生成模型也難以完成這一任務，而且常常產生不合邏輯和異常的句子。其中一個原因是，他們很少考慮將知識圖譜整合進來，因為知識圖譜可以在常識概念之間提供豐富的關系信息。為了提高常識性推理生成文本的能力，我們提出了一種新的知識圖譜增強的預訓練語言生成模型KG-BART，該模型通過知識圖譜包含了復雜的概念關系，并生成了更符合邏輯和自然的句子作為輸出。此外，KG-BART可以利用圖上的注意力來聚集豐富的概念語義，從而增強對看不見的概念集的模型泛化。在基準commonen數據集上進行的實驗驗證了本文方法的有效性，并與幾個強的預訓練語言生成模型進行了比較，特別是在BLEU - 3,4方面，KG-BART的性能比BART高出5.80、4.60。此外，我們還表明，通過我們的模型生成的上下文可以作為背景場景，從而有利于下游的常識性QA任務。

//www.zhuanzhi.ai/paper/5478cc149a0d6a523665d68c6d3c170a