亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

題目

Pre-trained Models for Natural Language Processing: A Survey

關鍵詞

預訓練語言模型，深度學習，自然語言處理，BERT,Transfomer,人工智能

簡介

最近，預訓練模型（PTM）的出現將自然語言處理（NLP）帶入了一個新時代。 在此調查中，我們提供了針對NLP的PTM的全面概述。 我們首先簡要介紹語言表示學習及其研究進展。 然后，我們基于分類從四個角度對現有PTM進行系統分類。 接下來，我們描述如何使PTM的知識適應下游任務。 最后，我們概述了PTM未來研究的一些潛在方向。該調查旨在作為實踐指南，幫助您理解，使用和開發適用于各種NLP任務的PTM。

作者

Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai ，Xuanjing Huang

譯者

專知成員，范志廣

題目： MuTual: A Dataset for Multi-Turn Dialogue Reasoning

摘要： 近年來，非任務導向的對話系統取得了巨大的成功，這得益于大量可訪問的對話數據和深度學習技術的發展。在給定的上下文中，當前的系統能夠產生相關的、流暢的響應，但是由于推理能力較弱，有時會出現邏輯錯誤。為了便于會話推理的研究，我們引入了一個用于多回合對話推理的新數據集MuTual，包括8,860個基于中國學生英語聽力考試的手動注釋對話。與以前的非面向任務的對話系統的基準測試相比，MuTual測試更具挑戰性，因為它需要一個能夠處理各種推理問題的模型。實證結果表明，最先進的推理方法只能達到71%，遠遠落后于人類94%的表現，說明推理能力還有很大的提升空間。

簡介：

作為面向任務的對話系統中的關鍵組件，自然語言生成（NLG）模塊將以語義形式表示的對話行為轉換為自然語言的響應。傳統的基于模板或統計模型的成功通常依賴于帶有大量注釋的數據，這對于新領域而言是不可行的。因此，對于NLG系統而言，在實際應用中使用有限的標記數據很好地泛化至關重要。為此，我們展示了FewShotWOZ，這是第一個NLG基準測試，用于模擬面向任務的對話系統中的少量學習設置。此外，我們開發了SC-GPT模型。它在大量帶注釋的NLG語料庫上進行了預訓練，以獲取可控的生成能力，并僅用少數幾個特定于域的標簽進行微調以適應新的域。在FewShotWOZ和大型Multi-Domain-WOZ數據集上進行的實驗表明，通過各種自動指標和人工評估，提出的SC-GPT明顯優于現有方法。

題目： PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL

摘要： 預訓練語言模型的最新突破表明了自監督學習在廣泛的自然語言處理任務中的有效性。除了標準的句法和語義NLP任務外，預訓練模型在涉及真實世界知識的任務上也取得了很強的改進，這表明大規模語言建模可能是一種隱含的知識獲取方法。在這項工作中，我們進一步研究了BERT等預訓練模型使用零鏡頭事實完成任務捕獲知識的程度，此外，我們還提出了一個簡單而有效的弱監督預訓練目標，該目標明確地迫使模型包含關于真實世界實體的知識。用我們的新目標訓練的模型在事實完成任務上有顯著的改進。當應用于下游任務時，我們的模型在四個實體相關的問答數據集（即WebQuestions、TriviaQA、SearchQA和Quasar-T）上的平均F1改進為2.7，標準細粒度實體類型數據集（即FIGER）的平均精度提高為5.7。

作者簡介：

Wenhan Xiong，加州大學圣塔芭芭拉分校計算機科學博士，主要研究結構化和非結構化文本數據的信息提取、問答和推理。//xwhan.github.io/

William Yang Wang,加州大學圣塔芭芭拉分校自然語言處理小組和負責的機器學習中心的主任。他是加州大學圣塔芭芭拉分校計算機科學系的助理教授。他獲得了卡內基梅隆大學計算機科學學院的博士學位。他對數據科學的機器學習方法有著廣泛的興趣，包括統計關系學習、信息提取、計算社會科學、語音和視覺。

題目： Knowledge-Enriched Visual Storytelling

摘要： 故事具有多樣性和高度個性化，為故事生成提供了很大的可能輸出空間。現有的端到端方法產生單調的故事，因為它們僅限于單個訓練數據集中的詞匯和知識。本文介紹了KG-Story，一個三階段的框架，它允許故事生成模型利用外部知識圖生成有趣的故事。KG-Story從輸入提示中提取一組有代表性的單詞，利用外部知識圖豐富單詞集，最后根據豐富的單詞集生成故事。這種蒸餾-濃縮-生成框架不僅允許在濃縮階段使用外部資源，還允許在蒸餾和生成階段使用外部資源。在本文中，我們展示了KG故事在視覺講故事方面的優越性，輸入提示是五張照片的序列，輸出是一個短篇故事。根據人類排名評估，KG Story生成的故事平均排名高于最先進的系統。

作者簡介： Chao Chun Hsu，美國科羅拉多大學博德分校計算機科學系研究助理。

Lun-Wei Ku，中國科學院信息科學研究所博士。

論文題目： A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data

論文摘要： 賦予對話系統以人物角色是實現更人性化對話的關鍵。然而，由于在自然語言中很難體現個性，以及在大多數對話語料庫中觀察到的人物稀疏性問題，這一問題還遠未得到很好的探討。本論文提出了一種基于預訓練的個性化對話模型，該模型可以利用人物角色稀疏對話數據生成一致響應。該方法利用預先訓練好的語言模型來初始化編解碼器，并通過將說話人的角色和對話歷史一起編碼，設計了個人屬性嵌入來建模更豐富的對話上下文。此外，為了在解碼過程中合并目標人物角色并平衡其貢獻，在解碼器中設計了注意路由結構，以使用動態預測權重合并從目標人物角色提取的特征和對話上下文。我們的模型可以在訓練過程中統一使用人物角色稀疏對話，也可以控制推理過程中要顯示的人物角色相關特征的數量。無論是自動評估還是手動評估都表明，該模型在使用人物角色稀疏數據生成更一致和人物角色一致的響應方面優于最新方法。

論文摘要： 我們提出了一個大型的可調神經會話響應生成模型DIALOGPT(對話生成預訓練Transformer)。經過2005年至2017年期間從Reddit評論中提取147M大小的類似的對話內容，DialoGPT擴展了Hugging Face PyTorch transformer，在單輪對話設置中實現了在自動和人類評估性方面都接近人類。我們表明，利用DialoGPT的會話系統比基線系統生成更相關、更有內容和上下文一致的響應。預訓練的模型和訓練方法已經公開發布，以促進對神經響應生成的研究和更智能的open-domain對話系統的開發。

代碼鏈接：//github.com/microsoft/DialoGPT

論文摘要： Multi-paragraph推理對于open-domain問答(OpenQA)是必不可少的,盡管在當前的OpenQA系統中受到的關注較少。在這項工作中,我們提出一個知識增強圖神經網絡(KGNN),使用實體對多個段落進行推理。為了顯式地捕捉到實體的關系,KGNN利用關系事實知識圖譜構建實體圖譜。實驗結果表明，與HotpotQA數據集上的基線方法相比，KGNN在分散注意力和完整的wiki設置方面都有更好的表現。我們進一步的分析表明，KGNN在檢索更多的段落方面是有效和具有魯棒性的。