自人工智能早期以來，構建可以與人類自然對話的對話智能體的目標一直是研究人員的一個長期夢想。著名的圖靈測試(Turing Test)提出根據人工智能智能體與人類對話的不可區分性來判斷其最終有效性。毫無疑問，構建人類級別的對話系統非常具有挑戰性。但是，雖然基于規則的系統的早期努力取得了有限的成功，但深度學習的出現使這一主題取得了巨大的進展。
本文專注于解決許多問題的方法，這些問題一直在人工對話智能體和人類級別的對話者之間造成差距。這些方法是在通用的最先進的人工智能方法的啟發下提出和實驗的。但他們也針對對話系統所具有的特征。首先，擴展了對話系統可以依賴的信息的多樣性。在其最簡單和最常見的形式中，對話由回應和它們的前面的文本上下文組成。然而，與現實世界的人類對話相比，這種表示并不理想，后者往往依賴于其他模態和特定的知識庫。為了將對話條件化為更多模態，本文探索了由輸入的音頻表示增強的對話生成。設計了一個輔助的響應分類任務，為對話生成目標學習合適的音頻表示。我們使用詞級模態融合將音頻特征集成到序列到序列學習框架中。該模型可以產生與音頻中表達的情感和重點相對應的適當響應。常識知識必須有效地集成到對話系統中，以便以一種有趣和參與的方式回應人類的話語。作為首次嘗試將大型常識知識庫整合到端到端的會話模型中，本文提出了一種聯合考慮上下文及其相關常識知識的模型來選擇合適的響應。本文證明了知識增強模型優于無知識模型。
雖然上述兩個方向都致力于將對話建立在各種新信息的基礎上，但它們并不是對話系統面臨的唯一挑戰。傳統上，構建智能對話系統的目標在很大程度上是在兩種范式下分別追求的:任務導向型對話系統(執行特定任務的功能)和開放域對話系統(專注于非目標導向型對話)。這兩種對話模式可以在同一對話中無縫地交織在一起，就像友好的人類助手很容易做到的那樣。本文還對多輪對話中兩種對話模式的融合問題進行了研究。構建了一個新的數據集FusedChat，其中包含包含來自兩種對話模式的對話會話，具有模式間上下文依賴。本文提出了兩個基線模型，并分析了它們的準確性。
最后但并非最不重要的是，我們展示了我們在解決大規模基于檢索的對話系統面臨的計算效率問題上的努力。基于大型自然候選集的強檢索對話系統可以產生多樣化和可控的響應。然而，一個大的候選集可能是計算成本很高的。我們提出了支持快速和準確的響應檢索系統的方法。為了提高準確性，我們采用了一種知識蒸餾方法，其中使用了一個非常強大但計算成本很高的聯合編碼模型來促進編碼器的訓練。然后，我們采用基于學習的候選篩選方法來提高檢索速度，進一步減少推理時間。我們證明了我們的模型在檢索精度和速度權衡方面表現強勁。綜上所述，本文系統地展示了我們在創新對話系統方面所做的努力。我們相信，我們所關注的研究問題是最終將自動對話代理提高到人類水平的重要方面。隨著我們在過去4年里不斷創新對話系統的努力，以及最先進的NLP模型逐年快速發展，我們注意到我們早期工作中使用的一些模型(例如LSTMs)無法與今天可用的最先進的模型(例如GPT3)競爭。在這種情況下，我們簡要而系統地解釋以下工作(當前最先進的技術)，這些工作源于我們工作中展示的方法。
付費5元查看完整內容
相關內容
論文概述：對話推薦系統（CRS）旨在通過交互式的對話向用戶推薦高質量的商品，它通常包括推薦和對話兩個模塊。現有工作在兩個模塊之間共享知識和表示，或者設計策略對齊兩者的語義。然而，這些方法仍然依賴于不同的模型來分別實現這兩個模塊，使得他們難以無縫集成。本文基于知識增強的提示學習統一建模對話和推薦這兩個模塊，分別設計了特定的提示來激發預訓練模型完成不同任務。具體而言，我們在提示中加入了語義融合的單詞或實體表示，以提供相關的上下文和背景知識。此外，我們還將生成的回復模板作為推薦任務提示的一部分，從而進一步強化了兩個任務之間的信息交互。在兩個公開數據集上的實驗驗證了本文方法的有效性。
付費5元查看完整內容
信息檢索的核心是從大規模資源中識別出相關信息，并以排序列表的形式返回，以響應用戶的信息需求。近年來，隨著深度學習的興起，這一領域得到了極大的發展，神經信息檢索(NeuIR)成為一個熱門話題，尤其是預訓練方法范式(PTMs)。預訓練模型具有復雜的預訓練目標和龐大的模型規模，可以從海量文本數據中學習通用語言表示，這有利于IR的排序任務。由于已經有大量的工作致力于PTMs在IR中的應用，我們認為現在是總結現狀，學習現有方法，并獲得一些對未來發展的見解的時候了。本文綜述了信息檢索系統中檢索分量、重排序分量和其他分量的PTMs應用情況。此外，我們還介紹了專門為IR設計的PTMs，并總結了可用的數據集和基準排行榜。此外，我們討論了一些開放的挑戰和展望了一些有前途的方向，希望為未來的研究激發更多關于這些主題的工作。
導論
信息檢索(IR)是許多實際應用中的一項基本任務，例如數字圖書館、Web搜索、問題回答系統等等。信息檢索的核心是從大量的信息收集中識別出與用戶信息需求相關的信息資源(如查詢或問題)。由于可能有各種相關資源，返回的結果通常是根據文檔與信息需求的相關性程度排列的文檔列表。這種排序特性使其不同于其他任務，研究人員已經投入了大量的精力來開發各種IR排序模型。
在過去的幾十年中，人們提出并研究了許多不同的排序模型，包括向量空間模型(Salton et al.， 1975)，概率模型(Robertson and Jones, 1976b)，以及學習排序(LTR)模型(Li, 2011)。這些方法已經成功地應用于許多不同的IR應用中，例如谷歌這樣的網絡搜索引擎，今日頭條這樣的新聞推薦系統，Quora這樣的社區問答平臺等等。近年來，各種各樣的神經排序模型被提出，促使了一個名為NeuIR(即神經信息檢索)的熱門話題。與以往依賴手工構造特征和統計方法的非神經模型不同，神經排序模型可以自動從數據中學習低維連續向量(即潛在表示)作為排序特征，從而避免了復雜的特征工程。盡管神經模型在IR中取得了成功，但一個主要的性能瓶頸在于大規模、高質量和標記的數據集的可用性，因為深度神經模型通常有大量的參數需要學習。
近年來，預訓練方法(PTMs)帶來了一場風暴，并推動了自然語言處理(NLP)的范式轉變(Qiu et al.， 2020)。其思想是首先通過自監督訓練目標在大規模語料庫中對模型進行預訓練，然后對預訓練模型進行微調，以實現最先進的性能。正如最近的工作所證明的那樣(Peters等人，2018b;Howard和Ruder, 2018)，這些預先訓練的模型能夠捕獲相當數量的詞匯知識和事實知識，這對下游任務是有益的，可以避免從頭學習這些知識。此外，隨著計算能力的增加和Transformer架構的出現(Vaswani et al.， 2017)，我們可以進一步將預訓練模型的參數規模從百萬級提升到十億級(例如BERT (Devlin et al.， 2018)和GPT-3 (Brown et al.， 2020b))，甚至萬億級(例如，SwitchTransformers (Fedus et al ., 2021))。這兩個特性都是在IR中對模型進行排序所需要的特性。目前，預訓練的模型在具有自監督建模目標的大型文本語料庫上進行預訓練，能夠更好地理解查詢和文檔語義背后的意圖。另一方面，具有深度堆疊變換器的大規模預訓練模型具有足夠的建模能力來學習查詢和文檔之間的復雜關聯模式。由于這些潛在的好處，加上預期在IR中使用PTMs也可以取得類似的成功，我們已經見證了在IR中利用PTMs 的研究興趣的爆炸性增長(Croft et al., 2009; Manning et al., 2005)。注意，在這個綜述中，我們關注的是文本檢索中的PTMs，這是IR的核心。對基于內容的圖像檢索(Dubey, 2020)或多模態檢索中PTMs感興趣的讀者可以參考(Fei et al.， 2021)。
到目前為止，已有大量的研究致力于PTMs在IR中的應用。在學術上，研究者對PTMs在IR中的應用進行了各種創新和創新。例如，早期的嘗試試圖將從預訓練模型中學習到的知識直接遷移到排序模型中，并取得了一些顯著的成果(Nogueira and Cho, 2019; Dai and Callan, 2019b)。更近期的工作提出通過改變模型架構來推廣現有的預訓練模型(MacAvaney et al., 2020; Khattab and Zaharia, 2020; Gao and Callan, 2021a)或考慮新的預訓練目標(Chang et al., 2019; Ma et al., 2021b; Ma et al., 2021c)，較好地滿足IR的要求。與此同時，在行業中，谷歌2019年10月的博客文章和Bing 2019年11月的博客文章都表明，預訓練的排序模型(例如，基于BERT的模型)可以更好地理解查詢意圖，并在實際的搜索系統中提供更有用的結果。此外，看看今天的排行榜，我們可以看到，大多數排名靠前的方法都是基于PTMs構建的，只要看看這些提交的名稱。考慮到在IR中關于PTMs的研究越來越多，我們認為現在是時候調查現狀，學習現有方法，并為未來的發展獲得一些見解。
本次綜述的結構安排如下。我們將首先在第2節提供IR的系統概述。在此之后，我們在第3至5節中分別回顧了應用于檢索組件、重新排序組件和其他組件的PTMs的工作。第六部分，我們介紹了為IR量身定做的新型PTMs的設計工作。我們還在第7部分總結了可用的大型數據集和流行的基準排行榜。最后，我們在第8節對本文進行了總結，并提出了一些未來研究的方向。
付費5元查看完整內容
摘要
訓練機器理解自然語言并與人類進行交互是人工智能的一個難以捉摸的重要任務。隨著深度學習技術的快速發展，特別是最近出現的預訓練語言模型(pretraining language model, PrLM)，已經設計出了多種對話系統。在這些研究中，最基本但最具挑戰性的任務類型是對話理解，其角色是教機器在回答之前閱讀和理解對話語境。本文從對話建模技術的角度對對話理解任務中的對話建模方法進行了綜述。我們總結了對話理解相對于純文本閱讀理解的特點和挑戰。然后，我們討論了三種典型的對話模式。此外，我們對對話相關的前訓練技術進行了分類，這些技術被用于增強對話場景中的PrLMs。最后，我們重點介紹了近年來的技術進展，并指出了實證分析的經驗教訓和對一個新的研究前沿的展望。
引言
構建一個能夠與人類進行自然和有意義的交流的智能對話系統是人工智能(AI)長期以來的目標，由于其潛在的影響力和誘人的商業價值，學術界和工業界對其越來越感興趣。這是一個有著悠久歷史的人機交互經典課題。在計算機科學和人工智能被劃分為各個具體的分支之前，對話作為一種現象，已經成為一個具有明確應用場景的關鍵研究課題。對話也是語用學(Leech, 2003)和圖靈測試(Turing and Haugeland, 1950)的重要應用領域。
在分析輸入話語的場景后，提出了傳統的方法來幫助用戶使用預定義的手工模板完成特定的任務(Weizenbaum, 1966;Colby et al.， 1971)，被認為是基于規則的方法(Chizhik和Zherebtsova, 2020)。然而，這一領域的增長受到了數據稀缺問題的阻礙，因為這些系統需要從數量不足的高質量語料庫中學習語言知識、決策和問題回答(Zaib et al.， 2020)。為了緩解稀缺性，人們提出了多種任務，如響應選擇(Lowe et al.， 2015;Wu et al.， 2017;Zhang et al.， 2018b)，基于對話的問答(QA) (Sun et al., 2019; Reddy et al., 2019; Choi et al., 2018)，決策和問題生成(Saeidi et al.， 2018)。示例如圖1所示。
最近，隨著深度學習方法的發展(Serban et al.， 2016)，特別是最近的預訓練語言模型(PrLMs) (Devlin et al., 2019; Liu et al., 2019; Yang et al., 2019; Lan et al., 2020; Clark et al., 2020)，神經模型的能力得到了顯著提高。然而，大多數研究都集中在回復檢索或生成等個體任務上。受建立更廣泛有效和全面的系統來解決現實世界的問題的需求,傳統的自然語言處理(NLP)任務,包括dialogue-related任務,一直經歷著快速轉換,這些任務往往是交叉和統一的形式(Zhang et al ., 2020 b)。因此，我們可以用對話理解的一般形式來看待主要的對話任務: 給定語境，需要一個系統來理解語境，然后回答或回答問題。回復可以從檢索或生成中得到。作為衡量理解對話能力(相對于靜態文本)的一般概念，對話理解對NLP/AI社區有廣泛的啟發，如圖2所示。
在對話理解研究中，對話建模是基本的研究方法，它關注的是如何有效地對對話語境進行編碼，從而有效地解決對話任務，因此我們將對話建模作為對話理解的技術方面。早期的技術主要集中在對話語境的成對序列與候選回答或問題之間的匹配機制(Wu et al.， 2017;Zhang et al.， 2018b;Huang et al.， 2019a)。最近，PrLMs 對包括對話理解在內的各種下游NLP任務(Devlin et al.， 2019)顯示了令人印象深刻的評估結果。他們將整個文本作為連續符號的線性序列處理，并通過自注意力捕捉這些符號的語境化表征(Qu et al., 2019; Liu et al., 2020a; Gu et al., 2020a; Xu et al., 2021a)。這些語言模型衍生的詞嵌入是在大型語料庫上預先訓練的。通過提供細粒度的上下文嵌入，這些預先訓練好的模型可以作為編碼器輕松地應用于下游模型，或者用于微調。除了使用PrLMs 進行微調外，還出現了設計對話驅動的自監督任務進行預訓練的興趣。
本文從兩階段編碼器-解碼器框架的視角對對話理解的研究進行了綜述，該框架受PrLMs和機器閱讀理解的啟發(Zhang et al.， 2020b)，通過這種方式，我們彌合了對話建模和理解之間的鴻溝。希望能對未來前沿PrLMs的研究有所幫助。具體來說，我們將討論架構設計和預訓練的策略。我們總結了近年來的技術進展，并強調了我們可以從實證分析和展望一個新的研究前沿的經驗教訓。與專注于具體對話任務的現有綜述相比(Zaib et al., 2020; Huang et al., 2020; Fan et al., 2020; Qin et al., 2021b)，這項工作是任務不可知的，在對話理解的范圍內討論對話系統的共同模式和趨勢，以彌合不同任務之間的差距，使這些研究線可以相互學習的亮點。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191