題目: A Survey on Dialog Management: Recent Advances and Challenges
摘要:
對話管理(DM)是面向任務的對話系統的一個重要組成部分。給定對話歷史記錄,DM預測對話狀態并決定對話代理應該采取的下一步操作。近年來,對話策略學習被廣泛地定義為一種強化學習(RL)問題,越來越多的研究集中在DM的適用性上。在本文中,綜述了DM的三個關鍵主題的最新進展和挑戰:
相信這項調查可以為未來對話管理的研究提供一些啟示。
本文綜述了元學習在圖像分類、自然語言處理和機器人技術等領域的應用。與深度學習不同,元學習使用較少的樣本數據集,并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類: 黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合,以提供可行的集成問題解決方案。介紹了元學習方法的性能比較,并討論了今后的研究方向。
近年來,序列推薦系統這一新興的研究課題越來越受到人們的關注。與傳統的推薦系統(包括協同過濾和基于內容的過濾)不同,SRSs試圖理解和建模連續的用戶行為、用戶和條目之間的交互、以及用戶偏好和條目受歡迎程度隨時間的變化。SRSs涉及到以上幾個方面,可以更準確地描述用戶上下文、意圖和目標,以及物品的消費趨勢。我們首先介紹了SRSs的特點,然后對該研究領域的關鍵挑戰進行了總結和分類,接著是相應的研究進展,包括該課題最新的和有代表性的進展。最后,討論了該領域的重要研究方向。
摘要
推薦系統是一種軟件應用程序,它可以幫助用戶在信息過載的情況下找到感興趣的主題。當前的研究通常假設一個一次性的交互范式,其中用戶偏好是根據過去歷史觀察到的行為來估計的,并且按照等級排序的推薦列表是用戶交互的主要的且是單向的形式。對話推薦系統(CRS)采用了一種不同的方法,支持更豐富的交互。例如,這些交互可以幫助改進偏好激發過程,或者允許用戶詢問關于推薦的問題并給出反饋。對CRS的興趣在過去幾年里顯著增加。這種發展主要是由于自然語言處理領域的重大進展,新的語音控制家庭助手的出現,以及聊天機器人技術的增加使用。在本文中,我們詳細介紹了現有的對話推薦方法。我們將這些方法按不同的維度進行分類,例如,根據支持的用戶意圖或用戶在后臺使用的知識。此外,我們還討論了技術方法,回顧了CRS的評估方法,并最終確定了一些在未來值得更多研究的差距。
介紹
推薦系統是人工智能在實踐中最明顯的成功案例之一。通常,這些系統的主要任務是為用戶指出感興趣的潛在主題,例如電子商務網站。因此,它們不僅可以在信息超載的情況下幫助用戶,還可以對服務提供商的業務做出重大貢獻。 在這些實際應用中,推薦是一個一次性的交互過程。通常,底層系統會隨著時間的推移監視其用戶的行為,然后在預定義的導航情況下(例如,當用戶登錄到服務時)提供一組定制的建議。盡管這種方法在各個領域都很常見,也很有用,但是它可能有一些潛在的限制。例如,在許多應用程序場景中,用戶首選項無法從其過去的交互中可靠地估計出來。對于高介入的產品(例如,當推薦一款智能手機時),我們甚至可能完全沒有過去的觀察結果。此外,在一組建議中包含哪些內容可能與上下文高度相關,而且可能很難自動確定用戶的當前情況或需求。最后,另一個假設通常是,當用戶登錄網站時,他們已經知道自己的偏好。然而,這未必是真的。例如,用戶可能只在決策過程中確定他們的首選項,例如,當他們意識到選項的空間時。在某些情況下,他們也可能只在與推薦者的交互過程中了解這塊內容和可用的選項。 對話推薦系統(CRS)是可以幫助解決這些的挑戰中的許多這樣的問題。一般來說,這種系統的總體思想是支持與用戶進行面向任務的多回合對話。例如,在這樣的對話中,系統可以引出用戶當前的詳細偏好,為主題推薦提供解釋,或者處理用戶對所提建議的反饋。 鑒于這類系統的巨大潛力,對CRS的研究已經有了一定的傳統。早在20世紀70年代末,Rich就設想了一個電腦化的圖書管理員,通過用自然語言互動地向用戶提問有關他們的個性和偏好的問題,向他們提出閱讀建議。除了基于自然語言處理(NLP)的接口外,近年來還提出了多種基于表單的用戶接口。CRS中較早的基于這些接口的交互方法之一稱為critiquing,它在1982年就被提出作為數據庫領域的查詢重新制定的一種方法。在critiquing方法中,用戶很快會在對話中看到一個建議,然后可以對這些建議應用預先定義的評論。 基于表單的方法通常很有吸引力,因為用戶可以使用的操作是預先定義的、明確的。然而,這樣的對話也可能出現非自然的,用戶可能在表達他們的偏好的方式上感到約束。另一方面,基于NLP的方法在很長一段時間內受到了現有的限制,例如在處理語音命令的上下文中。然而,近年來,語言技術取得了重大進展。因此,我們現在習慣于向智能手機和數字家庭助手發出語音命令,這些設備的識別精度已經達到了令人印象深刻的水平。與語音助手領域的這些發展相對應,我們注意到聊天機器人技術在最近幾年的快速發展。聊天機器人,無論是簡單的還是復雜的,通常也能處理自然語言,現在廣泛應用于各種應用領域,例如,處理客戶服務請求。 這些技術的進步導致在過去幾年中對CRS的興趣增加。然而,與以前的許多方法相比,我們注意到今天的技術建議更多地是基于機器學習技術,而不是遵循預先定義的對話路徑,用于確定要向用戶詢問的下一個問題。然而,通常在語音助手和聊天機器人的功能與支持真正的對話推薦場景(如系統是語音控制的)所需的功能之間仍然存在差距。 本文從不同的角度對對話推薦系統的文獻進行了綜述。具體地說,我們將討論(i)CRS的交互模式(第3節),(ii)CRS基于的知識和數據(第4節), 和(iii)CRS中典型的計算任務(第5節)。然后,我們討論CRS的評估方法(第6節),最后展望未來的發展方向。
對話系統的特征描述
關于什么是CRS,文獻中沒有一個公認的定義。在這項工作中,我們使用以下定義。 CRS是一個軟件系統,它支持用戶通過多回合的對話來實現推薦相關的目標。
CRS的概念架構:在過去的二十年中,人們提出了各種CRS模型的技術途徑。這些解決方案的技術體系結構的細節取決于系統的功能,例如,是否支持語音輸入。盡管如此,仍然可以確定此類體系結構的許多典型概念組件,如圖1所示。
CRS交互模式
最近對CRS的興趣是由NLP的發展和技術進步(如寬帶移動互聯網接入和智能手機和家庭助手等新設備)推動的。然而,我們對文獻的回顧表明,用戶和CRS之間的交互既不局限于自然語言輸入和輸出,也不局限于特定的設備。
知識和背景數據
根據所選擇的技術方法,CRS必須結合各種類型的知識和背景數據才能發揮作用。顯然,像任何推薦人一樣,必須有關于推薦項目的知識。同樣,推薦的生成要么基于明確的知識,例如推薦規則或約束,要么基于在一些背景數據上訓練的機器學習模型。然而,對話系統通常依賴于其他類型的知識,例如對話中的可能狀態,或者用于訓練機器學習模型的數據,如記錄和轉錄的自然語言推薦對話。
計算任務
在討論了推薦對話中可能的用戶意圖之后,我們現在將回顧CRS的常見的計算任務和技術方法。我們區分(i)主要任務,即那些與推薦過程更直接相關的,例如,計算推薦或確定下一個要問的問題,以及(ii)額外的支持任務。
介紹對話系統的評價
一般情況下,推薦系統可以通過不同的方法從不同的維度進行評價。首先,當系統在其使用上下文中進行評估時,即,當它被部署時,我們通常最感興趣的是通過A/B測試來衡量系統是否達到了設計目標的具體關鍵性能指標(KPI),例如,增加的銷售數字或用戶參與度。其次,用戶研究(實驗室實驗)通常調查與系統感知質量相關的問題。常見的質量維度是建議的適宜性、流程的可感知透明性或易用性。最后,計算性實驗不需要用戶參與評估,而是基于客觀指標來評估質量,例如,通過測量建議的多樣性或計算運行時間來預測測試集中的輔助評級的準確性。同樣的質量維度和研究方法也適用于CRS。然而,在比較面向算法的研究和對話系統的研究時,我們發現評估的主要焦點往往是不同的。由于CRS是高度交互的系統,因此與人機交互有關的問題更常用于這些系統的研究。此外,在測量方法方面,CRS評估不僅關注任務的完成,即,如果建議是合適的或最終被接受的,但也涉及到與談話本身的效率或質量有關的問題。
總結和未來工作
總的來說,我們的研究表明,CRS領域在過去幾年中出現了一定程度的復興,其中最新的方法依賴于機器學習技術,尤其是深度學習和基于自然語言的交互。考慮到語音控制系統(如智能音箱)最近的興起,以及聊天機器人系統的日益普及,我們預計在未來幾年將看到對CRS的更多研究。雖然在某些方面取得了重大進展,但仍有許多領域需要進行更多的研究。在接下來的文章中,我們將概述一些有待解決的問題以及該領域未來可能的發展方向。 第一個問題涉及模式的選擇。盡管近年來,“自然語言”越來越流行,但究竟哪種情況下“自然語言”才是最好的選擇,目前還不完全清楚。需要進行更多的研究來了解哪種模式適合當前給定的任務和情況,或者是否應該向用戶提供替代模式。一個有趣的研究方向還在于解釋用戶的非言語交際行為。此外,完全基于語音的CRS也有一定的局限性,例如,在一個交互周期中提供完整的推薦集合。在這種情況下,用戶可能希望對一組推薦進行總結,因為在大多數情況下,當CRS向用戶推薦過多(例如多于兩三個)選項時,這可能沒有意義。
由于任務型對話系統在人機交互和自然語言處理中的重要意義和價值,越來越受到學術界和工業界的重視。在這篇論文中,我們以一個具體問題的方式綜述了最近的進展和挑戰。我們討論三個關鍵主題面向任務對話框系統: (1)提高數據效率促進對話系統建模在資源匱乏的設置,(2)建模多輪動態對話框策略學習獲得更好的完成任務的性能,和(3)將領域本體知識集成到模型在管道和端到端模型所示的對話框。本文還綜述了近年來對話評價的研究進展和一些被廣泛使用的語料庫。我們相信這項綜述可以為未來面向任務的對話系統的研究提供一些啟示。
Due to the significance and value in human-computer interaction and natural language processing, task-oriented dialog systems are attracting more and more attention in both academic and industrial communities. In this paper, we survey recent advances and challenges in an issue-specific manner. We discuss three critical topics for task-oriented dialog systems: (1) improving data efficiency to facilitate dialog system modeling in low-resource settings, (2) modeling multi-turn dynamics for dialog policy learning to achieve better task-completion performance, and (3) integrating domain ontology knowledge into the dialog model in both pipeline and end-to-end models. We also review the recent progresses in dialog evaluation and some widely-used corpora. We believe that this survey can shed a light on future research in task-oriented dialog systems.
論文主題: Recent Advances in Deep Learning for Object Detection
論文摘要: 目標檢測是計算機視覺中的基本視覺識別問題,并且在過去的幾十年中已得到廣泛研究。目標檢測指的是在給定圖像中找到具有精確定位的特定目標,并為每個目標分配一個對應的類標簽。由于基于深度學習的圖像分類取得了巨大的成功,因此近年來已經積極研究了使用深度學習的對象檢測技術。在本文中,我們對深度學習中視覺對象檢測的最新進展進行了全面的調查。通過復習文獻中最近的大量相關工作,我們系統地分析了現有的目標檢測框架并將調查分為三個主要部分:(i)檢測組件,(ii)學習策略(iii)應用程序和基準。在調查中,我們詳細介紹了影響檢測性能的各種因素,例如檢測器體系結構,功能學習,建議生成,采樣策略等。最后,我們討論了一些未來的方向,以促進和刺激未來的視覺對象檢測研究。與深度學習。
論文題目: A Survey on Edge Computing Systems and Tools
論文摘要: 在物聯網和5G通信的愿景驅動下,邊緣計算系統在網絡邊緣集成了計算,存儲和網絡資源,以提供計算基礎架構,從而使開發人員能夠快速開發和部署邊緣應用程序。 如今,邊緣計算系統已在業界和學術界引起了廣泛關注。 為了探索新的研究機會并幫助用戶選擇適合特定應用的邊緣計算系統,本調查報告對現有邊緣計算系統進行了全面概述,并介紹了代表性的項目。 根據開放源代碼工具的適用性進行了比較。 最后,我們重點介紹了邊緣計算系統的能源效率和深度學習優化。 本次調查還研究了用于分析和設計邊緣計算系統的未解決問題。
由于大量對話數據的可用性和人工智能對話的神經方法的最新進展,開發智能開放域對話系統的興趣正在復蘇。與傳統的面向任務的機器人不同,開放域對話系統旨在通過滿足人類交流、情感和社會歸屬感的需求,與用戶建立長期的聯系。這篇文章回顧了最近關于神經方法的工作,致力于解決在開發這樣的系統中的三個挑戰:語義,一致性和交互性。語義要求對話系統不僅要理解對話的內容,還要識別用戶在對話過程中的情感和社會需求。一致性要求系統表現出一致的個性,以贏得用戶的信任,獲得用戶的長期信心。互動性是指系統產生人際反應以實現特定社會目標的能力,如娛樂、一致性和任務完成。我們在這次調查中選擇的研究是基于我們獨特的觀點,并不是完全的。盡管如此,我們希望討論將會給開發更智能的開放域對話系統的新研究帶來靈感。
Dialogue systems have attracted more and more attention. Recent advances on dialogue systems are overwhelmingly contributed by deep learning techniques, which have been employed to enhance a wide range of big data applications such as computer vision, natural language processing, and recommender systems. For dialogue systems, deep learning can leverage a massive amount of data to learn meaningful feature representations and response generation strategies, while requiring a minimum amount of hand-crafting. In this article, we give an overview to these recent advances on dialogue systems from various perspectives and discuss some possible research directions. In particular, we generally divide existing dialogue systems into task-oriented and non-task-oriented models, then detail how deep learning techniques help them with representative algorithms and finally discuss some appealing research directions that can bring the dialogue system research into a new frontier.