對話推薦算法研究綜述
A Survey of Conversational Recommendation Algorithms
作者：趙夢媛，黃曉雯*，桑基韜，于劍 單位：
北京交通大學計算機與信息技術學院 北京交通大學人工智能研究院 北京交通大學交通數據分析與挖掘北京市重點實驗室 郵箱：{f19120453, xwhuang, jtsang, jianyu}@bjtu.edu.cn **論文：** *通訊作者
01
簡介
推薦系統是一種通過理解用戶的興趣和偏好幫助用戶過濾大量無效信息并獲取感興趣的信息或者物品的信息過濾系統。目前主流的推薦系統主要基于離線的、歷史的用戶數據,不斷訓練和優化線下模型,繼而為在線的用戶推薦物品,這類訓練方式主要存在三個問題：基于稀疏且具有噪聲的歷史數據估計用戶偏好的不可靠估計、對影響用戶行為的在線上下文環境因素的忽略和默認用戶清楚自身偏好的不可靠假設。由于對話系統關注于用戶的實時反饋數據,獲取用戶當前交互的意圖,因此“對話推薦”通過結合對話形式與推薦任務成為解決傳統推薦問題的有效手段。對話推薦將對話系統實時交互的數據獲取方式應用到推薦系統中,采用了與傳統推薦系統不同的推薦思路,通過利用在線交互信息,引導和捕捉用戶當前的偏好興趣,并及時進行反饋和更新。在過去的幾年里,越來越多的研究者開始關注對話推薦系統,這一方面歸功于自然語言處理領域中語音助手以及聊天機器人技術的廣泛使用,另一方面受益于強化學習、知識圖譜等技術在推薦策略中的成熟應用。本文將對話推薦系統的整體框架進行梳理,將對話推薦算法研究所使用的數據集進行分類,同時對評價對話推薦效果的相關指標進行討論,重點關注于對話推薦系統中的后臺對話策略與推薦邏輯,對近年來的對話推薦算法進行綜述,最后對對話推薦領域的未來發展方向進行展望。
2.1
什么是對話推薦系統？
對話推薦系統的交互推薦方式就像是將傳統靜態推薦系統與對話系統結合，在與用戶的交互中通過詢問用戶相關問題動態地更新用戶的興趣偏好。因此對話推薦系統可以有如下兩種定義。
**定義一：**對話推薦系統是以推薦為目標導向的對話系統。系統通過與用戶的在線對話達到捕捉用戶興趣從而推薦物品的目的。
**定義二：**對話推薦系統是具有多輪交互形式的推薦系統。交互的形式狹義上是自然語言形式或語音形式，廣義上還包括推薦系統中用戶的任何行為數據的形式（如：點擊、瀏覽）
2.2
傳統推薦系統vs對話推薦系統
傳統的推薦系統中，用戶在尋找具有特定屬性的物品時，可以通過主動搜索來進行，例如，用戶可以搜索“春季的短款夾克”，其中關鍵短語“春季”和“短款”是“夾克”的屬性。在這個場景中，用戶自己構造查詢，推薦效果不僅依賴于搜索引擎，更依賴用戶在構造查詢方面的專業知識。推薦系統需要用戶根據自己的先驗知識輸入可能的屬性選項限制，從而更準確地定位到合適的推薦候選項集合，推薦系統才能在此基礎上幫助用戶找到目標物品。總之，這種推薦系統中的主動搜索方式需要用戶熟悉自己想要的每一件物品，然而在實際操作中并非如此。當用戶并不熟悉自己想要物品的屬性時，推薦系統就被期望能夠主動向用戶介紹他們可能喜歡的潛在物品，然而，傳統的推薦系統無法做到這一點，它只能使用靜態的歷史記錄作為輸入，這也就導致了傳統單向、靜態的推薦系統中存在三個主要問題：基于稀疏且具有噪聲的歷史數據估計用戶偏好的不可靠估計、對影響用戶行為的在線上下文環境因素的忽略和默認用戶清楚自身偏好的不可靠假設。
2.2.1 **共性：**面向推薦任務，都需要理解用戶興趣偏好，為用戶篩選信息 **區別：**使用數據不同： （1）傳統推薦系統主要依賴用戶的歷史交互數據。 （2）對話推薦系統主要依賴用戶的在線反饋數據。 推薦模型更新方式不同： （1）傳統推薦系統是靜態的，其從用戶的歷史交互信息中來估計用戶偏好，上線后不做更新，更新需定期下線。 （2）對話推薦系統是動態的，其與用戶進行交互，在模型有不確定的地方，可以主動咨詢用戶，實時更新推薦模型參數。
03
對話推薦系統特點：多輪交互、目標導向
04
對話推薦系統的流程
一個標準的CRS框架包含了三大功能模塊：用戶意圖理解模塊、對話策略模塊和推薦模塊。從功能模塊來看，CRS與DS非常相似，這進一步說明CRS的核心思路來源就是DS。
**用戶意圖理解模塊：**用戶與系統交互的“翻譯器”，將用戶的輸入（文本、圖像、評分、瀏覽等交互行為）處理成會話的狀態表示，作為對話策略模塊的輸入，如果是基于自然語言交互的對話推薦，該模塊還需要生成流暢的自然語言反饋。
**對話策略模塊：**是核心模塊，是用戶意圖模塊和推薦模塊的連接橋梁，該模塊處理和記錄用戶偏好，并根據用戶當前的交互歷史數據，決定系統當前輪次反饋給用戶的交互內容，引導用戶決策，最終實現符合用戶偏好的一次成功推薦。
**推薦模塊：**建模用戶與物品的關系，在被對話策略模塊調用時輸出當前輪次下契合該用戶偏好的推薦物品列表。
05
對話推薦系統的用戶意圖理解模塊
用戶與系統交互的“翻譯器”，與用戶直接進行信息交換的模塊，處理用戶的輸入數據（文本、圖像、評分、瀏覽等交互行為）處理成會話的狀態表示，作為對話策略模塊的輸入。
（1）面向自然語言、語音和圖像的用戶意圖：理解處理自然語言、語音和圖像，研究如何像人類一樣溝通交互。
（2）面向用戶行為數據的用戶意圖理解：處理數據為用戶偏好集合，接受用戶二值反饋，輸出系統策略行為（詢問或推薦）
06
對話推薦系統的對話策略模塊
是對話推薦系統的核心模塊，該模塊處理和記錄用戶偏好，并根據用戶當前的交互歷史數據，決定系統當前輪次反饋給用戶的交互內容，引導用戶決策，最終實現符合用戶偏好的一次成功推薦。
對話推薦的交互性使得用戶有機會及時表達自己的意圖，以獲得更好的個性化推薦服務，并且由于具有交互性，對話推薦還可以主動探索用戶看不見的物品空間，從而引導用戶發掘自己的偏好。然而對話推薦的探索過程是有代價的，與利用已經獲得的偏好推薦高置信度的物品相比，暴露不相關的物品空間的信息可能會傷害用戶的偏好，失去做出準確推薦的機會。此外由于用戶與系統互動的時間和精力有限，一次失敗的探索將浪費用戶的時間與精力，可能造成用戶的流失。因此追求探索和收益的平衡（exploration and exploitation，E&E）是對話推薦研究中的一個關鍵問題，對話策略模塊主要解決的問題就是權衡探索與收益，它是CRS核心模塊。
這個模塊的研究工作根據目前研究者使用的核心策略技術，主要分成以下四大類：
（1）基于人工規則
基于人工規則的的方法非常簡單，根據人的先驗領域知識，設置對話規則，例如，設置限制，規定固定輪次交互后都要提供一個推薦物品，或者根據置信度推薦前k個物品。
（2）基于神經網絡
利用神經網絡模型輸出的動作概率分布決定對話策略，例如，通過GRU將當前對話的上下文編碼成隱狀態向量輸入，softmax層輸出概率分布，根據概率分布決定是否推薦以及推薦什么物品。
（3）基于****強化學習
將對話上下文、用戶偏好等編碼為狀態向量，輸入到強化策略網絡中，策略網絡基于獎勵函數進行訓練，學習對話策略，輸出系統動作向量。
（4）基于元學習
核心思想是“學習如何學習一個推薦模型”。將元學習應用到對話推薦算法中是個值得研究的思路。
07
對話推薦系統的推薦模塊
推薦模塊是CRS中實現推薦功能的模塊，根據已經捕捉到的用戶偏好推薦用戶當前最感興趣的目標物品。大部分的研究工作中，推薦模塊都采用簡單的推薦模型，例如矩陣分解（matrix factorization），這是因為簡單的推薦模型就已經可以滿足對話推薦系統的推薦需求，使用過于復雜的推薦模型，反而會使系統整體復雜度上升，使對話推薦模型的訓練變得困難。
（1）基于自編碼器的模型（autoencoder-based models） 自編碼器（autoencoder）本身就常被用于推薦系統中，可以克服冷啟動問題（cold-start problem）
（2）基于圖卷積神經網絡的模型（GCN-based models） 圖卷積神經網絡面向應用場景中的圖結構數據，通過卷積操作，同時考慮節點的屬性以及鄰居節點的屬性，讓模型學習到節點更好的局部表示，從而提高基于圖結構數據的模型性能。
08
對話推薦任務-常用數據集
對話推薦的交互形式既可以是語音、自然語言語句，也可以是更為一般的用戶交互行為數據（如點擊、瀏覽、購買等）。因此在對話推薦的研究工作中，常用的數據集也分為兩類：第一類是研究者將用戶交互語音或語句與推薦數據結合，人工構造的數據集；第二類是更為一般的推薦系統通用數據集。
09
對話推薦任務-評價指標
在兩類不同類型數據集的應用場景下，對話推薦的評價指標也不相同，目前尚沒有統一且成熟的評價指標體系來評價對話推薦系統的功能。如表所示，在對話推薦相關的研究工作中，研究者由于研究的出發點和關注的角度不同，往往在實驗中使用不同的評價指標，從其關注的某幾個方面評價對話推薦的效果。 根據各類指標的評估內容和角度，把目前對話推薦任務的相關評價指標分為三類： （1）評價對話推薦的語言質量的指標； （2）評價對話推薦的推薦性能的指標； （3）評價對話推薦的系統效率的指標。
10
對話推薦任務-評估方式
（1）在線用戶評估
與真實的用戶交互，在真實的環境中驗證系統的效果，評估的結果真實且可信。雖然在線用戶評估的結果很優越，但實際的研究工作大多沒有條件進行線上用戶評估，在線用戶的評估方式很難被廣泛使用。原因有二，一是使用在線用戶進行訓練和評估，不成熟的對話推薦系統會損害用戶體驗，造成實際的損失；二是在線用戶評估數據的收集和整理需要額外的時間和精力，投入的成本加大。
（2）用戶模擬器評估
用戶模擬器（user simulator）通過擬合用戶的歷史數據，提供對話推薦的交互環境，為對話推薦系統每輪交互的輸出動作模擬用戶可能的行為。使用用戶模擬器，使得對話推薦系統的交互訓練更加快捷，也極大降低了評估成本。但該方式也有明顯的缺點，即用戶模擬器無法完全正確地預測在線用戶的真實反饋。
11
對話推薦系統研究中存在的問題
1、評價指標不統一
人類評估和專家分析是必要的，目前沒有完美的指標可以全面評估對話推薦系統的功能。
2、探索與收益的平衡
（1）如何在保證推薦準確率的前提下，減輕用戶的交互負擔； （2）如何將會話數據與用戶歷史數據結合，推斷用戶具有時序性特點的偏好； （3）如何利用用戶歷史興趣引導用戶發掘未來偏好。
3、數據稀疏性
（1）物品冷啟動問題：一定程度上可以解決傳統推薦系統中的用戶冷啟動問題，但在物品冷啟動問題上沒有非常好的解決方式。 （2）用戶反饋數據稀疏問題：對話推薦受制于有限的對話輪次，獲取到的用戶反饋只有有限輪次數量的數據。
4、對話策略模型低效
（1）模型訓練方式問題：對話推薦系統的環境缺少明確的規則，從而導致使用強化模型時沒有明確獎勵函數以及清晰的動作空間。
（2）模型面向任務的設計問題：強化對話推薦算法中的強化模型設計完全依賴于研究者的直覺與經驗，與任務不合適的強化模型會導致對話策略模型的訓練低效，甚至是無效。
12
未來研究方向
協同優化的端到端對話推薦 * 知識增強的對話推薦 * 基于多模態交互數據的對話推薦 * 無偏的對話推薦 * 用戶反饋的改進 * 更智能的對話推薦策略設計
13
總結
作為解決目前傳統推薦系統中存在問題的有效手段，對話推薦的研究具有重大意義。近兩年大量的對話推薦相關工作在推薦領域和數據挖掘領域的頂級會議與期刊中被發表，對話推薦的研究進入新的發展階段。本文詳細討論了對話推薦的研究內容與特點，重點關注對話推薦中的算法設計，對目前的對話推薦算法進行了歸類和總結，并介紹了對話推薦的評價指標及當前研究的挑戰與未來的研究方向。本文有助于人們理解對話推薦的研究內容、研究難點與研究思路，引發人們對未來對話推薦研究的思考。
付費5元查看完整內容
相關內容
個性化學習推薦是智能學習的一個研究領域,其目標是在學習平臺上給特定學習者提供有效學習資源,從而提升學習積極性與學習效果。雖然現有的推薦方法已被廣泛用于教學場景,但教學活動自身的科學規律,使個性化學習推薦在個性化參數設置、推薦目標設定、評價標準設計等方面具有一定的特殊性。針對上述問題,在調研大量文獻的基礎上對近年來個性化學習推薦的研究進行了綜述。從學習推薦通用框架、學習者建模、學習推薦對象建模、學習推薦算法、學習推薦評價五方面對個性化學習推薦的相關研究進行了系統的梳理和解讀。首先提出了學習推薦系統的通用框架,其次介紹了學習者建模的思路和方法,接著討論了學習推薦對象建模的思路和方法,然后歸納了學習推薦的算法與模型,接下來總結了學習推薦評價的設計與方法。并對這五方面現有研究的主要思想、實施方案、優勢及不足進行了分析。最后還展望了個性化學習推薦未來的發展方向,為智能學習的進一步深入研究奠定了基礎。
付費5元查看完整內容
摘要： 隨著自然語言處理技術的飛速發展以及互聯網上對話語料的不斷積累,閑聊導向對話系統(簡稱聊天機器人)取得了令人矚目的進展,受到了學術界的廣泛關注,并在產業界進行了初步的嘗試。當前,聊天機器人分為檢索式聊天機器人和生成式聊天機器人,而檢索式聊天機器人由于其生成的回復流暢且計算資源消耗小,仍然是目前工業界聊天機器人的主要實現手段。文中首先簡要介紹了檢索式聊天機器人的研究背景、基本架構以及組成模塊,重點闡述了回復選擇模塊的約束要求和相關數據集;然后,針對檢索式聊天機器人中最為核心的回復選擇技術,進行了深入分析與詳細梳理。文中將近年來經典的回復選擇技術歸納為如下4類:基于統計模型的方法、基于表示的神經網絡模型的方法、基于交互的神經網絡模型的方法以及基于預訓練技術的方法,并指出了這4類方法的優點和不足。在此基礎上,分析了目前檢索式聊天機器人技術研究所面臨的問題,并對其未來的發展趨勢進行了展望。
付費5元查看完整內容
摘要： 推薦系統致力于從海量數據中為用戶尋找并自動推薦有價值的信息和服務,可有效解決信息過載問題,成為大數據時代一種重要的信息技術。但推薦系統的數據稀疏性、冷啟動和可解釋性等問題,仍是制約推薦系統廣泛應用的關鍵技術難點。強化學習是一種交互學習技術,該方法通過與用戶交互并獲得反饋來實時捕捉其興趣漂移,從而動態地建模用戶偏好,可以較好地解決傳統推薦系統面臨的經典關鍵問題。強化學習已成為近年來推薦系統領域的研究熱點。文中從綜述的角度,首先在簡要回顧推薦系統和強化學習的基礎上,分析了強化學習對推薦系統的提升思路,對近年來基于強化學習的推薦研究進行了梳理與總結,并分別對傳統強化學習推薦和深度強化學習推薦的研究情況進行總結;在此基礎上,重點總結了近年來強化學習推薦研究的若干前沿,以及其應用研究情況。最后,對強化學習在推薦系統中應用的未來發展趨勢進行分析與展望。
付費5元查看完整內容
摘要： 大數據時代背景下,各行各業希望能基于用戶行為數據來訓練推薦模型,為用戶提供精準推薦,所用數據的共性特點為總量龐大、攜帶敏感信息、易于獲取。推薦系統在帶來精準推薦和市場盈利的同時也正在實時分享著用戶的隱私數據,差分隱私保護技術作為一門隱私保護技術, 能夠巧妙地解決推薦應用中存在的隱私泄露問題,其優勢在于不需要考慮攻擊方所具備的任何相關的背景知識、嚴格地對隱私保護進行了定義、提供了量化評估方法來保證數據集(在不同參數條件下)所提供的隱私保護水平具有可比較性。首先簡述了差分隱私的概念和主流推薦算法的近期研究成果, 其次重點分析了差分隱私與推薦算法相結合的應用情況,涉及的推薦算法有矩陣分解、深度學習推薦、協同過濾等,并對基于差分隱私保護的推薦算法的準確性進行了對比實驗; 然后討論了與每種推薦算法結合的使用場景以及目前仍存在的問題,最后對基于差分隱私的推薦算法的未來發展方向提出了有效建議。
付費5元查看完整內容
新聞推薦（NR）可以有效緩解新聞信息過載，是當今人們獲取新聞資訊的重要方式，而深度學習（DL）成為近年來促進新聞推薦發展的主流技術，使新聞推薦的效果得到顯著提升，受到研究者們的廣泛關注。主要對基于深度學習的新聞推薦方法研究現狀進行分類梳理和分析歸納。根據對新聞推薦的核心對象——用戶和新聞的建模思路不同，將基于深度學習的新聞推薦方法分為“兩段式”方法、“融合式”方法和“協同式”方法三類。在每類方法中，根據建模過程中的具體子任務或基于的數據組織結構進行更進一步細分，對代表性模型進行分析介紹，評價其優點和局限性等，并詳細總結每類方法的特點和優缺點。另外還介紹了新聞推薦中常用數據集、基線算法和性能評價指標，最后分析展望了該領域未來可能的研究方向及發展趨勢。
付費5元查看完整內容
數據稀疏和冷啟動是當前推薦系統面臨的兩大挑戰. 以知識圖譜為表現形式的附加信息能夠在某種程度上緩解數據稀疏和冷啟動帶來的負面影響, 進而提高推薦的準確度. 本文綜述了最近提出的應用知識圖譜的推薦方法和系統, 并依據知識圖譜來源與構建方法、推薦系統利用知識圖譜的方式, 提出了應用知識圖譜的推薦方法和系統的分類框架, 進一步分析了本領域的研究難點. 本文還給出了文獻中常用的數據集. 最后討論了未來有價值的研究方向.
//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200128
推薦系統推薦系統是一種向目標用戶建議可能感興趣物品的軟件工具. 隨著網絡與現實信息的爆炸式增長, 越來越多的在線服務商為用戶提供商品、音樂、電影等(以下統稱為物品)的推薦服務. 推薦系統能夠滿足用戶的個性化需求, 為在線服務商帶來巨大商業價值. 同時, 推薦方法與系統的研究促進了偏好挖掘、大數據處理、決策支持等領域的相關理論和實踐的飛速發展, 其學術價值也引起了廣泛的關注.
推薦系統面臨的重要挑戰主要是數據稀疏性問題和冷啟動問題. 數據稀疏問題指的是相對于數量龐大的用戶和物品, 僅有少量的物品獲得了用戶的評價或者購買, 難以據此獲得相似的用戶或相似的物品, 使得傳統推薦方法失效了. 冷啟動問題指的是系統由于并不知道新加入用戶的歷史行為, 無法給他們推薦物品, 同樣新加入的物品也由于沒有被用戶評價或購買過而無法被針對性的推薦.
推薦系統中通常利用附加信息來解決上述問題, 以提高性能. 附加信息(一般也稱上下文信息)分為顯式信息和隱式信息[1]. 顯式信息是通過諸如物理設備感知、用戶問詢、用戶主動設定等方式獲取的與用戶、物品相關聯的上下文信息. 隱式信息即利用已有數據或周圍環境間接獲取的一些上下文信息, 例如可根據用戶與系統的交互日志獲取時間上下文信息.
近年來, 利用以知識圖譜為表示形式的附加信息的推薦方法受到了學者們的關注. 知識圖譜最初用于提升搜索系統的性能[2], 刻畫了海量實體之間的多種關系, 具有網狀結構, 能夠用于推薦系統中來增強用戶、物品之間聯系的認知與解釋, 從而提高推薦準確度. 本文綜述了2015年~2019年發表在DLRS、RecSys、KDD、CIKM、NIPS、TIST、UMAP、SIGIR等會議和期刊中的利用知識圖譜的推薦方法的文獻, 共23篇. 在利用知識圖譜的推薦系統中, 通常首先將收集到的用戶信息、物品信息、在利用知識圖譜的推薦系統中, 通常首先將收集到的用戶信息、物品信息、用戶歷史行為等數據或者一些相關的外部數據表示成知識圖譜的形式. 然后, 設計推薦算法, 利用知識圖譜生成推薦. 此類推薦系統通常包含知識圖譜構建和利用知識圖譜產生推薦兩個環節. 本文根據這兩個環節中構建知識圖譜數據的不同來源, 以及推薦方法中利用知識圖譜信息的不同形式提出了分類框架, 并據此對相關文獻進行了分類綜述, 詳情請參看本文第三章. 與本文最為相關是文獻[3]. 該文獻綜述了2009年~2017年16篇利用知識圖譜的推薦方法的文獻. 本文在綜述的文章數量上超過了文獻[3]. 此外, 本文提出文獻分類框架能夠更好地覆蓋新提出的方法.
本文第一章介紹了利用知識圖譜的推薦方法的相關背景知識; 第二章對利用知識圖譜的推薦方法文獻進行分類與綜述; 第三章整理了目前常用的推薦系統數據集和知識圖譜數據集; 第四章、第五章分別討論了應用知識圖譜的推薦系統的研究難點與發展前景; 最后, 在第六章中對全文進行了總結.
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191