亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

推薦系統通過隱式交互(如購買和點擊)對用戶偏好和物品屬性進行建模，幫助用戶發現其感興趣的物品，已經成為一種流行而有效的工具。人類通過處理模態信號(如音頻、文本和圖像)來感知世界，這啟發了研究人員建立一個可以理解和解釋不同模態數據的推薦系統。這些模型可以捕獲不同模態之間的隱藏關系，并可能恢復單模態方法和隱式交互無法捕獲的互補信息。**本綜述的目的是對最近關于多模態推薦的研究工作進行全面的回顧。具體來說，它展示了每個步驟中常用技術的清晰流程，并按使用的方法對模型進行了分類。**此外，還設計了一個代碼框架，以幫助該領域的新研究人員理解原理和技術，并輕松運行SOTA模型。我們的框架位于://github.com/enoche/MMRec。

1. 引言

**隨著社會的發展，大量的物品和信息被展示在網絡上，用戶很難判斷哪些是有用的，并從中挑選出自己喜歡的。**解決了[34]推薦系統出現時的信息過載問題。它根據歷史交互數據和公開的物品信息(如點擊量和銷量)，預測用戶對所有物品的評分或偏好，并推薦用戶可能選擇的最可能和最相關的物品。推薦算法可分為協同過濾、基于內容的過濾和混合推薦系統[43]。協同過濾基于分析和收集用戶的歷史行為數據，其中包括歷史交互(如點擊、瀏覽、購買)和用戶偏好(如評分)。基于內容的過濾根據用戶的用戶信息和項目信息推薦產品。物品用關鍵字描述，用戶的個人資料將表達該用戶喜歡的物品的類型。這種方法的主要思想是，用戶可能會選擇他們之前喜歡的相似物品。混合方法結合了協同過濾和基于內容的過濾技術，以獲得更好的結果。 **傳統的推薦方法[16,68,76,78]存在不足，它們需要用戶和物品之間大量的交互才能做出更準確的推薦。**交互較少甚至沒有交互的用戶和物品會影響推薦的準確性。為了緩解數據稀疏問題[75,77]和冷啟動問題，多模態信息被引入到推薦系統中。多模態推薦利用輔助的多模態信息來補充歷史的用戶-物品交互，從而提高推薦性能。多模態模型能夠表示和發現不同模態之間的隱藏關系，并可能恢復單模態方法和隱式交互無法捕獲的互補信息。這些技能對于自然語言處理[45]來說也是必要的，以便在各種人工智能工作中實現人類水平的理解。多媒體數據不僅反映了用戶和物品之間的關系，而且反映了用戶在不同模態下的偏好。對于相同的模態，數據可以反映不同項目的相似度和語義。為了將多模態信息融合到推薦系統中，目前的方法是從不同模態中提取特征，然后將模態融合結果作為輔助信息或物品表示。VBPR[15]是第一個考慮將視覺特征引入推薦系統的模型，它將視覺嵌入與id嵌入連接起來作為項目的表示。[53, 58, 59]利用基于GCN的方法來產生每個模態的表示，然后將它們融合在一起作為最終表示。除了融合模態表示外，還將基于知識圖譜的模態邊信息引入多模態推薦[46]中。多模態推薦引入了不同的技術，試圖為用戶和物品找到更好的表示，以實現更準確的推薦結果。

**如今，在線分享平臺是常用的，如時尚、新聞、短視頻和音樂推薦平臺。這些流行的在線平臺包含大量的多模態信息，驅動用戶的選擇。**由于人們普遍使用這些蘊含大量多模態信息的平臺，因此有必要采用多模態推薦來學習更準確的用戶偏好。與傳統推薦不同，這些應用利用了物品的視頻幀、音軌和物品描述等多模態內容信息。MMGCN[59]、MGAT[49]、DualGNN[53]和SLMRec[48]是利用視頻內部的描述、字幕、音頻和幀對用戶對微視頻的多模態偏好進行建模的微視頻推薦模型。由于時尚推薦涉及的特征復雜且具有主觀性，構建高效的推薦系統面臨困難。[7, 19]旨在利用多模態信息來克服這個問題。以往的新聞推薦側重于標題和文本的單模態信息，而忽略了圖像等視覺信息。[61, 63]嘗試使用多模態來提高推薦性能。

**由于上文討論的優點和必要性，多模態推薦系統被廣泛使用。也沒有調研討論用于多模態推薦的技術。**為了給研究人員提供參考，本文介紹了多模態推薦系統的概況，并根據所使用的方法對綜述論文進行了分類。本調研的目的是通過展示一個清晰的流程以及每個步驟中使用的技術，來介紹多模態推薦系統的工作原理。本文旨在指導新的研究人員了解多模態推薦系統中常用的原則和技術。此外，還提供了一個已開發的代碼框架，該框架包含已實現的具有預提取多模態特征的SOTA模型，使得研究人員可以基于該框架高效地運行SOTA模型或開發自己的模型。

本綜述的主要內容是多模態推薦的研究綜述。本文工作的目的是總結該領域使用的主要方法，并強調多模態內容的重要性。此外，我們將提供一個通用框架，其中包含常用模型的代碼實現，這可以幫助初學者快速運行他們的數據或在此框架中實現模型。我們將按照以下方式組織綜述: * 介紹 * 多模態推薦流程 * 特征提取; * 模型分類; * 模態融合 * 度量和優化; * 數據集和實驗結果 * 挑戰和未來研究方向 * 結論

在介紹了這次綜述的組織情況后，我們總結了我們的主要貢獻如下。

• 我們提出了多模態推薦系統(MMRec)的理論綜述，概述了學習和利用模態信息的各種策略，并提供了模型使用的技術以及每個MMRec模型如何工作的全面解釋。
• 我們介紹了推薦系統如何利用多模態信息的主要步驟，并展示了MMRec的流程。討論了如何選擇合適的數據集、特征提取和優化方法，為讀者開發MMRec系統提供了明確的指導。
• 我們通過在四個公共數據集上進行大量實驗，驗證了SOTA多模態推薦模型的有效性和效率。同時，討論影響模型性能的關鍵因素(例如，不同的模態信息，不同的數據分割方法)。

此外，我們創建了一個開源框架MMRec[74] 1，可用于實現本綜述中提到的MMRec模型的基線。讀者也可以使用這個代碼框架來開發自己的模型。我們希望這個框架能幫助初學者更容易地理解多模式推薦模型的工作原理，并方便地開發自己的模型，只考慮如何設計模型，其他步驟由框架完成。此外，我們還創建了一個開源存儲庫，其中包括所有被調研的論文和單模態模型。

2. 多模態推薦流程

多模態推薦系統通常遵循圖1中的步驟。下面描述了每個步驟的細節。多模態推薦系統旨在通過利用多模態特征來學習用戶和物品的信息表示。第一步是從原始數據中提取模態特征。在獲得模態特征后，您可以選擇在將它們輸入到多模態模型之前進行融合，在模型的中間層進行融合，或融合多模態模型的輸出。采用不同的技術來學習用戶-物品之間的關系，并利用多模態信息，通過匹配目標函數來提高推薦精度。

推薦系統是提供各種個性化服務的重要而強大的工具。傳統上，這些系統使用數據挖掘和機器學習技術，根據數據中的相關性進行推薦。然而，僅依賴相關性而不考慮潛在的因果機制可能會導致公平性、可解釋性、魯棒性、偏差、回聲室和可控性等諸多實際問題。**因此，相關領域的研究人員已經開始將因果關系融入推薦系統來解決這些問題。本文回顧了推薦系統中因果推理的現有文獻。**討論了推薦系統和因果推理的基本概念及其相互關系，綜述了針對推薦系統中不同問題的因果方法的現有工作。最后，討論了推薦因果推理領域存在的問題和未來的發展方向。 //www.zhuanzhi.ai/paper/89fc6bd003d6e90ddf7e792d390e6ee3

1. 引言

推薦系統被認為是緩解信息過載的最有效工具之一，已被廣泛部署在許多現實世界的系統中，如電子商務平臺(如亞馬遜、eBay)、社交網絡(如Facebook、Twitter)、視頻分享平臺(如Youtube、TikTok)和流媒體服務(如Netflix、Hulu)。一般來說，這些系統使用高級技術從歷史數據以及收集的用戶、物品和內容信息中了解用戶的偏好。近年來，這些技術的發展迅速。

**一般來說，推薦算法可以分為三大類:協同過濾、基于內容的推薦和混合方法[1,2,3]。協同過濾(CF)模型的核心思想是相似的用戶可能有相似的興趣，相似的物品可能被相似的用戶喜歡。**早期基于記憶的CF模型，如user-based CF[4,5]和item -based CF[6,7]，將用戶-項目評分矩陣的行或列向量作為用戶和項目向量表示，并根據預定義的相似度函數如余弦相似度和皮爾遜相關系數計算用戶或項目之間的相似度進行推薦。為了從矩陣中提取潛在語義，研究人員后來探索了學習到的用戶和項目向量表示。這從潛在因子模型(Latent Factor model, LFM)開始，如在實踐中被廣泛采用的矩陣分解[8]、概率矩陣分解[9]和因子分解機[10]。在這些模型中，每個用戶和物品都被學習為一個潛在表示，以計算每個用戶-物品對的匹配得分，通常基于內積。深度學習和神經網絡的發展進一步擴展了CF模型。例如，[11,12,13,14]采用簡單的用戶和項目表示(例如，one-hot向量)，并學習復雜的匹配函數。[15, 16, 17, 18, 19]學習復雜的用戶和物品表示，并采用簡單的匹配函數(例如內積)。用戶表示也可以直接從歷史交互中計算出來，例如在順序推薦中[20,21]。基于內容的推薦將利用關于用戶和物品的豐富信息，甚至上下文信息來增強推薦。為了從輔助信息中學習物品之間的相似性，基于內容推薦的表示方法已經從TF-IDF[22]這樣的簡單模型發展到DNN[23]、CNN[24]等基于深度學習的模型。混合方法結合了協同過濾和基于內容的方法，既利用了兩種方法的優點，又避免了它們的某些局限性[1,2,25]。

**傳統推薦算法的基礎是從數據中挖掘或學習相關模式。**例如，許多協同過濾模型旨在學習用戶-項目相關模式，一些基于內容的推薦模型旨在學習特征-特征相關模式。然而，現實世界中的應用是由潛在的因果機制驅動的，單純的關聯學習不考慮因果關系會導致一些實際問題。我們以經典的“啤酒和尿布”問題為例。單純的相關性學習可以學習到啤酒和尿布之間的強相關模式，從而為購買了尿布的顧客推薦啤酒，或者為購買了尿布的顧客推薦啤酒。然而，底層機制是年輕爸爸通常會同時購買啤酒和尿布，不考慮底層機制推薦啤酒或尿布會造成困惑，進一步傷害用戶滿意度。因此，從關聯學習向因果學習發展具有重要意義。

正式地，因果推理研究因果關系和結果之間的因果關系，其中原因負責結果。兩個著名和流行的框架是潛在結果框架(也稱為Neyman-Rubin潛在結果或Rubin因果模型)[26]和結構因果模型(SCM)[27,28]。這兩種因果框架都有助于因果推薦的發展。通過利用推薦系統中潛在的因果機制，因果推薦能夠處理不同的實際問題，包括可解釋性、公平性、魯棒性、提升和無偏性。

本綜述的貢獻。本綜述旨在對推薦的因果推理進行全面的回顧。首先介紹了推薦系統的基本知識，然后討論了推薦因果推理的現有工作。具體而言，在兩個維度上探索了推薦系統中的因果推理。第一維遵循因果推理的流程，包括因果推理中的概念、符號和技術，以及因果推理和推薦系統之間的聯系。第二個維度是推薦中的實際問題，包括問題介紹、因果方法和開放問題。更具體地說，推薦包括可解釋性、公平性、魯棒性、基于提升的無偏性。強調了推薦因果推理中仍有待解決的幾個開放問題。

**本次綜述的組織方式如下:第2節介紹推薦系統的初步研究。**從第3節到第7節，介紹了因果推理的基本知識以及與推薦系統的聯系。第8至12節分別介紹了現有的因果方法，包括可解釋推薦、推薦中的公平性、基于提升的推薦、魯棒推薦、無偏推薦。在第13節中，我們討論了推薦因果推理中的一些開放問題和未來方向。第14節總結了這項綜述。

面向可信推薦系統:從淺層模型到深度模型再到大型模型

推薦系統作為人類與人工智能之間的橋梁，處于以人為本的人工智能研究的前沿。然而，不恰當的使用或開發推薦技術可能會給人類和整個社會帶來負面影響，比如推薦機制的不透明導致的用戶不信任、推薦算法的不公平、推薦系統的用戶不可控性，以及大量使用用戶隱私數據進行個性化帶來的用戶隱私風險。在本次演講中，我們將沿著推薦算法從淺模型到深模型再到大模型的演進過程，討論如何構建可信的推薦系統，包括但不限于推薦系統研究在AI社區中作為代表性的主觀AI任務的獨特作用，主觀AI與可信計算的關系，以及可信計算不同視角下的典型推薦方法，例如因果和反事實推理、神經符號建模、自然語言解釋、聯邦學習、用戶可控推薦、回音室緩解、個性化快速學習等等。

現有的推薦系統方法更多的是對相關性建模，但難于保證推薦系統的魯棒性等。來自清華中科院等最新《推薦系統中的因果推理》綜述論文，**全面回顧了基于因果推理的推薦的文獻，**非常值得關注!

推薦系統在當今的信息過濾中起著至關重要的作用。現有的推薦系統是通過學習數據中的相關性來提取用戶偏好的，如協同過濾中的行為相關性，特征-特征，或者預測點擊率中的特征-行為相關性。然而，令人遺憾的是，現實世界是由因果關系而不是相關性驅動的，而相關性并不意味著因果關系。例如，推薦系統可以在用戶購買手機后向其推薦電池充電器，后者可以成為前者的原因，而這種因果關系是無法逆轉的。近年來，為了解決這一問題**，推薦系統的研究人員開始利用因果推理來提取因果關系，增強推薦系統**。在這項綜述中，我們全面回顧了基于因果推理的推薦的文獻。首先，我們提出了推薦和因果推理的基本概念，作為后面內容的基礎。我們提出了非因果性推薦所面臨的典型問題。然后，我們全面回顧了基于因果推理的推薦的現有工作，基于因果推理解決的問題的分類。最后，我們討論了這一重要研究領域有待解決的問題，以及未來值得關注的工作。

//www.zhuanzhi.ai/paper/c0a2efd0fa2bb09875e3eb5c8e570cb8

在信息過載的時代，推薦系統(RecSys)已經成為方便用戶獲取信息的基礎服務。從早期的淺層模型[40,63]，到最近的基于深度學習的模型[13,27]，再到最近的基于圖神經網絡的模型[25,114]，推薦系統的技術和模型發展迅速。一般來說，推薦系統的目標是通過匹配用戶的歷史行為，以及收集到的用戶配置文件、商品屬性或其他上下文信息來了解用戶的偏好。這里的交互主要是由之前的推薦系統誘發的，很大程度上受推薦策略的影響。然后，推薦系統從候選商品池中篩選，并選擇符合用戶個性化偏好和需求的商品。一旦部署，系統就會收集新的交互來更新模型，這樣整個框架就形成了一個反饋循環。

一般來說，推薦系統可以分為兩類，即協同過濾(CF)和基于內容的推薦(又稱點擊率預測，簡稱CTR預測)。協同過濾關注用戶的歷史行為，如點擊、購買等。協同過濾的基本假設是，具有相似歷史行為的用戶，其未來行為也會趨于相似。例如，最具代表性的矩陣分解模型MF (matrix factorization model)使用向量來表示用戶和商品，然后使用內積來計算用戶和商品之間的相關性得分。為了提高模型的能力，最近的工作[13,27]利用深度神經網絡來匹配用戶和項目，如神經協同過濾[27]，它利用多層感知器來取代MF模型中的內積。此外，協作過濾的廣泛視角考慮了附加信息，如順序推薦中的每個行為的時間戳[10,115]、社交推薦中的用戶社交網絡[14,99]、多行為推薦中的多類型行為[18,101]等，對相關性進行了建模。點擊率預測的重點是利用豐富的屬性和特性的用戶，項目，或上下文來增強推薦。主流的CTR預測任務旨在通過適當的特征交互模塊學習高階特征，如FM (Factorization Machine)中的線性內積、DeepFM[20]中的多層感知器、AFM中的注意力網絡[103]、AutoInt中的疊置自注意力層[77]等。

當今推薦系統的基礎是建立相關性模型，例如協同過濾中的行為相關性，特征-特征，或者點擊率預測中的特征-行為相關性。然而，現實世界是由因果關系而不是相關性驅動的，而相關性并不意味著因果關系。推薦系統中廣泛存在兩種因果關系:用戶層面和交互層面。用戶方面的因果關系是指由因果關系驅動的用戶決策過程。例如，用戶在購買手機后可能會購買電池充電器，而后者可以成為前者的原因，這種因果關系是不可逆轉的。交互方面的因果關系是指推薦策略在很大程度上影響用戶與系統的交互。例如，未觀察到的用戶-物品交互并不意味著用戶不喜歡該物品，這可能只由未暴露引起。

**從形式上講，因果關系可以定義為原因和結果，其中原因對結果負有部分責任[111]。**因果推斷被定義為基于實驗數據或觀察數據來確定并進一步利用因果關系的過程[111]。兩種流行且被廣泛使用的因果推理框架是潛在結果框架(Rubin因果模型)[64]和結構因果模型(SCM)[57,59]。Rubin的框架旨在計算某些治療方法的效果。結構因果模型構建一個因果圖和相應的結構方程，其中有一組變量和描述變量之間因果關系的結構方程。由于采用了關聯驅動范式，現有的推薦系統仍然存在嚴重的瓶頸。具體來說，三個主要挑戰限制了當前范式的有效性，因果推理可以作為一個有前途的解決方案，如下所示。

數據偏差的問題。收集到的數據，例如最重要的用戶-物品交互數據，是觀察性的(而不是實驗性的)，導致了偏差，包括從眾性偏差、受歡迎性偏差等。[45]對于非因果性推薦系統，模型不僅學習了用戶期望的偏好，而且還學習了數據偏差，導致推薦性能較差。

數據丟失甚至數據噪聲的問題。推薦系統中采集的數據受限于采集過程，存在缺失或有噪聲的數據。例如，盡管物品池規模很大，但用戶只與一小部分物品進行交互，這意味著無法收集大量未被觀察到的用戶-物品反饋。此外，有時觀察到的隱性反饋甚至是嘈雜的，并不能反映用戶的實際滿意度，例如那些在電子商務網站的點擊行為，最后以差評結束，或者一些錯誤的行為。

**超出精度的目標很難實現。**除了準確性，推薦系統還應考慮其他目標，如公平性、可解釋性、透明度等。提高這些超出精度的目標可能會損害推薦的準確性，導致兩難。例如，一個考慮用戶行為下的多重驅動原因的模型，基于對每個原因進行分解和可解釋嵌入的分配，可以很好地提供準確和可解釋的推薦。另一個例子是多樣性。與高同質性的列表相比，高多樣性的物品推薦列表可能無法符合用戶的興趣，因為對于高同質性列表，因果關系可以幫助捕捉用戶為什么消費特定類別的物品，實現準確性和多樣性。

最近關于推薦系統的研究通過精心設計的因果關系驅動方法解決了這些挑戰。在過去的兩年里，相關的論文層出不窮，因果推理很有可能會席卷推薦系統領域。在這篇調研論文中，我們系統地回顧了這些早期的研究成果，特別是關于它們如何解決因果推理的關鍵缺陷。首先，具有因果關系的推薦方法可以構建因果圖，在大多數情況下，偏差可以被認為是混淆劑，這是進一步通過因果推理技術解決。其次，對于缺失的數據，因果增強模型可以幫助構建一個反事實的世界，從而可以通過反事實推理來收集缺失的數據。第三，因果推理可以自然地幫助建立可解釋和可控的模型，在此基礎上可以實現模型本身和推薦結果的可解釋性。此外，由于模型變得可控，其他目標也可以實現，包括多樣性、公平性等。具體而言，目前推薦中的因果推理工作可分為以下幾類：

• 數據去偏與因果推理。對于受歡迎程度偏差或暴露程度偏差，這種偏差(由于受歡迎程度意識或暴露策略意識的數據收集)在大多數情況下可以被視為一種混雜因素。現有的一些工作通過后門調整來解決這個問題。對于整合偏差，它可以被描述為對撞機效應。

• 基于因果推理的數據增強和數據去噪。雙重數據缺失問題包括有限的用戶數據收集和推薦模型對系統的因果影響。第一次折疊的極端情況甚至會產生數據噪聲問題。對于第一種情況，反事實推理可以幫助生成未收集的數據作為補充，這解決了數據缺失的問題。對于第二個方面，如IPW等因果模型可以估計推薦模型的因果效應。

• 基于因果推理的可解釋可控推薦模型，實現可解釋性、多樣性和公平性。按照因果圖設計的模型自然是可控的，其中具有代表性的技術包括因果發現、解纏表示等。基于可解釋模型，通過控制模型可以獲得較高的多樣性，避免權衡，通過控制模型對特定用戶群體的公平性來獲得公平的推薦。

值得一提的是，盡管有關于推薦系統[21,98,117]或因果推斷[22,51,51,112]的調研，但目前還沒有關于因果驅動推薦系統這一新的重要領域的調研。這些推薦系統的綜述主要介紹和討論了推薦系統的基本概念和各種進展，并對基于因果關系的推薦進行了一些討論。這篇因果推理綜述主要介紹和討論因果推理的基本概念和基本方法，對因果推理的應用探討不夠。我們總結這項調研的貢獻如下。

• 據我們所知，我們采取開創性的步驟，對這個新的但有前途的領域進行系統的調研。我們通過回答為什么因果推理是必要的以及因果推理如何增強推薦的基本問題來分類現有的工作。

• 我們提供推薦系統和因果推理的必要知識，然后致力于介紹和解釋因果推理的現有推薦工作，從早期的嘗試和最近發表的論文到2022年。

• 我們討論了該研究領域中重要但尚未解決的問題，并提出了有前景的方向，我們相信這將是未來幾年的主流研究方向。

圖2 因果推理的重要概念

說明非因果推薦模型的三個典型問題，以及因果推理如何解決這些問題。

因果推薦系統分類

現有的因果去偏方法主要有三類: 混淆效應、碰撞效應和反面推理。

近年來，因果推理已經成為推薦系統研究領域一個非常重要的課題，可以毫不夸張地說，它重塑了我們對推薦模型的認知。本文首先詳細系統地討論了為什么因果推理可以，以及它如何解決非因果推薦模型的缺陷，從而對現有的工作進行了調研。我們希望這項綜述能夠很好地激勵這一領域的研究人員。

數據驅動的推薦系統在各種Web應用程序中表現出了巨大的成功，這歸功于機器學習模型從大量的歷史用戶行為中識別模式(即相關性)的非凡能力。然而，這些模型仍然存在一些問題，如由于虛假相關性而產生的偏差和不公平。考慮數據背后的因果機制可以避免非因果關系帶來的偽相關的影響。在這種情況下，采用因果推薦建模是一個令人興奮和有前途的方向。因此，因果推薦越來越受到我們推薦界的關注。然而，由于缺乏對這一課題的系統概述，導致研究者和實踐者難以理解和跟上這一方向。

在本教程中，我們將介紹因果關系的關鍵概念，并對因果推薦方面的現有工作進行系統回顧。我們將介紹來自兩種不同因果框架的現有方法——潛在結果框架和結構性因果模型。我們將舉例并討論如何在這兩個框架下利用不同的因果工具來建模和解決推薦中的問題。將對這兩種工作進行比較，以便理解它們之間的區別和聯系。此外，我們確定了一些開放的挑戰和潛在的未來發展方向。我們希望本教程可以激發更多關于這個主題的想法，并促進因果關系感知推薦系統的發展。

目錄內容：

Part 0: 引用 introduction (15 Min). Part1: 潛在結果 potential outcome framework for recommendation (60~70 Min). Q&A (5 Min). Break (10 Min). Part2: 結構因果模型 structural causal model for recommendation (60~70 Min). Part3: comparison between the two frameworks (5 Min). Part4: open problems, future directions, and conclusions (20 Min). Q&A (5 Min).

深度學習在推薦系統中如何發揮作用是一個重要的問題。最近來自Netflix的文章詳細闡述了這一點指出：在建模用戶物品交互方面，深度學習相比傳統基線方法并無太大優勢，而對于異質特征的表示融入深度學習則具有很好建模性能。具體深入閱讀這篇論文

深度學習深刻地影響了機器學習的許多領域。然而，在推薦系統領域，它的影響需要一段時間才能感受到。在本文中，我們概述了在Netflix的推薦系統中使用深度學習所遇到的一些挑戰和經驗教訓。我們首先概述了Netflix服務上的各種推薦任務。我們發現不同的模型架構擅長于不同的任務。盡管許多深度學習模型可以被理解為現有(簡單)推薦算法的擴展，但我們最初并沒有發現在性能上有顯著的改善。只有當我們在輸入數據中添加了大量異構類型的特征時，深度學習模型才開始在我們的設置中嶄露頭角。我們還觀察到，深度學習方法可能會加劇離線-在線度量(錯誤)對齊的問題。在解決了這些挑戰之后，深度學習最終使我們的推薦在線下和線上都得到了很大的改進。在實踐方面，將深度學習工具箱集成到我們的系統中，可以更快更容易地實現和試驗各種推薦任務的深度學習和非深度學習方法。我們總結了一些可以推廣到Netflix之外的其他應用的經驗，以此來總結這篇文章。

//ojs.aaai.org/index.php/aimagazine/article/view/18140

在2010年代初，深度學習在機器學習領域開始嶄露頭角，這得益于在計算機視覺、語音識別和自然語言處理(NLP)等不同領域的各種任務上取得的令人印象深刻的結果。當時，在推薦系統研究界有一種說法:深度學習的浪潮是否也會席卷推薦系統，從而帶來巨大的改進?和其他許多人一樣，我們netflix對這個問題以及深度學習改善推薦的潛力很感興趣。雖然深度學習對于推薦系統的作用已經很明顯了，但是要想了解深度學習在哪些方面比現有的推薦方法更有優勢，卻是一項艱巨的任務。這可以從這種方法在研究界獲得關注花了多少年的時間得到證明。但這是一條有益的道路，隨后有關這一主題的大量工作證明了這一點。我們自己對Netflix深度學習的研究也走了類似的道路: 最初的興奮面對著需要精調方法的嚴酷現實。這使得我們對深度學習和其他推薦模型之間的關系有了更清晰的認識。當我們將這些方法的經驗教訓與不同深度學習方法所擅長的問題及其局限性相結合時，這些障礙就消失了。在此過程中，它還提供了如何讓深度學習在現實世界的推薦設置中工作的實踐經驗。

在本文中，我們首先概述了Netflix服務上的各種個性化任務，并重點介紹了Netflix服務上的電影和電視節目的個性化排名這一關鍵任務。然后，我們將討論在Netflix等推薦設置中可用的數據的幾個特定屬性，以及它們在創建推薦算法時帶來的實際挑戰。通過推薦的視角觀察深度學習，我們可以研究Netflix不同推薦任務的各種模型。由此，我們將分享對幾個重要類型的模型的見解。首先，我們討論使用會員觀看視頻集的物品袋模型。雖然功能強大，但這些模型忽略了時間信息，因此我們隨后將討論解決這一缺陷的序列序模型。我們發現這兩種方法對于不同的任務都很有價值。經過深度學習方法最初的掙扎，我們的實驗表明，當我們為深度學習算法提供額外的異質特征和信息源時，它在推薦問題上開始特別有效。相比之下，其他模型在僅使用用戶-項目交互數據的經典推薦設置中仍然具有競爭力(這是文獻中經常出現的情況，參見Ferrari Dacrema、Cremonesi和Jannach(2019))，當這些方法被適當調整時。然而，這種深度學習模型的靈活性允許我們找到這樣的場景:我們可以構建在歷史數據上評估的離線指標中獲得巨大改進的模型。

在發現離線指標的改進后，我們隨后發現，這些收益(即使非常大)并不總是能夠轉化為與真實成員進行的A/B測試中的在線性能。為了解決這個問題，我們需要新的離線指標來更好地替代在線指標。除此之外，我們還將介紹在支持數億用戶的推薦系統中使用深度學習所需的其他實踐方面。現有的深度學習工具箱提供了一個靈活的框架，使得在實踐中開發和修改推薦系統的模型體系結構非常容易。

最后，在我們集中討論在Netflix推薦系統中使用深度學習的關鍵經驗的同時，我們也會概述一些可以推廣到其他應用的經驗。

NetFlix推薦系統

我們在Netflix的推薦系統的主要任務是幫助我們的會員發現他們會觀看和享受的內容，以最大化他們的長期滿意度。這是一個具有挑戰性的問題，原因有很多，包括每個人都是獨一無二的，在不同的環境下有不同的興趣，當他們不確定他們想看什么時，最需要一個推薦系統。做好這一點意味著每個成員都能獲得獨特的體驗，從而最大限度地利用Netflix。作為一個月訂閱服務，會員的滿意度與一個人保留我們服務的可能性緊密相連，這直接影響我們的收入。因此，一個推薦系統的價值可以通過會員留存率的增加來衡量。經過多年的個性化和推薦技術的發展，我們能夠不斷地在保留度上創造有意義的改進(Gomez-Uribe和Hunt 2015)。

建模方法

在本節中，我們將概述在試驗各種深度學習模型以獲得推薦時的學習情況，從簡單的基線到更復雜的方法。我們將這些模型分為以下兩組: 項目袋方法和序列序模型。還討論了兩種類型的模型所共有的屬性。在此之后，我們描述了我們的關鍵見解，即深度學習推薦算法擅長于結合許多異質特征。相比之下，我們發現，當只使用用戶-物品交互時，經過良好調整的簡單模型具有很好的性能(正如文獻中經常出現的情況，參見Ferrari Dacrema, Cremonesi和Jannach(2019))。

結論

深度學習模型的成功并在Netflix推薦系統中被廣泛采用，為機器學習研究和工程提供了寶貴的學習經驗。特別是，用一種新的方法(深度學習)來解決現有的問題(例如，傳統的推薦系統)有時只會帶來有限的好處。事實上，當只使用用戶項交互數據時，經過良好調優的傳統方法是非常強的基線。深度學習可以有效地解決傳統方法難以解決的新問題，比如為時域找到好的表示，或者擴展輸入的范圍和模態，比如圖像、文本和視頻。在推薦問題的傳統框架之外應用這些技術，將會帶來相當大的改進。

另一方面，強大的深度學習模型的使用也會放大推薦系統的弱點，例如，短期代理目標的過度擬合可能與長期目標(如用戶滿意度)不一致。找到更好地編碼這些長期目標的方法，以及測量長期用戶滿意度的受控實驗，是關鍵。

使用深度學習的另一個積極的副作用是其卓越的機器學習軟件堆棧。它能夠更快地進行模型訓練、實現、部署和調試，并更好地支持現有的基礎設施。許多最初在機器學習的其他領域開發的深度學習模型，如NLP，已經成功地適應于推薦系統領域。雖然這種交叉交流可能會繼續下去，但我們也希望開發出新的方法，這些新方法甚至更具體地適用于可用數據的屬性和各種推薦任務。

摘要

推薦系統已經被廣泛應用于不同的現實生活場景，幫助我們找到有用的信息。近年來，基于強化學習(RL)的推薦系統已經成為一個新興的研究課題。由于其交互性和自主學習能力，它常常超過傳統的推薦模型，甚至是最基于深度學習的方法。然而，在推薦系統中應用RL還面臨著各種挑戰。為此，我們首先對五種典型推薦場景的RL方法進行了全面的概述、比較和總結，以下是三個主要的RL類別: 價值函數、策略搜索和演員-評論員(Actor-Critic)。然后，在現有文獻的基礎上，系統分析了面臨的挑戰和相應的解決方案。最后，通過對RL研究中存在的問題和局限性的討論，指出了該領域潛在的研究方向。

//arxiv.org/abs/2109.10665

引言

個性化推薦系統能夠提供符合用戶喜好的有趣信息，從而有助于緩解信息過載問題。在過去的二十年中，人們對推薦系統進行了廣泛的研究，開發了許多推薦方法。這些方法通常根據用戶的喜好、商品特征和用戶與商品的交互來進行個性化的推薦。一些推薦方法還利用其他附加信息，如用戶之間的社會關系(例如，社會推薦)、時間數據(例如，順序推薦)和位置感知信息(例如，POI(“興趣點”的縮寫)推薦。

推薦技術通常利用各種信息為用戶提供潛在的項目。在現實場景中，推薦系統根據用戶與商品的交互歷史進行商品推薦，然后接收用戶反饋進行進一步推薦。也就是說，推薦系統的目的是通過交互獲取用戶的偏好，并推薦用戶可能感興趣的項目。為此，早期的推薦研究主要集中在開發基于內容和基于協同過濾的方法[2]，[3]。矩陣分解是傳統推薦方法中最具代表性的方法之一。近年來，由于深度學習的快速發展，各種神經推薦方法被開發出來[4]。然而，現有的推薦方法往往忽略了用戶與推薦模型之間的交互。它們不能有效地捕捉到用戶的及時反饋來更新推薦模型，往往導致推薦結果不理想。

一般來說，推薦任務可以建模為這樣一個交互過程——用戶被推薦一個商品，然后為推薦模型提供反饋(例如，跳過、點擊或購買)。在下一次交互中，推薦模型從用戶的顯式/隱式反饋中學習，并向用戶推薦一個新項目。從用戶的角度來看，高效的交互意味著幫助用戶盡快找到準確的商品。從模型的角度看，有必要在推薦的多輪中平衡新穎性、相關性和多樣性。交互式推薦方法已成功應用于現實世界的推薦任務中。然而，該方法經常遇到一些問題，如冷啟動[5]和數據稀疏[6]，以及挑戰，如可解釋性[7]和安全性[8]。

作為一個機器學習領域，強化學習(RL)專注于智能代理如何與環境交互，提供了潛在的解決方案來模擬用戶和代理之間的交互。最近RL的成功推動了人工智能[9]，[10]的研究。特別是，深度強化學習(DRL)[11]具有強大的表示學習和函數逼近特性，可以解決人工智能的挑戰。它已被應用于各個領域，如游戲[12]，機器人[13]，網絡[14]。近年來，應用RL解決推薦問題已成為推薦研究的一個新趨勢。具體來說，RL使推薦代理能夠不斷地與環境(例如，用戶和/或記錄的數據)交互，以學習最佳推薦策略。在實踐中，基于RL的推薦系統已經被應用到許多特定的場景中，如電子商務[18]、電子學習[19]、電影推薦[20]、音樂推薦[21]、新聞推薦[22]、工作技能推薦[23]、醫療保健[24]、能量優化[25]等。

為促進基于RL的推薦系統的研究，本文總結了現有的推薦問題的相關解決方案，系統分析了在推薦方法中應用RL所面臨的挑戰，并探討了未來潛在的研究方向。本文從理論研究的角度，回顧了已有的研究工作，包括環境構建、先驗知識、獎勵函數定義、學習偏差和任務構建。環境建設可以緩解勘探開發的取舍。先驗知識和獎勵定義是進行推薦決策的關鍵。此外，任務結構化可以很好地解決維度的詛咒。從應用的角度，我們還提供了基于RL的推薦系統的全面調研，分別遵循價值函數、策略搜索和演員評論。值得注意[26]的是還提供了對基于RL和drl的推薦算法的回顧，并在推薦列表、架構、可解釋性和評估方面提出了幾個研究方向。[27]主要從基于模型的方法和無模型的算法兩方面對基于drl的推薦系統進行了概述，并重點介紹了基于drl的推薦中一些有待解決的問題和新興的課題。與[26]和[27]不同的是，我們根據其他分類算法(即價值函數、策略搜索和角色-評論)概述了現有的(D)RL推薦方法，并分析了在推薦系統中應用(D)RL的挑戰。

本工作的主要貢獻如下:

• 我們全面回顧了為五種典型推薦方案開發的RL方法。對于每個推薦場景，我們提供了有代表性的模型的詳細描述，總結了文獻中使用的具體RL算法，并進行了必要的比較。

• 我們系統地分析了在推薦系統中應用RL所面臨的挑戰，包括環境構建、先驗知識、獎勵函數定義、學習偏差和任務構建。

• 我們還討論了RL的開放問題，分析了該領域的實際挑戰，并提出了未來可能的研究和應用方向。

本文的其余部分結構如下。第2節介紹了RL的背景，定義了相關的概念，列出了常用的方法。第三節給出了基于rl的推薦方法的標準定義。第4節全面回顧了為推薦系統開發的RL算法。第五部分討論了在推薦系統中應用RL所面臨的挑戰和相應的解決方案。接下來，第6節討論了基于rl的推薦系統的各種限制和潛在的研究方向。最后，第7節總結了本研究。

【導讀】首篇深度強化學習推薦系統綜述論文，值的關注!

摘要

鑒于深度強化學習(DRL)在推薦系統研究中的出現，以及近年來取得的豐碩成果，本研究旨在對深度強化學習在推薦系統中的最新發展趨勢提供一個及時而全面的概述。我們從在推薦系統中應用DRL的動機開始。然后，我們給出了當前基于DRL的推薦系統的分類，并對現有的方法進行了總結。我們討論新出現的話題和未決的問題，并提供我們推進該領域的觀點。本綜述為來自學術界和工業界的讀者提供了入門材料，并確定了進一步研究的顯著機會。

引言

近年來，推薦技術有了長足的發展，從傳統的協同過濾、基于內容的推薦、矩陣分解等推薦技術[62]，到基于深度學習的推薦技術。特別是深度學習在解決復雜任務和處理復雜數據方面具有很強的優勢，因為深度學習能夠捕捉非線性的用戶-項目關系，能夠處理圖像、文本等各種類型的數據源。因此，它在推薦系統中得到了越來越多的應用。由于分布的變化，基于深度學習的推薦系統在捕獲興趣動態方面存在局限性[17,115]，即訓練階段基于現有的數據集，這可能不能反映真實的用戶喜好，而用戶的喜好變化很快。而深度強化學習(deep reinforcement learning, DRL)的目標是將深度學習和強化學習的力量結合起來，訓練出一種能夠從環境提供的交互軌跡中學習的agent。由于DRL中的agent可以主動從用戶的實時反饋中學習，從而推斷出用戶的動態偏好，因此DRL特別適合于從交互中學習，如人-機器人協作; 它還推動了一系列互動應用的顯著進步，從視頻游戲、Alpha Go到自動駕駛[3]。鑒于DRL對推薦系統的重要性和最近的進展，我們旨在在本次綜述中及時總結和評論基于DRL的推薦系統。

最近的一項基于強化學習的推薦系統[2]綜述了推薦系統中的強化學習，但沒有對日益增長的深度強化學習領域進行復雜的研究。我們綜述重點在于系統全面地概述了基于DRL的推薦系統中的現有方法，并討論了新出現的主題、未決問題和未來的方向。這項綜述介紹了研究人員，實踐者和教育工作者到這個主題，并促進了對該領域的關鍵技術的理解。

這項綜述的主要貢獻包括:

• 我們提供關于推薦系統中深度強化學習的最新綜合綜述，具有最先進的技術和指向核心參考文獻的指針。據我們所知，這是基于深度強化學習的推薦系統的第一個全面綜述。

• 我們給出了推薦系統中深度強化學習的文獻分類。在概述分類和文獻綜述的同時，我們討論了其優缺點，并對未來的研究方向提出了建議。

• 我們闡明了基于DRL的推薦系統的新興主題和開放問題。我們還指出了未來發展方向，這對推進基于DRL的推薦系統至關重要。

本綜述的其余部分組織如下: 第2節概述了推薦系統、DRL及其集成。第3節提供了一個分類和分類機制的文獻綜述。第4節回顧了出現的話題，第5節指出了未解決的問題。最后，第6節為這一領域的進一步發展提供了一些有前景的未來方向。