亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

推薦系統是提供各種個性化服務的重要而強大的工具。傳統上，這些系統使用數據挖掘和機器學習技術，根據數據中的相關性進行推薦。然而，僅依賴相關性而不考慮潛在的因果機制可能會導致公平性、可解釋性、魯棒性、偏差、回聲室和可控性等諸多實際問題。**因此，相關領域的研究人員已經開始將因果關系融入推薦系統來解決這些問題。本文回顧了推薦系統中因果推理的現有文獻。**討論了推薦系統和因果推理的基本概念及其相互關系，綜述了針對推薦系統中不同問題的因果方法的現有工作。最后，討論了推薦因果推理領域存在的問題和未來的發展方向。 //www.zhuanzhi.ai/paper/89fc6bd003d6e90ddf7e792d390e6ee3

1. 引言

推薦系統被認為是緩解信息過載的最有效工具之一，已被廣泛部署在許多現實世界的系統中，如電子商務平臺(如亞馬遜、eBay)、社交網絡(如Facebook、Twitter)、視頻分享平臺(如Youtube、TikTok)和流媒體服務(如Netflix、Hulu)。一般來說，這些系統使用高級技術從歷史數據以及收集的用戶、物品和內容信息中了解用戶的偏好。近年來，這些技術的發展迅速。

**一般來說，推薦算法可以分為三大類:協同過濾、基于內容的推薦和混合方法[1,2,3]。協同過濾(CF)模型的核心思想是相似的用戶可能有相似的興趣，相似的物品可能被相似的用戶喜歡。**早期基于記憶的CF模型，如user-based CF[4,5]和item -based CF[6,7]，將用戶-項目評分矩陣的行或列向量作為用戶和項目向量表示，并根據預定義的相似度函數如余弦相似度和皮爾遜相關系數計算用戶或項目之間的相似度進行推薦。為了從矩陣中提取潛在語義，研究人員后來探索了學習到的用戶和項目向量表示。這從潛在因子模型(Latent Factor model, LFM)開始，如在實踐中被廣泛采用的矩陣分解[8]、概率矩陣分解[9]和因子分解機[10]。在這些模型中，每個用戶和物品都被學習為一個潛在表示，以計算每個用戶-物品對的匹配得分，通常基于內積。深度學習和神經網絡的發展進一步擴展了CF模型。例如，[11,12,13,14]采用簡單的用戶和項目表示(例如，one-hot向量)，并學習復雜的匹配函數。[15, 16, 17, 18, 19]學習復雜的用戶和物品表示，并采用簡單的匹配函數(例如內積)。用戶表示也可以直接從歷史交互中計算出來，例如在順序推薦中[20,21]。基于內容的推薦將利用關于用戶和物品的豐富信息，甚至上下文信息來增強推薦。為了從輔助信息中學習物品之間的相似性，基于內容推薦的表示方法已經從TF-IDF[22]這樣的簡單模型發展到DNN[23]、CNN[24]等基于深度學習的模型。混合方法結合了協同過濾和基于內容的方法，既利用了兩種方法的優點，又避免了它們的某些局限性[1,2,25]。

**傳統推薦算法的基礎是從數據中挖掘或學習相關模式。**例如，許多協同過濾模型旨在學習用戶-項目相關模式，一些基于內容的推薦模型旨在學習特征-特征相關模式。然而，現實世界中的應用是由潛在的因果機制驅動的，單純的關聯學習不考慮因果關系會導致一些實際問題。我們以經典的“啤酒和尿布”問題為例。單純的相關性學習可以學習到啤酒和尿布之間的強相關模式，從而為購買了尿布的顧客推薦啤酒，或者為購買了尿布的顧客推薦啤酒。然而，底層機制是年輕爸爸通常會同時購買啤酒和尿布，不考慮底層機制推薦啤酒或尿布會造成困惑，進一步傷害用戶滿意度。因此，從關聯學習向因果學習發展具有重要意義。

正式地，因果推理研究因果關系和結果之間的因果關系，其中原因負責結果。兩個著名和流行的框架是潛在結果框架(也稱為Neyman-Rubin潛在結果或Rubin因果模型)[26]和結構因果模型(SCM)[27,28]。這兩種因果框架都有助于因果推薦的發展。通過利用推薦系統中潛在的因果機制，因果推薦能夠處理不同的實際問題，包括可解釋性、公平性、魯棒性、提升和無偏性。

本綜述的貢獻。本綜述旨在對推薦的因果推理進行全面的回顧。首先介紹了推薦系統的基本知識，然后討論了推薦因果推理的現有工作。具體而言，在兩個維度上探索了推薦系統中的因果推理。第一維遵循因果推理的流程，包括因果推理中的概念、符號和技術，以及因果推理和推薦系統之間的聯系。第二個維度是推薦中的實際問題，包括問題介紹、因果方法和開放問題。更具體地說，推薦包括可解釋性、公平性、魯棒性、基于提升的無偏性。強調了推薦因果推理中仍有待解決的幾個開放問題。

**本次綜述的組織方式如下:第2節介紹推薦系統的初步研究。**從第3節到第7節，介紹了因果推理的基本知識以及與推薦系統的聯系。第8至12節分別介紹了現有的因果方法，包括可解釋推薦、推薦中的公平性、基于提升的推薦、魯棒推薦、無偏推薦。在第13節中，我們討論了推薦因果推理中的一些開放問題和未來方向。第14節總結了這項綜述。

面向可信推薦系統:從淺層模型到深度模型再到大型模型

推薦系統作為人類與人工智能之間的橋梁，處于以人為本的人工智能研究的前沿。然而，不恰當的使用或開發推薦技術可能會給人類和整個社會帶來負面影響，比如推薦機制的不透明導致的用戶不信任、推薦算法的不公平、推薦系統的用戶不可控性，以及大量使用用戶隱私數據進行個性化帶來的用戶隱私風險。在本次演講中，我們將沿著推薦算法從淺模型到深模型再到大模型的演進過程，討論如何構建可信的推薦系統，包括但不限于推薦系統研究在AI社區中作為代表性的主觀AI任務的獨特作用，主觀AI與可信計算的關系，以及可信計算不同視角下的典型推薦方法，例如因果和反事實推理、神經符號建模、自然語言解釋、聯邦學習、用戶可控推薦、回音室緩解、個性化快速學習等等。

在信息過載的時代，推薦系統(RSs)已經成為在線服務平臺不可或缺的一部分。傳統的RSs通過觀察用戶的歷史活動、用戶畫像和交互項目內容之間的相關性來估計用戶的興趣并預測其未來的行為。然而，由于沒有考慮導致觀察到的用戶行為的內在因果原因，生成的推薦可能存在多種類型的偏差。此外，驅動用戶活動的因果動機通常糾纏在這些RSs中，無法保證推薦的可解釋性和泛化能力。為了解決這些缺點，近年來人們對用因果推理技術增強傳統RSs的興趣激增。本綜述提供了因果RSs的系統概述，幫助讀者全面了解這一有前途的領域。從傳統RSs的基本概念及其由于缺乏因果推理能力而產生的局限性開始。討論了如何引入不同的因果推理技術來解決這些挑戰，重點是去偏差、提高可解釋性和提高泛化能力。徹底分析了因果RSs的各種評估策略，特別是在利益的因果影響不可用的情況下，如何用有偏的數據可靠地估計它們的性能。最后，對未來因果關系研究的潛在方向進行了展望。

1. 引言

隨著web上的信息呈指數級增長，推薦系統(RSs)在現代在線服務中扮演著越來越重要的角色，因為它能夠根據用戶的個性化興趣自動地向他們提供商品**。

傳統RSs主要可以分為三類[9]:基于協同過濾的方法[10]、基于內容的方法[11]和混合方法[12]。基于協同過濾的RSs利用用戶過去的瀏覽、點擊、購買等行為來估計用戶的興趣并預測其未來的行為。另一方面，基于內容的方法通過匹配用戶興趣和項目內容來預測新的推薦。混合方法結合了兩者的優勢，綜合考慮了協同信息和用戶/項目特征信息，產生更準確的推薦。盡管近年來上述三類RSs都取得了巨大的成就，但這些方法的一個很大的局限性是，它們只能根據觀察到的用戶歷史行為和用戶/項目特征中的相關性來估計用戶興趣并預測未來的推薦，這不能保證因果關系[13,14]。

例如，基于協同過濾的RS可能會發現某種類型的幾個電視劇傾向于從一組用戶中獲得高評分，并得出結論，我們應該不斷向這些用戶推薦相同類型的電視劇。但有一個重要的問題:高收視率是由于用戶確實喜歡該類型的電視劇，還是由于用戶接觸到的同一類型的電視劇有限(即曝光偏差)，如果有機會，他們會更喜歡看新的節目?此外，基于內容的RS可以觀察到具有某些特征的微視頻與更多的點擊相關聯，并得出這些特征可能反映了當前用戶興趣的趨勢。但點擊量之所以如此之高，是因為這些微視頻往往具有聳人聽聞的標題，容易讓用戶上當受騙嗎?此外，如果這些微視頻的標題改為反映其真實內容的標題，用戶還會點擊它們嗎?上述問題在本質上是因果的，因為它們要么詢問干預的效果(例如，如果一個新的電視劇展示給用戶，評分將是什么)，要么詢問反事實的結果(例如，如果微視頻的標題更改以忠實地反映內容，用戶還會點擊它嗎)，而不僅僅是觀察數據中的關聯。Pearl[15]認為，這些問題位于因果關系階梯的第2級和第3級，即干預推理和反事實推理，而傳統的RSs不能回答這些問題，即僅用位于階梯第1級的關聯進行推理。為什么這些因果問題對RSs很重要?第一個原因是，如果不解決這些問題，很容易在推薦中產生偏差，而這種偏差會被很長一段時間忽視。如果上述基于協同過濾的RSs錯誤地揭示了用戶興趣的暴露偏差，則會通過不斷向用戶推薦相似的項目來放大該偏差;最終，推薦將失去偶然性，用戶的在線體驗可能會嚴重下降。同樣的，對于基于內容的微視頻RSs來說，如果不能區分用戶興趣引起的點擊和被標題黨欺騙的點擊，就會過度推薦標題聳人聽聞的微視頻，這對那些花費大量精力設計內容的優質微視頻上傳者是不公平的。此外，了解用戶活動的原因有助于提高推薦的可解釋性。考慮一個因果問題，用戶購買商品是出于質量還是價格低廉。尋求用戶行為背后的因果解釋可以幫助服務提供商根據用戶的個性化偏好增強RS算法。因果推斷能夠識別穩定不變的因果關系，并在此基礎上提出建議，同時丟棄不受歡迎或容易變化的其他相關性。以推薦餐廳為例。用戶選擇餐館可能是因為方便(例如，去附近的快餐店快速地吃點東西，但他們不一定喜歡，非穩定相關)或由于個人興趣(例如，出差很遠的地方去火鍋店，穩定的因果關系)。如果RS能恰當地解析出影響用戶之前光顧餐廳的意圖，即使不同餐廳的便利性水平可能因各種內部或外部原因(如用戶搬到新地方)而發生變化，系統仍能很好地適應新情況。從這個角度來看，因果RSs的泛化能力可以得到大幅提升。

本綜述對因果RS研究的最新進展進行了系統的概述。組織結構如圖1所示。在第2節中，我們從傳統RSs的基本概念及其相關推理的局限性開始。第3節回顧了機器學習和統計學中兩個重要的因果推理范式，并展示了它們與推薦任務的聯系。第4節深入討論了如何引入不同的因果推理技術來解決傳統RSs的局限性，重點是去偏倚、可解釋性的提高和泛化能力的提高。第5節總結了因果RSs的一般評估策略。最后，第6和第7節討論了因果性RSs的前瞻性開放問題和未來方向，并總結了本綜述。

2. 因果推薦系統

基于前幾節討論的RSs和因果推斷的初步知識，我們準備介紹最先進的因果RSs。重點關注了三個重要的主題，即偏差緩解、可解釋性提高和泛化能力的提高，以及它們的相互聯系，其中可以很好地解決由于相關推理而傳統RSs的各種限制。傳統RSs的關聯推理可以繼承用戶觀察行為中的多種類型偏差，并在未來的推薦[46]中放大這些偏差。這些偏差可能會導致各種后果，如離線評估與在線指標之間的差異、多樣性的喪失、推薦質量的降低、攻擊性的推薦等。因果推斷可以區分穩定的因果關系和可能對推薦產生負面影響的虛假關聯和偏差，從而提高推薦的魯棒性。在前幾節中，我們介紹了因果關系，以解決傳統RSs的各種類型的偏差和虛假相關性問題。在本節中，我們使用因果關系來解釋用戶決策過程。具體來說，我們討論了一個有趣的問題，旨在解開用戶的意圖，從而解釋他們過去的行為，即用戶購買一件物品是因為她符合當前的趨勢還是因為她真的喜歡它?這個問題的棘手之處在于:在現實中，我們只觀察到影響，即購買，這兩個原因都可以解釋。

在從潛在偏差和糾纏的觀察數據集中估計因果關系之后，RSs的泛化能力可以得到顯著增強，因為即使我們進行推薦的上下文(或環境)發生了變化(例如，項目流行度、用戶從眾性等)，我們仍然可以根據穩定和不變的因果關系來進行推薦。同時丟棄或糾正其他瞬時的、易受變化影響的不良相關性[56,93]。在本節中，我們使用用于流行度偏差的PD算法和用于因果可解釋性的DICE算法作為兩個例子，來展示如何通過因果干預和解纏來提高RSs的泛化性。

參考文獻：

1. Jiahui Liu, Peter Dolan, and Elin R?nby Pedersen. Personalized news recommendation based on click behavior. In Proceedings of the 15th International Conference on Intelligent User Interfaces, pages 31–40, 2010.

2. Ioannis Paparrizos, B Barla Cambazoglu, and Aristides Gionis. Machine learned job recommendation. In Proceedings of the 5th ACM Conference on Recommender Systems, pages 325–328, 2011.

【導讀】推薦系統是現在習以為常的應用，如何融入元學習方法來解決推薦系統的冷啟動或小數據場景是個有趣的問題。上海交大最新《推薦系統中的深度元學習》綜述，有40頁pdf涵蓋135篇文獻，全面地概述了當前基于深度元學習的推薦方法。針對推薦場景、元學習技術和元知識表示，提出了一種分類方法，為基于元學習的推薦方法提供了設計空間。值得關注！

作為信息過濾技術，基于深度神經網絡的推薦系統近年來取得了很大的成功。然而，由于從頭開始的模型訓練需要足夠的數據，基于深度學習的推薦方法仍然面臨數據不足和計算效率低下的瓶頸。元學習作為一種新興的學習模式，學習如何提高算法的學習效率和泛化能力，在解決數據稀疏問題方面顯示出了其優勢。最近，越來越多的基于深度元學習的推薦系統的研究出現了，以提高在可用數據有限的推薦場景下的性能，例如用戶冷啟動和項目冷啟動。因此，本研究及時全面地概述了當前基于深度元學習的推薦方法。針對推薦場景、元學習技術和元知識表示，提出了一種分類方法，為基于元學習的推薦方法提供了設計空間。對于每個推薦場景，我們進一步討論了現有方法如何應用元學習來提高推薦模型的泛化能力的技術細節。最后，我們指出了當前研究的局限性，并指出了未來研究的方向。

//www.zhuanzhi.ai/paper/6cff1ae05b9c005089acf0838b5fa0a6

近年來，推薦系統作為緩解信息過載的過濾系統被廣泛應用于電子商務、娛樂服務、新聞等各種網絡應用。推薦系統通過在大量的候選物品中提出個性化的建議，在改善用戶體驗和增加在線平臺吸引力方面取得了巨大的成功。隨著數據驅動的機器學習算法[3,90]，特別是基于深度學習的方法[9,32,121]的發展，該領域的學術和行業研究在準確性、多樣性、可解釋性等方面極大地提高了推薦系統的性能。

由于表達表示學習能力能夠從足夠的數據中發現隱藏的依賴關系，基于深度學習的方法在當代推薦模型中被大量引入[26,121]。通過利用大量具有不同數據結構的訓練實例(例如，交互對[121]、序列[20]和圖形[26])，具有深度神經結構的推薦模型通常被設計用于有效捕獲非線性和非微不足道的用戶/物品關系。然而，傳統的基于深度學習的推薦模型通常是基于預定義的學習算法，用足夠的數據從頭開始訓練。例如，常規監督學習范式通常使用從所有用戶收集的交互來訓練一個統一的推薦模型，并基于學習到的特征表示對未看到的交互進行推薦。這種基于深度學習的方法通常需要大量的數據和計算。換句話說，基于深度學習的推薦系統的性能很大程度上依賴于大量訓練數據的可用性和足夠的計算量。在實際的推薦應用中，數據的收集主要來源于用戶在訪問網絡平臺過程中觀察到的用戶互動。存在可用用戶交互數據稀疏(如冷啟動推薦)和模型訓練計算受限(如在線推薦)的推薦場景。因此，數據不足和計算效率低下的問題成為基于深度學習的推薦模型的瓶頸。

最近，元學習提供了一種很有吸引力的學習范式，它針對數據和計算的不足，著重加強機器學習方法的泛化能力[36,98]。元學習的核心思想是從先前的多任務學習過程中獲得關于高效任務學習的先驗知識(即元知識)。元知識可以促進新任務的快速學習，在看不見的任務上具有良好的泛化性能。在這里，任務通常指屬于同一類或具有相同屬性的一組實例，涉及其上的單個學習過程。與提高深度學習模型的表征學習能力不同，元學習側重于學習更好的學習策略來替代固定的學習算法，被稱為學習到學習的概念。由于元學習技術在對看不見的任務進行快速適應方面具有巨大的潛力，它被廣泛應用于圖像識別[4,130]、圖像分割[60]、自然語言處理[48]、強化學習[75,103]等研究領域。

元學習的好處與推薦模型在實例有限和計算效率低下的情況下的推廣需求是一致的。早期基于元學習的推薦方法主要分為個性化推薦算法選擇[13,78]，提取元數據集的特征，針對不同的數據集(或任務)選擇合適的推薦算法。通過運用提取元知識和生成任務特定模型的思想，這種元學習的定義更接近自動化機器學習的研究[39,115]。**隨后，深度元學習[38]或神經網絡元學習[36]出現，并逐漸成為推薦模型中典型討論的元學習技術的主流[47,69]。如[36,38]所介紹的，深度元學習旨在提取元知識，以實現深度神經網絡的快速學習，這對目前流行的深度學習范式帶來了增強。2017年以來，深度元學習在推薦系統研究界受到關注。**在訓練傳統的深度推薦模型時，首先應用先進的元學習技術來緩解數據不足(即冷啟動問題)。例如，最成功的基于優化的元學習框架MAML，以神經網絡參數初始化的形式學習元知識，首先在冷啟動推薦場景[47]中表現出極大的有效性。此外，在元學習模式下還研究了點擊率預測[69]、在線推薦[123]、順序推薦[125]等多種推薦場景，以提高在數據不足和計算效率低下的情況下的學習能力。

在本文中，我們對快速增長的基于深度元學習的推薦系統的研究進行了及時和全面的綜述。在我們的研究中，雖然已經有一些關于元學習或深度元學習的研究綜述了通用元學習方法及其應用的細節[36,38,98]，但對推薦系統的最新進展仍然缺乏關注。此外，在其他應用領域也有一些關于元學習方法的綜述，如自然語言處理[48,117]，多模態[61]和圖像分割[60]。然而，目前還沒有關于深度元學習在推薦系統中的研究。與他們相比，我們的綜述是填補這一空白的第一次嘗試，系統地回顧了元學習和推薦系統相結合的最新論文。在我們的綜述中，我們的目的是全面回顧基于深度元學習的推薦系統的文獻，這將有助于讀者和研究人員對這一主題的全面理解。為了仔細定位該領域的工作，我們提供了一個從三個角度的分類，包括推薦場景、元學習技術和元知識表示。此外，我們還根據推薦場景討論了相關的方法，并介紹了不同的作品如何利用元學習技術提取特定的元知識，包括參數初始化、參數調制、超參數優化等多種形式。我們希望我們的分類可以為開發新的基于深度元學習的推薦方法提供設計空間。此外，我們還總結了構建元學習任務的常見方法，這是構建元學習范式的必要條件。 本次綜述的結構安排如下。在第2節中，我們介紹了元學習技術的共同基礎和典型的推薦場景，其中元學習方法已被研究，以緩解數據不足和計算效率低下。在第3節中，我們將介紹由三個獨立軸組成的分類法。在第4節中，我們總結了文獻中使用的元學習推薦任務構建的不同方法。然后，我們在第5節詳細闡述了在不同推薦場景下使用元學習技術的現有方法的方法論細節。最后，我們在第6部分討論了該領域未來的研究方向，并在第7部分總結了這一綜述。

基于深度元學習的推薦系統分類

在本節中，我們建立了基于深度元學習的推薦系統的分類，并根據分類總結了現有方法的特點。通常，我們根據三個獨立的軸來定義分類，包括推薦場景、元學習技術和元知識表示。圖1顯示了分類法。之前[38,98]對一般元學習方法的分類更多關注2.1節介紹的三種元學習框架，但對元學習技術的實際應用關注有限。此外，[36]提出了一個新的分類法，涉及元表示、元優化器和元目標三個方面。他們提供了一個更全面的分類，可以引導新的元學習方法的發展。但是，它側重于整個元學習領域，不適合反映基于深度元學習的推薦系統的研究現狀和應用場景。

隨著互聯網和信息計算的飛速發展，衍生了海量數據，我們已經進入信息爆炸的時代。網絡中各種信息量的指數型增長導致用戶想要從大量信息中找到自己需要的信息變得越來越困難，信息過載問題日益突出。推薦系統在緩解信息過載問題中起著非常重要的作用，該方法通過研究用戶的興趣偏好進行個性化計算，由系統發現用戶興趣進而引導用戶發現自己的信息需求。目前，推薦系統已經成為產業界和學術界關注、研究的熱點問題，應用領域十分廣泛。在電子商務、會話推薦、文章推薦、智慧醫療等多個領域都有所應用。傳統的推薦算法主要包括基于內容的推薦、協同過濾推薦以及混合推薦。其中，協同過濾推薦是推薦系統中應用最廣泛最成功的技術之一。該方法利用用戶或物品間的相似度以及歷史行為數據對目標用戶進行推薦，因此存在用戶冷啟動和項目冷啟動問題。此外，隨著信息量的急劇增長，傳統協同過濾推薦系統面對數據的快速增長會遇到嚴重的數據稀疏性問題以及可擴展性問題。為了緩解甚至解決這些問題，推薦系統研究人員進行了大量的工作。近年來，為了提高推薦效果、提升用戶滿意度，學者們開始關注推薦系統的多樣性問題以及可解釋性等問題。由于深度學習方法可以通過發現數據中用戶和項目之間的非線性關系從而學習一個有效的特征表示，因此越來越受到推薦系統研究人員的關注。目前的工作主要是利用評分數據、社交網絡信息以及其他領域信息等輔助信息，結合深度學習、數據挖掘等技術提高推薦效果、提升用戶滿意度。對此，本文首先對推薦系統以及傳統推薦算法進行概述，然后重點介紹協同過濾推薦算法的相關工作。包括協同過濾推薦算法的任務、評價指標、常用數據集以及學者們在解決協同過濾算法存在的問題時所做的工作以及努力。最后提出未來的幾個可研究方向。

//jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20210502&flag=1

推薦系統通常從用戶項目偏好數據(如評級和點擊)中學習。這種信息在本質上是稀疏的，即，觀察到的用戶-項目偏好通常只代表可能的交互的不到5%。緩解數據稀疏性的一個有希望的方向是利用輔助信息，這些輔助信息可能編碼關于用戶如何消費商品的額外線索。這類數據(稱為模態)的例子包括社交網絡、商品的描述性文本、產品圖片。本教程的目的是全面回顧最近的進展，以表示、轉換和合并不同的模態到推薦模型中。此外，通過實際操作，我們考慮跨模態比較，以調研不同方法和模態的重要性。實際操作將通過Cornac (//cornac.preferred.ai)進行，這是一個多模態推薦系統的比較框架。

本教程的結構如下。在概述了偏好模型的重要家族之后，我們將討論如何將多模態推薦系統與代表特定模態的模型(用戶-項目偏好之外的輔助數據)結合起來設計。隨后，我們深入研究三個主要的感興趣的模態，即:文本、圖像和圖形，同時識別在每個模態下的相關算法。接下來是對跨模態使用的調研，包括應該依賴哪個模態，為一種模態設計的模型是否可以與另一種模態工作，以及為給定模態使用哪個模型。

本教程適用于尋求應用經驗的實踐者，以及對多模態推薦系統近期和未來研究方向感興趣的研究人員。要求具備Python和機器學習的基本知識。雖然熟悉推薦系統是加分項，但不是必須的。請帶上你自己的筆記本電腦。

目錄內容：

推薦系統概述 Brief overview of recommender systems (20 minutes) 多模態推薦系統導論 Introduction to multimodal recommender systems (20 minutes) Hands-on: Starting with the Cornac framework (10 minutes) 模態探究 Exploration into each modality (90 minutes):

• Text modality
• Image modality
• Network modality

跨模態利用 Cross-modal utilization (30 minutes) Future directions (10 minutes)

摘要

推薦系統已經被廣泛應用于不同的現實生活場景，幫助我們找到有用的信息。近年來，基于強化學習(RL)的推薦系統已經成為一個新興的研究課題。由于其交互性和自主學習能力，它常常超過傳統的推薦模型，甚至是最基于深度學習的方法。然而，在推薦系統中應用RL還面臨著各種挑戰。為此，我們首先對五種典型推薦場景的RL方法進行了全面的概述、比較和總結，以下是三個主要的RL類別: 價值函數、策略搜索和演員-評論員(Actor-Critic)。然后，在現有文獻的基礎上，系統分析了面臨的挑戰和相應的解決方案。最后，通過對RL研究中存在的問題和局限性的討論，指出了該領域潛在的研究方向。

//arxiv.org/abs/2109.10665

引言

個性化推薦系統能夠提供符合用戶喜好的有趣信息，從而有助于緩解信息過載問題。在過去的二十年中，人們對推薦系統進行了廣泛的研究，開發了許多推薦方法。這些方法通常根據用戶的喜好、商品特征和用戶與商品的交互來進行個性化的推薦。一些推薦方法還利用其他附加信息，如用戶之間的社會關系(例如，社會推薦)、時間數據(例如，順序推薦)和位置感知信息(例如，POI(“興趣點”的縮寫)推薦。

推薦技術通常利用各種信息為用戶提供潛在的項目。在現實場景中，推薦系統根據用戶與商品的交互歷史進行商品推薦，然后接收用戶反饋進行進一步推薦。也就是說，推薦系統的目的是通過交互獲取用戶的偏好，并推薦用戶可能感興趣的項目。為此，早期的推薦研究主要集中在開發基于內容和基于協同過濾的方法[2]，[3]。矩陣分解是傳統推薦方法中最具代表性的方法之一。近年來，由于深度學習的快速發展，各種神經推薦方法被開發出來[4]。然而，現有的推薦方法往往忽略了用戶與推薦模型之間的交互。它們不能有效地捕捉到用戶的及時反饋來更新推薦模型，往往導致推薦結果不理想。

一般來說，推薦任務可以建模為這樣一個交互過程——用戶被推薦一個商品，然后為推薦模型提供反饋(例如，跳過、點擊或購買)。在下一次交互中，推薦模型從用戶的顯式/隱式反饋中學習，并向用戶推薦一個新項目。從用戶的角度來看，高效的交互意味著幫助用戶盡快找到準確的商品。從模型的角度看，有必要在推薦的多輪中平衡新穎性、相關性和多樣性。交互式推薦方法已成功應用于現實世界的推薦任務中。然而，該方法經常遇到一些問題，如冷啟動[5]和數據稀疏[6]，以及挑戰，如可解釋性[7]和安全性[8]。

作為一個機器學習領域，強化學習(RL)專注于智能代理如何與環境交互，提供了潛在的解決方案來模擬用戶和代理之間的交互。最近RL的成功推動了人工智能[9]，[10]的研究。特別是，深度強化學習(DRL)[11]具有強大的表示學習和函數逼近特性，可以解決人工智能的挑戰。它已被應用于各個領域，如游戲[12]，機器人[13]，網絡[14]。近年來，應用RL解決推薦問題已成為推薦研究的一個新趨勢。具體來說，RL使推薦代理能夠不斷地與環境(例如，用戶和/或記錄的數據)交互，以學習最佳推薦策略。在實踐中，基于RL的推薦系統已經被應用到許多特定的場景中，如電子商務[18]、電子學習[19]、電影推薦[20]、音樂推薦[21]、新聞推薦[22]、工作技能推薦[23]、醫療保健[24]、能量優化[25]等。

為促進基于RL的推薦系統的研究，本文總結了現有的推薦問題的相關解決方案，系統分析了在推薦方法中應用RL所面臨的挑戰，并探討了未來潛在的研究方向。本文從理論研究的角度，回顧了已有的研究工作，包括環境構建、先驗知識、獎勵函數定義、學習偏差和任務構建。環境建設可以緩解勘探開發的取舍。先驗知識和獎勵定義是進行推薦決策的關鍵。此外，任務結構化可以很好地解決維度的詛咒。從應用的角度，我們還提供了基于RL的推薦系統的全面調研，分別遵循價值函數、策略搜索和演員評論。值得注意[26]的是還提供了對基于RL和drl的推薦算法的回顧，并在推薦列表、架構、可解釋性和評估方面提出了幾個研究方向。[27]主要從基于模型的方法和無模型的算法兩方面對基于drl的推薦系統進行了概述，并重點介紹了基于drl的推薦中一些有待解決的問題和新興的課題。與[26]和[27]不同的是，我們根據其他分類算法(即價值函數、策略搜索和角色-評論)概述了現有的(D)RL推薦方法，并分析了在推薦系統中應用(D)RL的挑戰。

本工作的主要貢獻如下:

• 我們全面回顧了為五種典型推薦方案開發的RL方法。對于每個推薦場景，我們提供了有代表性的模型的詳細描述，總結了文獻中使用的具體RL算法，并進行了必要的比較。

• 我們系統地分析了在推薦系統中應用RL所面臨的挑戰，包括環境構建、先驗知識、獎勵函數定義、學習偏差和任務構建。

• 我們還討論了RL的開放問題，分析了該領域的實際挑戰，并提出了未來可能的研究和應用方向。

本文的其余部分結構如下。第2節介紹了RL的背景，定義了相關的概念，列出了常用的方法。第三節給出了基于rl的推薦方法的標準定義。第4節全面回顧了為推薦系統開發的RL算法。第五部分討論了在推薦系統中應用RL所面臨的挑戰和相應的解決方案。接下來，第6節討論了基于rl的推薦系統的各種限制和潛在的研究方向。最后，第7節總結了本研究。

近年來，采用異質信息網絡統一建模推薦系統中不同類型對象的復雜交互行為、豐富的用戶和商品屬性以及各種各樣的輔助信息，不僅有效地緩解了推薦系統的數據稀疏和冷啟動問題，而且具有較好的可解釋性，并因此得到了廣泛關注與應用。據我們所知，本文是首篇專門介紹基于異質信息網絡的推薦系統的綜述。

具體而言，本文首先介紹了異質信息網絡和推薦系統的核心概念和背景知識，簡要回顧了異質信息網絡和推薦系統的研究現狀，并且闡述了將推薦系統建模為異質信息網絡的一般步驟。然后，本文根據模型原理的不同將現有方法分為三類，分別是基于相似性度量的方法、基于矩陣分解的方法和基于圖表示學習的方法，并對每類方法的代表性工作進行了全面的介紹，指出了每類方法的優缺點和不同方法之間的發展脈絡與內在關系。最后，本文討論了現有方法存在的問題，并展望了該領域未來的幾個潛在的研究方向。

1 引言

推薦系統往往面臨著數據稀疏和冷啟動問題，因此無法得到精準的推薦結果。在推薦系統中引入輔助信息可以有效地緩解這些問題。例如社會化推薦根據用戶之間的關系構造社交網絡作為輔助信息，從而能夠在推薦系統中充分利用社會關系對用戶喜好的影響。類似地，基于地理位置的社交推薦構建了用戶與位置之間的關系，通過用戶的位置記錄來捕捉用戶的行為偏好。然而，這些方法僅適用于某種特定類型的輔助信息，不具有普適性。

異質信息網絡是一種通用的融合多源數據的方法。通過將推薦系統視為由不同類型對象和交互構成的異質信息網絡，我們可以建模用戶與商品之間復雜的交互關系，而且可以有效融合屬性和各類輔助信息。基于異質信息網絡的推薦系統在信息融合、探索結構語義等方面具有顯著優勢，不僅可以有效緩解數據稀疏與冷啟動問題，而且有助于提升推薦系統的準確性和可解釋性，因此取得了廣泛的關注與應用。

綜述的章節編排如下：第2章簡要介紹推薦系統和異質信息網絡的相關概念與定義；第3章按照模型原理的不同，對基于異質信息網絡的推薦系統進行分類，并對現有方法進行了系統地梳理與分析；第4章展望了基于異質信息網絡的推薦系統未來研究方向；第5章回顧并總結全文。（在這里，主要展示第3章和第4章的核心內容，其他內容詳見論文原文。）

2 模型分類

目前，研究人員設計了各種適用于異質信息網絡建模的推薦算法。本章根據模型的不同，將現有工作進行分類，如表1所示。 圖片

2.1 基于相似性度量

推薦系統的個性化匹配往往基于對實體相似性的度量，而協同過濾需要基于用戶與商品之間的交互歷史計算相似度。早期的相似性度量算法僅對同質信息網絡定義，然而，這些算法忽視了對象和聯系的不同類型，不適用于建模為異質信息網絡的推薦系統。為了解決這一問題，研究者們提出了一系列用于異質信息網絡中實體相似性度量的算法，主要包括基于隨機游走的方法和基于元路徑的方法。基于這兩類異質信息網絡相似性度量算法，研究者們提出了很多協同過濾算法的變體，本文將這類方法統稱為基于相似性度量的方法。（詳見原文）

2.2 基于矩陣分解

為了解決相似性度量方法存在的時空復雜度高的問題，推薦系統的研究者們提出了矩陣分解模型，其原理是通過分解評分矩陣來提取出用戶和商品的隱向量，然后根據隱向量的相似度進行推薦。傳統的矩陣分解模型在訓練時使用隱向量重構共現矩陣作為優化目標，無法利用異質信息網絡中豐富的語義信息。很多研究者提出適用于異質信息網絡建模的矩陣分解方法，可以分為兩類：基于正則化的方法，和基于神經矩陣分解的方法。與基于相似性度量的方法相比，本節介紹的方法不依賴顯式的路徑可達性，當路徑連接稀疏或嘈雜時也不會失敗。（詳見原文）

2.3 基于圖表示學習

隨著深度學習的發展，基于神經網絡的推薦模型憑借其強大的特征交叉能力以及模型架構設計的靈活性，取得了較好的推薦效果。然而，傳統的神經網絡并不能直接建模圖結構。隨著圖表示學習技術的興起，研究者們嘗試設計融合圖表示學習技術的推薦模型，從而更好地學習圖數據中豐富的結構和語義信息。本節將這類方法統稱為基于圖表示學習的方法，并進一步分為基于兩階段訓練的方法和基于端到端訓練的方法。（詳見原文）

3 未來研究方向

異質信息網絡作為一種融合輔助信息的建模方法，憑借其緩解數據稀疏與冷啟動問題、提升模型性能與可解釋性等方面的優勢，已經在各種各樣的推薦系統模型和推薦任務上得到了應用。然而，基于異質信息網絡的推薦系統仍面臨很多挑戰，本節將介紹幾個潛在的未來研究方向。（詳見原文） 新型的異質圖推薦的模型與應用：基于圖神經網絡的推薦系統模型仍存在過平滑、魯棒性差等缺陷，而目前在圖神經網絡中引入異質信息的方法也仍不夠靈活，如何設計更好的異質圖推薦模型存在挑戰，如何將異質信息網絡用于更多類型的推薦任務也存在挑戰。

面向跨域數據的異質圖推薦：目前的絕大多數工作僅關注在單一異質網絡上的推薦任務，與單圖推薦相比，跨域推薦存在很多額外的挑戰。例如，如何設計源域到目標域的映射函數，如何在利用跨域信息的同時不泄露用戶隱私等，如何應對上述挑戰是未來的研究重點。

面向大規模實時場景的異質圖推薦：真實的推薦系統往往需要處理超大規模的數據，并且對推薦的實時性有較高的要求，因此很多復雜的推薦模型無法直接使用。大規模實時推薦主要面臨兩方面問題：一方面是模型的輕量化，另一方面是模型的動態更新。目前的推薦算法輕量化和動態更新方法主要適用于二分圖，如何將其應用于異質信息網絡存在挑戰。

【導讀】近來，知識圖譜用于推薦系統是關注的焦點，能夠提升推薦系統的準確性與可解釋性。如何將知識圖譜融入到推薦系統呢? 最近中科院計算所百度微軟等學者最新綜述論文《A Survey on Knowledge Graph-Based Recommender Systems》，闡述對基于知識圖譜的推薦系統進行了系統的研究。

地址：//www.zhuanzhi.ai/paper/90d0d696560bc88ea93f629b478a2128

為了解決各種在線應用中的信息爆炸問題，提高用戶體驗，推薦系統被提出來進行用戶偏好建模。盡管人們已經做出了許多努力來實現更加個性化的推薦，但是推薦系統仍然面臨著一些挑戰，比如數據稀疏性和冷啟動。近年來，以知識圖譜作為邊信息生成推薦引起了人們的極大興趣。這種方法不僅可以緩解上述問題，提供更準確的推薦，而且可以對推薦的項目進行解釋。本文對基于知識圖譜的推薦系統進行了系統的研究。我們收集了這一領域最近發表的論文，并從兩個角度進行了總結。一方面，我們通過研究論文如何利用知識圖譜進行準確和可解釋的推薦來研究所提出的算法。另一方面，我們介紹了這些工作中使用的數據集。最后，我們提出了幾個可能的研究方向。

概述

隨著互聯網的快速發展，數據量呈指數級增長。由于信息量過大，用戶在眾多的選擇中很難找到自己感興趣的。為了提高用戶體驗，推薦系統已被應用于音樂推薦[1]、電影推薦[2]、網上購物[3]等場景。

推薦算法是推薦系統的核心要素，主要分為基于協同過濾(CF)的推薦系統、基于內容的推薦系統和混合推薦系統[4]。基于CF的推薦基于用戶或交互數據項的相似度來建模用戶偏好，而基于內容的推薦利用了物品項的內容特征。基于CF的推薦系統得到了廣泛的應用，因為它可以有效地捕獲用戶的偏好，并且可以很容易地在多個場景中實現，而不需要在基于內容的推薦系統[5]、[6]中提取特征。然而，基于CF的推薦存在數據稀疏性和冷啟動問題[6]。為了解決這些問題，提出了混合推薦系統來統一交互級相似度和內容級相似度。在這個過程中，我們探索了多種類型的邊信息，如項目屬性[7]、[8]、項目評論[9]、[10]，以及用戶的社交網絡[11]、[12]。

近年來，將知識圖譜(KG)作為邊信息引入推薦系統引起了研究者的關注。KG是一個異構圖，其中節點作為實體，邊表示實體之間的關系。可以將項目及其屬性映射到KG中，以了解項目[2]之間的相互關系。此外，還可以將用戶和用戶端信息集成到KG中，從而更準確地捕捉用戶與物品之間的關系以及用戶偏好。圖1是一個基于KG的推薦示例，其中電影“Avatar”和“Blood Diamond”被推薦給Bob。此KG包含用戶、電影、演員、導演和類型作為實體，而交互、歸屬、表演、導演和友誼是實體之間的關系。利用KG，電影與用戶之間存在不同的潛關系，有助于提高推薦的精度。基于知識的推薦系統的另一個優點是推薦結果[14]的可解釋性。在同一個示例中，根據user-item圖中的關系序列可以知道向Bob推薦這兩部電影的原因。例如，推薦《阿凡達》的一個原因是，《阿凡達》與鮑勃之前看過的《星際穿越》屬于同一類型。最近提出了多種KGs，如Freebase[15]、DBpedia[16]、YAGO[17]、谷歌的知識圖譜[18]，方便了KGs的推薦構建。

圖1 一個基于kg的推薦的例子

本次綜述的目的是提供一個全面的文獻綜述利用KGs作為側信息的推薦系統。在我們的研究過程中，我們發現現有的基于KG的推薦系統以三種方式應用KGs: 基于嵌入的方法、基于路徑的方法和統一的方法。我們詳細說明了這些方法的異同。除了更準確的推薦之外，基于KG的推薦的另一個好處是可解釋性。我們討論了不同的作品如何使用KG來進行可解釋的推薦。此外，根據我們的綜述，我們發現KGs在多個場景中充當了輔助信息，包括電影、書籍、新聞、產品、興趣點(POIs)、音樂和社交平臺的推薦。我們收集最近的作品，根據應用程序對它們進行分類，并收集在這些作品中評估的數據集。

本次綜述的組織如下: 在第二部分，我們介紹了KGs和推薦系統的基礎;在第3節中，我們介紹了本文中使用的符號和概念;在第4節和第5節中，我們分別從方法和評價數據集的角度對基于知識的推薦系統進行了綜述;第六部分提出了該領域的一些潛在研究方向;最后，我們在第7節總結了這次調查。

術語概念

圖2 常用知識圖譜集合

圖3 符號

知識圖譜推薦系統方法

Embedding-based方法

基于嵌入的方法通常直接使用來自KG的信息來豐富項目或用戶的表示。為了利用KG信息，需要使用知識圖嵌入(KGE)算法將KG編碼為低秩嵌入。KGE算法可分為兩類[98]:翻譯距離模型，如TransE[99]、TransH[100]、TransR[101]、TransD[102]等;語義匹配模型，如DistMult[103]等。

根據KG中是否包含用戶，可以將基于嵌入的方法分為兩個類。在第一種方法中，KGs由項目及其相關屬性構成，這些屬性是從數據集或外部知識庫中提取的。我們將這樣的圖命名為項目圖。注意，用戶不包括在這樣的項目圖中。遵循這一策略的論文利用知識圖嵌入(KGE)算法對圖進行編碼，以更全面地表示項目，然后將項目側信息集成到推薦框架中。其大意可以如下所示。

另一種embedding-based方法直接建立user-item圖,用戶,項目,以及相關屬性函數作為節點。在用戶-項目圖中，屬性級關系(品牌、類別等)和用戶級關系(共同購買、共同查看等)都是邊。

Path-based Methods

基于路徑的方法構建一個用戶-項目圖，并利用圖中實體的連接模式進行推薦。基于路徑的方法在2013年就已經開發出來了，傳統的論文將這種方法稱為HIN中的推薦方法。通常，這些模型利用用戶和/或項的連接性相似性來增強推薦。

統一方法

基于嵌入的方法利用KG中用戶/項的語義表示進行推薦，而基于路徑的方法使用語義連接信息，并且兩種方法都只利用圖中信息的一個方面。為了更好地利用KG中的信息，提出了將實體和關系的語義表示和連通性信息結合起來的統一方法。統一的方法是基于嵌入傳播的思想。這些方法以KG中的連接結構為指導，對實體表示進行細化。

總結：

基于嵌入的方法使用KGE方法對KG(項目圖或用戶-項目圖)進行預處理，以獲得實體和關系的嵌入，并將其進一步集成到推薦框架中。然而，這種方法忽略了圖中信息的連通性模式，很少有文獻能夠給出有原因的推薦結果。基于路徑的方法利用用戶-項圖，通過預先定義元路徑或自動挖掘連接模式來發現項的路徑級相似性。基于路徑的方法還可以為用戶提供對結果的解釋。將基于嵌入的方法與基于路徑的方法相結合，充分利用雙方的信息是當前的研究趨勢。此外，統一的方法還具有解釋推薦過程的能力。

圖4 收集論文表。在表格中，Emb代表基于嵌入的方法，Uni代表統一方法，Att’代表注意力機制，’RL’代表強化學習，’AE’代表自動編碼器，’MF’代表矩陣分解。

代表數據集

圖5 不同應用場景和相應論文的數據集集合

未來方向

在以上幾節中，我們從更準確的推薦和可解釋性方面展示了基于知識的推薦系統的優勢。雖然已經提出了許多利用KG作為側信息進行推薦的新模型，但仍然存在一些改進的機會。在這一部分中，我們概述并討論了一些未來的研究方向。

• 動態推薦。雖然基于KG的推薦系統在GNN或GCN架構下取得了良好的性能，但是訓練過程是耗時的。因此，這些模型可以看作是靜態的偏好推薦。然而，在某些情況下，如網上購物、新聞推薦、Twitter和論壇，用戶的興趣會很快受到社會事件或朋友的影響。在這種情況下，使用靜態偏好建模的推薦可能不足以理解實時興趣。為了捕獲動態偏好，利用動態圖網絡可以是一個解決方案。最近，Song等[127]設計了一個動態圖-注意力網絡，通過結合來自朋友的長期和短期興趣來捕捉用戶快速變化的興趣。按照這種方法，很自然地要集成其他類型的側信息，并構建一個KG來進行動態推薦。

• 多任務學習。基于kg的推薦系統可以看作是圖中鏈接預測。因此，考慮到KG的性質，有可能提高基于圖的推薦的性能。例如，KG中可能存在缺失的事實，從而導致關系或實體的缺失。然而，用戶的偏好可能會被忽略，因為這些事實是缺失的，這可能會惡化推薦結果。[70]、[95]已經證明了聯合訓練KG完成模塊和推薦模塊以獲得更好的推薦是有效的。其他的工作利用多任務學習，將推薦模塊與KGE task[45]和item relation regulation task聯合訓練[73]。利用從其他kg相關任務(例如實體分類和解析)遷移知識來獲得更好的推薦性能，這是很有趣的。

• 跨域推薦。最近，關于跨域推薦的研究已經出現。其動機是跨域的交互數據不相等。例如，在Amazon平臺上，圖書評級比其他域更密集。使用遷移學習技術，可以共享來自具有相對豐富數據的源域的交互數據，以便在目標域內進行更好的推薦。Zhang等[128]提出了一種基于矩陣的跨域推薦方法。后來，Zhao等人[129]引入了PPGN，將來自不同領域的用戶和產品放在一個圖中，并利用user item交互圖進行跨領域推薦。雖然PPGN的性能顯著優于SOTA，但是user item圖只包含交互關系，并不考慮用戶和項目之間的其他關系。通過將不同類型的用戶和項目端信息合并到用戶-項目交互圖中，以獲得更好的跨域推薦性能。

• 知識增強語言表示。為了提高各種自然語言處理任務的性能，有將外部知識集成到語言表示模型中的趨勢。知識表示和文本表示可以相互細化。例如，Chen等人[130]提出了短文本分類的STCKA，利用來自KGs(如YAGO)的先驗知識，豐富了短文本的語義表征。Zhang等人[131]提出了ERNIE，該方法融合了Wikidata的知識，增強了語言的表示能力，該方法已被證明在關系分類任務中是有效的。雖然DKN模型[48]既利用了文本嵌入，也利用了新聞中的實體嵌入，但這兩種嵌入方式只是簡單地串聯起來，得到新聞的最終表現形式，而沒有考慮兩個向量之間的信息融合。因此，將知識增強的文本表示策略應用于新聞推薦任務和其他基于文本的推薦任務中，能夠更好地表示學習，從而獲得更準確的推薦結果，是很有前景的。

• 知識圖譜嵌入方法。基于不同約束條件的KGE方法有兩種:翻譯距離模型和語義匹配模型。在本次綜述中，這兩種類型的KGE方法被用于三種基于KGE的推薦系統和推薦任務中。但是，還沒有全面的工作建議在什么情況下，包括數據源、推薦場景和模型架構，應該采用特定的KGE方法。因此，另一個研究方向是比較不同KGE方法在不同條件下的優勢。

• 用戶端信息。目前，大多數基于KG的推薦系統都是通過合并項目側信息來構建圖的，而很少有模型考慮用戶側信息。然而，用戶側信息，如用戶網絡和用戶的人口統計信息，也可以很自然地集成到當前基于KGbased的推薦系統框架中。最近，Fan等人[132]使用GNN分別表示用戶-用戶社交網絡和用戶-項目交互圖，該方法在用戶社交信息方面優于傳統的基于cf的推薦系統。在我們最近的調查[96]中，一篇論文將用戶關系整合到圖表中，并展示了這種策略的有效性。因此，在KG中考慮用戶側信息可能是另一個研究方向。