近年來,基于圖學習的推薦系統(GLRS)這個新興話題得到了快速發展。GLRS采用高級的圖學習方法來建模用戶的偏好和意圖,以及物品的特征來進行推薦。與其他RS方法(包括基于內容的過濾和協同過濾)不同,GLRS是建立在圖上的,其中重要對象(如用戶、物品和屬性)是顯式或隱式連接的。
隨著圖學習技術的快速發展,探索和開發圖中的同質或異質關系是構建更有效的RS的一個有前途的方向。通過討論如何從基于圖的表示中提取重要的知識,以提高推薦的準確性、可靠性和可解釋性。
首先對GLRS進行了表示和形式化,然后對該研究領域面臨的主要挑戰和主要進展進行了總結和分類。
引言
推薦系統(RS)是人工智能(AI)最流行和最重要的應用之一。它們已被廣泛采用,以幫助許多流行的內容分享和電子商務網站的用戶更容易找到相關的內容、產品或服務。與此同時,圖學習(Graph Learning, GL)是一種新興的人工智能技術,它涉及到應用于圖結構數據的機器學習,近年來發展迅速,顯示出了其強大的能力[Wu et al., 2021]。事實上,得益于這些學習關系數據的能力,一種基于GL的RS范式,即基于圖學習的推薦系統(GLRS),在過去幾年中被提出并得到了廣泛的研究[Guo等人,2020]。在本文中,我們對這一新興領域的挑戰和進展進行了系統的回顧。
動機: 為什么要用圖學習RS?
RS中的大部分數據本質上是一個圖結構。在現實世界中,我們身邊的大多數事物都或明或暗地相互聯系著;換句話說,我們生活在一個圖的世界里。這種特征在RS中更加明顯,這里考慮的對象包括用戶、物品、屬性、上下文,這些對象之間緊密相連,通過各種關系相互影響[Hu et al., 2014],如圖1所示。在實踐中,RS所使用的數據會產生各種各樣的圖表,這對推薦的質量有很大的幫助。
圖學習具有學習復雜關系的能力。作為最具發展前景的機器學習技術之一,GL在獲取嵌入在不同類型圖中的知識方面顯示出了巨大的潛力。具體來說,許多GL技術,如隨機游走和圖神經網絡,已經被開發出來學習特定類型的關系由圖建模,并被證明是相當有效的[Wu et al., 2021]。因此,使用GL來建模RS中的各種關系是一個自然和令人信服的選擇。
圖學習如何幫助RS? 到目前為止,還沒有統一的GLRS形式化。我們通常從高層次的角度對GLRS進行形式化。我們用一個RS的數據構造一個圖G = {V, E},其中對象(如用戶和商品)在V中表示為節點,它們之間的關系(如購買)在E中表示為邊。構建并訓練GLRS模型M(Θ)學習最優模型參數Θ,生成最優推薦結果R。
根據具體的推薦數據和場景,可以以不同的形式定義圖G和推薦目標R,例如,G可以是同質序列或異構網絡,而R可以是對物品的預測評級或排名。目標函數f可以是最大效用[Wang et al., 2019f]或節點之間形成鏈接的最大概率[Verma et al., 2019]。
這項工作的主要貢獻總結如下:
? 我們系統地分析了各種GLRS圖所呈現的關鍵挑戰,并從數據驅動的角度對其進行分類,為更好地理解GLRS的重要特征提供了有用的視角。
? 我們通過系統分類較先進的技術文獻,總結了目前GLRS的研究進展。
? 我們分享和討論了一些GLRS開放的研究方向,供社區參考。
深度學習在計算機視覺和語言理解領域取得了驚人的成功,受此影響,推薦研究已經轉向了基于神經網絡的新推薦模型的發明。
近年來,神經網絡推薦模型的發展取得了顯著的進展,由于神經網絡具有強大的表示能力,使得傳統的推薦模型得到了推廣和超越。
在本文中,我們對神經推薦模型進行了系統性回顧,旨在對該領域進行總結,以促進未來的發展。與現有的基于深度學習技術分類法對現有方法進行分類的調研不同,我們從推薦建模的角度對該領域進行了總結,這可能對研究推薦系統的研究者和從業者更有指導意義。
具體來說,我們根據他們用于推薦建模的數據將工作分為三種類型:
協同過濾模型,它利用了用戶-物品交互數據;
內容豐富模型,利用與用戶和物品相關的側面信息,如用戶檔案和物品知識圖譜;
3)上下文豐富模型,它解釋了與互動相關的上下文信息,如時間、地點和過去的互動。
在回顧了每種類型的代表性工作后,我們最后討論了該領域的一些有前途的方向,包括標桿推薦系統、基于圖推理的推薦模型,以及可解釋和公平的社會公益推薦。
//www.zhuanzhi.ai/paper/cbf33028b44f85138520717fd1d72792
由于互聯網的擴散,信息過載在人們的每一個生活中都是一個日益嚴重的問題。與搜索引擎一樣,推薦系統是緩解信息過載問題的有效解決方案,方便用戶尋找所需信息,增加服務提供商的流量和收入。它已經被廣泛應用于電子商務、社交媒體網站、新聞門戶、應用商店、數字圖書館等。它是現代信息系統中最普遍的以用戶為中心的人工智能應用之一。
關于推薦的研究可以追溯到20世紀90年代的[1],在那個年代早期的工作開發了許多基于內容的啟發式和協同過濾(CF)[2]。由于Netflix的挑戰,Matrix Factorization (MF)[3]后來很長一段時間(從2008年到2016年)成為主流推薦模型[4],[5]。然而,因子分解模型的線性性質使其在處理大而復雜的數據時效率較低。復雜的用戶-物品交互,這些物品可能包含復雜的語義(例如,文本和圖像),這需要對它們進行徹底的理解。大約在2010年中期的同一時期,機器學習領域的深度神經網絡(deep neural networks,又稱“深度神經網絡”)興起。(比如深度學習)已經在語音識別、計算機視覺和自然語言處理等領域產生了革命性的變化。深度學習的巨大成功源于神經網絡相當大的表達能力,尤其有利于從具有復雜模式的大數據中學習。這自然為推薦技術的發展帶來了新的機會。毫不奇怪,在過去的幾年中出現了很多關于開發神經網絡方法的推薦系統的工作。在這項工作中,我們的目的是提供一個系統的回顧推薦模型使用神經網絡-稱為“神經推薦模型”。這是當前推薦研究中最熱門的話題,不僅近年來取得了許多令人興奮的進展,而且顯示出了成為下一代推薦系統的技術基礎的潛力。
我們專注于物品推薦的一般任務,即向用戶推薦項目,而忽略了對其他推薦任務的討論,如向一組用戶推薦物品、特定領域推薦(如教育推薦和時尚推薦)。此外,我們專注于利用單個域的數據的工作,而忽略了關于跨域推薦[8]的討論。我們的目標是提供一個單一領域的一般性項目推薦的全面綜述,并幫助青年研究者掌握該領域的主要研究方向。
本次綜述的組織結構如下。在第2節中,我們將回顧使用ID和交互歷史進行建模的協同過濾模型。在第3節中,我們回顧了將用戶和商品的側面信息整合到推薦中的模型,如用戶簡介和社交網絡、商品屬性和知識圖譜。我們將它們稱為內容豐富的模型,它通過集成側信息自然地擴展了CF。在第4節中,我們將回顧解釋上下文信息的模型。上下文數據與每個用戶-項目交互相關聯,例如時間、位置和過去的交互序列。上下文感知模型基于上下文數據進行預測。由于頁面限制,我們主要關注時間信息,這是最常見的上下文數據之一。最后,對研究結果進行了總結,并提出了展望。
推薦系統在我們的日常生活中發揮著越來越重要的作用,特別是在許多以用戶為導向的在線服務中,推薦系統在緩解信息過載問題方面發揮著重要作用。推薦系統的目標是通過利用用戶和物品的交互來提高匹配的準確性,識別出一組最符合用戶顯性或隱性偏好的對象(即物品)。
隨著深度神經網絡(DNNs)在過去幾十年的快速發展,推薦技術已經取得了良好的性能。然而,現有的基于DNN的方法在實踐中存在一些缺陷。更具體地說,他們認為推薦過程是一個靜態的過程,并按照一個固定的貪心策略進行推薦; 現有的大多數基于DNN的推薦系統都是基于手工制作的超參數和深度神經網絡架構;它們將每個交互視為單獨的數據實例,而忽略了實例之間的關系。
在本教程中,我們將全面介紹深度推薦系統中解決上述問題的先進技術的最新進展,包括深度強化學習(DRL)、自動機器學習(AutoML)和圖神經網絡(GNN)。
通過這種方式,我們希望這三個領域的研究人員能夠對空間有更深刻的理解和準確的洞察,激發更多的想法和討論,促進推薦技術的發展。
推薦系統旨在為用戶推薦個性化的在線商品或信息, 其廣泛應用于眾多Web場景之中, 來處理海量信息數據所導致的信息過載問題, 以此提升用戶體驗. 鑒于推薦系統強大的實用性, 自20世紀90年代中期以來, 研究者針對其方法與應用兩方面, 進行了大量廣泛的研究. 近年來, 很多工作發現知識圖譜中所蘊含的豐富信息可以有效地解決推薦系統中存在的一系列關鍵問題, 例如數據稀疏、冷啟動、推薦多樣性等. 因此, 本文 針對基于知識圖譜的推薦系統這一領域進行了全面的綜述. 具體地, 首先簡單介紹推薦系統與知識圖譜中的一些基本概念. 隨后, 詳細介紹現有方法如何挖掘知識圖譜不同種類的信息并應用于推薦系統. 此外, 總結了相關的一系列推薦應用場景. 最后, 提出了對基于知識圖譜的推薦系統前景的看法, 并展望了該領域未來的研究方向.
主題: Deep Learning on Knowledge Graph for Recommender System: A Survey
摘要: 最近的研究表明,知識圖譜(KG)在提供有價值的外部知識以改進推薦系統(RS)方面是有效的。知識圖譜能夠編碼連接兩個對象和一個或多個相關屬性的高階關系。借助于新興的GNN,可以從KG中提取對象特征和關系,這是成功推薦的一個重要因素。本文對基于GNN的知識感知深度推薦系統進行了綜述。具體來說,我們討論了最新的框架,重點是它們的核心組件,即圖嵌入模塊,以及它們如何解決實際的推薦問題,如可伸縮性、冷啟動等。我們進一步總結了常用的基準數據集、評估指標以及開源代碼。最后,我們對調查結果進行了總結,并提出了這一快速發展領域的潛在研究方向。
【導讀】新加坡國立大學的Xiang Wang、Tat-Seng Chua,以及來自中國科學技術大學的Xiangnan He在WSDM 2020會議上通過教程《Learning and Reasoning on Graph for Recommendation》介紹了基于圖學習和推理的推薦系統,涵蓋了基于隨機游走的推薦系統、基于網絡嵌入的推薦系統,基于圖神經網絡的推薦系統等內容。
Tutorial摘要:
推薦方法構建預測模型來估計用戶-項目交互的可能性。之前的模型在很大程度上遵循了一種通用的監督學習范式——將每個交互視為一個單獨的數據實例,并基于“信息孤島”進行預測。但是,這些方法忽略了數據實例之間的關系,這可能導致性能不佳,特別是在稀疏場景中。此外,建立在單獨數據實例上的模型很難展示推薦背后的原因,這使得推薦過程難以理解。
在本教程中,我們將從圖學習的角度重新討論推薦問題。用于推薦的公共數據源可以組織成圖,例如用戶-項目交互(二部圖)、社交網絡、項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來,為開發高階連接帶來了好處,這些連接為協作過濾、基于內容的過濾、社會影響建模和知識感知推理編碼有意義的模式。隨著最近圖形神經網絡(GNNs)的成功,基于圖形的模型顯示了成為下一代推薦系統技術的潛力。本教程對基于圖的推薦學習方法進行了回顧,重點介紹了GNNs的最新發展和先進的推薦知識。通過在教程中介紹這一新興而有前景的領域,我們希望觀眾能夠對空間有更深刻的理解和準確的洞察,激發更多的想法和討論,促進技術的發展。
Tutorial大綱:
元學習的研究越來越受到學者們的重視,從最初在圖像領域的研究逐漸拓展到其他領域,目前推薦系統領域也出現了相關的研究問題,本文介紹了5篇基于元學習的推薦系統相關論文,包括用戶冷啟動推薦、項目冷啟動推薦等。
本文提出了一種新的推薦系統,解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好,現有的推薦系統,如Netflix,在啟動初向用戶提供物品選擇,我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性:(1) 只有少量物品交互行為的用戶推薦效果不佳,(2) 候選集合不足,無法識別用戶偏好。為了克服這兩個限制,我們提出了一種基于元學習的推薦系統MeLU。從元學習中,MeLU可以通過幾個例子快速地應用于新任務,通過幾個消費物品來估計新用戶的偏好。此外,我們提供了一個候選集合選擇策略,以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證,與兩個對比模型相比,該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。
Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據,對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解,即從幾個例子中有一個很好的泛化,依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點,我們將場景指定的學習與模型無關的序列元學習結合起來,并將它們統一到一個集成的端到端框架中,即場景指定的序列元學習者(或s^2 Meta)。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型,同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明,我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。
Sequential Scenario-Specific Meta Learner for Online Recommendation
冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據,對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解,即從幾個例子中有一個很好的泛化,依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點,我們將場景指定的學習與模型無關的序列元學習結合起來,并將它們統一到一個集成的端到端框架中,即場景指定的序列元學習者(或s^2 Meta)。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型,同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明,我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。
A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解(M F)是最流行的項目(item)推薦技術之一,但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳(比如Tweet推薦)。在本文中,我們提出了一種元學習策略,以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構,實現了我們的元學習策略。第一個體系結構學習線性分類器,其權重由項目歷史決定,而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果,實驗證明了我們提出的算法大大超過了MF基線方法。
One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level
推薦算法的有效性通常用評價指標來評估,如均方根誤差、F1或點擊率CTR,在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的,然而,對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此,基于總體評價結果選擇單一算法并不是最優的。在本文中,我們提出了一種基于元學習的推薦方法,其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法(RMSE,100K:0.973;1M:0.908)沒有優于單個的最佳算法SVD++(RMSE,100k:0.942;1M:0.887)。我們還探索了元學習者之間的區別,他們在每個實例(微級別),每個數據子集(中級)和每個數據集(全局級別)上進行操作。評估表明,與使用的總體最佳算法相比,一個假設完美的微級元學習器將提高RMSE 25.5%。