推薦系統根據用戶商品的歷史交互記錄來為用戶找到最符合他們個性化興趣的商品。然而推薦系統這種基于用戶商品交互網絡的任務的共同問題是數據稀疏性。用戶行為和用戶商品交互記錄相對于商品的規模來說都是非常有限的。此外,對新到來的用戶很難給他們推薦商品。為了克服這些困難,現在很多研究提出將外部信息引入推薦系統,比如屬性,文本,圖像等。通過外部信息建立原始推薦系統中實體之間的聯系,衡量它們之間的潛在相似度,緩解網絡稀疏性帶來的問題。
作者提出用知識圖譜來幫助提升推薦系統的效果。知識圖譜中不僅包含節點的特征,還包含節點的連接關系。和傳統網絡不同,知識圖譜由一系列三元組組成,也就是<起始實體,關系,終止實體>。它不但可以描述節點屬性 ,也可以描述節點之間的關系。如今,有非常多的超大規模的知識圖譜被發布,比如Wordnet,Freebase,DBpedia。這些圖譜描述了事實和常識,它們通常可以和大多數網絡應用中的部分節點對齊并作為網絡應用的外部知識。它們通過引入實體之間的聯系,增強實體的信息以及產生可解釋性來幫助推薦系統。然而,由于知識圖譜的一般性和巨大的規模,大多數知識實際上對于目標用戶商品的預測是沒有幫助的。如何有效地對知識圖譜進行蒸餾以便維持目標相關的知識關系是將知識圖譜引入推薦系統的關鍵問題。
現有的知識圖譜相關的推薦算法可以分為兩類,基于表征和基于路徑的方法:
基于表征的方法首先通過知識圖譜表征學習算法得到實體和關系的表征,然后將這些隱層表征引入推薦系統。然而,知識圖譜表征學習算法更多地關注于復雜的語義關聯,它更適用于網絡內任務比如鏈接預測,而不是推薦。因此,基于表征的方法不能完全地捕捉用戶商品連接的復雜語義,也不能區分知識關系是否與目標任務相關聯。
基于路徑的算法從知識圖譜中探索很多條路徑來構建兩個實體之間的聯系。它們通常將知識圖譜看作是一個異構信息網絡,然后預先定義很多元路徑來提取目標節點對之間的相似度。不同路徑之間的不同權重反映了知識圖譜中用戶的偏好。但是由于路徑長度的限制,它們丟失了全局關系。此外,這些方法通常非常依賴于元路徑的設計,所以不能直接應用于新的數據中。 為了克服這些限制,作者認為一個好的知識依賴的網絡表征學習方法應該滿足下面的性質: (1) 全局相似度保持。知識圖譜的巨大規模使得衡量實體之間的全局相似度變得非常困難。此外,圖卷積神經網絡遞歸地聚合鄰居的特征來更新節點表征。在若干次迭代之后,模型可以將局部信息傳播到全局。作者提出引入圖卷積神經網絡到知識圖譜中。 (2)局部知識蒸餾。學習目標用戶的偏好通常都是局部而且多樣的。因此 本文利用基于目標用戶商品的子圖而不是多條獨立的路徑。子圖可以包含更豐富的拓撲結構信息以及上下文信息。它可以在一個局部子圖而不是全量龐大知識圖譜中挖掘更精確的目標偏好。此外,不同的目標用戶商品對可能對知識圖譜中的關系有不同的偏好。基于注意力的圖算法可能對圖中的邊學到不同的權重,但是邊的注意力只依賴于它連接的兩個節點而不依賴于目標節點。比如,在圖1中, 相對于 更偏好“starred”關系,但是“starred”邊在基于注意力的模型中對于這兩個節點的注意力是一樣的。
強化學習(Reinforcement learning, RL)已經在真實世界的推薦系統中被廣為驗證。然而,基于強化學習的推薦算法常常會帶來巨大的內存和時間成本。知識蒸餾(Knowledge distillation, KD)則是一種常見的有效壓縮模型同時盡量保持模型有效性的方法。但是,推薦中的強化學習模型往往需要在極度稀疏的用戶-物品空間中進行大規模的探索(RL exploration),而這增加了強化學習推薦模型進行蒸餾的難度。
在強化學習蒸餾中,老師(teacher)需要教給學生(student)哪些課程(例如老師對于有標簽/無標簽的user-item對的評分),以及學生需要從老師的課程中學習多少(即每個蒸餾樣例的學習權重),需要被精細地規劃和設計。在這個工作中,我們提出了一個全新的蒸餾強化學習推薦模型(Distilled reinforcement learning framework for recommendation, DRL-Rec),希望能夠在壓縮模型的基礎上保持(甚至提升)模型的效果。
具體地,我們在模型蒸餾前加入一個探索/過濾模塊(Exploring and filtering module),從老師和學生兩個角度判斷蒸餾中什么樣的信息應該從老師傳給學生。我們還提出一個置信度引導的蒸餾(Confidence-guided distillation),在list-wise KL divergence loss和Hint loss兩種蒸餾目標學習中加入置信度的權值,以指導學生從老師更加擅長的課程中學習更多。目前,DRL-Rec已經部署于看一看推薦系統,服務千萬用戶。
論文鏈接:
為了研究像Stack Overflow這樣的社區問答(CQA)平臺,人們提出了各種數據挖掘任務。這些任務之間的相關性通過多任務學習(MTL)為彼此提供了有用的學習信號。然而,由于這些任務的高度異質性,很少有現有的工作能夠在一個統一的框架中共同解決它們。為了解決這一難題,我們開發了一種基于多關系圖的MTL模型——異構多任務圖同構網絡(Heterogeneous Multi-Task graph Isomorphism Network, HMTGIN),該模型有效地解決了異構CQA任務。在每次訓練前向傳遞中,HMTGIN通過圖同構網絡的擴展和跳躍連接嵌入輸入的CQA論壇圖。嵌入然后在所有特定任務的輸出層共享,以計算各自的損失。此外,利用兩個基于任務關系領域知識的跨任務約束對聯合學習進行正則化。在評估中,嵌入在不同的任務特定的輸出層之間共享,以做出相應的預測。據我們所知,HMTGIN是第一個能夠從多關系圖的角度處理CQA任務的MTL模型。為了評估HMTGIN的有效性,我們從Stack Overflow中構建了一個具有200多萬個節點的大規模多關系圖CQA數據集。大量實驗表明: (1) HMTGIN在5個任務上優于所有基線; (2) 提出的MTL策略和跨任務約束具有顯著優勢。
論文題目:USER: A Unified Information Search and Recommendation Model based on Integrated Behavior Sequence
作者:姚菁,竇志成,謝若冰,路彥雄,王志平,文繼榮
通訊作者:竇志成
論文概述:搜索和推薦是用戶獲取信息最常用的兩種方式,兩個任務的目標都是滿足用戶的信息需求。目前,很多網絡平臺和移動App同時提供了搜索和推薦服務,為同時解決這兩個任務提出了需求也提供了機會。然而,現有的大部分平臺仍然使用獨立的搜索模型和推薦模型來提供兩種服務,沒有利用兩個任務之間的依賴和關聯。在這篇文章中,我們提出“對兩個任務聯合建模有助于提升兩個任務以及用戶的綜合滿意度”。我們首先將用戶的搜索行為和推薦中的瀏覽行為整合成一個異質性的行為序列,然后我們用一個聯合模型(USER)從這個整合的行為序列中挖掘用戶興趣來同時解決兩個任務。我們提出的聯合模型具有幾個優勢:(1) 合并了搜索和推薦日志可以緩解數據稀疏性的問題;(2) 基于整合的行為序列,我們可以獲得更準確的用戶畫像;(3) 我們可以捕捉兩個任務間潛在的關聯來促進兩個任務。我們利用真實網絡平臺上的數據進行了實驗,結果證明我們的聯合模型優于獨立的搜索模型和推薦模型。
近年來,采用異質信息網絡統一建模推薦系統中不同類型對象的復雜交互行為、豐富的用戶和商品屬性以及各種各樣的輔助信息,不僅有效地緩解了推薦系統的數據稀疏和冷啟動問題,而且具有較好的可解釋性,并因此得到了廣泛關注與應用。據我們所知,本文是首篇專門介紹基于異質信息網絡的推薦系統的綜述。
具體而言,本文首先介紹了異質信息網絡和推薦系統的核心概念和背景知識,簡要回顧了異質信息網絡和推薦系統的研究現狀,并且闡述了將推薦系統建模為異質信息網絡的一般步驟。然后,本文根據模型原理的不同將現有方法分為三類,分別是基于相似性度量的方法、基于矩陣分解的方法和基于圖表示學習的方法,并對每類方法的代表性工作進行了全面的介紹,指出了每類方法的優缺點和不同方法之間的發展脈絡與內在關系。最后,本文討論了現有方法存在的問題,并展望了該領域未來的幾個潛在的研究方向。
1 引言
推薦系統往往面臨著數據稀疏和冷啟動問題,因此無法得到精準的推薦結果。在推薦系統中引入輔助信息可以有效地緩解這些問題。例如社會化推薦根據用戶之間的關系構造社交網絡作為輔助信息,從而能夠在推薦系統中充分利用社會關系對用戶喜好的影響。類似地,基于地理位置的社交推薦構建了用戶與位置之間的關系,通過用戶的位置記錄來捕捉用戶的行為偏好。然而,這些方法僅適用于某種特定類型的輔助信息,不具有普適性。
異質信息網絡是一種通用的融合多源數據的方法。通過將推薦系統視為由不同類型對象和交互構成的異質信息網絡,我們可以建模用戶與商品之間復雜的交互關系,而且可以有效融合屬性和各類輔助信息。基于異質信息網絡的推薦系統在信息融合、探索結構語義等方面具有顯著優勢,不僅可以有效緩解數據稀疏與冷啟動問題,而且有助于提升推薦系統的準確性和可解釋性,因此取得了廣泛的關注與應用。
綜述的章節編排如下:第2章簡要介紹推薦系統和異質信息網絡的相關概念與定義;第3章按照模型原理的不同,對基于異質信息網絡的推薦系統進行分類,并對現有方法進行了系統地梳理與分析;第4章展望了基于異質信息網絡的推薦系統未來研究方向;第5章回顧并總結全文。(在這里,主要展示第3章和第4章的核心內容,其他內容詳見論文原文。)
2 模型分類
目前,研究人員設計了各種適用于異質信息網絡建模的推薦算法。本章根據模型的不同,將現有工作進行分類,如表1所示。 圖片
2.1 基于相似性度量
推薦系統的個性化匹配往往基于對實體相似性的度量,而協同過濾需要基于用戶與商品之間的交互歷史計算相似度。早期的相似性度量算法僅對同質信息網絡定義,然而,這些算法忽視了對象和聯系的不同類型,不適用于建模為異質信息網絡的推薦系統。為了解決這一問題,研究者們提出了一系列用于異質信息網絡中實體相似性度量的算法,主要包括基于隨機游走的方法和基于元路徑的方法。基于這兩類異質信息網絡相似性度量算法,研究者們提出了很多協同過濾算法的變體,本文將這類方法統稱為基于相似性度量的方法。(詳見原文)
2.2 基于矩陣分解
為了解決相似性度量方法存在的時空復雜度高的問題,推薦系統的研究者們提出了矩陣分解模型,其原理是通過分解評分矩陣來提取出用戶和商品的隱向量,然后根據隱向量的相似度進行推薦。傳統的矩陣分解模型在訓練時使用隱向量重構共現矩陣作為優化目標,無法利用異質信息網絡中豐富的語義信息。很多研究者提出適用于異質信息網絡建模的矩陣分解方法,可以分為兩類:基于正則化的方法,和基于神經矩陣分解的方法。與基于相似性度量的方法相比,本節介紹的方法不依賴顯式的路徑可達性,當路徑連接稀疏或嘈雜時也不會失敗。(詳見原文)
2.3 基于圖表示學習
隨著深度學習的發展,基于神經網絡的推薦模型憑借其強大的特征交叉能力以及模型架構設計的靈活性,取得了較好的推薦效果。然而,傳統的神經網絡并不能直接建模圖結構。隨著圖表示學習技術的興起,研究者們嘗試設計融合圖表示學習技術的推薦模型,從而更好地學習圖數據中豐富的結構和語義信息。本節將這類方法統稱為基于圖表示學習的方法,并進一步分為基于兩階段訓練的方法和基于端到端訓練的方法。(詳見原文)
3 未來研究方向
異質信息網絡作為一種融合輔助信息的建模方法,憑借其緩解數據稀疏與冷啟動問題、提升模型性能與可解釋性等方面的優勢,已經在各種各樣的推薦系統模型和推薦任務上得到了應用。然而,基于異質信息網絡的推薦系統仍面臨很多挑戰,本節將介紹幾個潛在的未來研究方向。(詳見原文) 新型的異質圖推薦的模型與應用:基于圖神經網絡的推薦系統模型仍存在過平滑、魯棒性差等缺陷,而目前在圖神經網絡中引入異質信息的方法也仍不夠靈活,如何設計更好的異質圖推薦模型存在挑戰,如何將異質信息網絡用于更多類型的推薦任務也存在挑戰。
面向跨域數據的異質圖推薦:目前的絕大多數工作僅關注在單一異質網絡上的推薦任務,與單圖推薦相比,跨域推薦存在很多額外的挑戰。例如,如何設計源域到目標域的映射函數,如何在利用跨域信息的同時不泄露用戶隱私等,如何應對上述挑戰是未來的研究重點。
面向大規模實時場景的異質圖推薦:真實的推薦系統往往需要處理超大規模的數據,并且對推薦的實時性有較高的要求,因此很多復雜的推薦模型無法直接使用。大規模實時推薦主要面臨兩方面問題:一方面是模型的輕量化,另一方面是模型的動態更新。目前的推薦算法輕量化和動態更新方法主要適用于二分圖,如何將其應用于異質信息網絡存在挑戰。
近年來,基于圖學習的推薦系統(GLRS)這個新興話題得到了快速發展。GLRS采用高級的圖學習方法來建模用戶的偏好和意圖,以及物品的特征來進行推薦。與其他RS方法(包括基于內容的過濾和協同過濾)不同,GLRS是建立在圖上的,其中重要對象(如用戶、物品和屬性)是顯式或隱式連接的。
隨著圖學習技術的快速發展,探索和開發圖中的同質或異質關系是構建更有效的RS的一個有前途的方向。通過討論如何從基于圖的表示中提取重要的知識,以提高推薦的準確性、可靠性和可解釋性。
首先對GLRS進行了表示和形式化,然后對該研究領域面臨的主要挑戰和主要進展進行了總結和分類。
引言
推薦系統(RS)是人工智能(AI)最流行和最重要的應用之一。它們已被廣泛采用,以幫助許多流行的內容分享和電子商務網站的用戶更容易找到相關的內容、產品或服務。與此同時,圖學習(Graph Learning, GL)是一種新興的人工智能技術,它涉及到應用于圖結構數據的機器學習,近年來發展迅速,顯示出了其強大的能力[Wu et al., 2021]。事實上,得益于這些學習關系數據的能力,一種基于GL的RS范式,即基于圖學習的推薦系統(GLRS),在過去幾年中被提出并得到了廣泛的研究[Guo等人,2020]。在本文中,我們對這一新興領域的挑戰和進展進行了系統的回顧。
動機: 為什么要用圖學習RS?
RS中的大部分數據本質上是一個圖結構。在現實世界中,我們身邊的大多數事物都或明或暗地相互聯系著;換句話說,我們生活在一個圖的世界里。這種特征在RS中更加明顯,這里考慮的對象包括用戶、物品、屬性、上下文,這些對象之間緊密相連,通過各種關系相互影響[Hu et al., 2014],如圖1所示。在實踐中,RS所使用的數據會產生各種各樣的圖表,這對推薦的質量有很大的幫助。
圖學習具有學習復雜關系的能力。作為最具發展前景的機器學習技術之一,GL在獲取嵌入在不同類型圖中的知識方面顯示出了巨大的潛力。具體來說,許多GL技術,如隨機游走和圖神經網絡,已經被開發出來學習特定類型的關系由圖建模,并被證明是相當有效的[Wu et al., 2021]。因此,使用GL來建模RS中的各種關系是一個自然和令人信服的選擇。
圖學習如何幫助RS? 到目前為止,還沒有統一的GLRS形式化。我們通常從高層次的角度對GLRS進行形式化。我們用一個RS的數據構造一個圖G = {V, E},其中對象(如用戶和商品)在V中表示為節點,它們之間的關系(如購買)在E中表示為邊。構建并訓練GLRS模型M(Θ)學習最優模型參數Θ,生成最優推薦結果R。
根據具體的推薦數據和場景,可以以不同的形式定義圖G和推薦目標R,例如,G可以是同質序列或異構網絡,而R可以是對物品的預測評級或排名。目標函數f可以是最大效用[Wang et al., 2019f]或節點之間形成鏈接的最大概率[Verma et al., 2019]。
這項工作的主要貢獻總結如下:
? 我們系統地分析了各種GLRS圖所呈現的關鍵挑戰,并從數據驅動的角度對其進行分類,為更好地理解GLRS的重要特征提供了有用的視角。
? 我們通過系統分類較先進的技術文獻,總結了目前GLRS的研究進展。
? 我們分享和討論了一些GLRS開放的研究方向,供社區參考。
社會化推薦(英文:Social Recommendation)旨在利用線上社交平臺提供的用戶間社交關系(social relation)來提升推薦系統的推薦性能。利用用戶之間的社交關系不僅可以獲取好友的偏好信息來幫助建模用戶的興趣偏好,也可以幫助商品曝光給用戶的好友來吸引更多的潛在消費者。
為了在推薦系統中利用好社交關系的信息,現有的社會化推薦工作在不同方面做出了嘗試:典型的矩陣分解方法[1,2,3,4]假設具有社交關系的用戶也有著相似的偏好表述(即社會同質性理論)。因此,它們基于社會關系設計了一種社會化正則項來限制用戶偏好表示的學習。此外,一些其它方法[5,6]假設具有社交關系的人們會互相影響彼此的行為(即社會影響力理論),這些方法將好友對當前候選商品的意見也納入到模型的學習中來對用戶偏好進行建模。
盡管已有方法已經取得了很多性能上的提升,但是它們并沒有充分地利用社交網絡信息。首先,在對用戶偏好進行建模時,一些方法是直接聚合好友信息,而忽略了特定的推薦上下文下的好友信息和用戶興趣(用戶歷史行為中和候選商品相關的信息),這會導致模型從好友信息中聚合出很多噪音。而一些其他方法會將當前候選商品視為上下文,來建模上下文感知的好友信息及用戶興趣(如圖1左上所示)。但是,只考慮候選商品的淺層上下文會導致提取出的相關信息存在一定的偏差,即只能獲得有限的好友信息和用戶興趣。實際上,在用戶和好友的歷史行為中,不僅是與當前候選商品相關的信息可以反映用戶的興趣,考慮與候選項相似商品的相關信息能夠挖掘出更豐富的用戶潛在興趣(如圖1左下所示)。
圖1: 深層上下文感知的雙側調制
此外,商品的交互歷史中與目標用戶相關的信息也反映了商品對用戶的吸引力。很少有社會化推薦工作[7]根據目標用戶來建模商品吸引力。而已有的工作只考慮目標用戶作為淺層上下文,也會導致建模到有限的項目吸引力(如圖1右上所示)。實際上,如果該商品的歷史消費者是目標用戶的好友,或者與目標用戶有類似的消費習慣,則該商品可能對目標用戶更具吸引力(如圖1右下所示)。因此,通過考慮用戶之間的社交關系和相似關系將有助于從商品的交互歷史中建模出更豐富的吸引力信息。
盡管在挖掘交互歷史信息中利用社會關系和相似關系具有巨大潛力,但仍然存在一些重大挑戰。首先,高階社會關系和相似關系很復雜,很難提取高階的鄰居信息來建模不同關系下的用戶偏好表示和商品屬性表示。其次,基于高階關系增強的上下文表示來從交互歷史中建模用戶興趣和商品吸引力并不簡單,需要過濾更多的噪音。為了解決上述挑戰,本文提出了DICER(Dual SIde Deep Context-awarEModulation for Social Recommendation) 模型,其結合了圖神經網絡來建模用戶和商品在不同關系下的高階鄰居信息,并基于高階關系增強的深度上下文從交互歷史中建模了用戶興趣和商品吸引力。
數據稀疏和冷啟動是當前推薦系統面臨的兩大挑戰. 以知識圖譜為表現形式的附加信息能夠在某種程度上緩解數據稀疏和冷啟動帶來的負面影響, 進而提高推薦的準確度. 本文綜述了最近提出的應用知識圖譜的推薦方法和系統, 并依據知識圖譜來源與構建方法、推薦系統利用知識圖譜的方式, 提出了應用知識圖譜的推薦方法和系統的分類框架, 進一步分析了本領域的研究難點. 本文還給出了文獻中常用的數據集. 最后討論了未來有價值的研究方向.
//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200128
推薦系統推薦系統是一種向目標用戶建議可能感興趣物品的軟件工具. 隨著網絡與現實信息的爆炸式增長, 越來越多的在線服務商為用戶提供商品、音樂、電影等(以下統稱為物品)的推薦服務. 推薦系統能夠滿足用戶的個性化需求, 為在線服務商帶來巨大商業價值. 同時, 推薦方法與系統的研究促進了偏好挖掘、大數據處理、決策支持等領域的相關理論和實踐的飛速發展, 其學術價值也引起了廣泛的關注.
推薦系統面臨的重要挑戰主要是數據稀疏性問題和冷啟動問題. 數據稀疏問題指的是相對于數量龐大的用戶和物品, 僅有少量的物品獲得了用戶的評價或者購買, 難以據此獲得相似的用戶或相似的物品, 使得傳統推薦方法失效了. 冷啟動問題指的是系統由于并不知道新加入用戶的歷史行為, 無法給他們推薦物品, 同樣新加入的物品也由于沒有被用戶評價或購買過而無法被針對性的推薦.
推薦系統中通常利用附加信息來解決上述問題, 以提高性能. 附加信息(一般也稱上下文信息)分為顯式信息和隱式信息[1]. 顯式信息是通過諸如物理設備感知、用戶問詢、用戶主動設定等方式獲取的與用戶、物品相關聯的上下文信息. 隱式信息即利用已有數據或周圍環境間接獲取的一些上下文信息, 例如可根據用戶與系統的交互日志獲取時間上下文信息.
近年來, 利用以知識圖譜為表示形式的附加信息的推薦方法受到了學者們的關注. 知識圖譜最初用于提升搜索系統的性能[2], 刻畫了海量實體之間的多種關系, 具有網狀結構, 能夠用于推薦系統中來增強用戶、物品之間聯系的認知與解釋, 從而提高推薦準確度. 本文綜述了2015年~2019年發表在DLRS、RecSys、KDD、CIKM、NIPS、TIST、UMAP、SIGIR等會議和期刊中的利用知識圖譜的推薦方法的文獻, 共23篇. 在利用知識圖譜的推薦系統中, 通常首先將收集到的用戶信息、物品信息、在利用知識圖譜的推薦系統中, 通常首先將收集到的用戶信息、物品信息、用戶歷史行為等數據或者一些相關的外部數據表示成知識圖譜的形式. 然后, 設計推薦算法, 利用知識圖譜生成推薦. 此類推薦系統通常包含知識圖譜構建和利用知識圖譜產生推薦兩個環節. 本文根據這兩個環節中構建知識圖譜數據的不同來源, 以及推薦方法中利用知識圖譜信息的不同形式提出了分類框架, 并據此對相關文獻進行了分類綜述, 詳情請參看本文第三章. 與本文最為相關是文獻[3]. 該文獻綜述了2009年~2017年16篇利用知識圖譜的推薦方法的文獻. 本文在綜述的文章數量上超過了文獻[3]. 此外, 本文提出文獻分類框架能夠更好地覆蓋新提出的方法.
本文第一章介紹了利用知識圖譜的推薦方法的相關背景知識; 第二章對利用知識圖譜的推薦方法文獻進行分類與綜述; 第三章整理了目前常用的推薦系統數據集和知識圖譜數據集; 第四章、第五章分別討論了應用知識圖譜的推薦系統的研究難點與發展前景; 最后, 在第六章中對全文進行了總結.
現有的基于注意力機制的推薦模型存在一些改進的余地。很多模型只在生成用戶的表示時應用了粗粒度的注意力機制,少數改進的模型盡管在注意力模塊中加入了物品的屬性(特征)信息,即融入了物品的相關知識,但仍然僅在用戶表示這一端應用了注意力機制。針對這些問題,本文提出了一種在用戶表示端與物品表示端協同應用(物品)屬性級注意力機制的深度推薦模型,簡稱ACAM(Attribute-level Co-Attention Model),其主要特性為: (1)物品與用戶的初始表示基于知識圖譜中物品屬性的表示(向量),而非單一的隨機初始化向量。 (2)內建協同注意力機制模塊,通過捕獲不同屬性之間的關聯來增強用戶和物品的表示,這是考慮到不同的物品屬性(特征)之間可能存在相關性。例如,電影的屬性中,演員史泰龍與動作題材高度相關,演員鞏俐與導演張藝謀也很相關。因此,基于屬性相關性來增強用戶/物品表示能夠更加精確地揭示目標用戶和候選物品之間的潛在關系,從而提升推薦性能。 (3)采用多任務學習的框架來訓練損失函數,融入知識(嵌入)表示學習的目標,以習得更優的物品和物品屬性的表示。
ACAM模型輸入為目標用戶和候選物品,輸出為兩者匹配的概率 ,其值越大表明越可能喜歡。模型的架構如下圖所示,可分為三個部分:嵌入層、協同注意力機制層與預測層,下面將分別介紹每層的設計細節。