圖卷積網絡(GCNs)在推薦方面表現出巨大的潛力。這歸功于他們通過利用來自高階鄰居的協作信號來學習良好的用戶和項目嵌入的能力。與其他GCN模型一樣,基于GCN的推薦模型也存在著臭名昭著的過平滑問題——當疊加更多層時,節點嵌入變得更加相似,最終無法區分,導致性能下降。最近提出的LightGCN和LR-GCN在一定程度上緩解了這一問題,但是我們認為他們忽略了推薦中出現過平滑問題的一個重要因素,即在圖卷積操作中,用戶的嵌入學習也可以涉及到與用戶沒有共同興趣的高階鄰域用戶。因此,多層圖卷積會使不同興趣的用戶具有相似的嵌入性。在本文中,我們提出了一種新的興趣感知消息傳遞GCN (IMP-GCN)推薦模型,該模型在子圖中進行高階圖卷積。子圖由具有相似興趣的用戶及其交互項組成。為了形成子圖,我們設計了一個無監督的子圖生成模塊,該模塊利用用戶特征和圖結構來有效識別具有共同興趣的用戶。為此,我們的模型可以避免將高階鄰域的負面信息傳播到嵌入學習中。在三個大規模基準數據集上的實驗結果表明,我們的模型可以通過疊加更多的層來獲得性能的提高,顯著優于目前最先進的基于GCN的推薦模型。
在推薦系統中,當用戶-物品交互數據稀疏時,常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而,現實生活中用戶之間的互動非常復雜,用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系,而它在改善社會推薦方面的潛力還有待開發。在本文中,我們填補了這一空白,提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上,網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入,我們獲得了全面的用戶表示,從而產生推薦結果。然而,聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失,我們創新性地將自監督學習融入到超圖卷積網絡的訓練中,以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明,該模型優于SOTA方法,消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。
雙曲空間提供了豐富的設置來學習具有優越屬性的嵌入,這些屬性在計算機視覺、自然語言處理和計算生物學等領域得到了利用。最近,有人提出了幾種雙曲線方法來學習推薦設置中的用戶和項目的魯棒表示。但是,這些方法不能捕獲推薦領域中通常存在的高階關系。另一方面,圖卷積神經網絡(GCNs)則擅長通過對局部表示應用多層聚合來捕獲更高階的信息。在本文中,我們提出了一個用于協同過濾的雙曲線GCN模型,以一種新穎的方式將這些框架結合起來。我們證明了我們的模型可以在邊緣損失的情況下有效學習,并證明了雙曲空間在邊緣設置下具有理想的性質。在測試時,我們的模型使用雙曲距離來進行推理,雙曲距離保留了學習空間的結構。我們對三個公共基準進行了廣泛的實證分析,并與一組大型基線進行比較。我們的方法實現了非常具有競爭力的結果,并超過領先的基線,包括歐幾里德GCN對等物。我們進一步研究了雙曲線嵌入的性質,并表明它們對數據提供了有意義的見解。該工作的完整代碼可以在這里://github.com/layer6ai-labs/HGCF。
序列推薦作為一個新興的課題,由于其重要的現實意義而受到越來越多的關注。基于深度學習和注意力機制的模型在序列推薦中取得了良好的性能。近年來,基于變分自編碼器(VAE)的生成模型在協同過濾方面顯示出了獨特的優勢。特別是,序列貫VAE模型作為遞歸版本,可以有效地捕捉用戶序列中項目之間的時間依賴性,并進行序列推薦。然而,基于VAE的模型有一個共同的局限性,即獲得的近似后驗分布的表征能力有限,導致生成的樣本質量較低。對于生成序列來說尤其如此。為了解決上述問題,本文提出了一種基于對抗與對比的變分自編碼器(ACVAE)的序列推薦算法。具體來說,我們首先在對抗變分貝葉斯(AVB)框架下引入對抗訓練序列生成,從而使我們的模型產生高質量的潛在變量。然后,我們使用對比損失。潛在變量將能夠通過最大限度地減少對比損失來學習更個性化和突出的特征。此外,在對序列進行編碼時,我們使用一個遞歸和卷積結構來捕獲序列中的全局和局部關系。最后,我們在四個真實世界的數據集上進行了大量的實驗。實驗結果表明,我們提出的ACVAE模型優于其他先進的方法。
隨著新聞文章的信息爆炸,個性化的新聞推薦因為能夠讓用戶快速找到自己感興趣的文章,已經越來越受到業界和學術界的關注。現有的新聞推薦方法主要包括基于用戶-新聞直接交互的協同過濾方法和基于用戶歷史閱讀內容特征的基于內容的方法。雖然這些方法取得了良好的性能,但由于大多數方法無法廣泛利用新聞推薦系統中的高階結構信息(例如U-D-T-D-U隱含相似的用戶傾向于閱讀相似的新聞文章信息),存在數據稀疏問題。在本文中,我們提出構建一個異質圖來明確地建模用戶、新聞和潛在主題之間的交互。附加的主題信息將有助于捕捉用戶的興趣,并緩解用戶-新聞交互的稀疏性問題。然后我們設計一個新穎的異質圖神經網絡學習用戶和新聞表示,通過在圖上傳播特征表示來編碼高階結構信息。通過異質圖完整的用戶點擊歷史學習到的用戶嵌入能夠捕獲用戶的長期興趣。此外,我們還設計了融合注意力的LSTM模型使用最近的閱讀歷史來建模用戶最近的短期興趣。
對于推薦系統來說,用戶冷啟動推薦是一個長期存在的挑戰,因為只有很少的冷啟動用戶交互可以被利用。最近的研究試圖從元學習的角度解決這一挑戰,大多數研究遵循參數初始化的方式,即通過幾個步驟的梯度更新來學習模型參數。雖然這些基于梯度的元學習模型在一定程度上取得了良好的性能,但其中的一個根本問題是如何將從以前任務中學習到的全局知識更有效地用于冷啟動用戶的推薦。
本文提出了一種新的元學習推薦方法——任務自適應神經過程(TaNP)。TaNP是神經過程家族中的一個新成員,為每個用戶作出推薦都與相應的隨機過程相關聯。TaNP直接將每個用戶觀察到的交互作用映射到一個預測分布,避開了基于梯度的元學習模型中的一些訓練問題。更重要的是,為了平衡模型容量和適應可靠性之間的平衡,我們引入了一種新的任務適應機制。它使我們的模型能夠學習不同任務的相關性,并自定義全局知識到與任務相關的解碼器參數,以估計用戶的偏好。在不同的實驗設置下,我們在多個基準數據集上驗證了TaNP。實證結果表明,TaNP對幾個最先進的元學習推薦器產生了一致的改進。
推薦系統作為人工智能的一個重要應用,是最普遍的計算機輔助系統之一,幫助用戶找到潛在的興趣項目。近年來,人工智能應用的公平性問題引起了研究人員的廣泛關注。這些方法大多假定實例獨立,并設計復雜的模型來消除敏感信息,以促進公平。然而,推薦系統與這些方法有很大的不同,因為用戶和商品自然形成一個用戶-商品二部圖,并且在圖結構中相互協作。在本文中,我們提出了一種新的基于圖的技術來保證任何推薦模型的公平性。這里的公平性要求指的是在用戶建模過程中不暴露敏感特性集。具體來說,給定任何推薦模型的原始嵌入,我們學習一組過濾器,這些過濾器將每個用戶和每個物品的原始嵌入轉換為一個基于敏感特征集的過濾嵌入空間。對于每個用戶,這種轉換是在以用戶為中心的圖的對抗學習下實現的,以便在過濾后的用戶嵌入和該用戶的子圖結構之間模糊每個敏感特征。最后,大量的實驗結果清楚地表明了我們所提出的模型在公平推薦方面的有效性。
圖神經網絡(GNNs)最近在圖學習方面取得了重大進展。盡管GNN具有豐富的表示能力,但對于大規模的社會建模應用來說,GNN的開發仍然相對不足。在線社交平臺中普遍存在的一種應用是好友推薦:平臺向用戶推薦其他候選用戶,以提高用戶的聯系性、留存率和參與度。然而,在大型社交平臺上建模這樣的用戶-用戶互動帶來了獨特的挑戰: 這些圖表通常有重尾度分布,其中很大一部分用戶是不活躍的,并且結構和參與信息有限。此外,用戶與不同的功能進行交互,與不同的組進行交流,并具有多方面的交互模式。我們研究了用于好友推薦的GNN應用,就我們所知,為這項任務提供了GNN設計的首次研究。為了充分利用平臺內異構用戶行為的豐富知識,我們將好友推薦設計為具有多模式用戶特征和鏈接傳播特征的多層面好友排名。我們提出了一個神經結構,GraFRank,它是精心設計的,從多種用戶特征形態和用戶-用戶交互中學習表達用戶表示。具體而言,GraFRank通過模態特定的鄰居聚合器處理模態同質性的異質性,并通過交叉模態關注學習非線性模態相關性。我們在兩個數百萬用戶的社交網絡數據集上進行了實驗,這些數據集來自領先和廣泛流行的移動社交平臺Snapchat,在候選檢索(30%的MRR)和排名(20%的MRR)任務上,GraFRank的表現優于一些最先進的方法。此外,我們的定性分析表明,低活躍度和低級別用戶的關鍵人群獲得了顯著收益。
社會化推薦(英文:Social Recommendation)旨在利用線上社交平臺提供的用戶間社交關系(social relation)來提升推薦系統的推薦性能。利用用戶之間的社交關系不僅可以獲取好友的偏好信息來幫助建模用戶的興趣偏好,也可以幫助商品曝光給用戶的好友來吸引更多的潛在消費者。
為了在推薦系統中利用好社交關系的信息,現有的社會化推薦工作在不同方面做出了嘗試:典型的矩陣分解方法[1,2,3,4]假設具有社交關系的用戶也有著相似的偏好表述(即社會同質性理論)。因此,它們基于社會關系設計了一種社會化正則項來限制用戶偏好表示的學習。此外,一些其它方法[5,6]假設具有社交關系的人們會互相影響彼此的行為(即社會影響力理論),這些方法將好友對當前候選商品的意見也納入到模型的學習中來對用戶偏好進行建模。
盡管已有方法已經取得了很多性能上的提升,但是它們并沒有充分地利用社交網絡信息。首先,在對用戶偏好進行建模時,一些方法是直接聚合好友信息,而忽略了特定的推薦上下文下的好友信息和用戶興趣(用戶歷史行為中和候選商品相關的信息),這會導致模型從好友信息中聚合出很多噪音。而一些其他方法會將當前候選商品視為上下文,來建模上下文感知的好友信息及用戶興趣(如圖1左上所示)。但是,只考慮候選商品的淺層上下文會導致提取出的相關信息存在一定的偏差,即只能獲得有限的好友信息和用戶興趣。實際上,在用戶和好友的歷史行為中,不僅是與當前候選商品相關的信息可以反映用戶的興趣,考慮與候選項相似商品的相關信息能夠挖掘出更豐富的用戶潛在興趣(如圖1左下所示)。
圖1: 深層上下文感知的雙側調制
此外,商品的交互歷史中與目標用戶相關的信息也反映了商品對用戶的吸引力。很少有社會化推薦工作[7]根據目標用戶來建模商品吸引力。而已有的工作只考慮目標用戶作為淺層上下文,也會導致建模到有限的項目吸引力(如圖1右上所示)。實際上,如果該商品的歷史消費者是目標用戶的好友,或者與目標用戶有類似的消費習慣,則該商品可能對目標用戶更具吸引力(如圖1右下所示)。因此,通過考慮用戶之間的社交關系和相似關系將有助于從商品的交互歷史中建模出更豐富的吸引力信息。
盡管在挖掘交互歷史信息中利用社會關系和相似關系具有巨大潛力,但仍然存在一些重大挑戰。首先,高階社會關系和相似關系很復雜,很難提取高階的鄰居信息來建模不同關系下的用戶偏好表示和商品屬性表示。其次,基于高階關系增強的上下文表示來從交互歷史中建模用戶興趣和商品吸引力并不簡單,需要過濾更多的噪音。為了解決上述挑戰,本文提出了DICER(Dual SIde Deep Context-awarEModulation for Social Recommendation) 模型,其結合了圖神經網絡來建模用戶和商品在不同關系下的高階鄰居信息,并基于高階關系增強的深度上下文從交互歷史中建模了用戶興趣和商品吸引力。
圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而,其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析,GCN最初是為圖分類任務而設計的,并配備了許多神經網絡操作。然而,我們實證發現,兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是,包括他們增加了訓練的難度,降低了推薦的效果。在這項工作中,我們的目標是簡化GCN的設計,使其更簡潔,更適合推薦。我們提出了一個新的模型LightGCN,它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說,LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們,并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練,在完全相同的實驗設置下,比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。