題目: 解決基于圖神經網絡的會話推薦存在的信息損失問題
會議: KDD 2020
論文地址: //dl.acm.org/doi/pdf/10.1145/3394486.3403170
推薦理由: 這篇論文提出了目前在使用圖神經網絡方法來解決基于會話的推薦問題時所存在的兩個信息缺失問題并建立一個沒有信息丟失問題的模型,在三個公共數據集上優于最先進的模型。
在許多在線服務中,用戶的行為自然是按時間排序的。為了預測用戶未來的行為,下一項(next-item)推薦系統通過從用戶的歷史行為中挖掘序列模式來學習用戶的偏好。基于會話的推薦是下一項推薦的特殊情況。與一般的下一項推薦系統使用固定數量的前n項來預測下一項不同,基于會話的推薦系統將用戶的操作分組為互不關聯的會話,只使用當前會話中的項目來進行推薦。其中會話是在時間上接近的一組項目。基于會話的推薦的思想來自于這樣一種觀察,即會話內依賴項對下一項的影響比會話間依賴項更大。因此,一般的下一項推薦系統可能存在合并不相關會話和提取不完整會話的問題。而基于會話的推薦系統則不存在這樣的問題,因此可以做出更準確的推薦,并被部署在許多在線服務中。
題目: 圖神經網絡的無冗余計算 會議: KDD2020 論文地址: //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由: 對于圖神經網絡中重復信息的聚合,這篇文章提出了一種簡單有效的層次化聚合的方法(HAG),用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中,可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。
GNN在單層中基于遞歸鄰域聚合方案,每個節點聚合其鄰居的特征,并使用聚合值更新其自身的特征。這樣遞歸地傳播多次(多層),最后,GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務,例如節點分類、圖分類或鏈路預測。然而,如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是,許多當前的工作是使用整張圖的拉普拉斯矩陣,這樣即便是對于中等規模的圖,也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣,然后再聚合這些節點的鄰域信息,但是對于單個節點進行鄰域采樣是一個高復雜度的事情,因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。
解決冷啟動問題對于為新用戶和新項目提供有意義的推薦結果是必不可少的。在稀疏觀察數據下,未觀察到的用戶物品對也是提取潛在用戶信息需求的重要來源。目前的研究大多利用未觀察到的樣本來提取負信號。然而,這種優化策略可能會導致對已經受歡迎的項目的偏見結果,因為它會頻繁地將新項目作為負面實例處理。在本研究中,我們通過適當利用未觀察到的樣本來解決新用戶/物品的冷啟動問題。我們提出了一種基于圖神經網絡的知識圖譜感知推薦器,該推薦器通過偽標注來增加標注樣本。我們的方法積極地使用未觀察到的樣本作為積極的實例。為了避免對所有可能的用戶和項目進行詳盡的標簽分配,我們利用KG為每個用戶選擇可能為正的項目。我們還采用了改進的負抽樣策略,從而抑制受歡迎偏見的加劇。通過實驗,我們證明了在各種場景下,我們的方法比最先進的KG感知推薦器都有改進; 特別是,我們的方法成功地改善了冷啟動用戶/項目的推薦性能。
會話搜索的任務主要是使用交互數據來提高用戶在會話級別上的下一個查詢的相關性。在本文中,我們將會話搜索作為一個個性化任務,在學習排序的框架下進行。個性化方法重新排列結果以匹配用戶模型。這種用戶模型通常是根據用戶的瀏覽行為隨著時間的推移而積累起來的。我們使用一套預先計算的、透明的基于社會科學文獻概念的用戶模型。交互數據用于將每個會話映射到這些用戶模型。然后根據這些模型和sessions的交互數據來估計新特性。從TREC會話軌跡的測試收集上進行的廣泛實驗顯示,在統計上比當前會話搜索算法有顯著的改進。
//www.zhuanzhi.ai/paper/3cd6afe65db82a0f6e0fa3a45d1fda73
【導讀】作為CCF推薦的A類國際學術會議,International ACM SIGIR Conference on Research and Development in Information Retrieval(國際計算機學會信息檢索大會,簡稱 SIGIR)在信息檢索領域享有很高的學術聲譽,每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2020計劃將于 2020年7月25日~30日在中國西安舉行。本次大會共有555篇長文投稿,僅有147篇長文被錄用,錄用率約26%。專知小編提前為大家整理了六篇SIGIR 2020 基于圖神經網絡的推薦(GNN+RS)相關論文,這六篇論文分別出自中科大何向南老師和和昆士蘭大學陰紅志老師團隊,供大家參考——捆綁推薦、Disentangled GCF、服裝推薦、多行為推薦、全局屬性GNN
CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN
1. Bundle Recommendation with Graph Convolutional Networks
作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin
摘要:捆綁推薦(Bundle recommendation )旨在推薦一組商品供用戶整體消費。現有的解決方案通過共享模型參數或多任務學習的方式將用戶項目交互建模集成到捆綁推薦中,然而,這些方法不能顯式建模項目與捆綁包(bundles)之間的隸屬關系,不能探索用戶選擇捆綁包時的決策。在這項工作中,我們提出了一個用于捆綁推薦的圖神經網絡模型BGCN(Bundle Graph Convolutional Network)。BGCN將用戶-項目交互、用戶-捆綁包交互和捆綁包-項目從屬關系統一到一個異構圖中。以項目節點為橋梁,在用戶節點和捆綁包節點之間進行圖卷積傳播,使學習到的表示能夠捕捉到項目級的語義。通過基于hard-negative采樣器的訓練,可以進一步區分用戶對相似捆綁包的細粒度偏好。在兩個真實數據集上的實驗結果表明,BGCN的性能有很高的提升,其性能比最新的基線高出10.77%到23.18%。
網址: //arxiv.org/abs/2005.03475
2. Disentangled Graph Collaborative Filtering
作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua
摘要:從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入函數利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,這些方法在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了打發時間,為了興趣,或者為其他人(如家庭)購物。這種統一的對用戶興趣建模的方法很容易導致次優表示,不能對不同的關系建模并在表示中分清用戶意圖。在這項工作中,我們特別關注用戶意圖細粒度上的用戶-項目關系。因此,我們設計了一種新的模型- Disentangled圖協同過濾(Disentangled Graph Collaborative Filtering ,DGCF),來理清這些因素并產生disentangled的表示。具體地說,通過在每個用戶-項目交互意圖上的分布建模,我們迭代地細化意圖感知的交互圖和表示。同時,我們鼓勵不同的意圖獨立。這將生成disentangled的表示,有效地提取與每個意圖相關的信息。我們在三個基準數據集上進行了廣泛的實驗,DGCF與NGCF、DisenGCN和MacridV AE這幾個最先進的模型相比取得了顯著的改進。進一步的分析揭示了DGCF在分解用戶意圖和表示的可解釋性方面的優勢。
網址:
代碼鏈接:
.
3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection
作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui
摘要:近年來,推薦系統已經成為所有電子商務平臺中不可缺少的功能。推薦系統的審查評級數據通常來自開放平臺,這可能會吸引一群惡意用戶故意插入虛假反饋,試圖使推薦系統偏向于他們。此類攻擊的存在可能會違反高質量數據始終可用的建模假設,而這些數據確實會影響用戶的興趣和偏好。因此,構建一個即使在攻擊下也能產生穩定推薦的健壯推薦系統具有重要的現實意義。本文提出了一種基于GCN的用戶表示學習框架GraphRf,該框架能夠統一地進行穩健的推薦和欺詐者檢測。在其端到端學習過程中,用戶在欺詐者檢測模塊中被識別為欺詐者的概率自動確定該用戶的評級數據在推薦模塊中的貢獻;而在推薦模塊中輸出的預測誤差作為欺詐者檢測模塊中的重要特征。因此,這兩個組成部分可以相互促進。經過大量的實驗,實驗結果表明我們的GraphRf在魯棒評級預測和欺詐者檢測這兩個任務中具有優勢。此外,所提出的GraphRf被驗證為對現有推薦系統上的各種攻擊具有更強的魯棒性。
網址:
4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation
作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua
摘要:服裝推薦越來越受到網購服務商和時尚界的關注。與向用戶推薦單個單品(例如,朋友或圖片)的其他場景(例如,社交網絡或內容共享)不同,服裝推薦預測用戶對一組匹配良好的時尚單品的偏好。因此,進行高質量的個性化服裝推薦應滿足兩個要求:1)時尚單品的良好兼容性;2)與用戶偏好的一致性。然而,目前的研究主要集中在其中一個需求上,只考慮了用戶-全套服裝(outfit)或全套服裝-項目的關系,從而容易導致次優表示,限制了性能。在這項工作中,我們統一了兩個任務,服裝兼容性建模和個性化服裝推薦。為此,我們開發了一個新的框架,層次時尚圖網絡(HFGN),用于同時建模用戶、商品和成套服裝之間的關系。特別地,我們構建了一個基于用戶-全套服裝交互和全套服裝-項目映射的層次結構。然后,我們從最近的圖神經網絡中得到啟發,在這種層次圖上使用嵌入傳播,從而將項目信息聚合到一個服裝表示中,然后通過他/她的歷史服裝來提煉用戶的表示。此外,我們還對這兩個任務進行了聯合訓練,以優化這些表示。為了證明HFGN的有效性,我們在一個基準數據集上進行了廣泛的實驗,HFGN在NGNN和FHN等最先進的兼容性匹配模型基礎上取得了顯著的改進。
網址:
代碼鏈接:
5. Multi-behavior Recommendation with Graph Convolutional Networks
作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li
摘要:傳統的推薦模型通常只使用一種類型的用戶-項目交互,面臨著嚴重的數據稀疏或冷啟動問題。利用多種類型的用戶-項目交互(例如:點擊和收藏)的多行為推薦可以作為一種有效的解決方案。早期的多行為推薦研究未能捕捉到行為對目標行為的不同程度的影響。它們也忽略了多行為數據中隱含的行為語義。這兩個限制都使得數據不能被充分利用來提高對目標行為的推薦性能。在這項工作中,我們創新性地構造了一個統一的圖來表示多行為數據,并提出了一種新的模型--多行為圖卷積網絡(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通過用戶-項目傳播層學習行為強度,通過項目-項目傳播層捕獲行為語義,較好地解決了現有工作的局限性。在兩個真實數據集上的實驗結果驗證了該模型在挖掘多行為數據方面的有效性。我們的模型在兩個數據集上的性能分別比最優基線高25.02%和6.51%。對冷啟動用戶的進一步研究證實了該模型的實用性。
網址:
6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation
作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen
摘要:基于流會話的推薦(Streaming session-based recommendation,SSR)是一項具有挑戰性的任務,它要求推薦器系統在流媒體場景(streaming scenario)中進行基于會話的推薦(SR)。在電子商務和社交媒體的現實應用中,在一定時間內產生的一系列用戶-項目交互被分組為一個會話,這些會話以流的形式連續到達。最近的SR研究大多集中在靜態集合上,即首先獲取訓練數據,然后使用該集合來訓練基于會話的推薦器模型。他們需要對整個數據集進行幾個epoch的訓練,這在流式設置下是不可行的。此外,由于對用戶信息的忽視或簡單使用,它們很難很好地捕捉到用戶的長期興趣。雖然最近已經提出了一些流推薦策略,但它們是針對個人交互流而不是會話流而設計的。本文提出了一種求解SSR問題的帶有Wasserstein 庫的全局屬性圖(GAG)神經網絡模型。一方面,當新的會話到達時,基于當前會話及其關聯用戶構造具有全局屬性的會話圖。因此,GAG可以同時考慮全局屬性和當前會話,以了解會話和用戶的更全面的表示,從而在推薦中產生更好的性能。另一方面,為了適應流會話場景,提出了Wasserstein庫來幫助保存歷史數據的代表性草圖。在兩個真實數據集上進行了擴展實驗,驗證了GAG模型與最新方法相比的優越性。
網址:
圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而,其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析,GCN最初是為圖分類任務而設計的,并配備了許多神經網絡操作。然而,我們實證發現,兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是,包括他們增加了訓練的難度,降低了推薦的效果。在這項工作中,我們的目標是簡化GCN的設計,使其更簡潔,更適合推薦。我們提出了一個新的模型LightGCN,它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說,LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們,并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練,在完全相同的實驗設置下,比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。
題目: TAGNN: Target Attentive Graph Neural Networks for Session-based Recommendation
摘要:
基于會話的推薦在許多網站中扮演著重要的角色,其目的是基于匿名會話來預測用戶的行為。通過研究會話中項目的時間轉換,已經出現了許多將會話建模為序列或圖的研究。但是,這些方法將會話壓縮成一個固定的向量表示,而不考慮要預測的目標項。由于目標項目的多樣性和用戶興趣的不同,固定向量會限制推薦模型的表示能力。本文提出了一種新的目標注意圖神經網絡(TAGNN)模型,用于基于會話的推薦。在TAGNN中,目標感知注意力自適應地激發不同用戶對不同目標的興趣。學習興趣表示向量隨著目標項目的不同而變化,極大地提高了模型的表達能力。此外,TAGNN利用圖神經網絡的強大功能來捕捉會話中的豐富項轉換。在真實數據集上進行的綜合實驗證明了它優于最先進的方法。
【導讀】新加坡國立大學的Xiang Wang、Tat-Seng Chua,以及來自中國科學技術大學的Xiangnan He在WSDM 2020會議上通過教程《Learning and Reasoning on Graph for Recommendation》介紹了基于圖學習和推理的推薦系統,涵蓋了基于隨機游走的推薦系統、基于網絡嵌入的推薦系統,基于圖神經網絡的推薦系統等內容。
Tutorial摘要:
推薦方法構建預測模型來估計用戶-項目交互的可能性。之前的模型在很大程度上遵循了一種通用的監督學習范式——將每個交互視為一個單獨的數據實例,并基于“信息孤島”進行預測。但是,這些方法忽略了數據實例之間的關系,這可能導致性能不佳,特別是在稀疏場景中。此外,建立在單獨數據實例上的模型很難展示推薦背后的原因,這使得推薦過程難以理解。
在本教程中,我們將從圖學習的角度重新討論推薦問題。用于推薦的公共數據源可以組織成圖,例如用戶-項目交互(二部圖)、社交網絡、項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來,為開發高階連接帶來了好處,這些連接為協作過濾、基于內容的過濾、社會影響建模和知識感知推理編碼有意義的模式。隨著最近圖形神經網絡(GNNs)的成功,基于圖形的模型顯示了成為下一代推薦系統技術的潛力。本教程對基于圖的推薦學習方法進行了回顧,重點介紹了GNNs的最新發展和先進的推薦知識。通過在教程中介紹這一新興而有前景的領域,我們希望觀眾能夠對空間有更深刻的理解和準確的洞察,激發更多的想法和討論,促進技術的發展。
Tutorial大綱:
元學習的研究越來越受到學者們的重視,從最初在圖像領域的研究逐漸拓展到其他領域,目前推薦系統領域也出現了相關的研究問題,本文介紹了5篇基于元學習的推薦系統相關論文,包括用戶冷啟動推薦、項目冷啟動推薦等。
本文提出了一種新的推薦系統,解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好,現有的推薦系統,如Netflix,在啟動初向用戶提供物品選擇,我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性:(1) 只有少量物品交互行為的用戶推薦效果不佳,(2) 候選集合不足,無法識別用戶偏好。為了克服這兩個限制,我們提出了一種基于元學習的推薦系統MeLU。從元學習中,MeLU可以通過幾個例子快速地應用于新任務,通過幾個消費物品來估計新用戶的偏好。此外,我們提供了一個候選集合選擇策略,以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證,與兩個對比模型相比,該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。
Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據,對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解,即從幾個例子中有一個很好的泛化,依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點,我們將場景指定的學習與模型無關的序列元學習結合起來,并將它們統一到一個集成的端到端框架中,即場景指定的序列元學習者(或s^2 Meta)。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型,同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明,我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。
Sequential Scenario-Specific Meta Learner for Online Recommendation
冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據,對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解,即從幾個例子中有一個很好的泛化,依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點,我們將場景指定的學習與模型無關的序列元學習結合起來,并將它們統一到一個集成的端到端框架中,即場景指定的序列元學習者(或s^2 Meta)。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型,同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明,我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。
A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解(M F)是最流行的項目(item)推薦技術之一,但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳(比如Tweet推薦)。在本文中,我們提出了一種元學習策略,以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構,實現了我們的元學習策略。第一個體系結構學習線性分類器,其權重由項目歷史決定,而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果,實驗證明了我們提出的算法大大超過了MF基線方法。
One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level
推薦算法的有效性通常用評價指標來評估,如均方根誤差、F1或點擊率CTR,在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的,然而,對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此,基于總體評價結果選擇單一算法并不是最優的。在本文中,我們提出了一種基于元學習的推薦方法,其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法(RMSE,100K:0.973;1M:0.908)沒有優于單個的最佳算法SVD++(RMSE,100k:0.942;1M:0.887)。我們還探索了元學習者之間的區別,他們在每個實例(微級別),每個數據子集(中級)和每個數據集(全局級別)上進行操作。評估表明,與使用的總體最佳算法相比,一個假設完美的微級元學習器將提高RMSE 25.5%。