在本文中,我們提出了一種層次自適應上下文強盜方法(HATCH)來進行有預算約束的上下文強盜的策略學習。HATCH采用了一種自適應的方法,根據剩余資源/時間和不同用戶上下文之間的報酬分配來分配勘探資源。此外,我們利用豐富的上下文特征信息來尋找最佳的個性化推薦。
本文提出了一個新的多粒度閱讀理解框架,并且在NQ數據集上驗證了其有效性。我們利用文檔自身的層次結構特性,以四個粒度建模文檔,并且同時考慮NQ中兩個粒度答案的依賴關系。實驗結果表明我們提出的方法是非常有效的,并且相比現有方法有了大幅度的提升。
整體系統架構,所有文檔片段被獨立的輸入到模型中,最后匯總之后得到答案 我們針對這種NQ數據集提出了一個新的框架,整體系統架構如圖3所示,我們將問題以及文檔的每個片段獨立的輸入到模型中,通過BERT編碼器進行編碼,得到問題和文檔片段的初步表示,然后用我們提出的圖編碼器用得到的表示進一步建模,最終得到一系列結構化的表示,匯總到答案選擇模塊得到答案。
【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣
KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers
KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、
1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction
作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial
摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。
網址:
2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang
摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。
網址:
代碼鏈接:
3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases
作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun
摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。
網址:
4. Graph Structural-topic Neural Network
作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin
摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。
網址:
代碼鏈接:
5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi
摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。
網址:
【導讀】作為CCF推薦的A類國際學術會議,International ACM SIGIR Conference on Research and Development in Information Retrieval(國際計算機學會信息檢索大會,簡稱 SIGIR)在信息檢索領域享有很高的學術聲譽,每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2020計劃將于 2020年7月25日~30日在中國西安舉行。本次大會共有555篇長文投稿,僅有147篇長文被錄用,錄用率約26%。專知小編提前為大家整理了六篇SIGIR 2020 基于圖神經網絡的推薦(GNN+RS)相關論文,這六篇論文分別出自中科大何向南老師和和昆士蘭大學陰紅志老師團隊,供大家參考——捆綁推薦、Disentangled GCF、服裝推薦、多行為推薦、全局屬性GNN
CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN
1. Bundle Recommendation with Graph Convolutional Networks
作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin
摘要:捆綁推薦(Bundle recommendation )旨在推薦一組商品供用戶整體消費。現有的解決方案通過共享模型參數或多任務學習的方式將用戶項目交互建模集成到捆綁推薦中,然而,這些方法不能顯式建模項目與捆綁包(bundles)之間的隸屬關系,不能探索用戶選擇捆綁包時的決策。在這項工作中,我們提出了一個用于捆綁推薦的圖神經網絡模型BGCN(Bundle Graph Convolutional Network)。BGCN將用戶-項目交互、用戶-捆綁包交互和捆綁包-項目從屬關系統一到一個異構圖中。以項目節點為橋梁,在用戶節點和捆綁包節點之間進行圖卷積傳播,使學習到的表示能夠捕捉到項目級的語義。通過基于hard-negative采樣器的訓練,可以進一步區分用戶對相似捆綁包的細粒度偏好。在兩個真實數據集上的實驗結果表明,BGCN的性能有很高的提升,其性能比最新的基線高出10.77%到23.18%。
網址: //arxiv.org/abs/2005.03475
2. Disentangled Graph Collaborative Filtering
作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua
摘要:從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入函數利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,這些方法在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了打發時間,為了興趣,或者為其他人(如家庭)購物。這種統一的對用戶興趣建模的方法很容易導致次優表示,不能對不同的關系建模并在表示中分清用戶意圖。在這項工作中,我們特別關注用戶意圖細粒度上的用戶-項目關系。因此,我們設計了一種新的模型- Disentangled圖協同過濾(Disentangled Graph Collaborative Filtering ,DGCF),來理清這些因素并產生disentangled的表示。具體地說,通過在每個用戶-項目交互意圖上的分布建模,我們迭代地細化意圖感知的交互圖和表示。同時,我們鼓勵不同的意圖獨立。這將生成disentangled的表示,有效地提取與每個意圖相關的信息。我們在三個基準數據集上進行了廣泛的實驗,DGCF與NGCF、DisenGCN和MacridV AE這幾個最先進的模型相比取得了顯著的改進。進一步的分析揭示了DGCF在分解用戶意圖和表示的可解釋性方面的優勢。
網址:
代碼鏈接:
.
3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection
作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui
摘要:近年來,推薦系統已經成為所有電子商務平臺中不可缺少的功能。推薦系統的審查評級數據通常來自開放平臺,這可能會吸引一群惡意用戶故意插入虛假反饋,試圖使推薦系統偏向于他們。此類攻擊的存在可能會違反高質量數據始終可用的建模假設,而這些數據確實會影響用戶的興趣和偏好。因此,構建一個即使在攻擊下也能產生穩定推薦的健壯推薦系統具有重要的現實意義。本文提出了一種基于GCN的用戶表示學習框架GraphRf,該框架能夠統一地進行穩健的推薦和欺詐者檢測。在其端到端學習過程中,用戶在欺詐者檢測模塊中被識別為欺詐者的概率自動確定該用戶的評級數據在推薦模塊中的貢獻;而在推薦模塊中輸出的預測誤差作為欺詐者檢測模塊中的重要特征。因此,這兩個組成部分可以相互促進。經過大量的實驗,實驗結果表明我們的GraphRf在魯棒評級預測和欺詐者檢測這兩個任務中具有優勢。此外,所提出的GraphRf被驗證為對現有推薦系統上的各種攻擊具有更強的魯棒性。
網址:
4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation
作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua
摘要:服裝推薦越來越受到網購服務商和時尚界的關注。與向用戶推薦單個單品(例如,朋友或圖片)的其他場景(例如,社交網絡或內容共享)不同,服裝推薦預測用戶對一組匹配良好的時尚單品的偏好。因此,進行高質量的個性化服裝推薦應滿足兩個要求:1)時尚單品的良好兼容性;2)與用戶偏好的一致性。然而,目前的研究主要集中在其中一個需求上,只考慮了用戶-全套服裝(outfit)或全套服裝-項目的關系,從而容易導致次優表示,限制了性能。在這項工作中,我們統一了兩個任務,服裝兼容性建模和個性化服裝推薦。為此,我們開發了一個新的框架,層次時尚圖網絡(HFGN),用于同時建模用戶、商品和成套服裝之間的關系。特別地,我們構建了一個基于用戶-全套服裝交互和全套服裝-項目映射的層次結構。然后,我們從最近的圖神經網絡中得到啟發,在這種層次圖上使用嵌入傳播,從而將項目信息聚合到一個服裝表示中,然后通過他/她的歷史服裝來提煉用戶的表示。此外,我們還對這兩個任務進行了聯合訓練,以優化這些表示。為了證明HFGN的有效性,我們在一個基準數據集上進行了廣泛的實驗,HFGN在NGNN和FHN等最先進的兼容性匹配模型基礎上取得了顯著的改進。
網址:
代碼鏈接:
5. Multi-behavior Recommendation with Graph Convolutional Networks
作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li
摘要:傳統的推薦模型通常只使用一種類型的用戶-項目交互,面臨著嚴重的數據稀疏或冷啟動問題。利用多種類型的用戶-項目交互(例如:點擊和收藏)的多行為推薦可以作為一種有效的解決方案。早期的多行為推薦研究未能捕捉到行為對目標行為的不同程度的影響。它們也忽略了多行為數據中隱含的行為語義。這兩個限制都使得數據不能被充分利用來提高對目標行為的推薦性能。在這項工作中,我們創新性地構造了一個統一的圖來表示多行為數據,并提出了一種新的模型--多行為圖卷積網絡(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通過用戶-項目傳播層學習行為強度,通過項目-項目傳播層捕獲行為語義,較好地解決了現有工作的局限性。在兩個真實數據集上的實驗結果驗證了該模型在挖掘多行為數據方面的有效性。我們的模型在兩個數據集上的性能分別比最優基線高25.02%和6.51%。對冷啟動用戶的進一步研究證實了該模型的實用性。
網址:
6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation
作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen
摘要:基于流會話的推薦(Streaming session-based recommendation,SSR)是一項具有挑戰性的任務,它要求推薦器系統在流媒體場景(streaming scenario)中進行基于會話的推薦(SR)。在電子商務和社交媒體的現實應用中,在一定時間內產生的一系列用戶-項目交互被分組為一個會話,這些會話以流的形式連續到達。最近的SR研究大多集中在靜態集合上,即首先獲取訓練數據,然后使用該集合來訓練基于會話的推薦器模型。他們需要對整個數據集進行幾個epoch的訓練,這在流式設置下是不可行的。此外,由于對用戶信息的忽視或簡單使用,它們很難很好地捕捉到用戶的長期興趣。雖然最近已經提出了一些流推薦策略,但它們是針對個人交互流而不是會話流而設計的。本文提出了一種求解SSR問題的帶有Wasserstein 庫的全局屬性圖(GAG)神經網絡模型。一方面,當新的會話到達時,基于當前會話及其關聯用戶構造具有全局屬性的會話圖。因此,GAG可以同時考慮全局屬性和當前會話,以了解會話和用戶的更全面的表示,從而在推薦中產生更好的性能。另一方面,為了適應流會話場景,提出了Wasserstein庫來幫助保存歷史數據的代表性草圖。在兩個真實數據集上進行了擴展實驗,驗證了GAG模型與最新方法相比的優越性。
網址:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響,會議在線上舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。上周專知小編整理了WWW 2020 推薦系統相關論文-part2,這期小編繼續為大家奉上WWW 2020六篇推薦系統相關論文-part3 供參考——上下文感知推薦、雙邊公平推薦、MetaSelector、視覺主題推薦、社交影響力。 WWW2020RS_Part2、WWW2020RS_Part1
1. Eficient Non-Sampling Factorization Machines for Optimal Context-Aware Recommendation
作者:Chong Chen, Min Zhang, Weizhi Ma, Yiqun Liu, and Shaoping Ma
摘要:為了提供更準確的推薦,在對用戶項目交互進行建模之外考慮上下文特征已成為一個熱門話題。具有負采樣的因子分解機(FM)是一種流行的上下文感知推薦解決方案。然而,由于采樣可能丟失重要信息,并且在實際應用中通常會導致非最優性能,因此該算法的魯棒性不強。最近的一些努力通過使用深度學習框架建模高階特征交互增強了FM的性能。而他們要么只關注評分預測任務,要么通常采用負采樣策略來優化排名效果。由于采樣的巨大的波動,我們有理由認為這些基于采樣的FM方法對于上下文感知推薦仍然不是最佳的。在本文中,我們提出在不進行采樣的情況下學習FM,以有助于上下文感知推薦??的排名任務。盡管這種方法效率很高,但這種非采樣策略對模型的學習效率提出了很大的挑戰。因此,我們進一步設計了一種新的理想框架--有效非采樣樣因子分解機(ENSFM)。ENSFM不僅無縫連接了FM和矩陣分解(MF)之間的關系,而且通過新穎的記憶策略解決了具有挑戰性的效率問題。通過在三個真實的公共數據集上的大量實驗表明:1)我們提出的ENSFM的性能一致且顯著優于現有的上下文感知Top-K推薦方法,2)ENSFM在訓練效率上具有顯著的優勢,使其更適用于實際的大系統。此外,實驗結果表明,對于Top-K推薦任務,合適的學習方法比先進的神經網絡結構更為重要。
網址:
//www.thuir.cn/group/~mzhang/publications/TheWebConf2020-Chenchong.pdf
代碼鏈接:
2. FairRec: Two-Sided Fairness for Personalized Recommendations in Two-Sided Platforms
作者:Gourab K Patro, Arpita Biswas, Niloy Ganguly, Krishna P. Gummadi and Abhijnan Chakraborty
摘要:我們在雙邊在線平臺的背景下調查公平推薦(fair recommendation )問題,該平臺由一邊的客戶和另一邊的生產商組成。這些平臺推薦服務的傳統方法側重于根據個人客戶的個性化偏好定制結果,以實現客戶滿意度的最大化。然而,我們的調查顯示,這種以客戶為中心的設計可能會導致生產商之間曝光量的不公平分配,這可能會對他們的利益造成不利影響。另一方面,以生產商為中心的設計可能會對客戶不公平。因此,我們考慮了客戶和生產商之間的公平問題。我們的方法將公平推薦問題映射為一個公平分配不可分割商品問題的新穎映射。我們提出的FairRec算法可確保至少為大多數生產商提供Maximin Share(MMS)的曝光量,并為每個客戶提供多達Envy-Free(EF1)的公平性。對多個真實世界數據集的廣泛評估顯示,FairRec在確保雙面公平性的同時,在總體推薦質量方面造成了邊際損失的有效性。
網址:
3. MetaSelector: Meta-Learning for Recommendation with User-Level Adaptive Model Selection
作者:Mi Luo, Fei Chen, Pengxiang Cheng, Zhenhua Dong, Xiuqiang He, Jiashi Feng and Zhenguo Li
摘要:推薦系統通常面對包含高度個性化用戶歷史數據的異構數據集,在這些數據集中,沒有哪個模型可以為每個用戶提供最佳建議。我們在公共和私有數據集上都觀察到了這種普遍存在的現象,并解決了模型選擇問題,以追求對每個用戶的推薦質量的優化。我們提出了一個元學習框架來促進推薦系統中用戶級的自適應模型選擇。在此框架中,我們將使用來自所有用戶的數據來訓練推薦者集合,然后通過元學習對模型選擇器進行訓練,以使用用戶特定的歷史數據為每個用戶選擇最佳的單個模型。我們在兩個公共數據集和一個真實的生產數據集上進行了廣泛的實驗,證明了我們的框架在AUC和LogLoss方面比單一的模型基線和樣本級模型選擇器都有改進。特別是,當這些改進部署在在線推薦系統中時,可能會帶來巨大的利潤收益。
網址:
4. Recommending Themes for Ad Creative Design via Visual-Linguistic Representations
作者:Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang
摘要:在線廣告行業中經常需要更新廣告創意,即用于吸引在線用戶進入品牌的圖像和文字。進行此類更新,是為了減少在線用戶中廣告疲勞的可能性,并將其他成功的廣告加入到相關產品類別中。對于創意策略師來說,給定一個品牌,為一個新的廣告想出主題是一個費時費力的過程。創意策略師來通常從過去廣告活動中使用的圖像和文字以及有關品牌的知識中汲取靈感。為了在過去的廣告活動中通過此類多模態信息自動推斷廣告主題,我們為廣告創意策略師提出了主題(關鍵詞)推薦系統。主題推薦器基于視覺問答(VQA)任務的聚合結果,該任務提取以下內容:(i)廣告圖像,(ii)與廣告關聯的文字以及廣告中品牌的Wikipedia頁面,(iii)有關廣告的問題。我們利用基于transformer的跨模態編碼器來為VQA任務訓練視覺語言表示。我們沿著分類和排序的思路研究了VQA任務的兩個公式;通過在公共數據集上的實驗,表明跨模態表示顯著地提高了分類準確率和排序精準-召回指標。與單獨的圖像和文本表示相比,跨模式表示顯示出更好的性能。此外,與僅使用文本或視覺信息相比,多模態信息的使用表現出顯著提升。
網址:
5. The Structure of Social Influence in Recommender Networks
作者:Pantelis P. Analytis, Daniel Barkoczi, Philipp Lorenz-Spreen and Stefan M. Herzog
摘要:人們在品味(taste)上影響他人意見的能力各不相同-既包括離線與在線推薦系統。這些驚人差異背后的機制是什么?使用加權k最近鄰算法(k-nn)表示一系列社會學習策略,我們利用網絡科學的方法展示了k-nn算法如何在六個現實世界的品味領域中引發社會影響力網絡。我們給出了三個新的結果,分別適用于離線建議獲取和在線推薦器設置。首先,有影響力的個人具有主流品味,與其他人的品味相似性分散度很高。其次,個人或算法咨詢的人越少(即k越低),或者對其他更相似的人的意見給予的權重越大,具有實質性影響的人的群體就越小。第三,對部署k-nn算法后產生的影響網絡是分層組織的。我們的結果為通信和網絡科學中的經典實證發現提供了新的線索,有助于提高對線下和在線上的社會影響的理解。
網址:
6. Latent Linear Critiquing for Conversational Recommender Systems
作者:PKai Luo, Scott Sanner, Ga Wu, Hanze Li and Hojin Yang
摘要:批判(Critiquing)是一種用于會話推薦的方法,可根據用戶的偏好反饋迭代地調整建議。在該設置中,迭代地向用戶提供該項目的項目推薦和屬性描述;用戶可以接受該推薦,或者批判項目描述中的屬性以生成新的推薦。之前的批判方法主要基于顯式約束和基于實用程序的方法來修改推薦(評判的項目屬性)。在這篇文章中,我們回顧了基于潛在嵌入和主觀項目描述(即來自用戶評論的關鍵詞)的推薦方法時代的批判方法。主要兩個關鍵的研究問題:(1)如何將關鍵詞批判與用戶偏好嵌入一起嵌入以更新推薦,(2)如何調節多步驟批判性反饋的強度,其中批判性反饋不一定是獨立的,也不一定是同等重要的。為了解決(1),我們構建了一個現有的最先進的線性嵌入推薦算法,以使基于評論的關鍵詞屬性與用戶偏好嵌入保持一致。為了解決(2),我們利用嵌入和推薦預測的線性結構來建立一個基于線性規劃(LP)的優化問題,以確定納入批評反饋的最優權重。我們在兩個包含模擬用戶評論的推薦數據集上評估提出的框架。與對批判反饋進行平均的標準方法相比,實驗結果表明,我們的方法減少了找到滿意項目所需的交互次數,并提高了總體成功率。
網址:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。近期,推薦相關也比較熱門,專知小編提前整理了WWW 2020 推薦系統比較有意思的的論文,供參考——序列推薦、可解釋Serendipity 推薦、推薦效率、 bandit推薦、Off-policy學習。 WWW2020RS_Part1
作者:Jibang Wu, Renqin Cai, Hongning Wang
摘要:根據用戶的歷史連續行為預測用戶的偏好對于現代推薦系統來說是具有挑戰性的,也是至關重要的。現有的序列推薦算法在建模歷史事件對當前預測的影響時,大多側重于序列行為之間的過渡結構,而很大程度上忽略了時間和上下文信息。在這篇文章中,我們認為過去的事件對用戶當前行為的影響應該隨著時間的推移和不同的背景而變化。因此,我們提出了一種情境時間注意力機制(Contextualized Temporal Attention),該機制可以學習權衡歷史行為在行為以及行為發生的時間和方式上的影響。更具體地說,為了動態地校準來自自注意力機制的相對輸入的依賴關系,我們提出了多個參數化的核函數以學習各種時間動態,然后使用上下文信息來確定每個輸入要跟隨哪一個kernel( reweighing kernels )。在對兩個大型公開推薦數據集進行的實證評估中,我們的模型始終優于一系列最先進的序列推薦方法。
網址:
//arxiv.org/pdf/2002.00741.pdf
作者:Xueqi Li, Wenjun Jiang, Weiguang Chen, Jie Wu, Guojun Wang, Kenli Li
摘要:近幾年來,Serendipity推薦越來越受到人們的關注,它致力于提供既能迎合用戶需求,又能開闊他們眼界的建議。然而,現有的方法通常使用標量而不是向量來度量用戶與項目的相關性,忽略了用戶的偏好方向,這增加了不相關推薦的風險。此外,合理的解釋增加了用戶的信任度和接受度,但目前沒有為Serendipity推薦提供解釋的工作。為了解決這些局限性,我們提出了一種有向的、可解釋的Serendipity推薦方法,稱為DESR。具體而言,首先采用基于高斯混合模型(GMM)的無監督方法提取用戶的長期偏好,然后利用膠囊(capsule )網絡捕捉用戶的短期需求。然后,我們提出了將長期偏好與短期需求相結合的意外(serendipity)向量,并利用它生成有向的Serendipity推薦。最后,利用反向路徑選擇方案進行了解釋。在真實數據集上的大量實驗表明,與現有的基于意外(serendipity)發現的方法相比,DESR能夠有效地提高意外性和可解釋性,促進多樣性。
網址
作者:Defu Lian, Haoyu Wang, Zheng Liu, Jianxun Lian, Enhong Chen, Xing Xie
摘要:近年來,深度推薦系統已經取得了顯著的進步。盡管具有出色的排名精度,但實際上運行效率和內存消耗在現實中卻是嚴重的瓶頸。為了克服這兩個瓶頸,我們提出了LightRec,這是一個輕量級的推薦系統,具有快速的在線推斷功能和經濟的內存消耗。LightRec的主干是總共B個codebooks,每個codebook均由W個潛在向量組成,稱為codewords。在這種結構的頂部,LightRec將有一個商品表示為B codewords的加法組合,這些B codewords是從每個codebook中選擇的最佳的。為了有效地從數據中學習codebooks,我們設計了一個端到端的學習工作流程,其中所提出的技術克服了固有差異性和多樣性方面的挑戰。另外,為了進一步提高表示質量,采用了幾種distillation策略,可以更好地保留用戶-商品的相關性得分和相對排名順序。我們對LightRec在四個真實數據集上進行了廣泛評估,得出了兩個經驗發現:1)與最先進的輕量級baseline相比,LightRec在召回性能方面取得了超過11%的相對改進;2)與傳統推薦算法相比,在top-k推薦算法中,LightRec的精度下降幅度可以忽略不計,但速度提高了27倍以上。
網址:
作者:Mengyue Yang, Qingyang Li, Zhiwei Qin, Jieping Ye
摘要:上下文多臂 bandit(MAB)在各種問題上實現了優異性能。然而,當涉及到推薦系統和在線廣告等現實場景時,必須考慮探索的資源消耗。在實踐中,通常存在與在環境中執行建議(ARM)相關聯的非零成本,因此,應該在固定的探索成本約束下學習策略。由于直接學習全局最優策略是一個NP難題,并且極大地使bandit算法的探索和開發之間的權衡復雜化,因此直接學習全局最優策略是一個很大的挑戰。現有的方法著重于通過采用貪婪策略來解決問題,該策略估計預期的收益和成本,并基于每個臂的預期收益/成本比使用貪婪的選擇,利用歷史觀察直到勘探資源耗盡為止。然而,現有的方法當沒有更多的資源時,學習過程就會終止,因此很難擴展到無限的時間范圍。本文提出了一種分層自適應上下文bandit方法(HATCH)來進行有預算約束的上下文bandit的策略學習。HATCH采用一種自適應的方法,根據剩余資源/時間和對不同用戶上下文之間報酬分配的估計來分配勘探資源。此外,我們利用充分的上下文特征信息來找到最好的個性化推薦。最后,為了證明提出的理論,我們進行了regret bound分析,并證明HATCH的regret bound低至O(√T)。實驗結果證明了該方法在合成數據集和實際應用中的有效性和效率。
網址:
作者:Jiaqi Ma, Zhe Zhao, Xinyang Yi, Ji Yang, Minmin Chen, Jiaxi Tang, Lichan Hong, Ed H. Chi
摘要:許多現實世界中的推薦系統需要高度可伸縮性:將數百萬個項目與數十億用戶進行匹配,并只具有毫秒級的延遲。可伸縮性的要求導致了廣泛使用的兩階段推薦系統,由第一階段高效的候選生成模型和第二階段更強大的排序模型組成。通常使用記錄的用戶反饋(例如,用戶點擊或停留時間)來構建用于推薦系統的候選生成和排名模型。雖然很容易收集大量這樣的數據,但因為反饋只能在以前系統推薦的項目上觀察到,因此這些數據在本質上是有偏見的。近年來,推薦系統研究領域對此類偏差的off-policy 修正引起了越來越多的關注。然而,現有的大多數工作要么假設推薦系統是一個單階段系統,要么只研究如何將離策略校正應用于系統的候選生成階段,而沒有顯式地考慮這兩個階段之間的相互作用。在這項工作中,我們提出了一種兩階段離策略(two-stage off-policy)策略梯度方法,并證明了在兩階段推薦系統中忽略這兩個階段之間的交互會導致次優策略。該方法在訓練候選生成模型時明確考慮了排序模型,有助于提高整個系統的性能。我們在具有大項目空間的真實數據集上進行了實驗,驗證了所提方法的有效性。
網址:
元學習的研究越來越受到學者們的重視,從最初在圖像領域的研究逐漸拓展到其他領域,目前推薦系統領域也出現了相關的研究問題,本文介紹了5篇基于元學習的推薦系統相關論文,包括用戶冷啟動推薦、項目冷啟動推薦等。
本文提出了一種新的推薦系統,解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好,現有的推薦系統,如Netflix,在啟動初向用戶提供物品選擇,我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性:(1) 只有少量物品交互行為的用戶推薦效果不佳,(2) 候選集合不足,無法識別用戶偏好。為了克服這兩個限制,我們提出了一種基于元學習的推薦系統MeLU。從元學習中,MeLU可以通過幾個例子快速地應用于新任務,通過幾個消費物品來估計新用戶的偏好。此外,我們提供了一個候選集合選擇策略,以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證,與兩個對比模型相比,該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。
Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據,對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解,即從幾個例子中有一個很好的泛化,依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點,我們將場景指定的學習與模型無關的序列元學習結合起來,并將它們統一到一個集成的端到端框架中,即場景指定的序列元學習者(或s^2 Meta)。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型,同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明,我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。
Sequential Scenario-Specific Meta Learner for Online Recommendation
冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據,對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解,即從幾個例子中有一個很好的泛化,依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點,我們將場景指定的學習與模型無關的序列元學習結合起來,并將它們統一到一個集成的端到端框架中,即場景指定的序列元學習者(或s^2 Meta)。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型,同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明,我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。
A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解(M F)是最流行的項目(item)推薦技術之一,但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳(比如Tweet推薦)。在本文中,我們提出了一種元學習策略,以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構,實現了我們的元學習策略。第一個體系結構學習線性分類器,其權重由項目歷史決定,而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果,實驗證明了我們提出的算法大大超過了MF基線方法。
One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level
推薦算法的有效性通常用評價指標來評估,如均方根誤差、F1或點擊率CTR,在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的,然而,對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此,基于總體評價結果選擇單一算法并不是最優的。在本文中,我們提出了一種基于元學習的推薦方法,其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法(RMSE,100K:0.973;1M:0.908)沒有優于單個的最佳算法SVD++(RMSE,100k:0.942;1M:0.887)。我們還探索了元學習者之間的區別,他們在每個實例(微級別),每個數據子集(中級)和每個數據集(全局級別)上進行操作。評估表明,與使用的總體最佳算法相比,一個假設完美的微級元學習器將提高RMSE 25.5%。