論文鏈接:
//www.ijcai.org/Proceedings/2020/0379.pdf
簡介:現實世界中集成的個性化推薦系統通常處理數百萬種異構項目。由于巨大的計算成本,使用復雜的模型進行完整的語料庫檢索非常具有挑戰性。因此,大多數大型推薦系統由兩個模塊組成:一個用于有效檢索一小部分候選人的多渠道匹配模塊,以及一個用于精確個性化推薦的排名模塊。但是,在添加新通道或新數據源時,多通道匹配通常會遇到冷啟動問題。為解決此問題,我們提出了一種新穎的內部和上下文關注網絡(ICAN),該網絡突出顯示了特定于通道的上下文信息以及多個通道之間的特征字段交互。在實驗中,我們通過實際集成推薦系統上的案例研究進行離線和在線評估。重大改進證實了ICAN的有效性和魯棒性,尤其是對于冷啟動通道。目前,ICAN已部署在數百萬用戶使用的微信熱門故事上
在點擊率(CTR)預測場景中,用戶的序列行為被很好地利用來捕捉用戶的興趣。然而,盡管這些順序方法得到了廣泛的研究,但仍然存在三個局限性。首先,現有的方法大多是利用對用戶行為的關注,并不總是適合于點擊率預測,因為用戶經常會點擊與任何歷史行為無關的新產品。其次,在真實的場景中,有許多用戶在很久以前就有操作,但在最近變得相對不活躍。因此,很難通過早期的行為準確地捕捉用戶當前的偏好。第三,用戶歷史行為在不同特征子空間中的多重表示在很大程度上被忽略。為了解決這些問題,我們提出了一種多交互關注網絡(Multi-Interactive Attention Network, MIAN)來全面提取用戶檔案中各種細粒度特征(如性別、年齡和職業)之間的潛在關系。具體來說,MIAN包含一個多交互層(MIL),該層集成了三個本地交互模塊,通過順序行為捕獲用戶偏好的多種表示,同時利用細粒度的用戶特定信息和上下文信息。此外,我們設計了一個全局交互模塊(GIM)來學習高階交互并平衡多個特征的不同影響。最后,在3個數據集上進行離線實驗,并在一個大規模推薦系統中進行在線A/B測試,驗證了本文方法的有效性。
//www.zhuanzhi.ai/paper/2aac834293c05622fe4cb37096525879
本文探討了元學習在序列推薦中的應用,以緩解項目冷啟動問題。序列推薦旨在根據用戶的歷史行為序列捕獲用戶的動態偏好,是大多數在線推薦場景的關鍵組成部分。然而,大多數以前的方法難以推薦冷啟動項目,這在這些情況下是普遍存在的。由于在序列推薦任務的設置中通常沒有附加信息,所以當只有用戶-項目交互可用時,不能運用以前的冷啟動方法。因此,我們提出了一種基于元學習的冷啟動序列推薦框架,即Mecos,以緩解序列推薦中項目冷啟動問題。這項任務不是微不足道的,因為它的目標是一個重要的問題,在一個新穎的和具有挑戰性的背景下。Mecos有效地從有限的交互中提取用戶偏好,并學習將目標冷啟動項目與潛在用戶匹配。此外,我們的框架可以輕松地集成基于神經網絡的模型。在三個真實世界的數據集上進行的大量實驗驗證了Mecos的優越性,與最先進的基線方法相比,在HR@10的平均改進高達99%,91%和70%。
屬性網絡嵌入的目的是結合網絡的拓撲結構和節點屬性學習低維節點表示。現有的大多數方法要么通過網絡結構傳播屬性,要么通過編碼-解碼器框架學習節點表示。然而,基于傳播的方法傾向于選擇網絡結構而不是節點屬性,而編碼-解碼器方法傾向于忽略近鄰之外的長連接。為了解決這些限制,同時得到這兩個方面的優點,我們設計了交叉融合層的無監督屬性網絡嵌入。具體來說,我們首先構建兩個獨立的視圖來處理網絡結構和節點屬性,然后設計跨融合層來實現兩視圖之間靈活的信息交換和集成。交叉融合層的關鍵設計目標有三方面:1)允許關鍵信息沿著網絡結構傳播;2)在傳播過程中對每個節點的局部鄰域進行異構編碼;3)加入額外的節點屬性通道,使屬性信息不被結構視圖所掩蓋。在三個數據集和三個下游任務上的大量實驗證明了該方法的有效性。
解決冷啟動問題對于為新用戶和新項目提供有意義的推薦結果是必不可少的。在稀疏觀察數據下,未觀察到的用戶物品對也是提取潛在用戶信息需求的重要來源。目前的研究大多利用未觀察到的樣本來提取負信號。然而,這種優化策略可能會導致對已經受歡迎的項目的偏見結果,因為它會頻繁地將新項目作為負面實例處理。在本研究中,我們通過適當利用未觀察到的樣本來解決新用戶/物品的冷啟動問題。我們提出了一種基于圖神經網絡的知識圖譜感知推薦器,該推薦器通過偽標注來增加標注樣本。我們的方法積極地使用未觀察到的樣本作為積極的實例。為了避免對所有可能的用戶和項目進行詳盡的標簽分配,我們利用KG為每個用戶選擇可能為正的項目。我們還采用了改進的負抽樣策略,從而抑制受歡迎偏見的加劇。通過實驗,我們證明了在各種場景下,我們的方法比最先進的KG感知推薦器都有改進; 特別是,我們的方法成功地改善了冷啟動用戶/項目的推薦性能。
題目: 解決基于圖神經網絡的會話推薦存在的信息損失問題
會議: KDD 2020
論文地址: //dl.acm.org/doi/pdf/10.1145/3394486.3403170
推薦理由: 這篇論文提出了目前在使用圖神經網絡方法來解決基于會話的推薦問題時所存在的兩個信息缺失問題并建立一個沒有信息丟失問題的模型,在三個公共數據集上優于最先進的模型。
在許多在線服務中,用戶的行為自然是按時間排序的。為了預測用戶未來的行為,下一項(next-item)推薦系統通過從用戶的歷史行為中挖掘序列模式來學習用戶的偏好。基于會話的推薦是下一項推薦的特殊情況。與一般的下一項推薦系統使用固定數量的前n項來預測下一項不同,基于會話的推薦系統將用戶的操作分組為互不關聯的會話,只使用當前會話中的項目來進行推薦。其中會話是在時間上接近的一組項目。基于會話的推薦的思想來自于這樣一種觀察,即會話內依賴項對下一項的影響比會話間依賴項更大。因此,一般的下一項推薦系統可能存在合并不相關會話和提取不完整會話的問題。而基于會話的推薦系統則不存在這樣的問題,因此可以做出更準確的推薦,并被部署在許多在線服務中。
【導讀】第14屆推薦系統頂級會議ACM RecSys在9月22日到26日在線舉行。
最近官網大會公布了最佳長短文,包括來自Criteo AI Labs的因果嵌入推薦與德國Duisburg-Essen大學的用戶評估中物品消費的影響。
官網地址: //recsys.acm.org/best-papers/
最佳長論文獎
漸進式分層提取(PLE): 一種用于個性化推薦的新型多任務學習(MTL)模型
多任務學習(MTL)已成功地應用于許多推薦應用中。然而,在實際推薦系統中,由于復雜的競爭性任務相關性,MTL模型往往會出現負遷移的性能退化。此外,通過對SOTA MTL模型的大量實驗,我們觀察到一個有趣的現象,即一個任務的性能往往會通過損害其他任務的性能而得到改善。為了解決這些問題,我們提出了一個具有新的共享結構設計的漸進分層抽取(PLE)模型。PLE對共享組件和任務特定組件進行顯式分離,采用漸進式路由機制逐步提取和分離更深層次的語義知識,提高了一般設置下跨任務聯合表示學習和信息路由的效率。我們將PLE應用于復雜相關和正常相關的任務,在一個擁有10億樣本的真實騰訊視頻推薦數據集上,從兩任務到多任務,結果表明,在不同的任務相關性和任務組大小下,PLE顯著優于最新的MTL模型。此外,在騰訊大型內容推薦平臺上,對PLE的在線評價顯示,與SOTA MTL模型相比,在瀏覽量和觀看時間上分別增加了2.23%和1.84%,是一個顯著的提升,證明了PLE的有效性。最后,在公共基準數據集上進行的大量離線實驗表明,除了建議消除蹺蹺板現象外,PLE還可以應用于各種場景。PLE目前已成功部署到騰訊在線視頻推薦系統中。
Best Long Paper Runner-up
通過疊加的方式將多個推薦系統集成在一起,可以有效地提高協同推薦的質量。最近的研究擴展了堆疊,使用了額外的用戶性能預測器(例如,用戶做出的評分總數)來幫助確定每個基礎推薦應該在整體中貢獻多少。然而,盡管手工制作判別預測器的成本很高,這通常需要深入了解每個推薦者在整體中的優缺點,但只觀察到微小的改進。為了克服這一局限性,我們建議通過利用用戶自己的歷史評級來直接評估這些性能,而不是設計復雜的特征來預測給定用戶的不同推薦器的性能。在來自多個領域的真實數據集上進行的實驗表明,使用性能估計作為附加特征可以顯著提高最先進的集成器的精度,nDCG@20比不使用它們平均提高23%。
最佳短論文
由于人們對隱私問題的日益關注,基于會話的推薦受到了越來越多的關注。盡管最近基于神經會話的推薦器取得了成功,但它們通常是以使用靜態數據集的離線方式開發的。然而,推薦需要不斷地適應以考慮新的和過時的項目和用戶,并且需要在現實應用中“不斷地學習”。在這種情況下,推薦器會不斷地、周期性地更新,每次更新周期都會有新的數據到達,更新后的模型需要在下一個模型更新之前為用戶活動提供推薦。用神經模型進行持續學習的一個主要挑戰是災難性遺忘,在這種情況下,一個經過持續訓練的模型會忘記它以前學習過的用戶偏好模式。為了應對這一挑戰,我們提出了一種自適應提取樣本回放(ADER)的方法,即通過自適應提取損失對當前模型周期性地回放以前的訓練樣本(即樣本)。實驗是基于最先進的SASRec模型,使用兩個廣泛使用的數據集,以幾個著名的持續學習技術基準的ADER。我們以經驗證明,ADER始終優于其他基線,甚至在每個更新周期中優于使用所有歷史數據的方法。這一結果表明,ADER是一個很有前途的解決方案,可以緩解災難性遺忘問題,從而構建更現實、更可伸縮的基于會話的推薦器。
1、 Adversarial Graph Embedding for Ensemble Clustering
作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;
摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。
網址://www.ijcai.org/proceedings/2019/0494.pdf
2、Attributed Graph Clustering via Adaptive Graph Convolution
作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;
摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。
網址:
3、Dynamic Hypergraph Neural Networks
作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;
摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。
網址:
4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks
作者:Hogun Park and Jennifer Neville;
摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。
網址:
5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks
作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;
摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。
網址:
6、Graph Contextualized Self-Attention Network for Session-based Recommendation
作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;
摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。
網址:
7、Graph Convolutional Network Hashing for Cross-Modal Retrieval
作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;
摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。
網址: