題目: A Transformer-based Embedding Model for Personalized Product Search
摘要: 產品搜索是人們在電子商務平臺上瀏覽和購買商品的重要方式。雖然客戶傾向于根據他們的個人品味和偏好做出選擇,但對商業產品搜索日志的分析表明,個性化并不總是能提高產品搜索質量。然而,大多數現有的產品搜索技術在搜索會話之間執行無差異的個性化設置。他們要么用一個固定的系數來控制個性化的影響,要么用一個注意力機制讓個性化一直發揮作用。唯一值得注意的例外是最近提出的零注意模型(zero-attention model, ZAM),該模型允許查詢關注一個零向量,從而自適應地調整個性化的效果。盡管如此,在ZAM中,個性化最多可以發揮與查詢同等重要的作用,并且不管用戶的歷史購買中同時出現的item是什么,item的表示在整個集合中都是靜態的。考慮到這些局限性,我們提出了一種基于Transformer的個性化產品搜索嵌入模型(TEM),該模型通過使用Transformer架構對查詢序列和用戶購買歷史進行編碼,從而動態地控制個性化的影響。個性化可以在必要時發揮主導作用,在計算注意力權重時可以考慮item之間的交互。實驗結果表明,TEM的性能明顯優于目前最先進的個性化產品檢索模型。
題目: TAGNN: Target Attentive Graph Neural Networks for Session-based Recommendation
摘要:
基于會話的推薦在許多網站中扮演著重要的角色,其目的是基于匿名會話來預測用戶的行為。通過研究會話中項目的時間轉換,已經出現了許多將會話建模為序列或圖的研究。但是,這些方法將會話壓縮成一個固定的向量表示,而不考慮要預測的目標項。由于目標項目的多樣性和用戶興趣的不同,固定向量會限制推薦模型的表示能力。本文提出了一種新的目標注意圖神經網絡(TAGNN)模型,用于基于會話的推薦。在TAGNN中,目標感知注意力自適應地激發不同用戶對不同目標的興趣。學習興趣表示向量隨著目標項目的不同而變化,極大地提高了模型的表達能力。此外,TAGNN利用圖神經網絡的強大功能來捕捉會話中的豐富項轉換。在真實數據集上進行的綜合實驗證明了它優于最先進的方法。
近年來,序列推薦系統這一新興的研究課題越來越受到人們的關注。與傳統的推薦系統(包括協同過濾和基于內容的過濾)不同,SRSs試圖理解和建模連續的用戶行為、用戶和條目之間的交互、以及用戶偏好和條目受歡迎程度隨時間的變化。SRSs涉及到以上幾個方面,可以更準確地描述用戶上下文、意圖和目標,以及物品的消費趨勢。我們首先介紹了SRSs的特點,然后對該研究領域的關鍵挑戰進行了總結和分類,接著是相應的研究進展,包括該課題最新的和有代表性的進展。最后,討論了該領域的重要研究方向。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。近期,推薦相關也比較熱門,專知小編提前整理了WWW 2020 推薦系統比較有意思的的論文,供參考——序列推薦、可解釋Serendipity 推薦、推薦效率、 bandit推薦、Off-policy學習。 WWW2020RS_Part1
作者:Jibang Wu, Renqin Cai, Hongning Wang
摘要:根據用戶的歷史連續行為預測用戶的偏好對于現代推薦系統來說是具有挑戰性的,也是至關重要的。現有的序列推薦算法在建模歷史事件對當前預測的影響時,大多側重于序列行為之間的過渡結構,而很大程度上忽略了時間和上下文信息。在這篇文章中,我們認為過去的事件對用戶當前行為的影響應該隨著時間的推移和不同的背景而變化。因此,我們提出了一種情境時間注意力機制(Contextualized Temporal Attention),該機制可以學習權衡歷史行為在行為以及行為發生的時間和方式上的影響。更具體地說,為了動態地校準來自自注意力機制的相對輸入的依賴關系,我們提出了多個參數化的核函數以學習各種時間動態,然后使用上下文信息來確定每個輸入要跟隨哪一個kernel( reweighing kernels )。在對兩個大型公開推薦數據集進行的實證評估中,我們的模型始終優于一系列最先進的序列推薦方法。
網址:
//arxiv.org/pdf/2002.00741.pdf
作者:Xueqi Li, Wenjun Jiang, Weiguang Chen, Jie Wu, Guojun Wang, Kenli Li
摘要:近幾年來,Serendipity推薦越來越受到人們的關注,它致力于提供既能迎合用戶需求,又能開闊他們眼界的建議。然而,現有的方法通常使用標量而不是向量來度量用戶與項目的相關性,忽略了用戶的偏好方向,這增加了不相關推薦的風險。此外,合理的解釋增加了用戶的信任度和接受度,但目前沒有為Serendipity推薦提供解釋的工作。為了解決這些局限性,我們提出了一種有向的、可解釋的Serendipity推薦方法,稱為DESR。具體而言,首先采用基于高斯混合模型(GMM)的無監督方法提取用戶的長期偏好,然后利用膠囊(capsule )網絡捕捉用戶的短期需求。然后,我們提出了將長期偏好與短期需求相結合的意外(serendipity)向量,并利用它生成有向的Serendipity推薦。最后,利用反向路徑選擇方案進行了解釋。在真實數據集上的大量實驗表明,與現有的基于意外(serendipity)發現的方法相比,DESR能夠有效地提高意外性和可解釋性,促進多樣性。
網址
作者:Defu Lian, Haoyu Wang, Zheng Liu, Jianxun Lian, Enhong Chen, Xing Xie
摘要:近年來,深度推薦系統已經取得了顯著的進步。盡管具有出色的排名精度,但實際上運行效率和內存消耗在現實中卻是嚴重的瓶頸。為了克服這兩個瓶頸,我們提出了LightRec,這是一個輕量級的推薦系統,具有快速的在線推斷功能和經濟的內存消耗。LightRec的主干是總共B個codebooks,每個codebook均由W個潛在向量組成,稱為codewords。在這種結構的頂部,LightRec將有一個商品表示為B codewords的加法組合,這些B codewords是從每個codebook中選擇的最佳的。為了有效地從數據中學習codebooks,我們設計了一個端到端的學習工作流程,其中所提出的技術克服了固有差異性和多樣性方面的挑戰。另外,為了進一步提高表示質量,采用了幾種distillation策略,可以更好地保留用戶-商品的相關性得分和相對排名順序。我們對LightRec在四個真實數據集上進行了廣泛評估,得出了兩個經驗發現:1)與最先進的輕量級baseline相比,LightRec在召回性能方面取得了超過11%的相對改進;2)與傳統推薦算法相比,在top-k推薦算法中,LightRec的精度下降幅度可以忽略不計,但速度提高了27倍以上。
網址:
作者:Mengyue Yang, Qingyang Li, Zhiwei Qin, Jieping Ye
摘要:上下文多臂 bandit(MAB)在各種問題上實現了優異性能。然而,當涉及到推薦系統和在線廣告等現實場景時,必須考慮探索的資源消耗。在實踐中,通常存在與在環境中執行建議(ARM)相關聯的非零成本,因此,應該在固定的探索成本約束下學習策略。由于直接學習全局最優策略是一個NP難題,并且極大地使bandit算法的探索和開發之間的權衡復雜化,因此直接學習全局最優策略是一個很大的挑戰。現有的方法著重于通過采用貪婪策略來解決問題,該策略估計預期的收益和成本,并基于每個臂的預期收益/成本比使用貪婪的選擇,利用歷史觀察直到勘探資源耗盡為止。然而,現有的方法當沒有更多的資源時,學習過程就會終止,因此很難擴展到無限的時間范圍。本文提出了一種分層自適應上下文bandit方法(HATCH)來進行有預算約束的上下文bandit的策略學習。HATCH采用一種自適應的方法,根據剩余資源/時間和對不同用戶上下文之間報酬分配的估計來分配勘探資源。此外,我們利用充分的上下文特征信息來找到最好的個性化推薦。最后,為了證明提出的理論,我們進行了regret bound分析,并證明HATCH的regret bound低至O(√T)。實驗結果證明了該方法在合成數據集和實際應用中的有效性和效率。
網址:
作者:Jiaqi Ma, Zhe Zhao, Xinyang Yi, Ji Yang, Minmin Chen, Jiaxi Tang, Lichan Hong, Ed H. Chi
摘要:許多現實世界中的推薦系統需要高度可伸縮性:將數百萬個項目與數十億用戶進行匹配,并只具有毫秒級的延遲。可伸縮性的要求導致了廣泛使用的兩階段推薦系統,由第一階段高效的候選生成模型和第二階段更強大的排序模型組成。通常使用記錄的用戶反饋(例如,用戶點擊或停留時間)來構建用于推薦系統的候選生成和排名模型。雖然很容易收集大量這樣的數據,但因為反饋只能在以前系統推薦的項目上觀察到,因此這些數據在本質上是有偏見的。近年來,推薦系統研究領域對此類偏差的off-policy 修正引起了越來越多的關注。然而,現有的大多數工作要么假設推薦系統是一個單階段系統,要么只研究如何將離策略校正應用于系統的候選生成階段,而沒有顯式地考慮這兩個階段之間的相互作用。在這項工作中,我們提出了一種兩階段離策略(two-stage off-policy)策略梯度方法,并證明了在兩階段推薦系統中忽略這兩個階段之間的交互會導致次優策略。該方法在訓練候選生成模型時明確考慮了排序模型,有助于提高整個系統的性能。我們在具有大項目空間的真實數據集上進行了實驗,驗證了所提方法的有效性。
網址:
基于語言模型的預訓練模型,如BERT,在不同的NLP任務中提供了顯著的收益。在本文中,我們研究了不同類型的基于自回歸模型(GPT-2)、自編碼器模型(BERT)和seq2seq模型(BART)等用于條件數據增強的預訓練transformer 模型。我們表明,將類標簽前置到文本序列提供了一種簡單而有效的方法來設置預訓練模型的條件,以便進行數據擴充。在三個分類基準上,預先訓練的Seq2Seq模型優于其他模型。此外,我們還探討了不同的基于預訓練模型的數據擴充在數據多樣性方面是如何不同的,以及這些方法如何很好地保存類標簽信息。
題目: Pre-training Tasks for Embedding-based Large-scale Retrieval
摘要:
我們考慮大型查詢文檔檢索問題:給定一個查詢(例如,一個問題),從大型文檔語料庫返回相關文檔集(例如,包含答案的段落)。這個問題通常分兩步解決。檢索階段首先減少解決方案空間,返回候選文檔的子集。然后評分階段重新排列文檔。關鍵是,該檢索算法不僅要求較高的查全率,而且要求具有較高的效率,能夠及時返回與文檔數量成次線性關系的候選對象。不像評分階段,由于交叉注意力模型上的伯特式訓練任務,最近取得了重大進展,檢索階段仍然沒有得到很好的研究。以前的大部分工作依賴于經典的信息檢索(IR)方法,如BM-25(令牌匹配+ TF-IDF權值)。這些模型只接受稀疏的手工特性,不能針對感興趣的不同下游任務進行優化。本文對基于嵌入式的檢索模型進行了全面的研究。我們證明了學習強嵌入式變壓器模型的關鍵是訓練前的任務集。通過充分設計分段級的預訓練任務,變壓器模型比廣泛使用的BM-25模型以及沒有變壓器的嵌入模型有顯著的改進。我們研究的分段式預訓練任務包括Inverse Close Task(ICT)、Body First Selection(BFS)、Wiki Link Prediction(WLP)以及三者的結合。
論文題目: A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data
論文摘要: 賦予對話系統以人物角色是實現更人性化對話的關鍵。然而,由于在自然語言中很難體現個性,以及在大多數對話語料庫中觀察到的人物稀疏性問題,這一問題還遠未得到很好的探討。本論文提出了一種基于預訓練的個性化對話模型,該模型可以利用人物角色稀疏對話數據生成一致響應。該方法利用預先訓練好的語言模型來初始化編解碼器,并通過將說話人的角色和對話歷史一起編碼,設計了個人屬性嵌入來建模更豐富的對話上下文。此外,為了在解碼過程中合并目標人物角色并平衡其貢獻,在解碼器中設計了注意路由結構,以使用動態預測權重合并從目標人物角色提取的特征和對話上下文。我們的模型可以在訓練過程中統一使用人物角色稀疏對話,也可以控制推理過程中要顯示的人物角色相關特征的數量。無論是自動評估還是手動評估都表明,該模型在使用人物角色稀疏數據生成更一致和人物角色一致的響應方面優于最新方法。