近年來，許多在線平臺（如亞馬遜和淘寶網）都取得了巨大成功。在線平臺上的用戶行為是動態變化的，且會隨著時間而發展。序列推薦的主要目標就是從用戶歷史行為中捕捉關鍵的信息，并基于此準確表征用戶興趣進而提供高質量的推薦[1,2,3]。已有研究人員基于深度學習提出很多序列推薦的模型，此外還有研究人員結合豐富的上下文信息（如商品屬性）一起進行用戶興趣建模，實驗表明，上下文信息對于提高推薦效果很重要。
盡管現有方法在一定程度上已被證明有效，但它們有兩個可能會影響推薦效果的缺陷。首先，他們主要依靠“下一個物品推薦”（Next Item Prediction）損失函數來學習整個模型。在使用上下文信息時，也仍然只使用這一個優化目標。已有研究表明，這種優化方法很容易受到數據稀疏性等問題的影響。此外，它們過分強調最終的推薦性能，而上下文數據和序列數據之間的關聯或融合卻沒有在數據表示中被很好地捕獲。多個領域的實驗結果表明[4，5，6]，更有效的數據表示方法（例如，預先訓練的上下文信息嵌入）已成為改善現有模型或體系結構性能的關鍵因素。因此，有必要重新考慮學習范式并開發更有效的序列推薦系統。
為了解決上述問題，我們借鑒了自監督學習的思想來改進序列推薦的方法。自監督學習是一個新興的學習范式，旨在讓模型從原始數據的內在結構中學習。自監督學習的一般框架是首先從原始數據中構建新的監督信號，然后通過這些額外設計的優化目標來對模型進行預訓練。如之前討論的，有限的監督信號和低效的數據表示是現有的神經序列推薦方法的兩個主要問題。幸運的是，自監督學習似乎為解決這兩個問題提供了解決方案：它通過內在數據相關性來設計輔助訓練目標以提供豐富的自監督信號，并通過預訓練的方法增強數據表示。對于序列推薦，上下文信息以不同的形式存在，包括物品，屬性，子序列和序列。開發統一表征這種數據相關性的方法并不容易。對于這個問題，我們借鑒最近提出的互信息最大化（Mutual Information Maximization, MIM）方法，其已被證明可以有效捕獲原始輸入的不同視圖（或部分）之間的相關性。
基于以上，我們提出了一種基于自監督學習方法的序列推薦模型（Self-Supervised Learning Sequential Recommendation, S3-Rec）。基于自注意力機制的體系結構[3]，我們首先使用設計的自監督訓練目標對模型進行預訓練，然后根據推薦任務對模型進行微調。此工作的主要新穎之處在預訓練階段，我們基于MIM的統一形式精心設計了四個自監督的優化目標，分別用于捕獲物品-屬性間，序列-物品間，序列-屬性間和序列-子序列間的相關性。因此，S3-Rec能夠以統一的方式來表征不同粒度級別或不同形式數據之間的相關性，并且也可以靈活地適應新的數據類型或關聯模式。通過這樣的預訓練方法，我們可以有效地融合各種上下文數據，并學習屬性感知的上下文化的數據表示。最后，將學習到的表示輸入推薦模型，并根據推薦任務對其進行優化。
為了驗證S3-Rec的有效性，我們在6個不同領域的真實數據集上進行了充分的實驗。實驗結果表明，S3-Rec超過了目前的SOTA，并且在訓練數據非常有限的情況表現得尤為明顯。另外S3-Rec還可以有效得適應其他類別的神經體系結構，例如GRU[1]和CNN[2]。我們的主要貢獻概括如下：（1）據我們所知，這是首次采用MIM進行自監督學習來改善序列推薦任務的工作；（2）我們提出了4個自監督優化目標來最大化不同形式或粒度的上下文信息的互信息；（3）在6個數據集上的充分實驗證明了我們方法的有效性。
付費5元查看完整內容
相關內容
題目： 解決基于圖神經網絡的會話推薦存在的信息損失問題
會議： KDD 2020
論文地址： //dl.acm.org/doi/pdf/10.1145/3394486.3403170
推薦理由： 這篇論文提出了目前在使用圖神經網絡方法來解決基于會話的推薦問題時所存在的兩個信息缺失問題并建立一個沒有信息丟失問題的模型，在三個公共數據集上優于最先進的模型。
在許多在線服務中，用戶的行為自然是按時間排序的。為了預測用戶未來的行為，下一項（next-item）推薦系統通過從用戶的歷史行為中挖掘序列模式來學習用戶的偏好。基于會話的推薦是下一項推薦的特殊情況。與一般的下一項推薦系統使用固定數量的前n項來預測下一項不同，基于會話的推薦系統將用戶的操作分組為互不關聯的會話，只使用當前會話中的項目來進行推薦。其中會話是在時間上接近的一組項目。基于會話的推薦的思想來自于這樣一種觀察，即會話內依賴項對下一項的影響比會話間依賴項更大。因此，一般的下一項推薦系統可能存在合并不相關會話和提取不完整會話的問題。而基于會話的推薦系統則不存在這樣的問題，因此可以做出更準確的推薦，并被部署在許多在線服務中。
付費5元查看完整內容
論文標題： Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
論文來源： ACM SIGKDD 2020
論文鏈接：//www.zhuanzhi.ai/paper/2d6c4333dfba038f1b318a37f5bc035d
會話推薦系統(conversation recommender system, CRS)旨在通過交互式的會話給用戶推薦高質量的商品。通常CRS由尋求商品的user和推薦商品的system組成，通過交互式的會話，user實時表達自己的偏好，system理解user的意圖并推薦商品。目前會話推薦系統有兩個問題需要解決。首先，對話數據本身缺少足夠的上下文信息，無法準確地理解用戶的偏好（傳統的推薦任務會有歷史交互序列或者用戶屬性，但是該場景下只有對話的記錄）。其次，自然語言的表示和商品級的用戶偏好之間存在語義鴻溝（在user的話語“Can you recommend me a scary movie like Jaws”中，用戶偏好反映在單詞”scary“和電影實體”Jaws“上，但這兩類信息天然存在語義的差異）。
為了解決上述問題，本文提出了模型KG-based Semantic Fusion approach（KGSF），通過互信息最大化的多知識圖譜語義融合技術，不僅打通了對話中不同類型信息的語義鴻溝，同時針對性得設計了下游的模型，以充分發揮兩個知識圖譜的作用，在會話推薦系統的兩個任務上均取得了state-of-the-art的效果。
付費5元查看完整內容
現有的基于注意力機制的推薦模型存在一些改進的余地。很多模型只在生成用戶的表示時應用了粗粒度的注意力機制，少數改進的模型盡管在注意力模塊中加入了物品的屬性（特征）信息，即融入了物品的相關知識，但仍然僅在用戶表示這一端應用了注意力機制。針對這些問題，本文提出了一種在用戶表示端與物品表示端協同應用（物品）屬性級注意力機制的深度推薦模型，簡稱ACAM（Attribute-level Co-Attention Model），其主要特性為： （1）物品與用戶的初始表示基于知識圖譜中物品屬性的表示（向量），而非單一的隨機初始化向量。 （2）內建協同注意力機制模塊，通過捕獲不同屬性之間的關聯來增強用戶和物品的表示，這是考慮到不同的物品屬性（特征）之間可能存在相關性。例如，電影的屬性中，演員史泰龍與動作題材高度相關，演員鞏俐與導演張藝謀也很相關。因此，基于屬性相關性來增強用戶/物品表示能夠更加精確地揭示目標用戶和候選物品之間的潛在關系，從而提升推薦性能。 （3）采用多任務學習的框架來訓練損失函數，融入知識（嵌入）表示學習的目標，以習得更優的物品和物品屬性的表示。
ACAM模型輸入為目標用戶和候選物品，輸出為兩者匹配的概率 ，其值越大表明越可能喜歡。模型的架構如下圖所示，可分為三個部分：嵌入層、協同注意力機制層與預測層，下面將分別介紹每層的設計細節。
付費5元查看完整內容
UniLMv2：統一預訓練偽掩碼語言模型
UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training
論文鏈接：//www.zhuanzhi.ai/paper/a6628400809ab320e597b1d4d1fca177
基于大規模語料的預訓練語言模型在各種自然語言處理任務帶來了巨大的提升。受UniLMv1 ([NeurIPS-19]Unified Language Model Pre-training for Natural Language Understanding and Generation)的啟發，本篇論文提出“偽掩碼語言模型”（PMLM），可以同時對兩種不同的語言建模目標進行高效訓練，從而使其更好地適用于語言理解（如文本分類、自動問答）和語言生成（如文本摘要、問題生成）任務。
我們將語言模型預訓練目標分為三類。第一類依賴于自編碼語言建模（Autoencoding, AE）。例如在 BERT 中使用的掩碼語言建模（MLM）隨機的在文本序列中遮蓋一部分單詞，在 Transformer 的雙向編碼結果之上，對每個被遮蓋的單詞進行分別還原。第二類方法基于自回歸建模（Autoregressive, AR）。不同于 AE，目標單詞被依次預測，且依賴于先前的結果。第三類是我們提出的半自回歸語言建模（Partially Autoregressive, PAR），對短語級別進行依賴建模，從而避免了 AR可能帶來的過度局部依賴問題。
偽掩碼語言模型（PMLM）
在新提出的偽掩碼語言模型（PMLM）中，我們對 AE 以及 PAR 這兩個語言建模目標進行了融合。在共享模型參數的基礎上，盡可能對上下文的編碼結果進行了復用，以達到高效訓練的目的。通過構造合理的自注意力模型掩碼與位置編碼，PMLM 可以在一次計算中同時對兩種語言建模任務進行訓練，且無需進行上下文編碼的冗余計算。
在自動問答、復述判別、情感分類、文本摘要、問題生成等一系列任務上的測評，說明了這一方法的有效性。
付費5元查看完整內容
主題： Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
摘要： 會話推薦系統（CRS）旨在通過交互式對話向用戶推薦高質量的項目。盡管已為CRS做出了一些努力，但仍有兩個主要問題有待解決。首先，對話數據本身缺少足夠的上下文信息，無法準確地了解用戶的偏好。第二，自然語言表達與項目級用戶偏好之間存在語義鴻溝。為了解決這些問題，我們結合了面向單詞和面向實體的知識圖（KG）來增強CRS中的數據表示，并采用互信息最大化來對齊單詞級和實體級的語義空間。基于對齊的語義表示，我們進一步開發了用于進行準確推薦的KGenhanced推薦器組件，以及可以在響應文本中生成信息性關鍵字或實體的KG增強對話框組件。大量的實驗證明了我們的方法在推薦和對話任務上都能產生更好的性能。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191