亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

基于知識增強采樣的對話推薦系統

Knowledge Graph-enhanced Sampling for Conversational Recommendation System

作者：趙夢媛，黃曉雯*，朱立璽，桑基韜，于劍 單位：

北京交通大學 計算機與信息技術學院， 北京交通大學 人工智能研究院， 北京交通大學 交通數據分析與挖掘北京市重點實驗室 郵箱：

example., .cn, , .cn, .cn

*通訊作者

01

內容****簡介

傳統的推薦系統主要利用離線用戶數據來訓練離線模型，然后向在線用戶推薦物品，因此，其天然存在基于稀疏且有噪聲的歷史數據的用戶偏好不可靠估計問題。對話推薦系統（CRS）利用對話系統的交互形式來解決傳統推薦系統固有的問題。然而，由于缺乏上下文信息建模，現有的CRS模型無法很好地處理E&E問題，給用戶帶來了沉重的負擔。為了解決上述問題，本文提出了一種為CRS定制的上下文信息增強模型，稱為KGenSam。KGenSam將用戶交互數據與外部物品屬性知識圖融合異構圖譜，作為上下文交互環境。然后，設計了兩個采樣器去增強環境知識，主動采樣器（active sampler）通過采樣高信息量的fuzzy sample來獲取用戶偏好，負采樣器（negative sampler）通過采樣高質量的負樣本來更新推薦器，二者相輔相成實現用戶偏好的高效獲取和模型的高效更新，為CRS處理E&E問題提供了強有力的解決方案。在兩個真實數據集上的實驗結果證明了KGenSam的優越性，與sota方法相比有了顯著的改進。 02

內容背景

1.1 CRS

傳統推薦系統通常使用用戶的離線歷史數據來了解用戶的偏好，并被動地向在線用戶推薦物品。這種離線更新模式缺乏探索數據的主動性，使得推薦系統具有固有的弱點：無法適應用戶的在線行為，并且依賴用戶對物品和物品屬性的先驗知識。因此，傳統推薦系統很難了解并引導用戶當前的意圖和興趣。 對話系統中對話技術的發展為解決傳統推薦系統中存在的問題提供了一種新的解決方案，即對話推薦。對話推薦通過豐富的交互行為打破了靜態推薦系統中系統與用戶之間信息不對稱的障礙，允許推薦系統在與用戶的交互對話中動態捕獲用戶偏好。CRS基于對話推薦的思想，是一個面向任務的多輪推薦系統，一方面探索用戶當前的興趣偏好，引導用戶發現新的興趣點，實現用戶的長期保留；另一方面，它還可以接收用戶的反饋并實時更新推薦人，實現偏好的動態學習。

CRS的核心研究難點是E&E問題。具體而言，在對話會話的每一輪中，CRS可以選擇利用在先前交互期間獲得的用戶偏好信息來輸出當前最佳推薦物品，即exploitation；或者選擇繼續與用戶交互以獲取更多實時用戶偏好信息，即exploration。解決CRS 的E&E問題的難點在于在推薦系統領域實現特殊的納什均衡：如果CRS過于傾向于在不了解當前用戶偏好的情況下選擇exploitation行為（推薦），會有很多失敗的推薦，這會損害用戶體驗；如果CRS采取過度的exploitation行動（詢問），用戶的交互負擔將增加，用戶流失的風險將變大。目前，CRS研究者大多使用深度強化學習（DRL）來學習會話推薦策略來解決E&E問題。因為DRL具有順序決策的能力，這自然符合CRS的交互形式。

1.2 基本CRS任務

如圖所示，用戶是CRS的交互對象，CRS主要由推薦模塊和交互策略模塊組成：推薦模塊負責根據用戶偏好信息生成推薦列表；交互策略模塊負責決定是向用戶詢問更多偏好信息，還是在當前會話回合中輸出推薦物品。

流程：

(1) 當用戶進入系統時，對話推薦會話開始。 (2) CRS根據當前用戶偏好的當前理解選擇“ask”動作或“recommend”動作操作。如果選擇了recommend，系統將向用戶輸出推薦器排名靠前的推薦物品，如果選擇了ask，系統將向用戶輸出交互策略網絡選擇詢問的物品屬性。 (3) 然后，返回到用戶端，用戶對推薦的物品或被詢問的物品屬性給出二極反饋（接受或拒絕）。 (4) 當獲得一次成功的推薦或達到設定的最大交互輪次時，整個會話結束。

03

存在問題

從之前工作的實驗結果來看，基于DRL的CRS比其他方法取得了更好的結果，目前sota的CRS方法都是基于DRL。然而，標準的DRL模型不能滿足CRS的需求，研究人員面臨著CRS訓練的收斂困難和CRS交互的低效性問題。這些問題的主要原因是CRS中的上下文環境缺乏明確的規則，這導致DRL模型中缺乏明確的獎勵功能和明確的行動空間。這可以概括為環境信息建模不足的問題，這會延遲訓練交互中參數的更新，因此CRS需要更多的交互輪次來獲取用戶偏好信息并實現成功的推薦。

本文認為，充分的環境信息建模是解決E&E環境問題的關鍵。因此，我們的目標是建立一個CRS，在每一輪會話建議中都能很好地利用上下文環境的信息。我們從數據增強的角度出發，提出了一種新的解決方案——知識增強采樣（KGenSam），解決了CRS中信息建模不足的問題。我們將知識圖譜（KG）作為其交互環境引入到基本CRS框架中，并設計了兩個采樣器模塊來建模和增強KG環境的信息，CRS將根據增強的環境知識學習做出更優解的E&E決策。

兩個采樣器的設計靈感來自于解決以下兩個具體問題，這兩個問題阻礙了CRS做出E&E的最佳決策：

（1）CRS應該詢問哪些屬性來有效地獲取當前用戶的偏好？

我們相信，CRS的每個詢問機會都是極其寶貴的，CRS需要在每個ask機會中獲得盡可能多的用戶偏好信息。在這項工作的設計中，我們自然借鑒了主動學習的核心思想，即當CRS選擇ask時，需要優先關注當前模型無法判斷的高不確定性屬性候選。因為這些具有高度不確定性的屬性樣本在被用戶“標注”后將極大地提高模型的置信度，從而實現以盡可能少的用戶交互負擔獲得足夠的用戶偏好。 因此，為了篩選出具有高度不確定性的fuzzy sample，我們設計了一種主動采樣器，它以KG中的樣本分布狀態和會話狀態作為輸入，通過主動強化學習來學習fuzzy sample的特征。

（2）CRS如何高效地更新推薦器以適應用戶反饋中隱含的偏好信息？

為了訓練推薦器，需要用戶反饋的正負樣本。CRS的用戶交互形式自然地解決了傳統推薦中的one class問題，即大多數用戶數據都是正樣本。CRS最大的優點之一是，除了正反饋之外，它還可以在交互過程中從用戶那里獲得明確的負反饋，但它也帶來了新的研究挑戰。對話次數通常限制在十幾次以上，這導致對話推薦會話中的用戶反饋數據量也非常有限。由于稀疏的用戶反饋和巨大的候選項空間，推薦器需要大量的訓練數據來訓練。受傳統推薦系統中通過負采樣解決one class問題的思想啟發，我們嘗試通過增強KG中的正負樣本對來補充稀疏交互數據，基于hard negative sample mining方法設計了一種負樣本采樣器，以KG中的樣本分布狀態和對話狀態作為輸入，通過強化學習學習hard negative sample的特征，并與真實的正樣本構建增強的正負樣本對，用以高效更新推薦器。

04

主要貢獻

這項工作的主要貢獻如下： （1）我們提出了KGenSam模型，為CRS的構建提供了一個新的知識增強角度。KGenSam通過以KG為單位進行抽樣，增強了CRS的上下文知識，解決了因CRS信息建模不足而導致的E &E問題。據我們所知，這是首次將知識增強采樣方法引入CRS中。

（2）我們將主動學習和強負樣本挖掘方法引入到CRS中。通過在CRS任務中加入模糊樣本和強負樣本，挖掘KG環境中的用戶偏好信息，解決用戶反饋的數據稀疏問題。

（3）在兩個基準數據集上進行實驗，證明基于KGenSam的CRS能夠以更少的會話次數實現sota性能，表明采樣的有效。并實現了一個在線CRS，以驗證我們的方法在與用戶的實際交互中的有效性。

05

方法

關鍵設計是兩個采樣器模塊： （1） 負面采樣器輸出高質量的負面物品樣本，并構建正負樣本對，以便在每輪對話中對推薦器進行高效更新； （2） 主動采樣器輸出具有高度不確定性的模糊物品屬性樣本，作為CRS采取ask時要詢問的用戶偏好信息。

5.1 負采樣器

**原理：**主動學習（盡可能少的樣本標注實現最大的模型性能提升） **目標：**減少交互輪次，減輕用戶負擔

基于圖譜的主動強化學習：

圖譜環境信息作為狀態

推薦器性能的提升作為環境獎勵

優化累計獎勵，學習主動采樣策略π

算法流程：

5.2 主動采樣器

**原理：**強負樣本采樣（越難分辨的負樣本質量越高） **目標：**高效更新推薦器，提高推薦成功率 基于圖譜的強化負采樣：

圖譜環境信息作為狀態

節點與用戶和正樣本的相似度，作為環境獎勵 a) 與用戶相似保證真實性

b) 與正樣本相似保證高信息量

因此， rewardt=(it)T·u+(it)T·i+ * 優化累計獎勵，學習負采樣策略π

算法流程：

5.3 整體交互策略學習

算法流程：

06

實驗結果

（1）對比實驗

更少的交互輪次，更高的推薦成功率。 （2）消融實驗

通過指標曲線的形狀變化，說明模型主動性更強；通過曲線整體上升，說明模型學習速度更快。 （3）Case study

圖中展示了兩個在LastFM上的真實案例。對于一個喜歡上世紀80年代歌曲的用戶來說，SCPR首先詢問了常見的“流行”和“搖滾”兩個音樂屬性，在被拒絕后，SCPR開始詢問相對小眾音樂屬性，“新浪潮”和“另類”，并在一次推薦失敗后，SCPR最終才獲得了一次成功的推薦。而在我們基于環境知識增強的對話推薦模型的案例中，根據用戶提供的喜歡“80年代”的音樂偏好信息，我們的模型探索性地詢問了與“80年代”更相關的小眾音樂屬性，即“放松”和“另類”，在僅僅詢問了兩次后就成功推薦了用戶喜歡的音樂人。 我們的模型可以更有效地建模環境信息，并通過更少的失敗推薦和更少的詢問機會實現一次成功的推薦。在實際應用場景中，基于環境知識增強的對話推薦系統是具有更好用戶體驗的高效對話推薦系統。

文案：趙夢媛

排版、校對、審核：趙憲

責任編輯：桑基韜

最近一年以來蓬勃發展的自然語言處理新范式“提示學習”(Prompt Learning)，通過構造提示模板和標簽映射，顯著提升了模型的少樣本、跨領域、多任務等能力。在提示學習中，如何針對具體任務，構建出最合適的模板提示和標簽映射組合，是提升任務性能的關鍵。因此，通過植入相關的任務和領域知識來構建提示模板，以“知識提示”指導預訓練語言模型，可以提升模型對任務和領域的感知，充分的激發預訓練語言模型的潛力，提升任務性能。本文梳理了有關“知識提示”的學習方法，并介紹了被TheWebConf(WWW)2022錄用的兩個新工作：OntoPrompt和KnowPrompt。其中, KnowPrompt在提示學習框架中引入實體關系約束，將知識圖譜中的實體關系植入到提示學習中；OntoPrompt則實現了將本體知識（Ontology）選擇性植入提示學習中來解決少樣本學習問題。

關系分類(RC)是文本知識提取中的重要任務，而數據驅動方法雖然具有較高的性能，但卻嚴重依賴于大量標注的訓練數據。近年來，人們提出了許多少樣本RC模型，并在一般領域數據集上取得了良好的結果，但當適應于特定領域(如醫學)時，其性能急劇下降。本文提出了一種面向領域自適應任務(KEFDA)的知識增強少樣本RC模型，該模型將通用知識圖譜和領域特定知識圖譜融合到RC模型中，以提高其領域自適應能力。該模型利用概念級的KGs，可以更好地理解文本的語義，并易于從少數實例中總結關系類型的全局語義。更重要的是，作為一種元信息，利用KGs的方式可以從現有任務轉移到新的任務，甚至跨領域。具體來說，我們設計了一個知識增強的原型網絡進行實例匹配，設計了一個關系元學習網絡進行隱式關系匹配。這兩個評分函數被組合在一起來推斷新實例的關系類型。FewRel 2.0基準的領域適應挑戰的實驗結果表明，我們的方法顯著優于最先進的模型(平均6.63%)。

//dl.acm.org/doi/abs/10.1145/3447548.3467438

在圖數據挖掘任務中，對于特定任務，有標簽的數據通常十分稀少，然而現實中存在著大量無標簽的數據。

因此，如何通過預訓練從這些標簽數據中獲取有用的先驗知識，從而提升下游任務的表現成為了一個有價值的問題。我們本篇工作提出了一種在大規模異質圖上進行高效預訓練的框架。

近年來，圖神經網絡作為圖結構數據學習的重要方法，可以通過遞歸的從鄰居聚合消息（特征和節點表示）來學習到有效的圖表示。但是圖神經網絡通常需要大量的有標簽數據來取得令人滿意的表現。為了解決標簽稀疏的問題，一些工作提出了基于自監督的方法來從無標簽的數據中提取先驗知識。然而，現有的預訓練框架都是基于同質圖的，但現實生活中的交互系統通常都是有多種類型節點和邊的大規模的異質圖。因此，在我們設計預訓練模型的時候遇到了如下兩個挑戰。

如何捕捉異質圖的語義和結構性質 相比同質圖，異質圖具有更豐富的語義和結構信息。不同類型的節點通常有不同的圖結構性質（例如會議節點的度要普遍高于其他類型的節點）。不同類型的連邊通常有不同的語義關系。因此為了有效的預訓練，我們需要捕捉這些信息。

如何在大規模異質圖上高效預訓練一個 GNN

現實生活中的異質圖可以擁有數十億的節點和邊。為了可以在這樣這樣大規模的圖上進行預訓練，我們需要設計一種加速策略來保證我們在大規模異質圖上的預訓練效率。

為了解決上述的兩個問題，我們提出了 PTHGNN 來進行大規模異質圖上的預訓練。對于第一個挑戰，基于對比學習，我們提出了節點級別和網絡模式級別的預訓練任務來捕捉異質圖的語義和結構信息。對于第二個挑戰，我們提出了基于 personalized pagerank 的邊稀疏化方法，從而來提高我們進行大規模預訓練的效率。

文本生成是目前自然語言處理（NLP）領域一個非常重要且有挑戰的任務。文本生成任務通常是以文本作為輸入（例如序列，關鍵詞），通過將輸入文本數據處理成語義表示，生成可以理解的自然語言文本。幾個具有代表性的文本生成任務，例如機器翻譯，文件摘要，對話系統。自從2014年Seq2Seq框架提出以來，文本生成迅速成為研究熱點，包括一系列經典而有效的模型，例如循環神經網絡（RNN），卷積神經網絡（CNN），Transformer。基于這些模型，注意力機制（attention）和拷貝機制（copy/pointer-generator）的提出也極大促進了文本生成的研究。但是，研究人員發現，傳統的文本生成任務只依靠輸入文本進行生成，缺乏更加豐富的“知識”信息，因此生成的文本往往非常乏味，缺少有意思的內容。例如在對話系統中，如果只提供一段輸入文本而沒有其他上下文，對話機器人往往會回答“我也是一樣”，“我聽不懂你在說什么”等。相比之下，人類通過從外界獲取、學習和儲存知識，可以迅速理解對話里的內容從而做出合適的回復。所以，“知識”對于文本生成任務而言，可以超越輸入文本中的語義限制，幫助文本生成系統生成更加豐富、有意思的文本。在文本生成任務中，“知識”是對輸入文本和上下文的一種“補充”，可以由不同方法和信息源獲得，包括但不限于關鍵詞，主題，語言學特征，知識庫，知識圖譜等，可以參考下圖1中的 Information Sources。這些“知識”可以通過不同的表示方法學習到有效的知識表示，用于增強文本生成任務的生成效果，這就被稱為知識增強的文本生成（Knowledge-Enhanced Text Generation）。因此，知識增強的文本生成主要有兩個難點：如何獲取有用的知識（圖1 Information Sources），以及如何理解并借助知識促進文本生成（圖1 Methods）。接下來的內容將主要圍繞著這兩個問題進行展開。

近年來，許多在線平臺（如亞馬遜和淘寶網）都取得了巨大成功。在線平臺上的用戶行為是動態變化的，且會隨著時間而發展。序列推薦的主要目標就是從用戶歷史行為中捕捉關鍵的信息，并基于此準確表征用戶興趣進而提供高質量的推薦[1,2,3]。已有研究人員基于深度學習提出很多序列推薦的模型，此外還有研究人員結合豐富的上下文信息（如商品屬性）一起進行用戶興趣建模，實驗表明，上下文信息對于提高推薦效果很重要。

盡管現有方法在一定程度上已被證明有效，但它們有兩個可能會影響推薦效果的缺陷。首先，他們主要依靠“下一個物品推薦”（Next Item Prediction）損失函數來學習整個模型。在使用上下文信息時，也仍然只使用這一個優化目標。已有研究表明，這種優化方法很容易受到數據稀疏性等問題的影響。此外，它們過分強調最終的推薦性能，而上下文數據和序列數據之間的關聯或融合卻沒有在數據表示中被很好地捕獲。多個領域的實驗結果表明[4，5，6]，更有效的數據表示方法（例如，預先訓練的上下文信息嵌入）已成為改善現有模型或體系結構性能的關鍵因素。因此，有必要重新考慮學習范式并開發更有效的序列推薦系統。

為了解決上述問題，我們借鑒了自監督學習的思想來改進序列推薦的方法。自監督學習是一個新興的學習范式，旨在讓模型從原始數據的內在結構中學習。自監督學習的一般框架是首先從原始數據中構建新的監督信號，然后通過這些額外設計的優化目標來對模型進行預訓練。如之前討論的，有限的監督信號和低效的數據表示是現有的神經序列推薦方法的兩個主要問題。幸運的是，自監督學習似乎為解決這兩個問題提供了解決方案：它通過內在數據相關性來設計輔助訓練目標以提供豐富的自監督信號，并通過預訓練的方法增強數據表示。對于序列推薦，上下文信息以不同的形式存在，包括物品，屬性，子序列和序列。開發統一表征這種數據相關性的方法并不容易。對于這個問題，我們借鑒最近提出的互信息最大化（Mutual Information Maximization, MIM）方法，其已被證明可以有效捕獲原始輸入的不同視圖（或部分）之間的相關性。

基于以上，我們提出了一種基于自監督學習方法的序列推薦模型（Self-Supervised Learning Sequential Recommendation, S3-Rec）。基于自注意力機制的體系結構[3]，我們首先使用設計的自監督訓練目標對模型進行預訓練，然后根據推薦任務對模型進行微調。此工作的主要新穎之處在預訓練階段，我們基于MIM的統一形式精心設計了四個自監督的優化目標，分別用于捕獲物品-屬性間，序列-物品間，序列-屬性間和序列-子序列間的相關性。因此，S3-Rec能夠以統一的方式來表征不同粒度級別或不同形式數據之間的相關性，并且也可以靈活地適應新的數據類型或關聯模式。通過這樣的預訓練方法，我們可以有效地融合各種上下文數據，并學習屬性感知的上下文化的數據表示。最后，將學習到的表示輸入推薦模型，并根據推薦任務對其進行優化。

為了驗證S3-Rec的有效性，我們在6個不同領域的真實數據集上進行了充分的實驗。實驗結果表明，S3-Rec超過了目前的SOTA，并且在訓練數據非常有限的情況表現得尤為明顯。另外S3-Rec還可以有效得適應其他類別的神經體系結構，例如GRU[1]和CNN[2]。我們的主要貢獻概括如下：（1）據我們所知，這是首次采用MIM進行自監督學習來改善序列推薦任務的工作；（2）我們提出了4個自監督優化目標來最大化不同形式或粒度的上下文信息的互信息；（3）在6個數據集上的充分實驗證明了我們方法的有效性。

論文標題： Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

論文來源： ACM SIGKDD 2020

論文鏈接：//www.zhuanzhi.ai/paper/2d6c4333dfba038f1b318a37f5bc035d

會話推薦系統(conversation recommender system, CRS)旨在通過交互式的會話給用戶推薦高質量的商品。通常CRS由尋求商品的user和推薦商品的system組成，通過交互式的會話，user實時表達自己的偏好，system理解user的意圖并推薦商品。目前會話推薦系統有兩個問題需要解決。首先，對話數據本身缺少足夠的上下文信息，無法準確地理解用戶的偏好（傳統的推薦任務會有歷史交互序列或者用戶屬性，但是該場景下只有對話的記錄）。其次，自然語言的表示和商品級的用戶偏好之間存在語義鴻溝（在user的話語“Can you recommend me a scary movie like Jaws”中，用戶偏好反映在單詞”scary“和電影實體”Jaws“上，但這兩類信息天然存在語義的差異）。

為了解決上述問題，本文提出了模型KG-based Semantic Fusion approach（KGSF），通過互信息最大化的多知識圖譜語義融合技術，不僅打通了對話中不同類型信息的語義鴻溝，同時針對性得設計了下游的模型，以充分發揮兩個知識圖譜的作用，在會話推薦系統的兩個任務上均取得了state-of-the-art的效果。

主題： Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

摘要： 會話推薦系統（CRS）旨在通過交互式對話向用戶推薦高質量的項目。盡管已為CRS做出了一些努力，但仍有兩個主要問題有待解決。首先，對話數據本身缺少足夠的上下文信息，無法準確地了解用戶的偏好。第二，自然語言表達與項目級用戶偏好之間存在語義鴻溝。為了解決這些問題，我們結合了面向單詞和面向實體的知識圖（KG）來增強CRS中的數據表示，并采用互信息最大化來對齊單詞級和實體級的語義空間。基于對齊的語義表示，我們進一步開發了用于進行準確推薦的KGenhanced推薦器組件，以及可以在響應文本中生成信息性關鍵字或實體的KG增強對話框組件。大量的實驗證明了我們的方法在推薦和對話任務上都能產生更好的性能。