搜索引擎中的實體推薦關鍵技術研究
搜索引擎是獲取信息的重要工具。近年來，為了更好地滿足用戶的信息獲取 需求，搜索引擎從最初只能被動地根據查詢返回相關網頁，逐步改進到能夠主動 地根據查詢提供相關信息推薦。實體推薦，即以實體為粒度進行信息推薦，是其 中推薦粒度最細且信息量最豐富的一種信息推薦形式。實體推薦旨在為用戶提供 與其查詢存在直接或間接關系的實體列表，能夠幫助用戶拓展知識面，因而越來 越受到用戶的歡迎。因此，實體推薦不僅成為現代搜索引擎必不可少的功能之一， 也正成為學術界重視的研究問題。
在搜索引擎實體推薦系統中，不僅需要為用戶提供與其查詢相關的實體推薦 結果，還需要對實體推薦結果進行恰當且合理的解釋以幫助用戶更好地理解推薦 結果。相應地，搜索引擎中的實體推薦研究主要包含以下兩個方面：（1）實體推薦算法，其目標是獲取與查詢相關的實體集合并對其進行排序；（2）實體推薦的可 解釋性，其目標是為實體推薦結果生成推薦理由，以提升推薦結果的可信度。針 對上述問題，本文研究了實體推薦算法的改進以及推薦理由的生成兩個方面的關 鍵技術，具體包括：（1）適用于搜索引擎的大規模實體推薦算法，以及基于上下文 優化實體推薦算法的具體策略；（2）實體對推薦理由的識別，以及實體推薦理由 的生成。本研究的主要內容包括以下幾個方面：
1. 基于排序學習與信息新穎性增強的實體推薦。構建適用于搜索引擎的大規 模實體推薦系統主要面臨以下 4 個挑戰：查詢與實體規模龐大、查詢的領域無關 性、用戶實體點擊數據極其稀疏以及很難為用戶推薦具有信息新穎性的實體。針 對上述挑戰，本文提出了一種基于排序學習框架的實體推薦算法，并圍繞信息新 穎性設計了相關特征與優化目標。一方面可以靈活地對召回與排序進行分階段優 化，另一方面可以直接基于查詢并面向信息新穎性構建多種粒度的排序特征，進 而能針對不同用戶偏好以及任何類型的查詢，為用戶提供個性化且兼具信息新穎 性的實體推薦結果，因此能夠大幅顯著提升實體推薦效果以及用戶參與度。
2. 基于深度多任務學習的上下文相關實體推薦。針對目前實體推薦方法普遍 忽略上下文信息以及上下文相關實體點擊數據存在數據稀疏問題，本文提出了一 種基于深度多任務學習的上下文相關實體推薦模型。一方面可以借助于上下文相 關文檔排序這一輔助任務中的大規模多任務交叉數據，另一方面可以基于多任務 學習來實現知識遷移，進而有效緩解數據稀疏問題并提升實體推薦結果的相關性，因此能夠顯著提升推薦效果。
3. 基于卷積神經網絡的實體對推薦理由識別。當推薦實體與查詢實體之間存 在確定的實體關系時，將能夠翔實地描述該實體對之間的關系的句子作為推薦理 由（簡稱為實體對推薦理由）展現給用戶，可以幫助用戶理解兩個實體間的關系， 從而提升推薦結果的可信度。目前的實體對推薦理由識別方法嚴重依賴于人工標 注的數據集以及人工設計的排序特征，從而導致識別出的實體對推薦理由的質量 較低。針對上述問題，本文提出了一種基于卷積神經網絡的實體對推薦理由識別 方法。一方面可以借助于搜索引擎點擊日志自動構建大規模訓練數據，另一方面 可以通過卷積神經網絡自動學習排序特征，進而顯著提升排序效果并帶來實體對 推薦理由質量的顯著提升。
4. 基于機器翻譯模型的實體推薦理由生成。當推薦實體與查詢之間不存在可 歸類的關系時，將能夠刻畫推薦實體特點的簡短描述作為推薦理由（簡稱為實體 推薦理由）展現給用戶，可以幫助用戶理清當前實體與查詢間的關聯，從而提升 推薦結果的可信度。然而，前人在實體推薦理由生成研究上鮮有涉獵。為此，本文 提出了基于機器翻譯模型的實體推薦理由生成方法，尤其是提出了一種由實體信 息指導的基于序列到序列學習的實體推薦理由生成模型。一方面可以有效識別并 保留源句子中的重要信息，另一方面可以指引模型生成與實體相關的結果，從而 能夠生成質量更高的實體推薦理由。
在應用方面，上述研究成果已在百度搜索引擎得到了大規模應用，取得了重 大的經濟效益和社會效益，并獲得了 2017 年中國電子學會科技進步一等獎。
付費5元查看完整內容
相關內容
眾包數據庫關鍵技術研究
眾包通過整合計算機和互聯??眾來完成機器難以單獨處理的任務，其主要 包含三部分，任務發布者、眾包平臺和眾包??。傳統眾包技術中，三者的交互流 程過于復雜，導致任務發布者?法很好地管理任務。因此，眾包數據庫應運??， 其從系統層?出發整合三者之間復雜的交互流程，使得任務發布者可以通過描述 性語?輕松利???操作數據，降低了眾包的使?門檻。本?主要的內容如下：
-
眾包數據庫 CDB：為解決眾包平臺難使?、眾包任務難優化、眾包?? 質量難控制等問題，需要通過數據庫的思想來封裝眾包任務處理的流程。與傳統 數據庫不同的是，眾包數據庫的難點不僅在于解決單??標優化問題 (僅優化代 價)，更重要的是建?細粒度的查詢優化模型，實現代價、質量和延遲的多?標優 化。因此，本?提出了?種新型的眾包數據庫系統 CDB 。不同于傳統的樹優化模 型，CDB ?次提出利?圖模型來進?細粒度查詢優化。其次，CDB 在該模型上建 ?統?的框架來進?多?標優化。該系統致?于幫助用戶高效率、高質量、低成 本地利用眾包來處理數據, 構建了一個中文眾包平臺 ChinaCrowd, 在華為公司落地 應用，取得了較好的經濟收益。另外，為?持較復雜的連接操作（基于記錄或者? 連接）與收集操作，本?分別提出了以下兩種算法框架對它們進?步優化。
-
基于眾包的連接操作：為解決現實世界中臟數據的復雜連接問題，需要引 ?基于眾包的連接操作。其難點在于代價較?，?尋求低代價?案時往往帶來質 量的降低。為此，本?提出?種低代價的眾包實體匹配框架 Power，在保持?質量 的同時??降低代價。本??先在待連接的記錄對上定義了?種偏序關系，然后 基于該關系對眾包??的回答進?推理，接下來循環提問直到所有記錄對的答案 都被推理出來。該方法致力于從理論和實踐兩方面優化眾包成本，實驗表明相比 于其他方法，Power 可在節省高達 100 倍的成本下進行高質量的數據連接。
-
基于眾包的收集操作：為解決傳統數據庫不能處理數據庫以外數據的特點， 眾包數據庫需要引?收集操作，其旨在通過眾包收集數據庫中缺失的實體。其難 點在于如何保證收集實體的正確性；如何盡可能收集相關領域的全部實體；如何 減少重復實體的數量以減少代價。為此，本?提出了基于激勵機制的眾包實體收 集框架 CrowdEC，其采?激勵的?式?勵??提供不重復的實體以降低代價。該 方法致力于建立收集操作的質量評價體系，從理論上給出了收集代價的競爭比保 證，使得用戶可實現低成本、高質量、高覆蓋的收集。
付費5元查看完整內容
數據稀疏和冷啟動是當前推薦系統面臨的兩大挑戰. 以知識圖譜為表現形式的附加信息能夠在某種程度上緩解數據稀疏和冷啟動帶來的負面影響, 進而提高推薦的準確度. 本文綜述了最近提出的應用知識圖譜的推薦方法和系統, 并依據知識圖譜來源與構建方法、推薦系統利用知識圖譜的方式, 提出了應用知識圖譜的推薦方法和系統的分類框架, 進一步分析了本領域的研究難點. 本文還給出了文獻中常用的數據集. 最后討論了未來有價值的研究方向.
//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200128
推薦系統推薦系統是一種向目標用戶建議可能感興趣物品的軟件工具. 隨著網絡與現實信息的爆炸式增長, 越來越多的在線服務商為用戶提供商品、音樂、電影等(以下統稱為物品)的推薦服務. 推薦系統能夠滿足用戶的個性化需求, 為在線服務商帶來巨大商業價值. 同時, 推薦方法與系統的研究促進了偏好挖掘、大數據處理、決策支持等領域的相關理論和實踐的飛速發展, 其學術價值也引起了廣泛的關注.
推薦系統面臨的重要挑戰主要是數據稀疏性問題和冷啟動問題. 數據稀疏問題指的是相對于數量龐大的用戶和物品, 僅有少量的物品獲得了用戶的評價或者購買, 難以據此獲得相似的用戶或相似的物品, 使得傳統推薦方法失效了. 冷啟動問題指的是系統由于并不知道新加入用戶的歷史行為, 無法給他們推薦物品, 同樣新加入的物品也由于沒有被用戶評價或購買過而無法被針對性的推薦.
推薦系統中通常利用附加信息來解決上述問題, 以提高性能. 附加信息(一般也稱上下文信息)分為顯式信息和隱式信息[1]. 顯式信息是通過諸如物理設備感知、用戶問詢、用戶主動設定等方式獲取的與用戶、物品相關聯的上下文信息. 隱式信息即利用已有數據或周圍環境間接獲取的一些上下文信息, 例如可根據用戶與系統的交互日志獲取時間上下文信息.
近年來, 利用以知識圖譜為表示形式的附加信息的推薦方法受到了學者們的關注. 知識圖譜最初用于提升搜索系統的性能[2], 刻畫了海量實體之間的多種關系, 具有網狀結構, 能夠用于推薦系統中來增強用戶、物品之間聯系的認知與解釋, 從而提高推薦準確度. 本文綜述了2015年~2019年發表在DLRS、RecSys、KDD、CIKM、NIPS、TIST、UMAP、SIGIR等會議和期刊中的利用知識圖譜的推薦方法的文獻, 共23篇. 在利用知識圖譜的推薦系統中, 通常首先將收集到的用戶信息、物品信息、在利用知識圖譜的推薦系統中, 通常首先將收集到的用戶信息、物品信息、用戶歷史行為等數據或者一些相關的外部數據表示成知識圖譜的形式. 然后, 設計推薦算法, 利用知識圖譜生成推薦. 此類推薦系統通常包含知識圖譜構建和利用知識圖譜產生推薦兩個環節. 本文根據這兩個環節中構建知識圖譜數據的不同來源, 以及推薦方法中利用知識圖譜信息的不同形式提出了分類框架, 并據此對相關文獻進行了分類綜述, 詳情請參看本文第三章. 與本文最為相關是文獻[3]. 該文獻綜述了2009年~2017年16篇利用知識圖譜的推薦方法的文獻. 本文在綜述的文章數量上超過了文獻[3]. 此外, 本文提出文獻分類框架能夠更好地覆蓋新提出的方法.
本文第一章介紹了利用知識圖譜的推薦方法的相關背景知識; 第二章對利用知識圖譜的推薦方法文獻進行分類與綜述; 第三章整理了目前常用的推薦系統數據集和知識圖譜數據集; 第四章、第五章分別討論了應用知識圖譜的推薦系統的研究難點與發展前景; 最后, 在第六章中對全文進行了總結.
付費5元查看完整內容
個性化推薦系統
·
推薦系統通過獲取用戶的歷史行為數據,如網頁的瀏覽數據、購買記錄、社交網絡信息、用戶地理位置等,來推斷用戶偏好.隨著計算機技術的發展,推薦系統所采用的推薦技術由早期的基于用戶-項的數據矩陣分解技術為主,逐漸向與數據挖掘、機器學習、人工智能等技術相融合的方向發展,從而深度挖掘用戶行為的潛在偏好,以構建更加精準的用戶偏好模型.推薦過程也從靜態預測發展到實時推薦,通過與用戶實時交互來使推薦結果更加豐富.文中重點回顧了推薦系統在不同時期所采用的關鍵技術,主要包括基于內容過濾的推薦技術、基于協同過濾的推薦技術、基于深度學習的推薦技術、基于強化學習的推薦技術和基于異構網絡的推薦技術等.最后對比和分析了關鍵技術的優缺點,并對推薦系統的未來發展進行展望.
付費5元查看完整內容
推薦系統旨在為用戶推薦個性化的在線商品或信息, 其廣泛應用于眾多Web場景之中, 來處理海量信息數據所導致的信息過載問題, 以此提升用戶體驗. 鑒于推薦系統強大的實用性, 自20世紀90年代中期以來, 研究者針對其方法與應用兩方面, 進行了大量廣泛的研究. 近年來, 很多工作發現知識圖譜中所蘊含的豐富信息可以有效地解決推薦系統中存在的一系列關鍵問題, 例如數據稀疏、冷啟動、推薦多樣性等. 因此, 本文 針對基于知識圖譜的推薦系統這一領域進行了全面的綜述. 具體地, 首先簡單介紹推薦系統與知識圖譜中的一些基本概念. 隨后, 詳細介紹現有方法如何挖掘知識圖譜不同種類的信息并應用于推薦系統. 此外, 總結了相關的一系列推薦應用場景. 最后, 提出了對基于知識圖譜的推薦系統前景的看法, 并展望了該領域未來的研究方向.
付費5元查看完整內容
知識圖譜在很多的真實的應用中都起著重要的作用，比如語義搜索、智能問答、文本理解等。通用知識圖譜構建中最重要的數據源之一是百科類網站，比如維基百科、百 度百科等。如英文知識圖譜 Freebase 最主要的數據源即是維基百科，大型中文通用知識圖譜 CN-DBpedia 主要的數據源是百度百科、互動百科等中文類百科網站。知識圖 譜相當于是現實世界的知識集合，這些知識并不是恒定不變的而是不斷變化的，沒有及時更新的知識圖譜無法及時地捕獲到已經變化的知識以及新出現的知識，而其數據源 百科類網站可以很及時的覆蓋新的知識和變化的知識。一個未能及時更新的知識圖譜會包含一些過時的知識、甚至是錯誤的知識，這會對知識圖譜的下層應用的產生很大的 限制。因而一個很重要的問題就是如何對知識圖譜進行更新，也就是使得知識圖譜和其數據源進行同步，這里的數據源只考慮百科類網站。
對于大部分的知識圖譜所采用的更新方式周期性批量更新，這種更新方式會有很多的弊端。其中一個弊端是在進行更新時的代價較大，百科類的網站通常會包含千萬級別的實體，在每次周期批量更新時會花費大量的時間代價，以及會占用大量的網絡帶寬。另一個主要的弊端是在周期性更新的周期內，會不斷有新知識的出現以及一些變化的知識，也就是周期性的更新方式也會導致知識圖譜中包含一些過時的知識。為了解決以上兩個問題，本文提出了智能知識圖譜更新系統 S-USB，一個更加智能的知識圖譜更新方案。
本文提出的智能知識圖譜更新系統 S-USB 可以智能的識別出已發生變化的實體并僅更新這些實體。S-USB 的核心部分是一個實體更新頻率預測器用于預測實體的更新頻率，該實體更新頻率預測器主要包括一系列高效的特征和回歸器。我們做了一系列實驗去檢測本文提出的知識圖譜智能更新系統 S-USB 以及實體更新頻率預測器的效果，實驗結果表明本文所提出的知識圖譜更新系統 S-USB 可以有效地識別出變化的實體和新出現的實體。特別的，本文所提出的知識圖譜智能更新系統已經在一些知識圖譜中得到應用落地，其中包括最大中文知識圖譜系統 CN-DBpedia。
本文的主要創新點主要有以下幾點：
-
- 智能更新系統：本文針對知識圖譜的更新問題創新性地提出了智能主動知識圖譜更新系統 S-USB，以較小的代價保持知識圖譜時效性。
-
- 實體更新頻率預測器：本文提出一種實體更新頻率預測模型，其中包含了一系列高效的特征和回歸器，該預測器可以有效的提高更新系統的準確率。
-
- 更新系統應用落地：本文將智能更新系統已經應用到真實的知識圖譜的更新中，有效地提高了知識圖譜的時效性，并且可以使得比較熱門的實體的知識總是處于最新的狀態。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191