隨著移動設備上存儲和計算能力的快速發展，在設備上部署模型以節省繁重的通信延遲和獲取實時特性變得至關重要和流行。雖然已經有很多研究致力于促進設備上的學習和推斷，但大多數研究都集中在處理響應延遲或隱私保護方面。對設備和云建模之間的協作進行建模并使雙方共同受益的工作很少。為了彌補這一差距，我們是研究設備-云協作學習(DCCL)框架的首批嘗試之一。具體來說，我們在設備端提出了一種新穎的MetaPatch學習方法，以便在一個集中式的云模型下有效地實現“成千上萬的人擁有成千上萬的模型”。然后，針對數十億更新的個性化設備模型，我們提出了一種“模型-超模型”的蒸餾算法，即MoMoDistill，來更新集中式云模型。我們在一系列不同設置的數據集上進行了大量實驗，證明了這種協作在云和設備上的有效性，特別是它在建模長尾用戶方面的優越性。
付費5元查看完整內容
相關內容
在許多數據科學應用中，如推薦系統、在線廣告、醫療等，對表格數據進行預測是一項重要的任務。表格數據被結構成行和列，每一行作為數據樣本，每一列作為特性屬性。表格數據的列和行都帶有可以提高模型預測性能的有用模式。然而，大多數現有模型關注的是跨列模式，而忽略了跨行模式，因為它們獨立處理單個樣本。在這項工作中，我們提出了一個通用的學習框架，名為檢索與交互機(RIM)，它充分利用表格數據中的橫行和橫列模式。具體來說，RIM首先利用搜索引擎技術高效地檢索表中有用的行來輔助目標行標簽預測，然后利用特征交互網絡捕捉目標行與被檢索行之間的跨列模式，從而做出最終的標簽預測。我們對三個重要任務的11個數據集進行了廣泛的實驗，即CTR預測(分類)、top-n推薦(排名)和評分預測(回歸)。實驗結果表明，RIM在不同的基準上取得了顯著的改進，證明了RIM的優越性和有效性。
付費5元查看完整內容
推薦系統(RS)采用知識蒸餾，這是一種模型壓縮技術，用從預訓練的大型教師模型遷移的知識來訓練緊湊的學生模型。最近的研究表明，從教師的中間層遷移知識顯著提高了學生的推薦質量。但是，它們是逐點遷移個體表示的知識，因此存在一個局限，即RS的主要信息在于表示空間中的關系。本文提出了一種新的拓撲蒸餾方法，通過將建立在教師空間關系上的拓撲結構傳遞給學生來指導學生進行拓撲蒸餾。我們首先觀察到，簡單地讓學生學習整個拓撲結構并不總是有效的，甚至會降低學生的表現。我們證明，因為與老師相比，學生的能力是非常有限的，學習整個拓撲結構對學生來說是令人生畏的。為了解決這一問題，我們提出了一種新的分層拓撲蒸餾(HTD)方法，該方法可以分層地對拓撲進行蒸餾，以應對較大的容量缺口。我們在真實數據集上的大量實驗表明，提出的方法明顯優于先進的競爭對手。我們還提供了深入的分析，以確定提取RS拓撲的好處。
付費5元查看完整內容
Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning
基于深度置信度感知學習的廣告投放探索方案
摘要：目前先進的在線廣告系統得益于個性化方法，例如點擊率預估技術。依托于深度學習豐富的表示能力，深層點擊率預估模型在工業界獲得大規模應用，并取得了巨大成功。但是，這些方法可能會受限于“缺乏探索”問題。此前的一系列工作借助上下文賭博機（Contextual Bandit）方法來解決探索與利用的權衡問題，但這些方法難以兼容深層模型，因而表示能力受限。
在本文中，我們提出了一種新穎的深度置信度感知學習（DUAL）方法，基于高斯過程（Gaussian Process）學習點擊率模型。該方法可以在保持深層模型靈活表示能力的同時，提供模型預估不確定性的估計。DUAL可以輕松地在現有模型上實現，并以極少的額外計算開銷部署于實時系統中。通過結合DUAL對模型預估不確定性的估計能力與Bandit算法，我們進一步提出了基于DUAL的廣告投放策略，以提高廣告系統的長期效用。在幾個公共數據集上的實驗結果均表明了該方法的有效性。同時，在阿里巴巴展示外投廣告平臺上部署的在線A/B測試結果顯示，DUAL方法顯著提升了平臺收入等指標。 論文下載：
付費5元查看完整內容
音樂流媒體服務嚴重依賴推薦系統來改善用戶體驗，通過幫助他們瀏覽一個大型音樂目錄，并發現新的歌曲、專輯或藝術家。然而，向新用戶推薦相關和個性化的內容，而不需要與目錄進行交互，是一項挑戰。這通常被稱為用戶冷啟動問題。在這篇應用論文中，我們提出了最近部署在音樂流媒體服務Deezer上的系統來解決這個問題。該解決方案利用了一種半個性化的推薦策略，該策略基于深度神經網絡架構，并基于來自異構信息源的用戶集群。通過離線和在線的大規模實驗，我們廣泛展示了該系統在預測冷啟動用戶未來音樂偏好方面的實際影響和有效性。我們公開了我們的代碼以及我們實驗中的匿名使用數據。我們希望此次發布的行業資源將有助于未來用戶冷啟動建議的研究。
付費5元查看完整內容
點擊率(CTR)預測在推薦系統和在線廣告中起著至關重要的作用。這些應用程序中使用的數據是多字段類別數據，其中每個特征屬于一個字段。字段信息被證明是重要的，在他們的模型中有一些考慮字段的工作。在本文中，我們提出了一種新的方法來有效和高效地建模場信息。該方法是對FwFM的直接改進，被稱為場矩陣分解機(FmFM，或FM2)。在FmFM框架下，我們對FM和FwFM提出了新的解釋，并與FFM進行了比較。除了對交叉項進行修剪外，我們的模型還支持特定領域的可變維度的嵌入向量，這是一種軟修剪。在保持模型性能的同時，我們還提出了一種有效的最小化維數的方法。FmFM模型還可以通過緩存中間向量來進一步優化，它只需要數千次浮點運算(FLOPs)就可以做出預測。實驗結果表明，該算法的性能優于復雜的FFM算法。FmFM模型的性能也可以與DNN模型相媲美，DNN模型在運行時需要更多FLOPs 。
//www.zhuanzhi.ai/paper/39df3ac3e3acb641f86294a4d6acb39f
付費5元查看完整內容
會話搜索的任務主要是使用交互數據來提高用戶在會話級別上的下一個查詢的相關性。在本文中，我們將會話搜索作為一個個性化任務，在學習排序的框架下進行。個性化方法重新排列結果以匹配用戶模型。這種用戶模型通常是根據用戶的瀏覽行為隨著時間的推移而積累起來的。我們使用一套預先計算的、透明的基于社會科學文獻概念的用戶模型。交互數據用于將每個會話映射到這些用戶模型。然后根據這些模型和sessions的交互數據來估計新特性。從TREC會話軌跡的測試收集上進行的廣泛實驗顯示，在統計上比當前會話搜索算法有顯著的改進。
//www.zhuanzhi.ai/paper/3cd6afe65db82a0f6e0fa3a45d1fda73
付費5元查看完整內容
深度推薦系統近年來取得了顯著的進步。盡管其具有較高的排名精度，但其運行效率和內存消耗在現實中成為嚴重的瓶頸。為了克服這兩個限制，我們提出了LightRec，這是一個輕量級的推薦系統，具有快速的在線推理和經濟的內存消耗。LightRec的主干是B碼本，每個B碼本由W個潛在向量組成，稱為碼字。在這種結構的頂部，LightRec將有一個項目表示為B碼字的附加組合，這些B碼字是從每個碼本中最佳選擇的。為了從數據中有效地學習代碼本，我們設計了一個端到端學習工作流，其中所提出的技術克服了固有的可微性和多樣性方面的挑戰。此外，為了進一步提高表示質量，我們使用了一些蒸餾策略，這些策略可以更好地保存用戶-項目的相關性分數和相對的排序順序。LightRec通過四個真實世界的數據集進行了廣泛的評估，這產生了兩個經驗發現:1)與最先進的輕量級基線相比，LightRec在召回性能方面取得了超過11%的相對改進;2)與傳統推薦算法相比，在top-k推薦算法中，LightRec的精度下降幅度可以忽略不計，但速度提高了27倍以上。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191