大部分的深度學習模型主要包含如下的兩大模塊：輸入模塊以及表示學習模塊。自從NAS[1]的出現以來，神經網絡架構的設計上正在往數據驅動的自動機器學習方向演進。不過之前更多的研究都是聚焦在如何自動設計表示學習模塊而不是輸入模塊，主要原因是在計算機視覺等成熟領域原始輸入（圖像像素）已經是浮點數了。
輸入模塊：負責將原始輸入轉換為浮點數； 表示學習模塊：根據輸入模塊的浮點值，計算得到模型的最終輸出；
而在推薦、搜索以及廣告工業界的大規模深度模型上，情況卻完全不同。因為包含大量高維稀疏的離散特征（譬如商品id，視頻id或者文章id）需要將這些類別特征通過embedding嵌入技術將離散的id轉換為連續的向量。而這些向量的維度大小往往被當做一個超參手動進行設定。
一個簡單的數據分析就能告訴我們嵌入向量維度設定的合理與否非常影響模型的效果。以YoutubeDNN[2]為例，其中使用到的VideoId的特征詞典大小是100萬，每一個特征值嵌入向量大小是256。僅僅一個VideoId的特征就包含了2.56億的超參，考慮到其他更多的離散類特征輸入模塊的需要學習的超參數量可想而知。相應地，表示學習模塊主要包含三層全連接層。也就是說大部分的超參其實聚集在了輸入模塊，那自然就會對模型的效果有著舉足輕重的影響。
Google的研究者們在最新的一篇論文[3]中提出了NIS技術（Neural Input Search），可以自動學習大規模深度推薦模型中每個類別特征最優化的詞典大小以及嵌入向量維度大小。目的就是為了在節省性能的同時盡可能地最大化深度模型的效果。
并且，他們發現傳統的Single-size Embedding方式（所有特征值共享同樣的嵌入向量維度）其實并不能夠讓模型充分學習訓練數據。因此與之對應地，提出了Multi-size Embedding方式讓不同的特征值可以擁有不同的嵌入向量維度。
在實際訓練中，他們使用強化學習來尋找每個特征值最優化的詞典大小和嵌入向量維度。通過在兩大大規模推薦問題（檢索、排序）上的實驗驗證，NIS技術能夠自動學習到更優化的特征詞典大小和嵌入維度并且帶來在Recall@1以及AUC等指標上的顯著提升。
付費5元查看完整內容
相關內容
推薦系統的數據稀疏性是一個固有的挑戰，因為推薦系統的大部分數據都來自于用戶的隱式反饋。這就帶來了兩個困難：
一是大部分用戶與系統的交互很少，沒有足夠的數據進行學習;
二是隱式反饋中不存在負樣本。通常采用負樣本的方法來產生負樣本。
然而，這導致了許多潛在的正樣本被誤標記為負樣本，數據的稀疏性會加劇誤標記問題。這是容易解釋的，因為：用戶購買了某一商品，你可以說他喜歡這一商品；但是用戶如果沒有買的那些商品，你沒有辦法說他就不喜歡。為了解決這些困難，作者沒有像其他的做法一樣，而是將稀疏隱式反饋的推薦問題作為半監督學習任務，并探索領域適應（Domain Adaptation）來解決這個問題。具體地，是將從密集數據中學習到的知識轉移到稀疏數據中，并專注于最具挑戰性的沒有用戶或項目重疊的情況。
在這種極端情況下，直接對齊兩個數據集的嵌入并不理想，因為這兩個潛在空間編碼的信息非常不同。因此，作者采用領域不變（domain-invariant）的文本特性作為錨點來對齊潛在空間。為了對齊嵌入，我們為每個用戶和項提取文本特性，并將它們與用戶和物品的嵌入一起提供給域分類器。訓練嵌入來迷惑分類器，并將文本特征固定為錨點。通過域適應，將源域內的分布模式轉移到目標域。由于目標部分可以通過區域自適應來監督，因此我們在目標數據集中放棄了負采樣以避免標簽噪聲。
付費5元查看完整內容
我們如何找到半監督學習的正確圖?在實際應用中，選擇用于計算的邊是任何圖學習過程中的第一步。有趣的是，通常有許多類型的相似性可供選擇作為節點之間的邊，而邊的選擇會極大地影響下游半監督學習系統的性能。然而，盡管圖設計很重要，但大多數文獻都認為圖是靜態的。
在這項工作中，我們提出了Grale，一個可擴展的方法，我們已經開發以解決圖設計問題的數十億節點。Grale通過將(潛在的弱)相似度的不同度量方法融合在一起，創建一個節點間具有高度任務特異性同質性的圖。Grale是為在大型數據集上運行而設計的。我們已經在谷歌的20多個不同的工業設置中部署了Grale，包括擁有數百億節點的數據集，以及數以萬億計的潛在邊界。通過使用對位置敏感的哈希技術，我們大大減少了需要評分的對的數量，允許我們學習特定任務的模型，并以小時為這些數據集構建相關的最近鄰居圖，而不是可能需要的天甚至周。
我們通過一個案例研究來說明這一點，在這個案例研究中，我們研究了Grale在YouTube上一個有上億項的濫用分類問題上的應用。在這個應用程序中，我們發現Grale可以在硬編碼規則和內容分類器上檢測到大量的惡意參與者，相對于單獨使用這些方法，Grale的召回總量增加了89%。
付費5元查看完整內容
現有的基于注意力機制的推薦模型存在一些改進的余地。很多模型只在生成用戶的表示時應用了粗粒度的注意力機制，少數改進的模型盡管在注意力模塊中加入了物品的屬性（特征）信息，即融入了物品的相關知識，但仍然僅在用戶表示這一端應用了注意力機制。針對這些問題，本文提出了一種在用戶表示端與物品表示端協同應用（物品）屬性級注意力機制的深度推薦模型，簡稱ACAM（Attribute-level Co-Attention Model），其主要特性為： （1）物品與用戶的初始表示基于知識圖譜中物品屬性的表示（向量），而非單一的隨機初始化向量。 （2）內建協同注意力機制模塊，通過捕獲不同屬性之間的關聯來增強用戶和物品的表示，這是考慮到不同的物品屬性（特征）之間可能存在相關性。例如，電影的屬性中，演員史泰龍與動作題材高度相關，演員鞏俐與導演張藝謀也很相關。因此，基于屬性相關性來增強用戶/物品表示能夠更加精確地揭示目標用戶和候選物品之間的潛在關系，從而提升推薦性能。 （3）采用多任務學習的框架來訓練損失函數，融入知識（嵌入）表示學習的目標，以習得更優的物品和物品屬性的表示。
ACAM模型輸入為目標用戶和候選物品，輸出為兩者匹配的概率 ，其值越大表明越可能喜歡。模型的架構如下圖所示，可分為三個部分：嵌入層、協同注意力機制層與預測層，下面將分別介紹每層的設計細節。
付費5元查看完整內容
預測點擊率
·
對特征交互進行建模是推薦系統中的一個重要問題。在現有的深度推薦模型中，特征交互是由專家設計或者簡單枚舉得到。但是，簡單枚舉所有的特征交互會占用大量的內存和計算時間。更糟糕的是，無效的特征交互會引入不必要的噪聲，干擾推薦模型的訓練。在本工作中，我們提出了一個兩階段的模型AutoFIS。
AutoFIS可以為因子分解類模型自動定義出所有重要的特征交互，而并不過多地增加訓練時間。在搜索階段，為了實現在特征交互的離散集合上進行搜索，我們引入連續型結構變量來輔助搜索。通過在這些結構變量上加入約束型優化器，我們的模型在訓練過程中可以自動定位并刪除無效的特征交互。在重訓練階段，我們將這些結構變量當做注意力機制的權重參數來重新訓練，以進一步提升模型的精度。我們在公開數據集和產品數據集上驗證，AutoFIS可以提升因子分解類模型的精度(AUC和Logloss)。該方法簡單有效，得到KDD評委的高度認可，得到3/2/2的分數，其中meta review的評價是:”Overall the paper presents a novel idea, it is well written and the evaluation is very thorough”。
該工作已經公開//arxiv.org/abs/2003.11235。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191