亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

由于硬件資源有限，深度學習模型的訓練目標通常是在訓練和推理的時間和內存限制下最大化準確性。在這種情況下，我們研究了模型大小的影響，關注于計算受限的NLP任務的Transformer模型:自監督的預訓練和高資源機器翻譯。我們首先展示了，盡管較小的Transformer模型在每次迭代中執行得更快，但更廣、更深入的模型在顯著更少的步驟中收斂。此外，這種收斂速度通常超過了使用更大模型的額外計算開銷。因此，計算效率最高的訓練策略是反直覺地訓練非常大的模型，但在少量迭代后停止。

這導致了大型Transformer 模型的訓練效率和小型Transformer 模型的推理效率之間的明顯權衡。然而，我們表明大模型比小模型在壓縮技術(如量化和剪枝)方面更健壯。因此，一個人可以得到最好的兩個好處: 重壓縮，大模型比輕壓縮，小模型獲得更高的準確度。

//www.zhuanzhi.ai/paper/4d7bcea8653fcc448137766511ec7d8a

概述：

在當前的深度學習范式中，使用更多的計算(例如，增加模型大小、數據集大小或訓練步驟)通常會導致更高的模型準確度(brock2018large;raffel2019exploring)。最近自監督預訓練的成功進一步論證了這種趨勢經模型。因此，計算資源日益成為提高模型準確度的關鍵制約因素。這個約束導致模型訓練的(通常是隱含的)目標是最大化計算效率:如何在固定的硬件和訓練時間下達到最高的模型準確度。

最大化計算效率需要重新考慮關于模型訓練的常見假設。特別是，有一個典型的隱式假設，即模型必須經過訓練直到收斂，這使得較大的模型在有限的計算預算下顯得不太可行。我們通過展示以收斂為代價來增加模型大小的機會來挑戰這一假設。具體地說，我們表明，訓練Transformer 模型的最快方法(vaswani2017attention)是大幅度增加模型大小，但很早停止訓練。

在我們的實驗中，我們改變了Transformer模型的寬度和深度，并在自監督的預訓練(RoBERTa (liu2019roberta)在Wikipedia和BookCorpus上訓練)和機器翻譯(WMT14英語→法語)上評估了它們的訓練時間和準確性。對于這些任務，我們首先展示了更大的模型比更小的模型在更少的梯度更新中收斂到更低的驗證錯誤(第3節)。此外，這種收斂速度的增加超過了使用更大模型所帶來的額外計算開銷——計算效率最高的模型是非常大的，并且遠遠不能收斂(例如，圖2，左)。我們還表明，收斂的加速主要是參數計數的函數，只有模型寬度、深度和批大小的微弱影響。

雖然較大的模型訓練速度更快，但它們也增加了推理的計算和內存需求。這種增加的成本在現實應用中尤其成問題，推理成本占訓練成本的主要比例(jouppi2017datacenter;crankshaw2017clipper;metz2017tpu)。然而，對于RoBERTa來說，這種明顯的權衡可以與壓縮相協調:與小型模型相比，大型模型在壓縮方面更加健壯(第4節)。因此，使用可比較的推理成本，大型重壓縮的模型優于小型輕壓縮的模型(例如，圖2，右)。

圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而，其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析，GCN最初是為圖分類任務而設計的，并配備了許多神經網絡操作。然而，我們實證發現，兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是，包括他們增加了訓練的難度，降低了推薦的效果。在這項工作中，我們的目標是簡化GCN的設計，使其更簡潔，更適合推薦。我們提出了一個新的模型LightGCN，它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說，LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們，并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練，在完全相同的實驗設置下，比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。

知識圖譜被廣泛用于提高推薦準確度。知識圖譜上的多跳用戶-物品連接還提供了關于為什么推薦某個項的推理。然而，路徑推理是一個復雜的組合優化問題。傳統的推薦方法通常采用蠻力方法來尋找可行路徑，這導致了與可解釋性和收斂性相關的問題。在本文中，我們通過更好地監督尋路過程來解決這些問題。關鍵思想是用最小的標記努力提取不完美的路徑演示，并有效地利用這些演示來指導尋路。特別地，我們設計了一個基于演示的知識圖推理框架用于可解釋推薦。我們還提出了一個反面的actor批評家(ADAC)模型用于演示導向的尋路。在三個真實基準上的實驗表明，我們的方法比最先進的基準更快地收斂，并且具有更好的推薦精度和可解釋性。

題目： A Transformer-based Embedding Model for Personalized Product Search

摘要： 產品搜索是人們在電子商務平臺上瀏覽和購買商品的重要方式。雖然客戶傾向于根據他們的個人品味和偏好做出選擇，但對商業產品搜索日志的分析表明，個性化并不總是能提高產品搜索質量。然而，大多數現有的產品搜索技術在搜索會話之間執行無差異的個性化設置。他們要么用一個固定的系數來控制個性化的影響，要么用一個注意力機制讓個性化一直發揮作用。唯一值得注意的例外是最近提出的零注意模型(zero-attention model, ZAM)，該模型允許查詢關注一個零向量，從而自適應地調整個性化的效果。盡管如此，在ZAM中，個性化最多可以發揮與查詢同等重要的作用，并且不管用戶的歷史購買中同時出現的item是什么，item的表示在整個集合中都是靜態的。考慮到這些局限性，我們提出了一種基于Transformer的個性化產品搜索嵌入模型(TEM)，該模型通過使用Transformer架構對查詢序列和用戶購買歷史進行編碼，從而動態地控制個性化的影響。個性化可以在必要時發揮主導作用，在計算注意力權重時可以考慮item之間的交互。實驗結果表明，TEM的性能明顯優于目前最先進的個性化產品檢索模型。

題目： Order-Preserving Key Compression for In-Memory Search Trees

簡介：

本文提出了一種用于內存搜索樹的高速保序編碼器(HOPE)。HOPE是一個快速的基于字典的壓縮器，它可以對任意鍵進行編碼，同時保持它們的順序。HOPE的方法是在細粒度上識別常見的鍵模式，并利用熵實現小字典的高壓縮率。我們首先建立了一個理論模型來推理關于保留訂單的字典設計。在此基礎上，選取了6種具有代表性的壓縮方案，并進行了實驗驗證。這些方案在壓縮率和編碼速度之間進行了不同的權衡。我們對數據庫中使用的五種數據結構進行了評估:SuRF、ART、HOT、B+tree和Prefix B+tree。我們的實驗表明，對于大多數字符串鍵工作負載，使用HOPE允許搜索樹同時實現更低的查詢延遲(最多降低40%)和更好的內存效率(最多降低30%)。

摘要：

推薦系統經常面對包含高度個性化的用戶歷史數據的異構數據集，單個模型無法為每個用戶提供最佳的推薦。我們在公共和私有數據集上觀察到這種普遍存在的現象，并解決了為每個用戶優化推薦質量的模型選擇問題。我們提出了一個元學習框架，以促進用戶級自適應模型選擇推薦系統。在該框架中，用來自所有用戶的數據對推薦器集合進行訓練，在此基礎上通過元學習對模型選擇器進行訓練，為具有特定用戶歷史數據的每個用戶選擇最佳模型。我們在兩個公共數據集和一個真實的生產數據集上進行了大量的實驗，證明我們提出的框架在AUC和LogLoss方面實現了對單個模型基線和樣本級模型選擇器的改進。特別是，這些改進可能會帶來巨大的利潤收益時，部署在網上推薦系統。

地址：

//arxiv.org/abs/2001.10378