亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在充分利用大量未標記數據的同時，從少量帶標記的樣例中學習的一種模式是，先進行無監督的預訓練，然后進行有監督的微調。盡管與計算機視覺半監督學習的常見方法相比，這種范式以任務無關的方式使用未標記數據，但我們證明它對于ImageNet上的半監督學習非常有效。我們方法的一個關鍵要素是在訓練前和微調期間使用大的(深度和廣度的)網絡。我們發現，標簽越少，這種方法(使用未標記數據的任務無關性)從更大的網絡中獲益越多。經過微調后，通過第二次使用未標記的例子，將大的網絡進一步改進，并以特定任務的方式將其精簡為分類精度損失很小的小網絡。本文提出的半監督學習算法可歸納為三個步驟: 使用SimCLRv2對一個大的ResNet模型進行無監督的預訓練，對少量帶標記的樣例進行有監督的微調，以及對未帶標記的樣例進行精化和傳遞特定任務的知識。使用ResNet-50，該程序僅使用1%的標簽(每個類別≤13張標記圖像)，就實現了73.9%的ImageNet top-1精度，比以前的最先進的標簽效率提高了10倍。對于10%的標簽，ResNet-50用我們的方法訓練達到77.5%的top-1準確性，優于所有標簽的標準監督訓練。

//www.zhuanzhi.ai/paper/0c81b63b2aaae1ae2cc1a9b0fbb382b2

搜索引擎已經成為各種web和移動應用程序的基本組件。從海量數據集中檢索相關文檔對于搜索引擎系統來說是一項挑戰，尤其是在遇到冗長或尾部查詢時。在本文中，我們探索了一個向量空間搜索框架的文檔檢索。具體地說，我們訓練了一個深度語義匹配模型，使每個查詢和文檔都可以編碼為低維嵌入。我們的模型是基于BERT架構進行訓練的。我們為在線服務部署了一個快速的k-近鄰索引服務。離線和在線指標都表明，我們的方法大大提高了檢索性能和搜索質量，特別是尾部查詢。

//www.zhuanzhi.ai/paper/98c122f66125ade0ad73761f23bab2f4

Go Wide, Then Narrow: Efficient Training of Deep Thin Networks

為了將深度學習模型部署到生產中，它需要準確和緊湊，以滿足延遲和內存的限制。這通常會導致網絡的深度(以確保性能)和瘦(以提高計算效率)。本文提出了一種在理論保證下訓練深薄網絡的有效方法。我們的方法是由模型壓縮驅動的。它由三個階段組成。在第一階段，我們充分拓寬深薄網絡，并訓練它直到收斂。在第二階段，我們使用這個訓練良好的深寬網絡來預熱(或初始化)原始的深薄網絡。這是通過讓瘦網絡從層到層模擬寬網絡的直接輸出來實現的。在最后一個階段，我們進一步優化這個初始化良好的深薄網絡。通過平均場分析，建立了理論保證，表明了分層模擬比傳統的反向傳播從頭開始訓練深薄網絡的優越性。我們還進行了大規模的實證實驗來驗證我們的方法。通過使用我們的方法進行訓練，ResNet50可以超過ResNet101, BERTBASE可以與BERTLARGE相媲美，后者的模型都是通過文獻中的標準訓練程序進行訓練的。

題目： Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors

摘要：

貝葉斯神經網絡(BNNs)在提高現代深度學習的魯棒性和不確定性量化方面取得了成功。然而，它們通常在規模和參數效率上與欠擬合作斗爭。另一方面，深度集成已成為不確定性量化的替代方案，雖然在某些問題上表現優于BNNs，但也存在效率問題。目前還不清楚如何結合這兩種方法的優點并糾正它們的共同問題。為了解決這個問題，我們提出一個BNNs的秩-1參數化，其中每個權矩陣只涉及一個秩-1子空間上的分布。我們還重新使用混合近似后驗來捕獲多個模式，與典型的混合不同，這種方法允許的內存增加要小得多(例如，對于大小為10的ResNet-50混合，僅增加0.4%)。我們進行了一個系統的實證研究來改善訓練。對于ImageNet上的ResNet-50、CIFAR-10/100上的ResNet 28-10和MIMIC-III上的RNN, rank-1 BNNs在測試集和out- distribution變體上的對數似然、準確性和校準方面實現了最先進的性能。

在需要平衡性能和參數效率的應用中，選擇深度神經網絡結構是一個基本問題。標準方法依賴于特定數據集上的特別工程或計算上昂貴的驗證。相反，我們試圖通過網絡的內在能力來量化網絡的獨特性和健壯性，從而在不需要任何數據的情況下進行有效的架構比較。基于深度學習和稀疏逼近之間的理論聯系，我們提出了深度框架潛力:一種與表征穩定性近似相關的相干性度量，但具有僅依賴于網絡結構的最小值。這為聯合量化架構超參數(如深度、寬度和跳過連接)的貢獻提供了一個框架。我們驗證了它作為模型選擇標準的作用，并證明了它與各種通用殘差和密集連接的網絡架構上的泛化誤差之間的相關性。