亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

我們研究了一組新的用于恢復損壞數據表示的逆問題。我們假設可以訪問預訓練過的表示學習網絡R(x)，該網絡對干凈的圖像進行操作，比如CLIP。問題是恢復圖像R(x)的表示，如果我們只給一個損壞的版本A(x)，已知的正向算子A。我們提出了一種監督逆方法，使用對比目標，以獲得高損壞圖像的優秀表示。在我們的魯棒表示上使用線性探針，在對各種類型的畸變圖像(包括模糊、加性噪聲和隨機像素掩蔽)進行分類時，我們實現了比端到端監督基線更高的精度。我們在ImageNet的一個子集上進行評估，并觀察到我們的方法對不同程度的失真具有魯棒性。我們的方法優于端到端基線，即使在廣泛的前向運算符中只有一小部分標記數據。

//www.zhuanzhi.ai/paper/32e282f3015909f2c6243

我們提出了一種新的方法來解開一組給定的觀察結果背后的變異的生成因素。我們想法是建立在可以顯式地建模為子流形乘積的數據空間的(未知的)低維流形。這種解糾纏的定義提出了一種新的弱監督算法，用于恢復數據背后的未知解釋因素。在訓練時，我們的算法只需要成對的非i.i.d.數據樣本，它們的元素共享至少一個，可能是多維的，產生變異的因素。我們不需要知道這些變換的性質，也不需要對每個子空間的性質做任何限制性的假設。我們的方法易于實現，并可以成功地應用于不同類型的數據(從圖像到三維表面)進行任意轉換。除了標準的合成基準外，我們還展示了我們在挑戰現實應用方面的方法，在現實應用中，我們可以與目前的技術水平想匹配。

//www.zhuanzhi.ai/paper/9e9f6d368f90ce8173994ac06faab1eb

神經網絡搜索的關鍵步驟之一是評估候選網絡結構的性能。現有方法要么直接在驗證集上測量網絡結構性能，要么學習一個預測器來估計性能。然而，這些方法要么計算成本高，要么非常不準確，這可能會嚴重影響搜索效率和性能。此外，由于很難在特定任務上對網絡結構進行準確的性能標注，因此很難訓練得到一個準確的性能預測器。在本文中，我們認為神經網絡搜索可能不需要評估候選網絡結構的絕對性能。相反，我們可能只需要得到一個網絡結構與基線結構的相對優劣就足以進行搜索。然而，如何利用相對優劣信息作為獎勵，以及如何很好地利用有限的標注網絡結構數據，仍然是兩個巨大的挑戰。對此，我們提出了一種新型的對比神經架構搜索方法，該方法利用網絡結構之間的對比結果作為獎勵來進行搜索。具體而言，我們設計了一個網絡結構比較器來估計候選網絡結構優于基線結構的概率。此外，受課程學習啟發，我們提出了一種基線結構更新方案，其可以在搜索過程中逐漸提升基線結構。我們還從理論上表明，學習網絡結構比較器和直接優化網絡結構間的排序是等價的。我們在三個搜索空間的進行了廣泛實驗，實驗結果證明了我們方法較現有方法的優越性。

//www.zhuanzhi.ai/paper/0a54d1bbf678ce4f33dc853415a33082

本文主要聚焦于小模型(即輕量型模型)的自監督學習問題，作者通過實證發現：對比自監督學習方法在大模型訓練方面表現出了很大進展，然這些方法在小模型上的表現并不好。

為解決上述問題，本文提出了一種新的學習框架：自監督蒸餾(SElf-SupErvised Distillation, SEED)，它通過自監督方式(SSL)將老師模型的知識表達能力遷移給學生模型。不同于直接在無監督數據上的直接學習，我們訓練學生模型去模擬老師模型在一組示例上的相似度得分分布。

所提SEED的簡潔性與靈活性不言而喻，包含這樣三點：(1) 無需任何聚類/元計算步驟生成偽標簽/隱類；(2) 老師模型可以通過優秀的自監督學習（比如MoCo-V2、SimCLR、SWAV等）方法進行預訓練；(3)老師模型的知識表達能力可以蒸餾到任意小模型中(比如更淺、更細，甚至可以是完全不同的架構)。

實驗表明：SEED可以提升小模型在下游任務上的性能表現。相比自監督基準MoCo-V2方案，在ImageNet數據集上，SEED可以將EfficientNet-B0的精度從42.2%提升到67.6%，將MobileNetV3-Large的精度從36.3%提升到68.2%，見下圖對比。

//arxiv.org/pdf/2101.04731.pdf

//www.zhuanzhi.ai/paper/d5394f35aef16fb3a4dca59d68fb1882

一個有效的神經網絡結構性能評估方案是神經網絡結構搜索(NAS)成功的關鍵。現有NAS算法通常在訓練時間有限的小型數據集上訓練和評估神經結構。但這樣一種粗糙的評估方式很難對神經網絡結構進行準確評估。本文提出一種新的神經網絡結構評價方案，旨在確定哪個神經網絡結構的性能更好，而不是精確地預測性能絕對值。因此，我們提出了一個結構相對性能預測NAS (ReNAS)。我們將神經結構編碼為特征張量，并利用預測器進一步細化表示。本方法可用于離散搜索，無需額外評估。在NASBench101數據集上抽樣424個(搜索空間的0.1%)神經架構及其標簽已經足夠學習一個準確的架構性能預測器。在NAS-Bench-101和NAS-Bench-201數據集上，我們搜索的神經結構的準確性高于最新的方法，顯示了本方法的優先性。

由于距離度量學習與深度神經網絡的無縫結合，近年來深度度量學習受到了廣泛的關注。許多人致力于設計不同的基于成對的角損失函數，將嵌入向量的大小和方向信息解耦，保證訓練和測試測度的一致性。但是，這些傳統的角度損失并不能保證在訓練階段所有的樣本嵌入都在同一個超球面上，這會導致批量優化時梯度不穩定，影響嵌入學習的快速收斂。本文首先研究了嵌入范數對角距離深度度量學習的影響，然后提出了一個球面嵌入約束(SEC)來規范范數的分布。SEC自適應地調整嵌入，以落在同一個超球體上，并執行更平衡的方向更新。在深度度量學習、人臉識別和對比自監督學習方面的大量實驗表明，基于SEC的角空間學習策略顯著提高了最先進的性能。

//arxiv.org/abs/2011.02785

我們解決了監督學習的特征化和尋找最優表示的問題。傳統上，這個問題通過使用信息瓶頸來解決，即壓縮輸入，同時保留關于目標的信息，這種方式與解碼器無關。然而，在機器學習中，我們的目標不是壓縮而是泛化，這與我們感興趣的預測族或譯碼器(例如線性分類器)密切相關。我們提出了可解碼信息瓶頸(DIB)，它從預期預測族的角度考慮信息的保留和壓縮。因此，DIB產生了預期測試性能方面的最優表示，并且可以在保證的情況下進行估計。實驗表明，該框架可以在下游分類器上施加一個小的泛化間隙，并預測神經網絡的泛化能力。

//www.zhuanzhi.ai/paper/89c6cd33631078ee766b8b8dc409a503

題目：

Con?dence-Aware Learning for Deep Neural Networks

簡介：

盡管深度神經網絡可以執行多種任務，但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題，但是大多數工作需要在訓練和/或推理階段增加計算成本，或者需要定制的體系結構來分別輸出置信估計。在本文中，我們提出了一種使用新的損失函數訓練深度神經網絡的方法，稱為正確排名損失，該方法將類別概率顯式規范化，以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現，并且無需進行任何修改即可應用于現有體系結構。而且，它的訓練計算成本幾乎與傳統的深度分類器相同，并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明，所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明，它對于與置信估計，分布外檢測和主動學習密切相關的任務十分有效。