我們提出了一個概念上簡單且輕量級的框架，通過結合知識蒸餾和數據增強來提高視覺模型的魯棒性。我們解決了更大模型并不意味著更好的教師這一猜想，通過展示從預訓練基礎模型進行蒸餾時對于分布外魯棒性的顯著增益。基于這一發現，我們提出了離散對抗蒸餾 (DAD)，它利用一個魯棒的教師生成對抗樣本，并使用VQGAN對它們進行離散化，從而創造出比標準數據增強技術更有信息量的樣本。我們為在知識蒸餾與數據增強環境下使用魯棒教師提供了一個理論框架，并展示了在不同學生架構上對于分布外魯棒性和干凈準確性的顯著增益。值得注意的是，與類似技術相比，我們的方法只增加了微小的計算開銷，并且可以輕松地與其他數據增強結合以進一步提高效果。
付費5元查看完整內容
相關內容
在這項工作中，我們旨在在兩大重要的機器學習研究領域之間建立緊密聯系：持續學習和序列建模。也就是說，我們建議將持續學習表述為一個序列建模問題，從而允許使用先進的序列模型來進行持續學習。在此表述下，持續學習過程變成了序列模型的前向傳遞。通過采用元持續學習（MCL）框架，我們可以在元級上訓練序列模型，處理多個持續學習情節。作為我們新表述的一個具體示例，我們展示了Transformers及其高效變體作為MCL方法的應用。我們在七個基準測試上的實驗，涵蓋了分類和回歸，顯示序列模型可以成為一般MCL的有吸引力的解決方案。
付費5元查看完整內容
強化學習（RL）的兩個主要挑戰是設計適當的獎勵函數和確保學習策略的安全性。為解決這些挑戰，我們提出了一個用于受限馬爾可夫決策過程中的反向強化學習（IRL）的理論框架。從凸分析的角度出發，我們擴展了關于獎勵可識別性和泛化性的先前結果，使其適用于受限環境和更一般的正則化類。特別地，我們表明，相對于潛在塑造（Cao等人，2021）的可識別性是熵正則化的結果，并且在其他正則化或安全性約束存在時，一般可能不再適用。我們還表明，為了確保對新的轉移法則和約束的泛化能力，必須識別出真實獎勵到一個常數。此外，我們得出了學習獎勵次優性的有限樣本保證，并在網格世界環境中驗證了我們的結果。
付費5元查看完整內容
最近的一些研究闡明了為什么知識蒸餾(KD)可以提高模型性能。然而，KD算法除了能提高模型性能外，還具有其他優點，目前研究較少。在這項研究中，我們試圖表明KD增強了模型的可解釋性和準確性。我們測量了網絡解剖中識別的概念檢測器的數量，以定量比較模型的可解釋性。我們將可解釋性的提高歸因于從教師模型傳遞到學生模型的類相似度信息。首先，通過logit蒸餾確定類相似度信息從教師模型向學生模型的遷移;然后，從類相似信息的存在與否和相似信息的程度兩個方面分析了類相似信息對模型可解釋性的影響;我們進行了各種定量和定性的實驗，并根據不同的數據集、不同的KD方法和不同的可解釋性度量檢查了結果。我們的研究表明，由大型模型組成的KD模型可以更可靠地應用于各種領域。
付費5元查看完整內容
從合成生物學到計算機架構，計算設計問題出現在許多環境中。在本文中，我們的目標是解決基于數據驅動模型的優化(MBO)問題，其中的目標是找到一個設計輸入，使一個未知的目標函數最大化，只提供訪問先前實驗的靜態數據集。這種數據驅動的優化過程是許多現實領域中唯一實用的方法，在這些領域中，主動數據收集是昂貴的(如優化蛋白質)或危險的(如優化飛機設計)。針對已知模型優化設計的典型MBO方法遭遇了分布轉移:很容易找到一種設計，它“愚弄”了模型，使其預測出高價值。為了克服這一點，我們提出了保守目標模型(COMs)，一種學習目標函數模型的方法，該模型下界的真實目標的實際值在非分布輸入外，并使用它進行優化。在結構上，COMs類似于用來克服對抗性例子的對抗性訓練方法。COM易于實現，并且在許多MBO問題上優于現有的一些方法，包括優化蛋白質序列、機器人形態、神經網絡權值和超導材料。
付費5元查看完整內容
協同過濾(CF)作為推薦系統的一種基本方法，通常建立在具有可學習參數的潛在因子模型上，預測用戶對產品的偏好。但是，為給定的數據設計適當的CF模型并不容易，因為數據集的屬性是高度多樣化的。在本文中，基于自動機器學習(AutoML)的最新進展，我們提出利用AutoML技術設計一個數據特定的CF模型。這里的關鍵是一個新的框架，它將最先進的CF方法統一起來，并將它們劃分為輸入編碼、嵌入函數、交互函數和預測函數等不相交的階段。我們進一步開發了一種易于使用、健壯和高效的搜索策略，它利用隨機搜索和性能預測器在上述框架內進行高效搜索。通過這種方式，我們可以從SOTA模型中組合概括出文獻中沒有訪問過的特定于數據的CF模型。在五個真實數據集上的大量實驗表明，對于各種CF任務，我們的方法可以持續優于SOTA方法。進一步的實驗驗證了所提框架的合理性和搜索策略的有效性。搜索的CF模型還可以為將來探索更有效的方法提供見解。
付費5元查看完整內容
最近利用圖神經網絡來處理圖匹配任務的研究已經顯示出了良好的結果。離散分布學習的最新進展為學習圖匹配模型提供了新的機會。在此工作中，我們提出了一個新的模型，隨機迭代圖匹配(SIGMA)，以解決圖匹配問題。我們的模型定義了一個圖對匹配的分布，因此模型可以探索更廣泛的可能的匹配。我們進一步介紹了一種新的多步匹配方法，該方法學習如何逐步地改進圖對的匹配結果。該模型還包括虛擬節點，因此模型不必為沒有對應關系的節點尋找匹配。我們通過可擴展的隨機優化方法將該模型與數據擬合。我們在合成圖形數據集以及生物化學和計算機視覺應用中進行了廣泛的實驗。在所有任務中，我們的結果表明，與最先進的模型相比，SIGMA可以產生顯著改善的圖匹配結果。消融實驗研究證實，我們的每個組件(隨機訓練、迭代匹配和虛擬節點)提供了顯著的改進。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
由不同的隨機初始化訓練的神經網絡權重集合，被稱為深度集合，實現了最先進的精度和校準。最近引入的批量集成提供了一個更有效的參數替換。在本文中，我們不僅設計了權值，而且設計了超參數，以改善這兩種情況下的技術狀況。為了獲得不依賴預算的最佳性能，我們提出了超深集合，這是一個簡單的過程，涉及對不同超參數的隨機搜索，它們本身在多個隨機初始化中分層。其強大的性能突出的好處，結合模型的重量和超參數多樣性。在批量集成和自調優網絡的基礎上，進一步提出了參數高效的超批量集成。該方法的計算和內存成本明顯低于典型的集成。在圖像分類任務上，通過MLP、LeNet和Wide ResNet 28-10架構，我們的方法在深度和批處理集成上都有所改進。
付費5元查看完整內容
平移的不變性為卷積神經網絡注入了強大的泛化特性。然而，我們通常無法預先知道數據中存在哪些不變性，或者模型在多大程度上應該對給定的對稱組保持不變。我們展示了如何通過參數化增強分布和同時優化網絡參數和增強參數的訓練損失來學習不變性和等方差。通過這個簡單的過程，我們可以在一個很大的擴充空間中，僅在訓練數據上，恢復圖像分類、回歸、分割和分子性質預測上的正確不變量集和范圍。
付費5元查看完整內容
現有的語義分割模型嚴重依賴于密集的像素級標注。為了減少標注的壓力，我們專注于一項具有挑戰性的任務，即零標注語義分割，它的目標是用零標注分割不可見的對象。這一任務可以通過語義詞嵌入在類別間傳遞知識來完成。在本文中，我們提出了一種新的基于上下文的零樣本分割特征生成方法——CaGNet。特別是在觀察到像素級特征高度依賴上下文信息的情況下，我們在分割網絡中插入上下文模塊來捕獲像素級特征的上下文信息，從而指導語義詞嵌入生成更加多樣化和上下文感知的特征的過程。我們的方法在三個基準數據集上實現了最先進的零樣本分割結果。代碼可在:this https URL獲得。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191