題目： Smooth Adversarial Training
摘要：
人們通常認為，網絡不能兼具準確性和魯棒性，獲得魯棒性意味著失去準確性。還普遍認為，除非擴大網絡規模，否則網絡架構元素對提高對抗性的健壯性影響不大。本文通過對對抗訓練的仔細研究，提出了挑戰這些共同信念的證據。主要觀察結果是，廣泛使用的ReLU激活功能由于其不平滑的特性而大大削弱了對抗訓練。因此，提出了平滑對抗訓練（SAT），在其中我們用ReLU平滑近似代替了ReLU，以加強對抗訓練。SAT中平滑激活函數的目的是使它能夠找到更難的對抗示例，并在對抗訓練期間計算出更好的梯度更新。與標準的對抗訓練相比，SAT提高了“free”的對抗魯棒性，即準確性沒有降低，計算成本也沒有增加。例如，在不引入其他計算的情況下，SAT可將ResNet-50的魯棒性從33.0％提高到42.3％，同時還將ImageNet的準確性提高0.9％。SAT在較大的網絡上也能很好地工作：它可以幫助EfficientNet-L1在ImageNet上實現82.2％的準確性和58.6％的魯棒性，在準確性和魯棒性方面分別比以前的最新防御提高9.5％和11.6％。
付費5元查看完整內容
相關內容
題目： Adversarial Training for Large Neural Language Models
簡介： 泛化性和魯棒性都是設計機器學習方法的關鍵要求。對抗性訓練可以增強魯棒性，但是過去的工作常常發現它不利于推廣。在自然語言處理（NLP）中，預訓練大型神經語言模型（例如BERT）在針對各種任務的通用化方面顯示出令人印象深刻的收益，而從對抗性微調中得到了進一步的改進。但是，這些模型仍然容易受到對抗性攻擊。在本文中，我們表明對抗性預訓練可以同時提高泛化性和魯棒性。我們提出了一種通用算法ALUM（大型神經語言模型的專家訓練），該算法通過在嵌入空間中應用擾動來最大化訓練目標，從而使對抗性損失最大化。我們將對所有階段的對抗訓練進行全面的研究，包括從頭開始進行預訓練，在訓練有素的模型上進行連續的預訓練以及針對特定任務的微調。在常規和對抗性方案中，在各種NLP任務上，ALUM都比BERT獲得了可觀的收益。即使對于已經在超大型文本語料庫上進行過良好訓練的模型（例如RoBERTa），ALUM仍可以通過連續的預訓練獲得可觀的收益，而傳統的非對抗方法則不能。可以將ALUM與特定于任務的微調進一步結合以獲取更多收益。
付費5元查看完整內容
題目： Supervised Contrastive Learning
簡介： 交叉熵是在圖像分類模型的有監督訓練中使用最廣泛的損失函數。在本文中，我們提出了一種新穎的訓練方法，該方法在跨不同體系結構和數據擴充的監督學習任務上始終優于交叉熵。我們修改了批處理的對比損失，最近已證明該方法對于在自我監督的情況下學習強大的表示非常有效。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類別的點的群集在嵌入空間中聚在一起，同時將不同類別的樣本群集推開。除此之外，我們還利用了關鍵成分，例如大批處理量和標準化的嵌入，這些成分已顯示出對自我監督學習的好處。在ResNet-50和ResNet-200上，我們的交叉熵均超過1％，在使用AutoAugment數據增強的方法中，新的技術水平達到了78.8％。損失還顯示出明顯的好處，即可以在標準基準和準確性方面提高對自然基準的自然破壞的魯棒性。與交叉熵相比，我們監督的對比損失對于諸如優化器或數據增強之類的超參數設置更穩定。
付費5元查看完整內容
許多深度神經網絡的訓練算法可以解釋為最小化網絡預測與目標分布之間的交叉熵損失。在監督學習中，這種目標分布通常是一個one hot向量。在半監督學習中，這種目標分布通常是由一個預先訓練好的教師模型來訓練主網絡生成的。在這項工作中，我們沒有使用這種預定義的目標分布，而是證明了學習根據主網絡的學習狀態來調整目標分布可以獲得更好的性能。特別地，我們提出了一種有效的元學習算法，該算法鼓勵教師以改善主網絡學習的方式來調整訓練樣本的目標分布。教師通過在一個預定的驗證集上評估主網絡計算出的策略梯度來更新。我們的實驗證明了在強基線上的重大改進，并在CIFAR-10、SVHN和ImageNet上建立了最新的性能。例如，使用小型數據集上的ResNets，我們在CIFAR-10上實現了96.1%(包含4,000個標記示例)，在ImageNet上實現了73.9%(包含10%示例)的top-1。同時，在完整的數據集上加上額外的未標記數據，我們在CIFAR-10上獲得98.6%的準確率，在ImageNet上獲得86.9%的top-1的準確率。
付費5元查看完整內容
主題： Manifold Regularization for Adversarial Robustness
摘要： 流形正則化是一種在輸入數據的內在幾何上懲罰學習函數復雜性的技術。我們發展了一個與“局部穩定”學習函數的聯系，并提出了一個新的正則化項來訓練對一類局部擾動穩定的深度神經網絡。這些正則化器使我們能夠訓練一個網絡，使其在CIFAR-10上達到70%的最新魯棒精度，以對抗PGD敵手，使用大小為8/255的?∞擾動。此外，我們的技術不依賴于任何對抗性例子的構造，因此比對抗性訓練的標準算法運行速度快幾個數量級。
付費5元查看完整內容
題目
自監督圖像分類：Self-training with Noisy Student improves ImageNet classification
關鍵字
圖像分類，自監督學習，計算機視覺，深度學習，人工智能
簡介
我們提出了一種簡單的自我訓練方法，該方法可在ImageNet上達到88.4％的top-1準確性，這比要求3.5B弱標記Instagram圖像的最新模型高2.0％。在健壯性測試集上，它將ImageNet-A top-1的準確性從61.0％提高到83.7％，將ImageNet-C的平均損壞錯誤從45.7降低到28.3，并將ImageNet-P的平均翻轉率從27.8降低到12.2。
為了獲得此結果，我們首先在標記的ImageNet圖像上訓練EfficientNet模型，并將其用作教師，以在300M未標記的圖像上生成偽標記。然后，我們將更大的EfficientNet訓練為帶有標記和偽標記圖像組合的學生模型。我們通過讓學生作為老師來迭代此過程。在偽標簽的生成過程中，不會對教師產生干擾，從而使偽標簽盡可能準確。但是，在學生學習期間，我們通過RandAugment向學生注入諸如輟學，隨機深度和數據增強之類的噪聲，從而使學生的普遍性優于老師。
作者
Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le
付費5元查看完整內容
題目：* Certified Adversarial Robustness with Additive Noise
摘要：
對抗性數據實例的存在引起了深度學習社區的高度重視;相對于原始數據，這些數據似乎受到了最小程度的干擾，但從深度學習算法得到的結果卻非常不同。盡管已經考慮了開發防御模型的大量工作，但大多數此類模型都是啟發式的，并且常常容易受到自適應攻擊。人們對提供理論魯棒性保證的防御方法進行了深入的研究，但是當存在大規模模型和數據時，大多數方法都無法獲得非平凡的魯棒性。為了解決這些限制，我們引入了一個可伸縮的框架，并為構造對抗性示例提供了輸入操作規范的認證邊界。我們建立了對抗擾動的魯棒性與加性隨機噪聲之間的聯系，并提出了一種能顯著提高驗證界的訓練策略。我們對MNIST、CIFAR-10和ImageNet的評估表明，該方法可擴展到復雜的模型和大型數據集，同時對最先進的可證明防御方法具有競爭力的魯棒性。
作者簡介：
Changyou Chen是紐約州立大學布法羅分校計算機科學與工程系的助理教授，研究興趣包括貝葉斯機器學習、深度學習和深度強化學習。目前感興趣的是:大規模貝葉斯抽樣和推理、深度生成模型，如VAE和GAN、用貝葉斯方法進行深度強化學習。
付費5元查看完整內容
We propose a flipped-Adversarial AutoEncoder (FAAE) that simultaneously trains a generative model G that maps an arbitrary latent code distribution to a data distribution and an encoder E that embodies an "inverse mapping" that encodes a data sample into a latent code vector. Unlike previous hybrid approaches that leverage adversarial training criterion in constructing autoencoders, FAAE minimizes re-encoding errors in the latent space and exploits adversarial criterion in the data space. Experimental evaluations demonstrate that the proposed framework produces sharper reconstructed images while at the same time enabling inference that captures rich semantic representation of data.
We introduce an effective model to overcome the problem of mode collapse when training Generative Adversarial Networks (GAN). Firstly, we propose a new generator objective that finds it better to tackle mode collapse. And, we apply an independent Autoencoders (AE) to constrain the generator and consider its reconstructed samples as "real" samples to slow down the convergence of discriminator that enables to reduce the gradient vanishing problem and stabilize the model. Secondly, from mappings between latent and data spaces provided by AE, we further regularize AE by the relative distance between the latent and data samples to explicitly prevent the generator falling into mode collapse setting. This idea comes when we find a new way to visualize the mode collapse on MNIST dataset. To the best of our knowledge, our method is the first to propose and apply successfully the relative distance of latent and data samples for stabilizing GAN. Thirdly, our proposed model, namely Generative Adversarial Autoencoder Networks (GAAN), is stable and has suffered from neither gradient vanishing nor mode collapse issues, as empirically demonstrated on synthetic, MNIST, MNIST-1K, CelebA and CIFAR-10 datasets. Experimental results show that our method can approximate well multi-modal distribution and achieve better results than state-of-the-art methods on these benchmark datasets. Our model implementation is published here: //github.com/tntrung/gaan
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191