亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Smooth Adversarial Training

摘要：

人們通常認為，網絡不能兼具準確性和魯棒性，獲得魯棒性意味著失去準確性。還普遍認為，除非擴大網絡規模，否則網絡架構元素對提高對抗性的健壯性影響不大。本文通過對對抗訓練的仔細研究，提出了挑戰這些共同信念的證據。主要觀察結果是，廣泛使用的ReLU激活功能由于其不平滑的特性而大大削弱了對抗訓練。因此，提出了平滑對抗訓練（SAT），在其中我們用ReLU平滑近似代替了ReLU，以加強對抗訓練。SAT中平滑激活函數的目的是使它能夠找到更難的對抗示例，并在對抗訓練期間計算出更好的梯度更新。與標準的對抗訓練相比，SAT提高了“free”的對抗魯棒性，即準確性沒有降低，計算成本也沒有增加。例如，在不引入其他計算的情況下，SAT可將ResNet-50的魯棒性從33.0％提高到42.3％，同時還將ImageNet的準確性提高0.9％。SAT在較大的網絡上也能很好地工作：它可以幫助EfficientNet-L1在ImageNet上實現82.2％的準確性和58.6％的魯棒性，在準確性和魯棒性方面分別比以前的最新防御提高9.5％和11.6％。

主題： TOPOLOGY OF DEEP NEURAL NETWORKS

摘要： 我們研究數據集M=Ma∪Mb?Rd的拓撲結構如何表示二進制分類問題中的兩個類別a和b，如何通過經過良好訓練的神經網絡的層而發生變化，即在訓練集和接近零的泛化誤差（≈0.01％）。目的是揭示深層神經網絡的兩個奧秘：（i）像ReLU這樣的非平滑激活函數要優于像雙曲正切這樣的平滑函數； （ii）成功的神經網絡架構依賴于多層結構，即使淺層網絡可以很好地近似任意函數。我們對大量點云數據集的持久同源性進行了廣泛的實驗，無論是真實的還是模擬的。結果一致地證明了以下幾點：（1）神經網絡通過更改拓撲結構來運行，將拓撲復雜的數據集在穿過各層時轉換為拓撲簡單的數據集。無論M的拓撲多么復雜，當通過訓練有素的神經網絡f：Rd→Rp時，Ma和Mb的貝蒂數都會大大減少；實際上，它們幾乎總是減小到可能的最低值：對于k≥1和β0（f（Mi））= 1，i = a，b，βk（f（Mi））= 0。此外，（2）ReLU激活的Betti數減少比雙曲線切線激活快得多，因為前者定義了改變拓撲的非同胚映射，而后者定義了保留拓撲的同胚映射。最后，（3）淺層和深層網絡以不同的方式轉換數據集-淺層網絡主要通過更改幾何結構并僅在其最終層中更改拓撲來運行，而深層網絡則將拓撲變化更均勻地分布在所有層中。

對抗攻擊的最新進展揭示了現代深層神經網絡的內在弱點。從那時起，人們就致力于通過專門的學習算法和損失函數來增強深度網絡的魯棒性。在這項工作中，我們從體系結構的角度研究了網絡體系結構的模式，這些模式對對抗攻擊具有彈性。為了獲得本研究所需的大量網絡，我們采用單次神經結構搜索，對一個大網絡進行一次訓練，然后對采樣的子網絡進行細化。采樣的結構及其實現的精度為我們的研究提供了豐富的基礎。我們的“健壯架構Odyssey”揭示了幾個有價值的觀察結果:1)緊密連接的模式提高了健壯性;2)在計算預算下，直接連接邊加入卷積運算是有效的;3)求解過程流(FSP)矩陣是網絡魯棒性的良好指標。基于這些觀察，我們發現了一系列健壯的體系結構(RobNets)。在各種數據集上，包括CIFAR、SVHN、Tiny-ImageNet和ImageNet，與其他廣泛使用的體系結構相比，RobNets具有更好的健壯性性能。值得注意的是，在白盒和黑箱攻擊下，即使參數數更少，RobNets也能顯著提高魯棒精度(~5%的絕對增益)。

標題

對抗特征幻覺網絡的小樣本學習，Adversarial Feature Hallucination Networks for Few-Shot Learning

關鍵字

小樣本學習，神經網絡，生成對抗網絡，機器學習，人工智能

簡介

最近在各種任務中進行的深度學習蓬勃發展，在很大程度上已經獲得了豐富且可訪問的標記數據的認可。 盡管如此，對于許多實際應用而言，大量的監督仍然是奢侈的事情，這引起了人們對標簽稀缺技術的極大興趣，例如小樣本學習（FSL），旨在通過少量標簽樣本學習新類的概念。 FSL的自然方法是數據擴充，許多最近的工作通過提出各種數據綜合模型證明了其可行性。 但是，這些模型不能很好地確保合成數據的可分辨性和多樣性，因此經常會產生不良結果。 在本文中，我們提出了基于條件Wasserstein生成對抗網絡（cWGAN）的對抗特征幻覺網絡（AFHN），并幻化了以少量標記樣本為條件的各種和判別特征。 兩種新穎的正則化器，即分類正則器和反崩潰正則器，被合并到AFHN中以分別促進合成特征的可辨別性和多樣性。 消融研究驗證了所提出的基于cWGAN的特征幻覺框架和所提出的調節器的有效性。 在三個常見基準數據集上的比較結果證實了AFHN優于現有的基于數據增強的FSL方法和其他最新方法的優越性。

作者

Kai Li, Yulun Zhang, Kunpeng Li, Yun Fu，波士頓東北大學電氣與計算機工程系

題目： Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要： 貝葉斯神經網絡(BNNs)訓練來優化整個分布的權重，而不是一個單一的集合，在可解釋性、多任務學習和校準等方面具有顯著的優勢。由于所得到的優化問題的難解性，大多數BNNs要么通過蒙特卡羅方法采樣，要么通過在變分近似上最小化一個合適的樣本下界(ELBO)來訓練。在這篇論文中，我們提出了后者的一個變體，其中我們用最大平均偏差(MMD)估計器代替了ELBO項中的Kullback-Leibler散度，這是受到了最近的變分推理工作的啟發。在根據MMD術語的性質提出我們的建議之后，我們接著展示了公式相對于最先進的公式的一些經驗優勢。特別地，我們的BNNs在多個基準上實現了更高的準確性，包括多個圖像分類任務。此外，它們對權重上的先驗選擇更有魯棒性，而且它們的校準效果更好。作為第二項貢獻，我們提供了一個新的公式來估計給定預測的不確定性，表明與更經典的標準(如微分熵)相比，它在對抗攻擊和輸入噪聲的情況下表現得更穩定。

Dropout是一種廣泛使用的正則化技術，通常需要為許多體系結構獲得最先進的技術。這項工作表明，dropout引入了兩種截然不同但相互糾纏的正則化效應:由于dropout修改了預期的訓練目標而產生的顯式效應(在之前的工作中也研究過)，以及可能令人驚訝的是，dropout訓練更新中的隨機性帶來的另一種隱式效應。這種隱式正則化效應類似于小批量隨機梯度下降中的隨機度效應。我們通過控制實驗把這兩種效應分開。然后，我們推導出分析的簡化，用模型的導數和損失來描述每個影響，對于深度神經網絡。我們證明了這些簡化的、解析的正則化器準確地捕獲了輟學的重要方面，表明它們在實踐中忠實地替代了dropout。

題目：* Certified Adversarial Robustness with Additive Noise

摘要：

對抗性數據實例的存在引起了深度學習社區的高度重視;相對于原始數據，這些數據似乎受到了最小程度的干擾，但從深度學習算法得到的結果卻非常不同。盡管已經考慮了開發防御模型的大量工作，但大多數此類模型都是啟發式的，并且常常容易受到自適應攻擊。人們對提供理論魯棒性保證的防御方法進行了深入的研究，但是當存在大規模模型和數據時，大多數方法都無法獲得非平凡的魯棒性。為了解決這些限制，我們引入了一個可伸縮的框架，并為構造對抗性示例提供了輸入操作規范的認證邊界。我們建立了對抗擾動的魯棒性與加性隨機噪聲之間的聯系，并提出了一種能顯著提高驗證界的訓練策略。我們對MNIST、CIFAR-10和ImageNet的評估表明，該方法可擴展到復雜的模型和大型數據集，同時對最先進的可證明防御方法具有競爭力的魯棒性。

作者簡介：

Changyou Chen是紐約州立大學布法羅分校計算機科學與工程系的助理教授，研究興趣包括貝葉斯機器學習、深度學習和深度強化學習。目前感興趣的是:大規模貝葉斯抽樣和推理、深度生成模型，如VAE和GAN、用貝葉斯方法進行深度強化學習。