深度學習經歷了巨大的增長，這主要得益于更強大的計算機、更大數據集的可用性和軟件基礎設施的進步，而深度神經網絡在機器學習中考慮的幾乎每一項任務中都設置了新的最先進的技術。深度神經網絡在經驗上的成功是無可爭議的，但我們對這些模型為什么有效(當它們有效時)的理解仍然有很大的差距，而且它們可能以令人驚訝的方式失敗(當被篡改時)。本文研究了為什么強大的深度神經網絡有時會失敗，以及可以做什么來防止這種情況。雖然深度神經網絡對隨機噪聲具有很強的魯棒性，但已有研究表明，在面對所謂的對抗性例子時，它們的準確性會急劇下降，即輸入信號的專門設計的小擾動，通常是人類無法察覺的，足以導致模型輸出的大變化。這種明顯的脆弱性令人擔憂，因為深度神經網絡開始在現實世界中激增，包括在安全關鍵部署中。最直接和流行的魯棒化策略稱為對抗訓練，它在訓練過程中使用對抗例子作為數據增強。本文在深度神經網絡的對抗性訓練和算子范數正則化之間建立了理論聯系。證明了?p -范數約束的投影梯度上升對抗性訓練，在干凈和擾動輸入的logits上具有?q -范數損失，與數據依賴(p, q)算子范數正則化等價。這種基本聯系證實了長期存在的論點，即網絡對對抗性樣本的敏感性與其譜特性有關，并暗示了增強和抵御對抗性攻擊的新方法。我們還提出了一種利用對抗性攻擊引入的某些異常的檢測方法。具體來說，我們提出了一種測量特征表示和對數概率在噪聲下如何變化的方法:如果輸入是對位攝動的，噪聲誘導的特征變化傾向于有一個特征方向，而如果輸入是自然的，它傾向于沒有任何特定的方向。我們評估了針對強迭代攻擊的方法，并表明即使對手意識到防御也無法躲過我們的檢測器。
量化對抗脆弱性的首選策略是針對特定的攻擊算法評估模型。然而，這種方法本身就有局限性，因為它很少提及模型對不包括在評估中的更強大攻擊的魯棒性。我們開發了一個統一的數學框架來描述基于松弛的魯棒性認證方法，它超越了對手特定的魯棒性評估，而是提供了可證明的魯棒性保證，以抵御任何對手的攻擊。
我們還提出一種新的正則化方法來穩定生成對抗網絡(GANs)的訓練。我們證明了使用噪聲或卷積密度的訓練等價于基于梯度的鑒別器正則化，這產生了一個更平滑的鑒別器家族，而不必顯式地添加噪聲。由此產生的正則化器是一種簡單而有效的GAN目標修改，計算成本低，產生穩定的GAN訓練過程。 我們還研究了貝葉斯神經網絡(BNN)，它學習模型參數的分布，或者等效地對可能模型的集合進行抽樣，而不是優化單個網絡。盡管貝葉斯神經網絡有望獲得更好的泛化性能(無過擬合)和原則性的不確定性量化(穩健預測)，但是，貝葉斯神經網絡的使用仍然受到限制。
我們通過仔細的MCMC抽樣證明，與SGD獲得的點估計等更簡單的方法相比，貝葉斯后驗預測誘導的后驗預測系統地產生了更糟糕的預測。另一方面，我們證明了貝葉斯預測性能可以通過使用夸大證據的“冷后驗”顯著提高。這種冷后驗嚴重偏離貝葉斯范式，但通常被用作貝葉斯深度學習中的啟發式。我們的研究結果對目前對貝葉斯深度學習的理解提出了質疑，并表明現在是時候關注理解冷后視表現改善的起源了。
付費5元查看完整內容
相關內容
蘇黎世聯邦理工學院（德語名Eidgen?ssische Technische Hochschule Zürich，簡稱ETH Zürich，英文名Swiss Federal Institute of Technology Zurich ）是瑞士聯邦政府為了國家工業化的需要，在1855年建立的第一所由聯邦所屬的大學。在歐洲乃至世界擁有崇高的聲望，被稱為歐陸第一校。2015/16 THE世界大學排名第9位，2016/17 QS世界大學排名第8位。
盡管深度學習取得了理論成就和令人鼓舞的實踐結果，但在推理、因果推理、可解釋性和可解釋性等許多領域仍然存在局限性。從應用程序的角度來看，最有效的限制之一與這些系統的魯棒性有關。事實上，目前的深度學習解決方案都沒有告知它們是否能夠在推理過程中對一個例子進行可靠的分類。現代神經網絡通常過于自信，即使它們是錯誤的。因此，構建魯棒的深度學習應用是當前計算機視覺、自然語言處理和許多其他領域的前沿研究課題。構建更可靠的深度學習解決方案最有效的方法之一是提高它們在所謂分布外檢測任務中的性能，所謂分布外檢測任務本質上是由“知道你不知道”或“知道未知”組成的。換句話說，當提交神經網絡未訓練的類實例時，具有分布外檢測能力的系統可能會拒絕執行無意義的分類。本文通過提出新的損失函數和檢測分數來解決目標性分布不均檢測任務。不確定性估計也是構建更魯棒的深度學習系統的關鍵輔助任務。因此，我們也處理這個與魯棒性相關的任務，它評估由深度神經網絡呈現的概率有多真實。為了證明我們的方法的有效性，除了大量的實驗，其中包括最新的結果，我們使用基于最大熵原理的論點來建立所提出的方法的理論基礎。與大多數當前的方法不同，我們的損失和得分是無縫的和有原則的解決方案，除了快速和有效的推斷，還能產生準確的預測。此外，我們的方法可以并入到當前和未來的項目中，只需替換用于訓練深度神經網絡的損失，并計算一個快速的檢測評分。
付費5元查看完整內容
設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。
付費5元查看完整內容
本文的目標是發展人工神經網絡學習的優化和泛化理論基礎。這篇論文涉及兩個核心問題。給定訓練數據和網絡架構:1)哪種權重設置對未見數據的泛化效果最好，為什么?2)應該使用什么優化器來恢復這個權重設置?
//www.zhuanzhi.ai/paper/004b660b4e92a46e1ca507001a0d5d54
在優化方面，神經網絡訓練的一個基本特征是，網絡權重僅通過其在網絡架構中的出現間接影響損失函數。這篇論文提出了一個三步框架來派生新的“架構感知”優化算法。第一步稱為函數優化，是根據函數擾動對損失函數的一系列展開進行優化。第二步是推導出體系結構攝動邊界，將函數攝動的大小與權重攝動的大小聯系起來。第三步是將這些體系結構擾動邊界代入損耗的函數多數化，并通過最小化得到優化算法。這構成了主要最小化元算法在神經網絡中的應用。在泛化方面，最近的一項有前途的工作是應用PAC-Bayes理論為神經網絡推導非空泛化保證。由于這些保證控制了網絡集合的平均風險，它們沒有解決哪一個單獨的網絡應該是最好的泛化。為了彌補這一差距，本文重新點燃了核文獻中的一個老思想:貝葉斯點機。貝葉斯點機是一個單一分類器，它近似于分類器集合的集合預測。由于聚合減少了集合預測的方差，貝葉斯點機往往比其他集合成員更好地進行泛化。本文證明，當網絡寬度和歸一化裕度都無窮大時，與訓練集一致的神經網絡空間集中在貝葉斯點機上。這激發了返回大標準化裕度的廣泛網絡的實踐。這些想法的潛在應用包括不確定性量化的新方法，神經硬件更有效的數值表示，以及在學習問題中傳遞超參數的優化器。
付費5元查看完整內容
模型必須能夠自我調整，以適應新環境。深度網絡在過去十年取得了巨大成功，特別是當訓練和測試數據來自相同的分布時。不幸的是，當訓練(源)與測試(目標)數據不同時，性能會受到影響，這種情況稱為域移位。模型需要自我更新以應對這些意外的自然干擾和對抗性擾動，如天氣變化、傳感器退化、對抗性攻擊等。如果我們有一些標記的目標數據，可以使用一些遷移學習方法，如微調和少樣本學習，以有監督的方式優化模型。然而，對目標標簽的要求對于大多數現實場景是不實際的。**本文專注于無監督學習方法，以將模型泛化到目標域。
本文研究了完全測試時自適應的設置，在不獲取目標標簽和源數據的情況下，將模型更新到不可控的目標數據分布。換句話說，模型在這個設置中只有它的參數和未標記的目標數據。其核心思想是利用測試時間優化目標，熵最小化，作為可學習模型的反饋機制，在測試時間內關閉循環。我們通過在線或離線的方式優化模型，以測量輸出熵的置信度。這種簡單有效的方法可以降低自然破壞和對抗性擾動圖像分類的泛化誤差。此外，語義分割模型的自適應特性可用于處理場景理解的動態尺度推理。通過對比學習和擴散模型，我們可以學習目標域特征并生成源風格的圖像，進一步提高動態環境下的識別性能。
//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-229.html
付費5元查看完整內容
在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。
//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。
付費5元查看完整內容
深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。
在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。
//arxiv.org/pdf/2112.01423.pdf
付費5元查看完整內容
我們研究生成對抗網絡(GAN)如何很好地學習有限樣本的概率分布，通過分析這些模型的收斂速度。我們的分析基于一個新的oracle不等式，該不等式將GAN的估計誤差分解為鑒別器和發生器的逼近誤差、泛化誤差和優化誤差。為了估計鑒別器逼近誤差，我們建立了用ReLU神經網絡逼近H?lder函數的誤差界，并給出了網絡的Lipschitz常數的顯式上界或權值的范數約束。對于發生器逼近誤差，我們證明了神經網絡可以將低維源分布近似轉化為高維目標分布，并通過神經網絡的寬度和深度約束這種逼近誤差。結合統計學習理論中神經網絡的泛化邊界和近似結果，我們建立了GANs在各種設置下的收斂速度，當誤差由H?lder類定義的積分概率度量集合測量時，包括Wasserstein距離作為一種特殊情況。特別地，對于集中在低維集合周圍的分布，我們證明了GANs的收斂速度不依賴于高的環境維數，而是依賴于較低的本征維數。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191