亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文提出了計算概率神經網絡局部魯棒性的方法，特別是由貝葉斯推理得到的魯棒性。從理論上講，將貝葉斯推理應用到神經網絡參數的學習中，有望解決頻繁主義學習范式下出現的許多實際困擾問題。特別是，貝葉斯學習允許有原則的架構比較和選擇，先驗知識的編碼，以及預測不確定性的校準。最近的研究表明，貝葉斯學習可以導致更多的對抗魯棒預測。雖然從理論上講是這樣的，并且在具體實例中已經證明了這一點，但提高魯棒性的軼事證據并不能為那些希望在安全關鍵環境中部署貝葉斯深度學習的人提供足夠的保證。雖然有方法可以保證確定性神經網絡的魯棒性，但貝葉斯神經網絡權重的概率性質使這些方法不可操作。本文研究了貝葉斯神經網絡的魯棒性概念，允許同時考慮模型的隨機性和模型決策的魯棒性保證。本文提供了一種方法，可以為給定的貝葉斯神經網絡計算這些數量，這些方法要么對估計的精度有先驗的統計保證，要么有可靠的概率上下界。最后，我們將魯棒性作為神經網絡參數貝葉斯推斷的主要要求，并演示了如何修改似然，以推斷出具有良好魯棒性的后驗分布。對似然的修正使我們的方法對貝葉斯神經網絡的近似推理技術是透明的。

我們使用貝葉斯神經網絡來評估我們提出的方法的實用性，這些神經網絡訓練了幾個真實的數據集，包括空中碰撞避免和交通標志識別。此外，我們評估了使用五種不同近似推理方法近似推斷的貝葉斯后驗分布的魯棒性。我們發現，我們的方法為貝葉斯神經網絡提供了第一個可證明的魯棒性保證，從而使它們能夠部署在安全關鍵場景中。此外，我們提出的神經網絡參數的魯棒貝葉斯推理方法使我們能夠推斷出后驗分布，這大大提高了可證明的魯棒性，即使是在全色圖像上。概述經典計算機科學關注的是如何創建解決給定問題的程序。相應地，經典程序驗證是確保(通常通過形式證明)給定程序在每個實例[6]中正確解決給定問題的任務。近年來，計算機科學家們已經將他們想要解決的問題的類別擴大到那些過于復雜或定義欠佳而無法用經典編程范式處理的任務。在程序不能再由人類設計的地方，它們可以通過示例[57]學習。隨著學習到的解決方案變得比手工編碼的解決方案好得多，它們所應用的領域也變得更加復雜。學習具有最大潛在影響的領域也具有最大的危害風險，這并不奇怪[1,10]。針對這類任務(包括醫療診斷和自動駕駛汽車)的學習解決方案，在部署和獲得公眾信任之前，必須保證其安全性。不幸的是，為這些任務編寫經典程序的障礙也阻礙了它們的正式驗證[79]。此外，檢驗習得解的基本穩定性的初步嘗試揭示了它們顯著的脆弱性[136]。這種脆弱性表現為過度自信、不正確的預測，幾乎對學習算法的每個輸入都可能產生這種預測。

因此，如果我們想要利用機器學習算法的光明未來，我們必須確保它們在部署之前是安全的。在這篇論文中，我們將關注到目前為止最流行和最強大的學習算法:深度神經網絡神經網絡是功能強大的函數逼近器，它有望在廣泛的任務中對先進性能的進步做出持續和重要的貢獻。神經網絡已經在諸如醫療診斷和病理以及控制和規劃等安全關鍵領域取得了顯著的強大性能。然而，在這些領域采用神經網絡的主要障礙是它們的預測缺乏可解釋性和可靠性[1]。我們將使用兩個主要漏洞來激發貝葉斯神經網絡(BNNs)的魯棒性研究，BNNs是由貝葉斯規則推斷的參數分布的神經網絡。第一個潛在的漏洞是確定性神經網絡(DNNs)缺乏校準的不確定性，即知道自己不知道什么[81]。當確定性神經網絡用于對統計上偏離訓練數據的數據點進行推斷時，這是一個特別的挑戰。在這種情況下，DNN經常會做出高度自信、不正確的預測，如果依賴這些預測，可能會導致糟糕的行為[104]。第二個弱點是對抗性的例子[136]。一個對抗性的例子是一個輸入，它被精心設計成與自然發生的輸入無法區分，但這會導致神經網絡在輸出中做出錯誤的分類或不安全的更改。在醫學診斷中，這可能是由于病理幻燈片色調的輕微變化而預測患者患有癌癥，或者在自主導航中，這可能是基于照明條件的輕微變化而預測轉向角度的較大變化[105]。對抗攻擊已被證明不僅在圖像分類[58]中存在安全隱患，在音頻識別[163]、惡意軟件識別[126]和自然語言處理[41]中也存在安全隱患。這些對安全性和安全性關鍵型應用程序構成了巨大的安全風險。當然，證明對抗實例的安全性是在安全關鍵環境下部署任何神經網絡的先決條件。

在過去幾年里，證明神經網絡預測的安全性一直是一個重要而活躍的研究領域，并且在有效證明對抗例子不存在方面取得了巨大進展[79,22,152]。雖然這滿足了我們的一個愿望(缺乏對抗性的例子)，但確定性神經網絡在校準不確定性方面仍然提供很少的東西。特別是，給定一個確定性神經網絡和一個我們想要分類的輸入，通常的情況是，如果一個對抗的例子存在，那么它被錯誤地分類，置信度非常高[58]。這意味著，基于輸出，無法推斷輸入是否可能不正確或損壞。此外，有關于確定性神經網絡的研究表明，對于許多任務來說，對抗實例的存在是不可避免的[47,46]，進一步說，魯棒確定性學習是不可能的[59]。雖然合理的局部驗證(證明不存在對抗性例子)對于向用戶保證在特定情況下的正確性能是必要的，但貝葉斯學習范式提供了一種系統的方法，可以在更一般的水平上減輕這些不可能結果的擔憂。通過引入校準的不確定性，貝葉斯神經網絡在理論和經驗上都被證明對對抗性例子具有更強的魯棒性，并且可以潛在地削弱或擊敗確定性網絡的不可能結果[53,23,7]。因此，在需要安全性和魯棒性證明的安全關鍵場景中，貝葉斯神經網絡似乎是一種自然和可行的部署方案。

盡管貝葉斯神經網絡有許多吸引人的特性，但無法用確定性神經網絡開發的技術直接分析貝葉斯神經網絡[168]。貝葉斯網絡與確定性網絡的主要區別在于前者的參數值具有后驗分布。為了驗證這種模型的魯棒性，必須找到一種方法來執行確定性神經網絡可用的正確性分析，同時以合理的方式考慮到范圍或可能的參數值。這樣做是在安全關鍵場景中安全部署貝葉斯神經網絡的必要前提。在這篇論文中，我們開發了一些工具，允許我們在貝葉斯環境下利用確定性神經網絡的魯棒性量化方面的進展。特別地，我們研究了貝葉斯神經網絡魯棒性的兩個概念，這允許從業者在給定貝葉斯神經網絡部署之前量化其最壞情況的行為。貝葉斯神經網絡魯棒性的第一個概念是概率魯棒性(在第4章中定義)。這允許從業者理解模型固有的隨機性及其對抗魯棒性之間的相互作用，也可以被視為不確定性的最壞情況度量。魯棒性的第二個概念是貝葉斯決策魯棒性。貝葉斯神經網絡除了在其權重上有一個分布之外，還與確定性神經網絡不同，因為我們必須對其預測分布和錯誤決策的風險或損失進行推理，以便做出預測。決策魯棒性考慮了考慮中的貝葉斯模型的決策過程，并允許我們證明即使在對手存在的情況下，也會發布正確的決策。這些定義允許我們量化貝葉斯神經網絡的概率正確性。

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269

深度學習在實踐中的顯著成功，從理論的角度揭示了一些重大的驚喜。特別是，簡單的梯度方法很容易找到非凸優化問題的接近最優的解決方案，盡管在沒有任何明確的努力控制模型復雜性的情況下，這些方法提供了近乎完美的訓練數據，這些方法顯示了優秀的預測精度。我們推測這些現象背后有特定的原理: 過度參數化允許梯度方法找到插值解，這些方法隱含地施加正則化，過度參數化導致良性過擬合，也就是說，盡管過擬合訓練數據，但仍能準確預測。在這篇文章中，我們調查了統計學習理論的最新進展，它提供了在更簡單的設置中說明這些原則的例子。我們首先回顧經典的一致收斂結果以及為什么它們不能解釋深度學習方法的行為方面。我們在簡單的設置中給出隱式正則化的例子，在這些例子中，梯度方法可以得到完美匹配訓練數據的最小范數函數。然后我們回顧顯示良性過擬合的預測方法，關注二次損失的回歸問題。對于這些方法，我們可以將預測規則分解為一個用于預測的簡單組件和一個用于過擬合的尖狀組件，但在良好的設置下，不會損害預測精度。我們特別關注神經網絡的線性區域，其中網絡可以用一個線性模型來近似。在這種情況下，我們證明了梯度流的成功，并考慮了雙層網絡的良性過擬合，給出了精確的漸近分析，精確地證明了過參數化的影響。最后，我們強調了在將這些見解擴展到現實的深度學習設置中出現的關鍵挑戰。

//www.zhuanzhi.ai/paper/324cdbb68665c1675a05bc147210d8c8

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 （Explaining Deep Neural Networks）》，系統性介紹了深度神經網絡可解釋性方面的工作，值得關注。

作者介紹：

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功，因此越來越受歡迎。然而，這些模型的決策過程通常是無法向用戶解釋的。在各種領域，如醫療保健、金融或法律，了解人工智能系統所做決策背后的原因至關重要。因此，最近研究了幾個解釋神經模型的方向。

在這篇論文中，我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成，也就是說，這些方法旨在解釋一個已經訓練過的固定模型(事后解釋)，并提供輸入特征方面的解釋，例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成，也就是說，模型有一個內置模塊，為模型的預測生成解釋。在這些方面的貢獻如下：

• 首先，我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明，盡管有明顯的隱含假設，即解釋方法應該尋找一種特定的基于真實值特征的解釋，但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法，它們針對的是不同類型的事實基礎解釋，但沒有明確地提及它。此外，我還指出，有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

• 其次，我還介紹了一個框架，用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用，這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性，并介紹了減輕這些局限性的方法。引入的驗證框架是通用的，可以在不同的任務和域上實例化，以提供現成的完整性測試，這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架，并提供了完備性測試s1，在此基礎上我展示了三種流行的解釋方法的性能。

• 第三，為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向，我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集，數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力，以及在訓練時提供自然語言解釋的好處。

• 第四，我指出，目前那些為自己的預測生成自然語言解釋的自解釋模型，可能會產生不一致的解釋，比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程，要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架，用于在生成不一致的自然語言解釋時檢查模型的完整性。此外，作為框架的一部分，我解決了使用精確目標序列的對抗性攻擊的問題，這是一個以前在序列到序列攻擊中沒有解決的場景，它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上，并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址： //arxiv.org/abs/2010.01496

近年來，神經網絡已成為分析復雜和抽象數據模型的有力工具。然而，它們的引入本質上增加了我們的不確定性，即分析的哪些特征是與模型相關的，哪些是由神經網絡造成的。這意味著，神經網絡的預測存在偏差，無法與數據的創建和觀察的真實本質區分開來。為了嘗試解決這些問題，我們討論了貝葉斯神經網絡:可以描述由網絡引起的不確定性的神經網絡。特別地，我們提出了貝葉斯統計框架，它允許我們根據觀察某些數據的根深蒂固的隨機性和我們缺乏關于如何創建和觀察數據的知識的不確定性來對不確定性進行分類。在介紹這些技術時，我們展示了如何從原理上獲得神經網絡預測中的誤差，并提供了描述這些誤差的兩種常用方法。我們還將描述這兩種方法在實際應用時如何存在重大缺陷，并強調在使用神經網絡時需要其他統計技術來真正進行推理。