亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習經歷了巨大的增長，這主要得益于更強大的計算機、更大數據集的可用性和軟件基礎設施的進步，而深度神經網絡在機器學習中考慮的幾乎每一項任務中都設置了新的最先進的技術。深度神經網絡在經驗上的成功是無可爭議的，但我們對這些模型為什么有效(當它們有效時)的理解仍然有很大的差距，而且它們可能以令人驚訝的方式失敗(當被篡改時)。本文研究了為什么強大的深度神經網絡有時會失敗，以及可以做什么來防止這種情況。雖然深度神經網絡對隨機噪聲具有很強的魯棒性，但已有研究表明，在面對所謂的對抗性例子時，它們的準確性會急劇下降，即輸入信號的專門設計的小擾動，通常是人類無法察覺的，足以導致模型輸出的大變化。這種明顯的脆弱性令人擔憂，因為深度神經網絡開始在現實世界中激增，包括在安全關鍵部署中。最直接和流行的魯棒化策略稱為對抗訓練，它在訓練過程中使用對抗例子作為數據增強。本文在深度神經網絡的對抗性訓練和算子范數正則化之間建立了理論聯系。證明了?p -范數約束的投影梯度上升對抗性訓練，在干凈和擾動輸入的logits上具有?q -范數損失，與數據依賴(p, q)算子范數正則化等價。這種基本聯系證實了長期存在的論點，即網絡對對抗性樣本的敏感性與其譜特性有關，并暗示了增強和抵御對抗性攻擊的新方法。我們還提出了一種利用對抗性攻擊引入的某些異常的檢測方法。具體來說，我們提出了一種測量特征表示和對數概率在噪聲下如何變化的方法:如果輸入是對位攝動的，噪聲誘導的特征變化傾向于有一個特征方向，而如果輸入是自然的，它傾向于沒有任何特定的方向。我們評估了針對強迭代攻擊的方法，并表明即使對手意識到防御也無法躲過我們的檢測器。

量化對抗脆弱性的首選策略是針對特定的攻擊算法評估模型。然而，這種方法本身就有局限性，因為它很少提及模型對不包括在評估中的更強大攻擊的魯棒性。我們開發了一個統一的數學框架來描述基于松弛的魯棒性認證方法，它超越了對手特定的魯棒性評估，而是提供了可證明的魯棒性保證，以抵御任何對手的攻擊。

我們還提出一種新的正則化方法來穩定生成對抗網絡(GANs)的訓練。我們證明了使用噪聲或卷積密度的訓練等價于基于梯度的鑒別器正則化，這產生了一個更平滑的鑒別器家族，而不必顯式地添加噪聲。由此產生的正則化器是一種簡單而有效的GAN目標修改，計算成本低，產生穩定的GAN訓練過程。 我們還研究了貝葉斯神經網絡(BNN)，它學習模型參數的分布，或者等效地對可能模型的集合進行抽樣，而不是優化單個網絡。盡管貝葉斯神經網絡有望獲得更好的泛化性能(無過擬合)和原則性的不確定性量化(穩健預測)，但是，貝葉斯神經網絡的使用仍然受到限制。

我們通過仔細的MCMC抽樣證明，與SGD獲得的點估計等更簡單的方法相比，貝葉斯后驗預測誘導的后驗預測系統地產生了更糟糕的預測。另一方面，我們證明了貝葉斯預測性能可以通過使用夸大證據的“冷后驗”顯著提高。這種冷后驗嚴重偏離貝葉斯范式，但通常被用作貝葉斯深度學習中的啟發式。我們的研究結果對目前對貝葉斯深度學習的理解提出了質疑，并表明現在是時候關注理解冷后視表現改善的起源了。

在這篇論文中，深度表示中的不變性，我們對學習不變性表示的問題提出了新的解決方案。我們采用兩種不同的不變性概念。一個根植于對稱群體，另一個根植于因果關系。最后，盡管它們是相互獨立發展的，我們的目標是邁出統一這兩個不變性概念的第一步。我們提出了一個基于神經網絡的排列不變聚合算子，它對應于注意機制(第2節)。我們開發了一種新的集合分類方法。值得注意的是，所提出的基于注意力的算子的應用可以深入了解每個元素對集合標簽的貢獻。我們發現面向應用的研究領域，如醫學成像或機器人，數據增強技術用于學習域不變特征。通過描述因果概念如何削弱觀察到的域和任務標簽之間的偽相關(第3節)，我們演示了因果概念可以用來解釋數據增強的成功。我們演示了數據增強可以作為模擬介入數據的工具。我們利用這些理論見解來推導一個簡單的算法，它能夠選擇數據增強技術，從而導致更好的領域泛化。我們提出了一種新穎的因果減少方法(第4節)，將任意數量的可能高維潛在混雜物替換為與治療變量位于同一空間的單個潛在混雜物，而不改變因果模型所包含的觀察和介入分布。在簡化之后，我們使用一種靈活的轉換類參數化簡化的因果模型，稱為規范化流。我們提出了一種從觀測數據和介入數據聯合估計參數化簡化模型的學習算法。我們提出了域不變變分自動編碼器(第5節)，這是一種生成模型，通過學習三個獨立的潛在子空間來解決域移位問題，一個用于域，一個用于類，一個用于任何殘留變化。我們表明，由于我們的模型的生成特性，我們也可以合并來自已知或以前未見領域的未標記數據。

自然智能具有從環境中不斷學習的能力，環境是不斷變化的，因此產生了需要應對的不確定性，以確保生存。相比之下，人工智能(AI)通常只在特定的訓練階段從數據中學習一次，很少明確表示或利用不確定性。在這篇論文中，我們通過設計和理解基于神經網絡的模型，在這些方面為改進人工智能做出貢獻，這些模型可以持續學習，并明確表示幾種不確定性來源，最終目標是獲得有用、可靠和實用的模型。

我們首先將這項研究置于一個更廣泛的背景下，并提供對不確定性估計和持續學習領域的介紹。對于那些有興趣熟悉這些主題的人來說，這個詳細的回顧可以成為一個入門點。在奠定這個基礎之后，我們將深入研究如何持續學習一組任務的具體問題，并提出我們基于神經網絡系統解決這一問題的方法。更具體地說，我們訓練一個元網絡為推理模型生成特定于任務的參數，并表明，在這種設置下，可以在元級別使用簡單的正則化來防止遺忘。由于任務特定解決方案的存在，出現了必須推斷不可見輸入所屬的任務的問題。我們研究了解決這一任務推理問題的兩種主要方法:(i)基于重玩的方法和(ii)基于不確定性的方法。盡管基于重放的任務推理在簡單的基準測試中表現出了顯著的性能，但我們的這種方法的實現依賴于生成建模，隨著任務復雜性的增加，這變得不成比例地困難。另一方面，基于不確定性的任務推理不依賴外部模型，更容易擴展到復雜的場景。因為校準任務推斷所需的不確定性是困難的，在實踐中，人們經常求助于應該知道他們不知道的東西的模型。這在理論上可以通過對模型參數的貝葉斯處理來實現。然而，由于對基于神經網絡的模型的先驗知識的難以解釋，也就很難解釋模型知道什么是不知道的。這種認識的意義超越了持續學習，更普遍地影響了當前機器學習模型如何處理看不見的輸入。我們討論了神經網絡中與選擇先驗知識相關的復雜性，并表明常見的選擇往往導致不確定性，這些不確定性在本質上不能反映特定的需求數據，如檢測模型不應推廣到的看不出的輸入。

總體而言，本文對當前深度學習研究中的兩個重要課題——不確定性估計和持續學習進行了總結和貢獻，同時揭示了現有的挑戰，評估了新的方法，并確定了未來研究的有前途的途徑。

如果我們做A, Y會怎樣?許多有意義的社會和工程問題可以這樣表述:如果病人接受一種新的療法，他們的健康會發生什么變化?如果政策制定者制定一項新稅，會對一個國家的經濟產生什么影響?如果使用新的擁塞控制協議，數據中心的延遲會發生什么變化?我們將探討如何使用觀測數據(由于數字化和無處不在的傳感器，觀測數據越來越多)和/或非常有限的實驗數據來回答這些反事實的問題。兩個關鍵挑戰是:(i)存在潛在混雜因素的反事實預測;(ii)用高維、噪聲和稀疏的現代數據集進行估計。我們介紹的關鍵框架是將因果推理與張量補全聯系起來。特別地，我們通過一個3階張量來表示感興趣的各種潛在結果(即反事實)。給出的主要理論結果是:(i)確定在什么張量的缺失模式、潛在混雜和結構下可能恢復未觀察到的潛在結果的形式化識別結果。(ii)引入新的估計量來恢復這些未觀察到的潛在結果，并證明它們是有限樣本一致和漸近正態的。最后，我們討論了矩陣/張量補全與時間序列分析之間的聯系;我們相信這可以作為反事實預測的基礎。//dspace.mit.edu/handle/1721.1/144576

在過去的幾十年里，技術的進步導致了許多領域數據的快速增長。如此豐富的數據為數據分析帶來了巨大的機遇，同時也帶來了巨大的挑戰:數據集往往包含數十萬個具有復雜依賴關系的變量，這給統計推斷帶來了困難。例如，在一個社交網絡中，每個人的行為都可能以復雜的方式受到其他許多人的行為的顯著影響。因此，在分析數據時，不能假定數據是獨立的。同樣，在遺傳學中，一個性狀可能與大量的遺傳變異相關，這些變異之間的關系不能用簡單的模型有效地總結出來。在這兩個例子和許多其他現實問題中，數據集具有標準統計方法難以處理的依賴結構。因此，開發工具在這種復雜的依賴結構下進行統計推斷是很有意義的。本論文對復雜統計模型中的因果和選擇性推理的工具箱做出了貢獻。其中一個有趣的主題是，在個體主體相互依存的情況下，開發各種方法來回答各種因果問題。第二章和第三章發展了干擾下治療效果估計的統計理論和方法。另一個有趣的主題是在數據集中許多看起來有前途的依賴結構中識別重要的依賴結構。在特定變量具有科學意義且許多解釋性變量與該變量潛在相關的設置中，目標是構建工具來有把握地選擇哪些變量對于解釋感興趣的變量是重要的。第四章和第五章討論了假發現率控制下的變量選擇問題。

我們生活在大數據時代，數據集往往很大，結構復雜。這些復雜的結構給統計推斷帶來了挑戰，也帶來了機遇。本文從因果推理和選擇推理兩個角度對復雜統計模型中如何進行統計推理進行了研究。經典地說，因果推理通常是在獨立的假設下進行的。然而，現代數據集往往帶有復雜的依賴結構。一個例子是社交網絡數據集:個體的行為以復雜的方式依賴于他人的行為，這意味著獨立假設是無效的。在缺乏獨立性假設的情況下，將需要新的工具來研究具有這種依賴性結構的某些治療的因果關系。關于選擇性推理，科學家測量數千甚至數百萬個變量，并試圖找到感興趣的結果與這些變量之間的有意義的關系。一個重要的問題是有把握地選擇影響利益結果的變量。我將在接下來的章節和接下來的章節中更詳細地討論這兩個視角。

深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。

在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。

//arxiv.org/pdf/2112.01423.pdf

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269

在這個反事實和因果推理的第二版中，講述了反事實方法的基本特征，觀察數據分析來自社會，人口統計和健康科學的例子。首先介紹了使用潛在結果模型和因果圖的替代估計技術; 在此之后，條件調節技術，如匹配和回歸，從潛在結果的角度提出。在沒有觀察到重要的因果公開決定因素的研究情景中，然后提出了替代技術，如工具變量估計、縱向方法和通過因果機制的估計。本書強調了因果效應異質性的重要性，并討論了通過機制進行深度因果解釋的必要性。

在過去的三十年里，一個反事實的因果模型已經被開發出來，一個統一的框架起訴的因果問題現在是可用的。通過這本書，我們的目標是說服更多的社會科學家將這個模型應用到社會科學的核心經驗問題上。

在第2章介紹了反事實模型的主要部分之后，我們將在本書的第2部分介紹因果效應估計的條件反射技術。在第三章中，我們將使用因果圖來展示一個基本的條件作用框架。然后，在第4章和第5章，我們將解釋匹配和回歸估計量，說明它們是更一般條件作用方法的互補變量。在這本書的第三部分，我們將從因果效應估計的“容易”到“困難”的實例進行轉換，對于這種情況，簡單的條件作用是不夠的，因為決定因果公開的相關變量沒有被觀察到。在第6章介紹了一般性困境之后，我們將在第7章至第9章中介紹工具變量技術、基于機制的因果效應估計，以及使用超時數據來估計因果效應。最后，在第十章中，我們將總結一些反對反事實模型的意見。在本書的結尾，我們將對因果調研的互補模式進行廣泛的討論，這些模式包括觀察社會科學中的因果效應估計。在某種程度上，因為詳細的目錄已經給出了我們將在其余章節中呈現的材料的準確描述，我們在這里不提供一套詳細的章節摘要。相反，我們將用三個因果圖和它們所提出的因果效應估計策略來結束這一介紹性的章節。這些圖表使我們能夠預示許多具體的因果效應估計策略，我們將在后面介紹這些策略。因為本章的其余內容將在以后重新介紹和更全面地解釋(主要在第3、6和8章)，所以現在可以跳過它，沒有任何后果。然而，我們在教學這一材料的經驗表明，在考慮觀察數據分析的反事實框架的細節之前，許多讀者可能受益于對基本估計技術的快速圖形介紹。

作者姓名： Stephen Morgan Christopher Winship

作者機構： 約翰霍普金斯大學 哈佛大學

圖書目錄 一、社會科學中的因果關系與實證研究 1 簡介 二、反事實、潛在結果和因果圖 2 反事實和潛在結果模型 3 因果圖 三、通過對觀察到的變量進行條件調節以阻止后門路徑來估計因果效應 4 因果暴露模型和識別標準 5 因果效應的匹配估計量 6 因果效應的回歸估計 7 因果效應的加權回歸估計 四、估計后門調節無效時的因果效應 8 自我選擇、異質性和因果圖 9 因果效應的工具變量估計量 10 機制與因果解釋 11 重復觀察和因果效應估計 五、當因果效應不是由可觀測點識別時的V估計 12 分布假設、集合識別和敏感性分析 六、結論 13 反事實與觀察社會科學實證研究的未來

本課程的教材是從機器學習的角度寫的，是為那些有必要先決條件并對學習因果關系基礎感興趣的人而開設的。我盡我最大的努力整合來自許多不同領域的見解，利用因果推理，如流行病學、經濟學、政治學、機器學習等。

有幾個主要的主題貫穿全課程。這些主題主要是對兩個不同類別的比較。當你閱讀的時候，很重要的一點是你要明白書的不同部分適合什么類別，不適合什么類別。

統計與因果。即使有無限多的數據，我們有時也無法計算一些因果量。相比之下，很多統計是關于在有限樣本中解決不確定性的。當給定無限數據時，沒有不確定性。然而，關聯，一個統計概念，不是因果關系。在因果推理方面還有更多的工作要做，即使在開始使用無限數據之后也是如此。這是激發因果推理的主要區別。我們在這一章已經做了這樣的區分，并將在整本書中繼續做這樣的區分。

識別與評估。因果效應的識別是因果推論所獨有的。這是一個有待解決的問題，即使我們有無限的數據。然而，因果推理也與傳統統計和機器學習共享估計。我們將主要從識別因果效應(在第2章中,4和6)之前估計因果效應(第7章)。例外是2.5節和節4.6.2,我們進行完整的例子估計給你的整個過程是什么樣子。

介入與觀察。如果我們能進行干預/實驗，因果效應的識別就相對容易了。這很簡單，因為我們可以采取我們想要衡量因果效應的行動，并簡單地衡量我們采取行動后的效果。觀測數據變得更加復雜，因為數據中幾乎總是引入混雜。

假設。將會有一個很大的焦點是我們用什么假設來得到我們得到的結果。每個假設都有自己的框來幫助人們注意到它。清晰的假設應該使我們很容易看到對給定的因果分析或因果模型的批評。他們希望，清晰地提出假設將導致對因果關系的更清晰的討論。