亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

深度學習經歷了巨大的增長，這主要得益于更強大的計算機、更大數據集的可用性和軟件基礎設施的進步，而深度神經網絡在機器學習中考慮的幾乎每一項任務中都設置了新的最先進的技術。深度神經網絡在經驗上的成功是無可爭議的，但我們對這些模型為什么有效(當它們有效時)的理解仍然有很大的差距，而且它們可能以令人驚訝的方式失敗(當被篡改時)。本文研究了為什么強大的深度神經網絡有時會失敗，以及可以做什么來防止這種情況。雖然深度神經網絡對隨機噪聲具有很強的魯棒性，但已有研究表明，在面對所謂的對抗性例子時，它們的準確性會急劇下降，即輸入信號的專門設計的小擾動，通常是人類無法察覺的，足以導致模型輸出的大變化。這種明顯的脆弱性令人擔憂，因為深度神經網絡開始在現實世界中激增，包括在安全關鍵部署中。最直接和流行的魯棒化策略稱為對抗訓練，它在訓練過程中使用對抗例子作為數據增強。本文在深度神經網絡的對抗性訓練和算子范數正則化之間建立了理論聯系。證明了?p -范數約束的投影梯度上升對抗性訓練，在干凈和擾動輸入的logits上具有?q -范數損失，與數據依賴(p, q)算子范數正則化等價。這種基本聯系證實了長期存在的論點，即網絡對對抗性樣本的敏感性與其譜特性有關，并暗示了增強和抵御對抗性攻擊的新方法。我們還提出了一種利用對抗性攻擊引入的某些異常的檢測方法。具體來說，我們提出了一種測量特征表示和對數概率在噪聲下如何變化的方法:如果輸入是對位攝動的，噪聲誘導的特征變化傾向于有一個特征方向，而如果輸入是自然的，它傾向于沒有任何特定的方向。我們評估了針對強迭代攻擊的方法，并表明即使對手意識到防御也無法躲過我們的檢測器。

量化對抗脆弱性的首選策略是針對特定的攻擊算法評估模型。然而，這種方法本身就有局限性，因為它很少提及模型對不包括在評估中的更強大攻擊的魯棒性。我們開發了一個統一的數學框架來描述基于松弛的魯棒性認證方法，它超越了對手特定的魯棒性評估，而是提供了可證明的魯棒性保證，以抵御任何對手的攻擊。

我們還提出一種新的正則化方法來穩定生成對抗網絡(GANs)的訓練。我們證明了使用噪聲或卷積密度的訓練等價于基于梯度的鑒別器正則化，這產生了一個更平滑的鑒別器家族，而不必顯式地添加噪聲。由此產生的正則化器是一種簡單而有效的GAN目標修改，計算成本低，產生穩定的GAN訓練過程。 我們還研究了貝葉斯神經網絡(BNN)，它學習模型參數的分布，或者等效地對可能模型的集合進行抽樣，而不是優化單個網絡。盡管貝葉斯神經網絡有望獲得更好的泛化性能(無過擬合)和原則性的不確定性量化(穩健預測)，但是，貝葉斯神經網絡的使用仍然受到限制。

我們通過仔細的MCMC抽樣證明，與SGD獲得的點估計等更簡單的方法相比，貝葉斯后驗預測誘導的后驗預測系統地產生了更糟糕的預測。另一方面，我們證明了貝葉斯預測性能可以通過使用夸大證據的“冷后驗”顯著提高。這種冷后驗嚴重偏離貝葉斯范式，但通常被用作貝葉斯深度學習中的啟發式。我們的研究結果對目前對貝葉斯深度學習的理解提出了質疑，并表明現在是時候關注理解冷后視表現改善的起源了。

自然智能具有從環境中不斷學習的能力，環境是不斷變化的，因此產生了需要應對的不確定性，以確保生存。相比之下，人工智能(AI)通常只在特定的訓練階段從數據中學習一次，很少明確表示或利用不確定性。在這篇論文中，我們通過設計和理解基于神經網絡的模型，在這些方面為改進人工智能做出貢獻，這些模型可以持續學習，并明確表示幾種不確定性來源，最終目標是獲得有用、可靠和實用的模型。

我們首先將這項研究置于一個更廣泛的背景下，并提供對不確定性估計和持續學習領域的介紹。對于那些有興趣熟悉這些主題的人來說，這個詳細的回顧可以成為一個入門點。在奠定這個基礎之后，我們將深入研究如何持續學習一組任務的具體問題，并提出我們基于神經網絡系統解決這一問題的方法。更具體地說，我們訓練一個元網絡為推理模型生成特定于任務的參數，并表明，在這種設置下，可以在元級別使用簡單的正則化來防止遺忘。由于任務特定解決方案的存在，出現了必須推斷不可見輸入所屬的任務的問題。我們研究了解決這一任務推理問題的兩種主要方法:(i)基于重玩的方法和(ii)基于不確定性的方法。盡管基于重放的任務推理在簡單的基準測試中表現出了顯著的性能，但我們的這種方法的實現依賴于生成建模，隨著任務復雜性的增加，這變得不成比例地困難。另一方面，基于不確定性的任務推理不依賴外部模型，更容易擴展到復雜的場景。因為校準任務推斷所需的不確定性是困難的，在實踐中，人們經常求助于應該知道他們不知道的東西的模型。這在理論上可以通過對模型參數的貝葉斯處理來實現。然而，由于對基于神經網絡的模型的先驗知識的難以解釋，也就很難解釋模型知道什么是不知道的。這種認識的意義超越了持續學習，更普遍地影響了當前機器學習模型如何處理看不見的輸入。我們討論了神經網絡中與選擇先驗知識相關的復雜性，并表明常見的選擇往往導致不確定性，這些不確定性在本質上不能反映特定的需求數據，如檢測模型不應推廣到的看不出的輸入。

總體而言，本文對當前深度學習研究中的兩個重要課題——不確定性估計和持續學習進行了總結和貢獻，同時揭示了現有的挑戰，評估了新的方法，并確定了未來研究的有前途的途徑。

模型必須能夠自我調整，以適應新環境。深度網絡在過去十年取得了巨大成功，特別是當訓練和測試數據來自相同的分布時。不幸的是，當訓練(源)與測試(目標)數據不同時，性能會受到影響，這種情況稱為域移位。模型需要自我更新以應對這些意外的自然干擾和對抗性擾動，如天氣變化、傳感器退化、對抗性攻擊等。如果我們有一些標記的目標數據，可以使用一些遷移學習方法，如微調和少樣本學習，以有監督的方式優化模型。然而，對目標標簽的要求對于大多數現實場景是不實際的。**本文專注于無監督學習方法，以將模型泛化到目標域。

本文研究了完全測試時自適應的設置，在不獲取目標標簽和源數據的情況下，將模型更新到不可控的目標數據分布。換句話說，模型在這個設置中只有它的參數和未標記的目標數據。其核心思想是利用測試時間優化目標，熵最小化，作為可學習模型的反饋機制，在測試時間內關閉循環。我們通過在線或離線的方式優化模型，以測量輸出熵的置信度。這種簡單有效的方法可以降低自然破壞和對抗性擾動圖像分類的泛化誤差。此外，語義分割模型的自適應特性可用于處理場景理解的動態尺度推理。通過對比學習和擴散模型，我們可以學習目標域特征并生成源風格的圖像，進一步提高動態環境下的識別性能。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-229.html

深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。

在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。

//arxiv.org/pdf/2112.01423.pdf

人類一生都在學習。他們從一系列的學習經驗中積累知識，記住基本概念，但不會忘記之前所學的知識。同樣，人工神經網絡也在努力學習。他們通常依賴于經過嚴格預處理的數據來學習特定問題的解決方案，如分類或回歸。特別是，如果接受新的訓練，他們會忘記過去的學習經驗。因此，人工神經網絡通常不能處理現實生活中的情況，比如自主機器人必須在線學習以適應新情況并克服新問題，而不忘記過去的學習經驗。持續學習(CL)是機器學習的一個分支，解決了這類問題。持續算法的設計目的是在不遺忘的學習經驗課程中積累和提高知識。在本論文中，我們提出探索具有重放過程的持續算法。重播過程集中了預演方法和生成重播方法。生成式再現是通過生成式模型來記憶過去的學習經驗。排練包括從過去的學習經驗中保存一組核心樣本，以便以后進行排練。回放過程使優化當前學習目標和過去學習目標之間的折衷成為可能，從而在任務設置序列中實現不遺忘的學習。我們表明它們是非常有前途的持續學習方法。值得注意的是，它們能夠用新的知識重新評價過去的數據，并從不同的學習經驗中對抗數據。我們展示了他們通過無監督學習、監督學習和強化學習任務持續學習的能力。

深度神經網絡在計算機視覺、機器學習和人工智能等許多領域都取得了顯著的經驗成功。隨著經驗上的成功，深度學習在理論上已被證明在表達能力方面具有吸引力。即具有一個隱層的神經網絡可以近似任意連續函數，而具有更深層次的神經網絡可以近似具有較少參數的特定類函數。表達理論指出，在一定規模的神經網絡中，存在近似目標函數的最優參數向量。然而，在神經網絡優化過程中，表達理論并不能保證能夠有效地找到這樣的最優向量。優化是深度學習的關鍵步驟之一，因為對數據的學習是通過優化來實現的，即對深度神經網絡的參數進行優化，使網絡與數據保持一致的過程。這個過程通常需要非凸優化，這對于一般的高維問題來說是不可擴展的。事實上，一般來說，神經網絡的優化是不可擴展的，除非對其架構做額外的假設。

本文通過研究可擴展性中的一些基本瓶頸，如次最優局部極小值和鞍點，研究了各種深度神經網絡體系結構的非凸優化問題。特別地，對于深度神經網絡，我們給出了局部極小值和臨界點的各種保證，以及梯度下降找到的點。證明了在深度神經網絡非凸優化中，對實際度進行適度的過參數化可以保證梯度下降找到全局最小值。此外，即使沒有過度參數化，我們表明，無論是理論還是經驗，增加參數的數量，改善臨界點和局部極小值的值向全局最小值。我們還證明了殘差神經網絡局部極小值的理論保證。此外，本文提出了一個統一的理論來分析這些特定架構之外的各種深度神經網絡的臨界點和局部極小值。這些結果表明，盡管在理論的最壞情況和最壞的架構中存在可伸縮性問題，但我們可以避免這個問題，并在實踐中對各種有用架構的大型問題進行良好的可擴展性。