亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著機器學習系統被部署到現實世界中的安全關鍵應用中，確保這些系統的魯棒性和可信度變得越來越重要。當深度神經網絡脆弱的本質被發現時，機器學習魯棒性的研究引起了大量的關注。對這種行為的迷戀和擔憂導致了對對抗魯棒性的大量研究，這種研究考察的是模型在最壞情況下的擾動輸入（即對抗性樣本）上的性能。在這篇論文的第一章中，我們展示了對抗性訓練方法在開發經驗魯棒深度網絡方面的改進。首先，我們顯示，通過某些修改，使用快速梯度符號方法的對抗性訓練可以產生比以前認為可能的更魯棒的模型，同時保持相比于其他對抗性訓練方法的更低的訓練成本。然后，我們討論我們在對抗性訓練過程中發現的過擬合的有害影響，并顯示，通過使用基于驗證的早期停止，可以極大地提高對抗性訓練模型的魯棒測試性能。對更自然、非對抗性魯棒性設置的日益關注已經導致研究者們以模型在隨機采樣輸入腐敗的平均性能來衡量魯棒性，這也是標準數據增強策略的基礎。在這篇論文的第二章中，我們將平均和最壞情況下的魯棒性的看似獨立的概念，在一個統一的框架下進行概括，這使我們能夠在廣泛的魯棒性水平上評估模型。對于實際使用，我們介紹了一種基于路徑采樣的方法，用于精確地近似這種中間魯棒性目標。我們使用這個度量來分析并比較深度網絡在零射擊和微調設置中，以更好地理解大規模預訓練和微調對魯棒性的影響。我們表明，我們也可以使用這個目標來訓練模型到中間級別的魯棒性，并進一步探索更有效的訓練方法，以彌補平均和最壞情況下的魯棒性之間的差距。

盡管神經網絡在各種應用中的高度公開化的成就備受矚目，但它們尚未在安全關鍵的應用中得到廣泛部署。實際上，關于深度學習系統的魯棒性、公平性、隱私性和可解釋性存在基本的疑慮。在這篇論文中，我們致力于通過提出有關神經網絡驗證和訓練的貢獻，提高對深度學習系統的信任。首先，通過為流行的網絡松弛設計雙重求解器，我們提供了快速且可擴展的神經網絡輸出邊界。具體來說，我們提出了兩種求解元素激活函數凸殼的求解器，以及基于ReLU激活與前線性層組合凸殼的兩種算法。我們展示了這些方法比現有求解器明顯快，并且改善了以往雙重算法的速度-精度權衡。為了有效地利用它們進行正式的神經網絡驗證，我們圍繞邊界算法設計了一個大規模并行的分枝定界框架。我們的貢獻，作為OVAL驗證框架的一部分，已經公開發布，它們改善了現有網絡驗證器的可擴展性，并對更近期的算法開發產生了影響。其次，我們提出了一種直觀且經濟的算法，通過分枝定界來訓練神經網絡以進行可驗證性。我們的方法被證明可以在驗證對小的敵對性擾動的魯棒性方面達到最先進的性能，同時比之前的算法降低了訓練成本。最后，我們進行了全面的實驗評估，評估了一次訓練網絡執行多個任務的專門訓練方案，顯示它們與簡單基線的性能相當。我們對我們的驚人結果提供了部分解釋，旨在進一步激發對深度多任務學習理解的研究。

在過去的幾年里，神經網絡在各種備受關注的應用中取得了顯著的性能，從蛋白質折疊（Senior等人，2020；Jumper等人，2021）到快速矩陣乘法（Fawzi等人，2022）。由于這些成就的宣傳，基于神經網絡的系統現在常常出現在主流信息媒體中（Geddes，2022；Larousserie，2022；Iannaccone，2022），這導致了媒體曝光率的持續增加。直接的結果是，人們對機器學習算法的可信度產生了極大的興趣（Varshney，2022）。特別的，人們的努力已經朝著確保神經網絡的公平性（Du等人，2020），可解釋性（Angelov和Soares，2020），魯棒性（Carlini和Wagner，2017）和隱私性（Abadi等人，2016）方向發展。深度學習在計算機視覺方面的進展（Krizhevsky等人，2012；Voulodimos等人，2018）尤其迅速，其中已經在標準化任務上取得了超過人類的性能（O’Mahony等人，2019）。然而，對敵對性例子的發現（Szegedy等人，2014；Goodfellow等人，2015），即人類無法察覺的擾動可以顯著改變網絡預測，對這種進步的基礎產生了嚴重的質疑。因此，越來越多的注意力開始致力于提供關于神經網絡行為的正式保證（Liu等人，2021b）。此外，人們注意到深度學習的實踐常常基于民間觀察和固定的流程，而不是對正在使用的復雜算法的嚴謹理解（Sculley等人，2018；Hutson，2018）。幸運的是，有許多工作試圖提供對預先存在的算法的全面評估（Greff等人，2017；Lucic等人，2018），常常揭示了更簡單基線的競爭性能（Brockschmidt，2020；Narang等人，2021）。 在這篇論文中，我們通過開發或為神經網絡驗證和訓練的高效算法提供支持，向可信任的深度學習邁進一步。在概述這篇論文中提出的各項貢獻（§1.4）之前，我們現在將介紹神經網絡驗證（§1.2）以及我們感興趣的背景下的神經網絡訓練（§1.3）。

對圖像的細粒度理解有兩個方面:視覺理解和語義理解。前者致力于理解圖像中對象的內在屬性，而后者旨在將不同的對象與一定的語義聯系起來。這些都是深入理解圖像的基礎。今天的深度卷積網絡默認架構已經在捕捉圖像的2D視覺外觀，并隨后將視覺內容映射到語義類方面表現出了驚人的能力。然而，關于細粒度圖像理解的研究，如推斷固有的3D信息和更結構化的語義，卻很少被探索。在本文中，我們通過提出“如何更好地利用幾何來更好地理解圖像?”

• 第一部分研究了基于三維幾何的視覺圖像理解。有可能用無紋理的3D形狀自動解釋圖像中的各種視覺內容。開發了一種深度學習框架，從2D圖像中可靠地恢復一組3D幾何屬性，如物體的姿態及其形狀的表面法線。
• 在第二部分中，我們探索了用于圖像語義理解的標簽幾何。發現一組圖像分類問題具有幾何上相似的概率空間。因此，引入標記幾何，統一了one-vs rest分類、多標簽分類和分布外分類放在一個框架中。此外，學習的層次標簽幾何可以平衡圖像分類器的準確性和特異性。

引言

多倫多大學于2012年取得了徹底改變現代計算機視覺的突破[83]。他們的深度學習架構AlexNet在模擬大規模ImageNet計算機視覺挑戰[134]中取得了巨大的成功，在該挑戰中，一個算法被要求將數百萬張圖像分類為1000個類別。這個圖像分類模型，被稱為深度卷積神經網絡(DCNN)，是受到我們大腦中數十億相互連接的神經元的啟發。通常，深度卷積神經網絡建立在一堆卷積層之上，每一層包含數十萬個功能連接，即人工神經元。視覺表征被一層一層地處理和轉換，類似于大腦視覺皮層中神經元的功能。與傳統的手工特征相比，例如[144,14,104,22,39]，DCNN可以通過梯度反向傳播以端到端的方式從頭開始訓練。這使我們在設計手工特征描述符時擺脫了對專業知識的依賴。如今，更深[143]、更廣[176]和擁有更多連接[66]是新出現的深度神經網絡架構的關鍵特征[70,33,147,41]。隨著深度神經網絡容量的不斷增加，計算機在圖像分類[58]上的準確率正達到人類水平，甚至超越人類。在目標檢測[47,132,59,130,101]，動作識別[142,150,32,159,15,161,174]，創建藝術或照片逼真的[181,73]圖像以及許多其他應用中也取得了類似的成功。

盡管最近在使用深度學習解決計算機視覺問題方面取得了進展，但對圖像進行細粒度的理解仍然具有挑戰性。通常，對圖像的理解是雙重的:視覺理解和語義理解。前者努力理解圖像中物體的內在屬性，例如2D視覺外觀、3D形狀、3D位置和3D姿態等，而后者旨在將不同的物體與特定的語義聯系起來，例如物體的類別名稱[47,132,59,130,101]、動作[142,150,32,159,15,161,174]或屬性[135,99,158,135]。所有這些構成了深入理解我們希望機器擁有的圖像的基礎。當今的深度卷積網絡默認架構已經在捕捉二維域圖像的視覺外觀，并將視覺內容映射到特定的語義類(如圖像分類、動作識別)方面表現出了驚人的能力。然而，關于細粒度圖像理解的研究，如推斷固有的3D信息和更結構化的語義，卻很少被探索。本文通過研究如何利用幾何來更好地理解圖像，在這兩方面做出了貢獻。激發我們的角度來看待圖像的視覺理解和語義理解問題。

**自然語言生成(NLG)已經從深度學習技術的發展中取得了顯著的成功。隨著大規模的預訓練成為NLP中事實上的標準，大量的訓練數據和模型參數始終能夠在標準NLG任務中獲得最先進的性能。**雖然相當成功，但目前的NLG方法在幾個方面都是低效的，這阻礙了它們在更廣泛和實際的環境中的使用:(1)它們是標簽低效的-條件神經生成(例如機器翻譯)通常需要大量的注釋樣本來訓練，這限制了它們在低資源環境中的應用;(2)它們的參數效率不高——通常的做法是對預訓練的模型進行微調，使其適應下游任務，然而，這些模型可以擴展到數萬億的參數(Fedus等人，2021年)，這將在服務大量任務時造成大量的內存占用;(3)最后，我們重點研究了趨勢模型類——檢索增強NLG模型的計算效率低下問題。它們從外部數據存儲中檢索以輔助生成，由于額外的計算，添加的數據存儲和檢索過程會引起不小的空間和時間成本。

**本文旨在對高效NLG的研究問題有更深入的理解，并利用這些見解來設計更好的方法。**具體來說，(1)在標簽效率方面，研究了無監督和半監督的條件生成，利用豐富的無標簽文本數據，從而減輕了對大量標注樣本的需求。所提出的方法在各種NLG任務上進行了驗證;(2)在參數效率方面，本文提出了一個統一的框架來連接參數高效的遷移學習，其中只需要更新少數參數，就可以使大型預訓練模型適應下游任務。所提出框架為這一方向提供了新的理解，以及為參數高效的NLG實例化最先進的方法;(3)對于檢索增強NLG的計算效率，我們設計了新的模型或后適應檢索組件，以壓縮數據存儲，減少檢索計算，并加快推理。 語言是人類交流的主要媒介。在人工智能中，語言是機器與人交流的主要接口之一，因此機器需要能夠理解并生成自然語言。本文重點研究后者，即自然語言生成。自然語言生成是最基本的范疇之一的任務在NLP,橫跨在機器翻譯(Bahdanau et al ., 2015),文本摘要(Rush et al ., 2015),對話生成(Sordoni et al ., 2015),數據描述(Novikova et al ., 2017),等等。隨著近年來深度學習在NLP領域的快速發展(Hochreiter and Schmidhuber, 1997;Bahdanau等人，2015;Vaswani et al.， 2017)，我們已經見證了這些任務的巨大進展。特別是大規模的自監督預訓練(Peters等人，2018;Devlin等人，2019a;)將NLG任務的性能提升到了一個新的水平(Lewis等人，2020a;Raffel等人，2020)。最近，越來越大的預訓練語言模型顯示出了將所有NLP任務作為生成任務處理的潛力，在適當的文本提示下實現有競爭力的零次或少次結果(Radford et al., 2019; Brown et al., 2020; Schick and Schütze, 2021c; Du et al., 2021; Liu et al., 2021a; Sanh et al., 2022)。盡管取得了巨大的成功，但目前的NLG方法在許多方面都是低效的，這阻止了它們在更廣泛的環境中使用。在本文中，我們考慮了以下三個方面的低效率。

標簽低效: 最先進的自然語言生成模型通常是深度編碼器-解碼器或僅解碼器的神經網絡，通常由自注意力transformer架構提供動力(Vaswani等人，2017)。這些模型以端到端的方式在具有交叉熵損失的并行示例上進行訓練。模型訓練需要大量的標注樣本才能達到合理的性能。例如，翻譯系統通常用數百萬個句子對進行訓練，以達到實際性能(Akhbardeh等人，2021);流行的文本摘要基準也由數十萬個并行示例組成(Hermann等人，2015;Narayan等人，2018)。然而，帶標簽的示例通常是稀缺資源——豐富的注釋只存在于某些領域。此外，目前大多數數據集都是以英語為中心的，而世界上有7000多種語言，這意味著大多數語言的任務標簽都不容易獲得。這對應用通用的深度NLG模型提出了挑戰。

**參數低效:**自監督預訓練技術已在各種NLP任務上取得了巨大成功(Peters等人，2018;Devlin等人，2019a;Liu等人，2019a;Yang等人，2019)。通常，模型首先只在自監督損失的情況下對原始文本進行預訓練，然后在帶有標記數據的下游任務上對預訓練模型進行微調。這樣的管道已經成為當今創建最先進的NLG系統的事實標準。在這個方向上，研究人員正在追求越來越強大的預訓練模型，這實際上在大多數情況下導致了更多的參數——越來越大的語言模型由數億到萬億參數組成(Brown et al.， 2020;Fedus等人，2021;Rae等人，2021)。這樣，每個單獨的微調過程都會獲得巨大模型的不同副本，導致微調和推理時的參數利用率低下。當服務于大量任務時，這種參數低效會導致大量內存占用。

本文提出了一系列方法來提高自然語言生成的效率，從而可以在不顯著增加資源需求的情況下創建更好的NLG系統。首先描述了如何利用無標記樣本來幫助改善無監督或半監督文本生成(第一部分)，然后提出了一個參數高效遷移學習(PETL)的統一框架和伴隨的最先進的PETL方法(第二部分)。PETL方法旨在微調凍結的大型模型的一小部分參數，以實現與完全微調相當的性能，從而提高參數效率。最后，我們關注通過減少數據存儲大小和加快檢索過程，在空間和時間上簡化檢索增強方法(第三部分)。

**深度神經網絡(dnn)在人工智能(AI)的廣泛應用中蓬勃發展。深度神經網絡的普遍采用可以歸因于其對不同任務的高度可定制性。**事實上，研究人員已經為不同的應用設計了DNNs的變種，例如，用于視覺識別的卷積神經網絡(CNNs)、用于圖像合成的生成對抗網絡(GANs)、用于時間序列處理的循環神經網絡(RNNs)等。所有這些變體都具有高度不同的網絡拓撲和訓練目標。

//dataspace.princeton.edu/handle/88435/dsp01zk51vm00t

盡管DNNs取得了成功，但人們越來越關注DNNs的效率。當前的DNN資源匱乏，為它們在資源有限的邊緣設備上部署設置了困難的障礙。然而，深度神經網絡應用的廣泛性增加了發現高效的不同變體深度神經網絡的難度。由于這種關鍵的多樣性，很難產生一種通用方法來獲得高效的DNN，并在不同的應用程序中具有令人滿意的性能。

本文通過一個簡單而直觀而有效的概念，解決了不同領域的深度神經網絡高效設計的挑戰:深度神經網絡本身是為不同的學習目標定制的，提高其效率的方法也應該是定制的。有了這個概念，本文提出設計高效CNN、GANs和RNN的方法。本文首先提出了一種CNN壓縮算法——類判別壓縮(CDC)，與CNN的類判別訓練目標無縫契合，并在不損失精度的情況下為ImageNet上的ResNet50提供了1.8倍的加速。對CNN壓縮的通道剪枝進行了深入研究。在分類精度目標的驅動下，本文提出一種進化框架，以自動發現優于手動設計的可遷移剪枝函數。本文進一步研究了GAN圖像合成的另一種應用。GAN被訓練成合成真實的內容，從而提出了一種內容感知的GAN壓縮方法，將最先進的模型加速了11倍，而圖像質量損失可以忽略不計。最后，我們將研究擴展到系統設計領域，我們的目標是通過構建高效的RNN數據預取器來緩解內存墻。本文提出一種多架構協同設計策略，將最先進的神經預取器速度提高15倍，性能甚至更好。

黑盒優化(BBO)問題經常發生在許多工程和科學學科中，在這些學科中，人們可以訪問一個函數(黑盒)的零階評估，該函數必須在特定的領域進行優化。在許多情況下，函數的計算成本很高，因此計算的次數受到預算的限制。貝葉斯優化(Bayesian Optimization)是一種流行的算法，它通過代理對黑箱函數進行建模，并通過評估最有可能導致最優結果的點進行運算。多目標優化(MOO)是優化中的另一個主題，其目標是在一個公共領域中同時優化定義的多個目標。通常情況下，對于相同的輸入，這些目標不會達到它們的最佳狀態。在這種情況下，不是尋找單一的最佳解決方案，而是需要一組帕累托最優解決方案。本文研究了BBO和MOO的幾種優化策略及其應用。

**本文的前半部分是關于昂貴函數的BBO。**首先，基于隨機擴展的思想，提出了一種簡單而靈活的多目標黑盒優化方法。我們引入了多目標后悔的概念，并表明隨著預算的增長，我們的策略實現了零后悔。接下來，我們研究了神經網絡對昂貴BBO的有效性。我們證明了一個簡單的貪心方法可以達到接近高斯過程貝葉斯優化的性能。利用最近研究的高斯過程和非常廣泛的神經網絡訓練動態之間的聯系，我們證明了我們提出的算法的遺憾的上界。最后，我們提出了一個考慮成本的貝葉斯優化框架，該框架考慮了每次評估的成本。這種方法在評估成本隨輸入域而變化的環境中很有用，低成本評估可以提供關于最大值的大量信息。

本文的后半部分是關于MOO在兩個可微MOO問題上的應用。我們的第一個應用是學習稀疏嵌入，使用神經網絡進行快速檢索。這里要優化的目標是檢索精度和檢索速度。我們引入了一種新的稀疏正則化方法，并演示了一種退火策略，與其他方法相比，該策略產生了更好的目標帕累托邊界。對于我們的第二個應用，我們考慮了分層時間序列預測的問題，其中多個相關的時間序列被組織成一個層次。我們提出了一種考慮層次結構的方法，同時可擴展到大型層次，并表明它在大多數層次級別上都能提高精度。我們還將其視為一個多目標問題，并演示了跨不同層次的性能權衡。為了總結我們的貢獻，在這篇論文中，我們提出了各種類型的黑盒和多目標函數的優化策略，并在合成或基準數據集上進行實驗評估。

強化學習(Reinforcement learning, RL)是一種學習復雜決策策略的通用而強大的解決方案，為游戲和機器人等多個領域的近期成功提供了關鍵的基礎。然而，許多最先進的算法需要大量的數據，計算成本很高，需要大量的數據才能成功。雖然這在某些情況下是可能的，例如在可用數據稀少的社會科學和醫療健康應用程序中，這自然會昂貴或不可行的。隨著人們對將RL應用到更廣泛的領域的興趣的激增，對其算法設計中涉及的數據的使用形成一種明智的觀點是勢在必行的。

因此，本文主要從結構的角度研究RL的數據效率。沿著這個方向發展自然需要我們理解算法何時以及為什么會成功;并在此基礎上進一步提高數據挖掘的數據效率。為此，本文首先從實證成功案例中汲取啟示。我們考慮了基于模擬的蒙特卡洛樹搜索(MCTS)在RL中的流行，以AlphaGo Zero的卓越成就為例，并探討了納入這一關鍵成分的數據效率。具體來說，我們研究了使用這種樹結構來估計值和描述相應數據復雜性的正確形式。這些結果進一步使我們能夠分析將MCTS與監督學習相結合的RL算法的數據復雜性，就像在AlphaGo Zero中所做的那樣。

有了更好的理解之后，下一步，我們改進了基于模擬的數據高效RL算法的算法設計，這些算法可以訪問生成模型。我們為有界空間和無界空間都提供了這樣的改進。我們的第一個貢獻是通過一個新穎的低秩表示Q函數的結構框架。提出的數據高效的RL算法利用低秩結構，通過一種新的矩陣估計技術，只查詢/模擬狀態-動作對的一個子集來執行偽探索。值得注意的是，這導致了數據復雜度的顯著(指數級)提高。說到我們對無界空間的努力，我們必須首先解決無界域引起的獨特的概念挑戰。受經典排隊系統的啟發，我們提出了一個適當的穩定性概念來量化策略的“好”。隨后，通過利用底層系統的穩定性結構，我們設計了高效、自適應的算法，采用改進的、高效的蒙特卡洛oracle，以良好的數據復雜度(對感興趣的參數是多項式)保證了所需的穩定性。總之，通過新的分析工具和結構框架，本文有助于數據高效的RL算法的設計和分析。

//dspace.mit.edu/handle/1721.1/138930

一些相互競爭的擔憂是，深度學習在“邊緣”設備上的計算機視覺應用緩慢。邊緣設備僅為設備上的算法提供有限的資源，從而限制了功耗、內存和存儲使用。例如，移動電話、自動駕駛汽車和虛擬現實耳機都需要高精度和低延遲，這兩個目標會爭奪資源。

為了解決這個西西弗式的任務，現代方法花費了大量的計算來設計解決方案，超過了數千個小時或數年的GPU計算來設計一個單一的神經網絡。更不用說，在單一的一組資源約束下，這些工作只最大化了一個性能指標——準確性。如果資源約束的集合改變了怎么辦?如果額外的性能指標出現在前面，比如可解釋性或泛化?設計高效神經網絡的現代方法由于目標過于單一和狹隘而需要過多的計算而受到限制。

本文直接解決了現代方法的瓶頸，通過高效設計高效的深度神經網絡實現了最先進的性能。這些改進不僅減少了計算量或提高了精度;相反，我們的方法提高了性能，減少了計算需求，盡管增加了搜索空間大小的數量級。我們還展示了被錯過的機會，表現指標超越了準確性，重新設計任務，使準確性、可解釋性和泛化共同提高，這是傳統智慧不可能實現的，這表明，可解釋性和準確性參與了零和游戲。

這篇的論文最終提出了一組模型，為生產就緒的模型設置了新的靈活性和性能標準:這些模型是最先進的，精確的，可解釋的，可概括的，并且可以在CPU時間內配置任何資源約束。

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269