亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的十年里，經典機器學習與現代機器學習之間的差距不斷擴大。現代學習的預測性能不可比擬地更好，但更容易對經典學習進行分析，并保證其安全性、效率、公平性等特性。在本論文中，我探討了通過審慎和戰略性地結合經典技術，是否有可能將這些期望的特性恢復到現代機器學習中。我將經典與現代學習的結合歸納為兩種高級策略：（1）封裝，即通過經典分析技術從現代的、不透明的模型中提取可靠的性能保證，或（2）替換，即從經典的基礎構建現代模型的某些組件，以提高整體的效率、可處理性和/或表達能力。這些努力在機器學習的多個領域帶來了新的進展。本論文的最重要貢獻涉及元分析，這是一種結構化的問答形式，作為循證醫學的基礎。經典元分析技術基于隨機對照試驗，其因果效度受到信任；相比之下，現代回歸模型是在大型觀察性數據庫上訓練的，其因果效度不被信任。我展示了如何在不犧牲效度的情況下將不可信的數據納入元分析中。這涉及對完全共形預測的基本改進，這些改進具有普遍的意義。在一個更聚焦的醫療保健應用中，我推廣了經典的、手工設計的心率變異性統計，使其能夠通過監督學習進行微調，成為深度神經網絡的一部分，從而生成更準確的、生理學知情的模型。我還提出了一些可以在未來機器學習模型和算法中使用的基礎計算原語。第一個是一種算法，可以在O(log T)的并行時間內（近似）運行T步非線性RNN。該算法的關鍵創新在于通過一種證明一致的局部、可并行修正方案，用深度上的非線性替代時間上的非線性。通過這種方式，經典線性動態系統（也稱為狀態空間模型）可以堆疊起來形成快速的非線性序列模型。另一個新的計算原語是在所有正交多項式序列集合上進行基于梯度的優化。這種優化形式與信號處理和優化中的許多不同問題都有聯系。最后，我提出了基于學習理論和優化中廣泛使用的幾何邊界概念的公平性標準，以規避計算的不可處理性。

優化和機器學習是當今決策領域的兩個主要領域。近年來，數據的日益豐富促進了這兩個領域交叉點的進展，從而催生了更好的決策支持工具。優化通過改進傳統機器學習模型的訓練方法顯著提升了這些模型的性能，而機器學習則通過準確的預測能力改進了許多優化算法，從而實現了更優的決策。

然而，將優化理論與現代機器學習方法（如神經網絡和核函數）相結合面臨兩大主要挑戰。首先，這些模型不滿足優化理論中的基本凸性假設。其次，這些模型主要用于具有大量參數和高維數據的任務，因此需要高度高效且可擴展的算法。這種對效率的關注限制了對離散變量和優化中典型的一般約束的考慮。本論文介紹了應對這些挑戰的新算法。

本文分為四章，涵蓋嚴格的理論、計算工具和多樣化的應用。在第一章中，我們將穩健優化的最新工具擴展到非凸和非凹的環境中，從而使得生成對輸入擾動具有魯棒性的神經網絡成為可能。在第二章中，我們開發了一個整體的深度學習框架，通過適當修改損失函數，共同優化神經網絡的魯棒性、穩定性和稀疏性。在第三章中，我們介紹了TabText，這是一種靈活的方法論，它利用大語言模型的力量從表格數據中預測患者流動。最后，在第四章中，我們提出了一種基于數據驅動的方法，通過稀疏化核方法解決多階段隨機優化問題。

機器學習（ML）通過其近期前所未有的進步正在改變社會。自回歸模型的普及正在重塑社會的各個層面，從專業領域到學術追求，甚至休閑活動。智能AI系統的一個核心方面是它們處理和理解長時間的時間信息流，如文本、音頻或視頻數據的能力。在這篇論文中，我們深入探討了學習數據中長期依賴性的問題，從兩個主要角度來解決它：模型架構和學習算法。與其致力于在當代基準分數上獲得邊際改進，這些分數通常更依賴于工程優化，本論文的重點是深入理解潛在的時間機制，探索替代學習算法，并為未來在計算效率方面的改進提供基礎。

在第一章中，我們提出了一種新方法，將眾所周知的ML模型之一，循環神經網絡（RNN）的多個實例互聯。我們提出的實證證據表明，模型架構的修改在系統組件內引發不同的時間行為。這一發現可以被利用來區分長期依賴性和短期依賴性，為使用專門為每個設計的架構鋪平了道路。

第二章聚焦于在線學習算法，這種方法顯著偏離了用于訓練時間ML模型的傳統方法。這些算法在觀察到每個輸入后立即更新其參數，與更常用的方法形成對比，后者必須觀察整個輸入序列才能更新模型參數。我們研究了實時循環學習（RTRL）在眾所周知的RNN模型中的表現，并提出了一種數學上合理的近似方法。這種新方法提供了更好的近似，盡管它只與某些架構兼容。

在最后一章中，我們同時從這兩個方面應對學習長期依賴性的挑戰。我們提出了一種分層架構，能夠通過將其分解為更小的自包含子序列來處理擴展序列。與這種架構一起，我們提出了一種學習算法，使得在抽象空間中的學習成為可能，從而繞過了專注于短期序列細節的需求。這種架構和算法的結合導致了計算效率的顯著提高。重要的是，我們的方法不僅增強了當前模型的能力，而且還為未來模型架構和學習算法的共同設計開辟了令人興奮的途徑。

深度生成模型已經徹底改變了人工智能領域，從根本上改變了我們如何生成模仿或從訓練數據推廣出的新穎對象，以及我們訪問和消費各類信息（如文本、圖像、語音和計算機程序）的方式。它們有潛力徹底改變其他科學領域，從數學問題解決到支持高能物理中快速而準確的模擬，或是使快速天氣預報成為可能。在計算生物學中，生成模型對于改進我們對復雜生物過程的理解、設計新藥物和治療方法、以及預測大流行期間病毒的進化等方面，都擁有巨大的潛力，而這只是眾多應用中的一部分。然而，由于生物對象的固有復雜性，它們帶來了獨特的挑戰，包括龐大的空間、多種補充數據模式，以及高度結構化和相對非結構化組件之間的獨特相互作用。

在這篇論文中，我們開發了幾種由計算生物學中關鍵問題所驅動的深度生成建模框架。鑒于這一努力的跨學科性質，我們首先提供了關于生成建模、不確定性量化、順序決策制定，以及生物學和化學中重要概念的全面背景，以便徹底理解我們的工作。接著，我們深入探討我們貢獻的核心，圍繞三個章節進行構建。第一章介紹了學習生物序列表示的方法，為后續分析打下了基礎。第二章展示了如何利用這些表示來預測生物分子的復雜屬性，重點關注三個具體應用：蛋白質適應性預測、遺傳變異對人類疾病風險的影響，以及病毒免疫逃逸。最后，第三章致力于設計新型生物分子的方法，包括藥物靶點識別、從頭分子優化和蛋白質工程。

這篇論文還對更廣泛的機器學習挑戰，如高維空間中的不確定性量化或高效的變換器架構，作出了幾個方法論貢獻，這些貢獻在其他應用領域也具有潛在價值。我們最后通過總結我們的主要發現，強調當前方法的不足，提出未來研究的可能途徑，并討論該領域內的新興趨勢來結束這篇論文。

計算機視覺系統自從分類手寫數字的時代以來取得了巨大的進步。特別是，監督學習已經成為解決科研之外任務的普遍方法。這些系統被部署在從自動駕駛汽車到自動醫療診斷和天氣預報等多個行業的眾多產品中。這些進步可以歸因于深度學習算法、專業庫和專用硬件的進步，以及用于模型訓練的大型標注數據集的增加。然而，仍然存在一些任務，其中僅僅捕獲和標注更多數據的標準范式并不是一個可行的解決方案。 在這篇論文中，我們調查如何最好地利用多模態數據來解決獲取足夠質量或完整性數據困難的計算機視覺任務。我們專注于兩個特定任務：引導式超分辨率和細粒度分類。引導式超分辨率涉及通過將低分辨率數據與輔助模態結合來進行放大，而細粒度分類需要利用邊際信息，使分類算法能夠捕捉到細粒度類別之間細微的外觀差異。最初，我們在缺乏地面真實數據的情況下為引導式超分辨率提供解決方案。首先，我們提出了一種將引導式超分辨率視為學習從引導到源域的像素到像素映射的新穎無監督公式。我們使用多層感知器參數化來保留高頻細節。其次，我們提出了一種新穎的混合模型，以在保持解決測試時優化問題的嚴謹性的同時，最好地利用深度學習方法。關鍵是一個可微分優化層，它作用于一個學習的親和圖，確保目標對源的高保真度，因此對未見域具有高泛化性。隨后，我們提出了一種自動識別社區科學家照片中細粒度植物標本的統一方法。該方法旨在利用社區科學家觀察中通常可用的各種先驗知識，包括地理和時間背景以及植物分類學，以學習跨類似物種的可轉移表示。最后，我們提出了2021年半地球植物標本館數據集，這是我們作為機器學習競賽的一部分創建的一個大型策劃和開放獲取的植物標本數據集，以鼓勵進一步研究從照片中自動識別細粒度植物物種。 近年來，計算機視覺領域取得了顯著進步。當然，這些進步可以歸因于深度學習研究、專業庫和專用硬件的進展，但最重要的是，這些進步得益于大量數據的可用性，例如像ChatGPT（OpenAI，2022年）和Stable Diffusion（Rombach等，2021年）這樣的生成模型分別在互聯網上爬取了數十億的文本和圖像進行訓練。 然而，并非所有任務都能使用現成的互聯網規模數據集來解決。許多重要問題，如自動檢測惡性腫瘤、評估自然災害造成的損害或繪制瀕危物種的地理分布，仍然是放大數據收集不是解決方案的挑戰。這些挑戰可以大致分為兩類。首先，由于傳感器捕獲它們的固有技術限制，感知特定模態存在困難，例如遙感器如航空或衛星成像或主動傳感器如激光掃描儀、ToF相機或MRI掃描儀。其次，觀察罕見事件或特定數據類型的多樣性困難，因為在現實世界的數據收集工作中不經常遇到某些場景或類別。例如，捕捉所有容易發生事故的駕駛場景，或收集所有生物物種的足夠數據就是這種情況。

為了解決數據收集質量挑戰性應用中傳感器可用性的限制，一個可行的解決方案是利用更常見的傳感器捕獲的數據來增強傳感器的輸出。這種設置在許多計算機視覺任務中都很常見，特別是在低分辨率傳感器與捕獲不同模態圖像的高分辨率傳感器配對時。這項任務，被稱為引導式超分辨率，涉及在高分辨率引導圖像的幫助下增加低分辨率源圖像的分辨率。一個常見的實際應用是在RGB圖像的指導下對深度圖進行超分辨率。這種配置在配備有深度傳感器和常規攝像機的各種設備上都能找到，如增強/虛擬現實頭戴式顯示器（AR，VR），現代手持設備，機器人和自動駕駛汽車。事實上，消費級深度攝像頭捕獲的深度圖分辨率較低；類似地，激光掃描儀獲得的稀疏深度測量可以在相對較大的印記上進行平均。相反，即使是入門級相機現在也能以非常高的分辨率捕獲圖像。這種設置也經常用于環境監測，例如樹高、生物量或物種分布概率等關鍵指標的地圖通常可用的分辨率遠低于現代遙感器的地面采樣距離（Keil和Jetz，2014年，Metzger等，2022年）。因此，一個自然的問題是如何利用這些系統捕獲的成對圖像來提高低分辨率傳感器的質量，從高分辨率傳感器傳輸細節。 獲取大量高質量注釋的挑戰甚至可能比數據收集過程本身更加困難。這是至關重要的，因為監督學習在計算機視覺的成功中發揮了核心作用，可以追溯到深度學習早期的開創性工作，如AlexNet（Krizhevsky等，2012年）贏得ImageNet ILSVRC-2012挑戰賽（Deng等，2009a）。事實上，全球數據標注市場預計到2028年將達到82.2億美元（Grand View Research），凸顯了其重要性。例如ImageNet這樣的基準通常為每個類提供大量的訓練圖像，在這種設置下，分類算法取得了令人印象深刻的結果。然而，一旦我們減少每個訓練類的圖像數量，它們的性能就會迅速下降。然而，由于各種原因，簡單地收集更多數據和注釋并不總是可行的。例如，自然界展示了物種的長尾分布，導致大量類別不平衡，某些物種罕見或難以觀察。此外，某些地區數據的可用性變化和觀察者偏見可能會進一步加劇獲取全面注釋的難度，如圖1.1所示。此外，標注這些數據集需要專業的分類學專業知識，因此許多這些觀察結果仍未標注。這是大多數描述生物多樣性的大型圖像集合的現實，例如那些從相機陷阱、社區科學家觀察、無人機調查或植物標本館（Tuia等，2022年，Bebber等，2010年）中獲得的。因此，我們認為自動物種識別工具的需求迫切。這項任務，通常被稱為細粒度分類，涉及將圖像分類為更廣泛類別內的子類別，例如物種，并且以區分基于微妙視覺線索的標本為特征。我們認為，僅憑外觀信息不足以區分細粒度類別，因為學習這種微妙模式的數據有限。幸運的是，物種觀察通常伴隨著側面信息，例如捕獲圖像的時空背景，這些信息可以與環境先驗結合使用。這個問題再次強調了開發利用多模態數據來增強自動識別標本的方法的需要。

在過去的10年里，深度神經網絡在許多監督學習任務上的性能有了巨大的提升。在此期間，這些模型多次在許多經典的機器視覺和自然語言處理基準上重新定義了最高水平。深度神經網絡也被應用到許多實際應用中，包括聊天機器人、藝術生成、語音激活的虛擬助手、監控和醫療診斷系統。這些模型性能的大部分提升可以歸因于規模的增加，這反過來又提高了計算和能源成本。在這篇論文中，我們詳細介紹了如何降低在各種環境下部署深度神經網絡的成本的方法。我們首先關注訓練效率，為此，我們提出了兩種優化技術，這兩種技術可以在沒有大量調整的情況下產生高精度的模型。這些優化器只有一個固定的最大步長超參數需要交叉驗證，并且我們證明他們在廣泛的設置中都優于其他可比較的方法。這些方法不需要繁重的找到好的學習率調度的過程，這通常需要訓練同一網絡的許多版本，因此它們減少了所需的計算。第一個優化器是一種為插值設置設計的新穎的束方法。第二個展示了Polyak式步長與在線估計最優損失值在非插值設置中的有效性。

接下來，我們將注意力轉向訓練具有二進制參數和激活的高效二進制網絡。在正確的實施下，全二進制網絡在推理時間上具有高效率，因為它們可以用更便宜的位運算替換大部分操作。這使得它們非常適合輕量級或嵌入式應用。由于這些模型的離散性質，傳統的訓練方法不可行。我們提出了一種簡單而有效的替代方案，用于優化這些模型的現有技術。

數十年來，機器人在我們的日常生活中扮演了重要而隱秘的角色。我們每天依賴的許多產品，如汽車和藥品，都是通過機器人自動化生產的。這些系統將以更直接的方式進入我們的日常生活，他們的影響力不可避免地會減小。特別是腿部機器人，近期的進步終于使這些系統商業上可行，并將很快看到它們在物流、景觀工作和在建筑工地上協助工人的角色。然而，隨著它們的持續改進，操作它們的軟件和算法將需要能夠執行目前無法實現的更抽象的任務。毫無疑問，實現這一目標的方式之一將涉及利用機器學習技術的并發進步。

//www.research-collection.ethz.ch/handle/20.500.11850/614549

這篇博士論文正朝著這個目標努力，旨在幫助彌合現代機器人技術和機器學習技術之間的鴻溝。這項研究解決了實現更強大機器人系統所必需的兩個方面，即軟件和算法，并專注于深度強化學習（DRL）技術在解決腿部機器人，特別是四足機器人系統的運動控制問題的應用。為了統一上述領域，我們需要軟件系統能夠利用在Python中實現的DRL算法，并讓需要C++接口的研究人員和開發人員可以使用。因此，這項工作通過引入一個多功能的軟件工具箱，為機器人應用使用DRL算法做出了貢獻。它利用了最先進的機器學習平臺TensorFlow的Python API，用于構建包含神經網絡模型、梯度計算和隨機梯度下降優化器等組件的計算圖。這些圖可以在C++運行時環境中使用，以執行如訓練和部署等圖操作。此外，該工具箱在上述核心元素的基礎上，提供了對DRL的有用抽象，實現了幾種最先進的算法以及其他有用的實用工具。有了這個工具箱，我們提供了一個端到端的解決方案，用于設計、建模、訓練和部署神經網絡策略，這種策略專門為四足機器人ANYmal設計和測試。此外，復雜地形的行動對于有腿的機器人來說構成了重大挑戰。為了讓像ANYmal這樣的系統能夠在這樣的環境中自主運行，它們必須擁有謹慎規劃適合地形的立足點的方法，同時執行保證穩定性的運動。為了解決這個問題，本博士論文通過提出一種解決四足系統穿越非結構化地形的立足點選擇和步態生成問題的新方法，對算法的第二個方面做出了貢獻。這項工作主要圍繞一個框架進行，該框架用于制定馬爾科夫決策過程(MDPs)，采用最新的基于模型的軌跡優化技術來評估動態可行性，取代了物理模擬。當與最先進的DRL算法一起使用時，這些MDPs會生成能夠在具有挑戰性的3D環境中規劃基礎姿勢、立足點位置和步態參數序列的地形感知神經網絡策略。這些所謂的步態規劃(GP)網絡，在與其他針對運動規劃和控制問題的最先進方法結合時，會產生有效的行動。這種方法已經在模擬中以及在ANYmal的物理平臺上得到了實驗驗證。

隨著時間的推移，更復雜、更強大的深度神經網絡的設計不斷推動各種任務的最新水平。在追求增加性能的過程中，計算復雜性常常受到嚴重阻礙，這體現在參數數量的顯著增加、需要的浮點運算以及延遲。盡管深度神經網絡的巨大進步增加了人們在下游應用（如機器人技術和增強現實）中使用它們的興趣，但這些應用需要計算效率高的替代方案。這篇論文關注的是設計高效的深度神經網絡，具體來說，是在給定的計算約束下提高性能，或者在性能下降不大的情況下降低復雜性。首先，我們介紹了一種新穎的卷積操作重參數化及其在多任務學習中的應用。通過重參數化卷積操作，我們可以以總參數數量的一部分實現與單任務模型相當的性能。其次，我們進行了廣泛的研究，評估自我監督任務作為多任務學習框架中的輔助任務的效果。我們發現，與自我監督任務一起訓練目標任務可以提高性能和魯棒性，常常優于有標簽的輔助任務，而且不需要修改部署時使用的架構。

第三，我們提出了一種新穎的用于高效單物體視覺跟蹤的變換器層。我們證明了實時單物體追蹤器的性能可以在不影響延遲的情況下顯著提高，同時始終優于其他變換器層。最后，我們研究了適應利用點檢測和描述神經網絡用于計算能力有限的平臺的有效性。我們發現，網絡組件的混合精度量化，結合二元描述符歸一化層，可以在性能稍有下降的同時，至少提高一個數量級的稀疏3D地圖的大小、匹配速度和推理速度。總結來說，這篇論文關注的是在計算限制下設計深度神經網絡。隨著對高效深度網絡的興趣和需求的增加，我們預見所提出的工作將為更高效的方法鋪平道路，彌合與性能更好的替代方案之間的差距。

1. 引言

通過計算機自動視覺感知和理解物理世界是計算機視覺研究的一個基本目標。受人類視覺系統的啟發，計算機視覺研究旨在構建能利用視覺輸入（如圖像）的算法，使機器能對視覺輸入內容有高級理解。在這個范圍內，研究關注的是自動提取、分析和理解重要且有用的信息。早期的計算機視覺嘗試可以追溯到Lawrence Roberts的工作[Rob63]，但直到David Marr的開創性工作，該領域才有了顯著的改進[Mar76; Mar82]。Marr的框架遵循自下而上的場景理解方法，利用低級線索，如角和邊緣，作為獲得高級信息目標的基礎模塊。這個框架最早和最突出的例子之一是將Canny邊緣檢測器[Can86]與Hough變換[Bal81]結合，以獲取形狀信息，如線和圓。在各種任務上，如立體匹配[Mor81]、運動跟蹤[HS+88; Har93]、圖像匹配[Zha+95]和圖像檢索[SM97]，利用低級線索的持續成功激發了對更強大、更描述性的低級特征的興趣。一些最知名的手工特征提取器包括SIFT[Low04]、HOG[DT05]和SURF[BTG06]。將這些特征與機器學習方法（如SVM[CV95]）結合，使得更具挑戰性的高級任務，如圖像分類成為可能[Csu+04; SWP05]。然而，這種特性的手動設計性質使得它們在設計假設不成立時變得次優。

受到手工特征提取器限制的啟發，深度神經網絡（DNNs）旨在通過直接優化期望的行為來聯合學習自下而上的特征提取器和預測頭，如分類器[LBH15]。DNNs基于線性函數、非線性激活函數和池化操作的組合。這些模型使用捕獲期望的輸出行為的成本函數進行優化，例如分類的交叉熵，和大規模數據集。自從Krizhevsky等人[KSH12]贏得了ImageNet分類挑戰[Rus+15]，大幅超過了使用傳統手工特征提取器的方法，計算機視覺社區就大量采用了DNNs，尤其是卷積神經網絡（CNNs）[LeC+89]。自那時以來，CNNs不僅被用來改進圖像分類[SZ15; Sze+15; Sze+16; He+16; ZK16]，還被用來執行廣泛的任務。這些任務包括但不限于語義分割[YK16a; Che+17; Zha+17; Yu+18; Che+18a]、人體姿態估計[NYD16; Cao+17; Sun+19; Cao+19]、單目深度估計[Zho+17; Fu+18; God+19]、物體檢測[Gir+14; Gir15; Ren+15; Red+16]和視覺物體跟蹤[Ber+16; Bha+19]。

為了提高CNNs的表示能力，網絡變得更深[SZ15; He+16]、更寬[ZK16; Sun+19]，甚至用更具描述性的替代品替換卷積操作[Dos+21; Tol+21]。我們在圖1.1a中描繪了隨著時間推移在ImageNet分類基準[Rus+15]上的進展。如圖所示，雖然隨著時間的推移，我們看到了持續的性能提高，但這些進步往往以增加的計算復雜性為代價，例如參數的數量（圖1.2a）和FLOPs的數量（圖1.2b）。在一定程度上，這些進步主要需要高端的圖形處理單元(GPUs)和張量處理單元(TPUs)，這些通常可以在云服務器上找到。

DNNs的巨大進步進一步激發了人們對其在機器人、增強現實（AR）、虛擬現實（VR）、自動駕駛汽車、物聯網（IoT）和移動電話[Sar+22]中的應用的興趣。然而，云計算的限制阻止了其在這些應用中進行推理的使用。首先，不穩定或丟失的網絡連接使得使用云處理成為不可能。其次，根據數據保護規定，如通用數據保護規定(GDPR)[Cus+19]，禁止處理和存儲敏感數據。最后，隨著任何設備或服務的用戶數量的增加，云服務器需要處理增加的數據傳輸以及增加的處理需求，使得云計算不可行且成本效益低。為了緩解這些問題，上述應用依賴于在板上處理，也稱為邊緣計算。DNNs的在板處理解決了云計算的所有限制，并有可能提供確定的和實時的體驗[DD17]。然而，與云服務器、大型機和工作站不同，嵌入式平臺有限的存儲、內存、計算能力、電池壽命，且通常需要更快和更小的軟件更新。這些限制可以，部分地，通過結合以下方法來解決，具體取決于設備特定的約束：

拓撲優化：拓撲優化旨在通過改變網絡的架構來提高每操作的精度或每參數的精度。值得注意的例子包括MobileNets [How+17; San+18; How+19]，ShuffleNets [Zha+18a; Ma+18]，EfficientNets [TL19; TL21]，等等 [Gho+18; Hua+18; Zop+18; Liu+18a; LSY18; Rad+20]。

硬件感知優化：嵌入式平臺通常對全精度（FP）運算提供有限的甚至沒有支持。此外，它們通常被優化為執行SIMD（單指令，多數據）整數（Int）運算 [Ign+18]。盡管標準的深度學習庫使用32位FP表示法 [Pas+19; Mar+15]，但對Int表示法的需求呼喚量化神經網絡（QNNs）。通過用Int操作數替換FP，QNNs減少了相對于等效DNNs的存儲和內存需求，同時復雜的FP運算可以被更簡單的Int運算所替代。由于這些性質，QNNs可以以更高的吞吐量（每周期的操作數）和算術強度（每內存事務的算術操作數）執行 [CBD15; KS15; Ras+16; LZP17; Zhu+17; Liu+18b; Jac18; Nag+19; LS20]。

知識蒸餾：從一個大模型（稱為“教師”）開始，目標是將知識轉移到一個更適合部署的小模型（稱為“學生”） [HVD15]。具體來說，這可能包括同一架構家族的模型之間的知識轉移，從ResNet-101 [He+16] 到 ResNet-50 [He+16]，也可能是不同的架構，例如從ResNet-101 [He+16] 到 MobileNet [How+17]。知識蒸餾可以被看作是兩個網絡之間的函數匹配，并在實踐中展示了優異的結果 [HVD15; Rom+15; TV17; MM18; CH19; SS20; Xie+20; Bey+22]。

模型剪枝和分解：由于DNNs的過度參數化，剪枝方法旨在識別并消除網絡中的冗余操作。這可能包括剪枝獨立的神經元 [Han+15; HMD16]，但通常整個過濾器都用新的具有規則形狀的內核 [Li+17; Gor+18; Yan+18]。與剪枝類似，分解方法用低秩近似替換現有的過濾器。這可能是在二維過濾器上 [Den+14; JV 多任務學習：到目前為止討論的方法主要關注于每個任務學習一個網絡。不同的是，多任務學習（MTL）專注于用單個網絡學習多個任務。MTL最初是為了通過利用額外相關任務的訓練信號作為歸納偏差來提高目標任務的性能而提出的 [Car97]。然而，神經網絡的自下而上的方法使得不同任務之間可以共享參數和計算，使它們成為不僅可以提高任務性能 [Mis+16; Xu+18; Ran+19; Hoy+21; Bru+21] ，也可以減少總參數數量和FLOPs [Kok17; RBV17; BV17; RPC17; RBV18; MRK19; Bru+20; Sta+20]的優秀框架。

過去的十年見證了機器學習在諸多領域（如醫療保健、金融和司法）的巨大進步。然而，近年來的技術進步主要依賴于深度神經網絡，這種網絡的不透明性阻礙了人們對這些模型的檢查能力。此外，一些法律要求正在提議，要求在部署和使用模型之前必須先理解模型。這些因素推動了提高這些模型可解釋性和透明度的研究。本論文在這個方向上做出了一些貢獻。

首先，我們對當前用于定義和評估模型預測解釋的技術進行了簡潔而實用的概述。然后，我們觀察到各種可解釋性概念的定義和評估之間存在一種新穎的對偶性，并提出了一種新的生成解釋的方法，研究了這些新解釋的屬性。接下來，我們詳細研究了良好解釋的兩個基本屬性：正確性 - 解釋是否反映了模型內部的決策邏輯，以及可理解性 - 人類是否能夠準確地從這些解釋中推斷出更高層次和更普遍的模型行為。對于每個方面，我們都提出了評估方法來評估現有的模型解釋方法，并討論了它們的優缺點。

接下來，我們探討了解釋哪些實例的問題，并將透明度示例觀點作為回答這個問題的方法。我們展示了這種方法在揭示圖像分類器和機器人控制器的隱藏屬性方面的優勢。最后，本論文確定了未來研究的方向，并倡導將模型可解釋性和透明度更緊密地融入到可信賴機器學習研究的生態系統中，該生態系統還包括公平性、魯棒性和隱私等方面的努力。

1. 引言

在過去的十年中，機器學習(ML)迅速改變了社會。從谷歌翻譯、Facebook好友標記和Snapchat過濾器等日常產品和功能，到醫療診斷、保險承保和貸款審批等專家知識領域，再到自動駕駛、虛擬現實和基因治療等新興技術，ML在所有這些領域都發揮了關鍵作用，人們普遍認為，它的重要性只會越來越重要。盡管如此，ML的廣泛應用也帶來了獨特的挑戰。當我們無法手動指定模式時，ML的目標是從數據中自動發現它們。例如，在圖像分類中，因為如果有可能的話，編寫一個手動規則來分類像素矩陣是看起來更像貓還是狗是極其困難的，我們借助于ML在像素矩陣空間中學習一個決策邊界，以將貓的邊界和狗的邊界分開。當邊界具有非常復雜的形狀時，就像大多數復雜任務需要的那樣，理解它就成為一個嚴峻的挑戰。因此，學習計算這些邊界的模型通常由深度神經網絡或樹集成(例如，隨機森林或增強樹)表示，通常被稱為“黑盒模型”。

但是，為什么我們需要或者想要理解這些模型呢?除了滿足一般的好奇心外，了解模型學習的內容還有非常實際的目的。考慮一個基于過去貸款數據訓練的模型，以做出新的抵押貸款批準決策。雖然理想情況下我們希望模型根據申請人的財務健康狀況和還款可能性進行預測，但它很可能會學會依賴虛假的相關性。例如，在歷史上，非裔美國人往往財務不穩定，受到銀行的歧視，這導致這種種族與拒絕貸款有很強的相關性。因此，該模型可以學習一個簡單的規則，即拒絕非裔美國申請人，而不考慮他們的其他因素，這與訓練數據基本一致。對于這個模型，如果我們有強調種族特征對模型預測的重要性的模型解釋，我們可以很容易地發現種族偏見。 再舉一個例子，假設我們想訓練一個神經網絡來從x射線圖像中檢測癌癥，其中的數據來自兩個來源:綜合醫院和專業癌癥中心。可以預料的是，來自癌癥中心的圖像包含更多的癌癥病例。然而，在渲染x射線圖像時，癌癥中心在左上角添加了一個小的時間戳水印。由于時間戳與癌癥存在強烈相關，模型可以學習使用它進行預測。在這種情況下，雖然該模型可以通過識別時間戳或癌癥的真實醫學信號來達到非常高的準確性，但前者的操作模式將錯過所有沒有時間戳水印的癌癥陽性圖像的檢測，例如來自不同醫院的圖像。因此，如果我們意識到水印確實很重要，那么我們應該丟棄模型，并重新開發數據收集和模型訓練流程。 除了這些假設的設置之外，對這些模型的普遍缺乏了解也導致了許多引人注目的失敗。例如，谷歌照片中的圖像識別系統將深色皮膚的人標記為大猩猩，微軟的對話機器人Tay在某些提示下生成仇恨言論。因為我們對模型的行為沒有很好的理解，所以很難預測什么圖像或什么提示會導致這樣的惡劣行為，并主動阻止它們發生。這種擔憂導致了值得信任的機器學習領域的發展，廣泛地旨在使機器學習系統在部署后可靠和可靠。它包含許多子領域，被廣泛研究的子領域包括可解釋性、透明性、公平性、魯棒性和隱私性。本文側重于前兩個，試圖通過生成對其預測的解釋或研究其各種行為(例如，高置信度失敗)來更好地理解黑盒模型。本文將重點放在這兩個主題上，因為它們是實現公平、魯棒性和隱私的“手段”。

下面，我們對第2章到第7章進行概述，這構成了本文的技術內容。第八章重申了本文的主要觀點，并指出了今后的研究方向。

標準的模型理解方法從流程的第二階段開始，在這個階段我們已經確定了一些要研究的輸入實例。從這里開始，生成局部解釋來說明模型對這些輸入的推理過程。在本論文中，“模型推理”主要指的是每個特征的重要性。接下來，這些局部解釋被人類解釋消費者總結為更全局和普遍的模型理解，以便在后續決策中作出相應調整（例如，由于種族歧視而放棄模型）。在簡要概述模型可解釋性研究的現狀之后，我們將在第2章中關注生成和評估局部解釋的方法。在第3章中，我們提出了一種生成解釋的新范式，并討論了它的影響。然后，在第4章和第5章中，我們介紹了模型解釋的兩個關鍵屬性，即正確性和可理解性，并提出了評估這些屬性的方法，并討論了這些發現對未來模型解釋研究的影響。最后，本論文還倡導在模型理解流程的更早階段開始。我們不應從任意或隨機的輸入實例開始，而應明確考慮每個模型行為，如矛盾預測或高置信度錯誤，并將它們用于指導解釋輸入的選擇。具體而言，第6章和第7章介紹了Bayes-TrEx和RoCUS框架，以找到符合某種目標模型行為的輸入實例。從某種意義上說，這兩個框架回答了“解釋什么”的問題。

深度學習方法在解決計算機視覺任務方面取得了巨大的成功，在人工智能系統中被廣泛應用于圖像處理、分析和理解。然而，深度神經網絡(DNNs)已被證明易受輸入數據的對抗性擾動的影響。因此，深度神經網絡的安全問題浮出了水面。綜合研究深度視覺算法的對抗魯棒性是十分必要的。本文主要研究深度分類模型和深度圖像去噪的魯棒性。 對于圖像去噪，我們系統地研究了深度圖像去噪器的魯棒性。具體而言，我們提出了一種新的攻擊方法，基于觀測的零均值攻擊(ObsAtk)，考慮了自然噪聲的零均值假設，對有噪聲的輸入圖像產生對抗性擾動。我們開發了一種有效的、理論基礎的基于PGD的優化技術來實現ObsAtk。針對ObsAtk，我們提出了混合對抗訓練(HAT)來增強深度圖像去噪器的魯棒性。大量的實驗證明了HAT的有效性。此外，我們探討了降噪器的對抗性魯棒性和對真實世界中不可見的噪聲類型的適應性之間的聯系。我們發現，只有合成噪聲數據經過HAT訓練的深度降噪器可以很好地推廣到不可見的噪聲類型。噪聲去除能力甚至可以與訓練與真實世界的噪聲降噪器相媲美。對于圖像分類，我們探索了除了傳統卷積神經網絡(CNNs)之外的新的魯棒架構。首先，研究了神經常微分方程的魯棒性。我們通過經驗證明，與基于CNN的分類器相比，基于節點的分類器對輸入擾動表現出更好的魯棒性。為了進一步增強基于節點的模型的魯棒性，我們將時不變屬性引入到節點中，并施加一個穩態約束來規范受擾動數據上的ODE流。我們證明了合成模型，稱為時不變穩定神經ODE (TisODE)，比vanilla 節點更魯棒。 其次，從通道激活的角度研究了vanilla CNN的魯棒性，并提出了一種特征選擇機制來增強vanilla CNN的魯棒性。特別是，我們比較了正常訓練的分類器在處理自然數據和對抗數據時的通道激活。我們觀察到，對抗性數據通過過度激活負相關(NR)通道而缺乏激活正相關(PR)通道，誤導了深度分類器。我們還比較了正常訓練模型和對抗訓練模型的通道激活，觀察到對抗訓練通過促進未激活的PR通道和抑制過度激活的NR通道來增強模型的魯棒性。因此，我們假設，根據通道與真實類別的相關性，放大通道的激活可以提高魯棒性。為了驗證這一假設，我們開發了一種新的通道操作技術，即基于通道重要性的特征選擇(CIFS)，該技術可以根據通道的相關性生成非負乘數來擴展通道的激活。大量的實驗結果驗證了該假設和改進后的CNN具有良好的魯棒性。綜上所述，本文系統研究了深度視覺算法的魯棒性，包括魯棒性評價(ObsAtk)、魯棒性改進(HAT、TisODE和CIFS)以及對抗魯棒性與新領域泛化能力之間的關系。