亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

過去十年在人工智能和硬件開發方面的研究對自動駕駛的發展產生了重大影響。然而，在高風險環境中部署此類系統時，安全性仍然是一個主要問題。現代神經網絡已被證明很難正確識別自己的錯誤，并在面對看不清的情況時提供過度自信的預測，而不是放棄。在這些問題上取得進展，不僅對獲得交通主管部門的認證至關重要，而且對激發用戶的熱情也至關重要。

本論文的目的是開發為深度神經網絡提供可靠的不確定性估計的方法工具。特別是，我們的目標是改進測試時錯誤預測和異常的檢測。首先，我們引入了一種新的模型置信度目標準則——真類概率(TCP)。在故障預測任務中，TCP比當前的不確定性度量提供了更好的性能。由于真正的類在測試時本質上是未知的，我們提出使用輔助模型(知己網)從數據中學習TCP準則，并引入了一種適合這種情況的特定學習方案。在圖像分類和語義分割數據集上驗證了所提方法的相關性，證明了在故障預測方面強不確定性量化基線的優越性。

然后，我們將學習過的置信度方法擴展到語義分割的領域適應任務中。一種流行的策略是自訓練，它依賴于在未標記的數據上選擇預測，并用這些偽標簽重新訓練模型。這種被稱為ConDA的自適應方法通過提供用于選擇偽標簽的有效置信度估計改進了自我訓練方法。為了應對領域適應的挑戰，我們為輔助模型配備了多尺度的置信度體系結構，并用對抗訓練方案補充置信度損失，以加強源域和目標域的置信度映射之間的對齊。最后，我們考慮了異常的存在，并解決了聯合檢測錯誤分類和非分布樣本的最終實際目標。為此，我們引入了一種基于證據模型并定義在類概率單形上的不確定性測度KLoS。通過保留完整的分布信息，KLoS既捕獲了由于類別混亂而產生的不確定性，又捕獲了與分布不均樣本相關的知識缺乏。通過使用輔助模型和學習置信方法，我們進一步提高了不同圖像分類數據集的性能。

最近，深度學習研究在包括計算機視覺、自然語言處理和強化學習在內的廣泛任務中取得了令人印象深刻的快速進展。這些系統的非凡性能常常給人一種印象，即它們可以用來使我們的生活變得更好。然而，正如最近的研究指出的，這些系統存在一些問題，使其在現實世界中使用不可靠，包括易受對抗性攻擊(Szegedy等人[243])，傾向于記憶噪聲(Zhang等人[286])，對錯誤的預測(錯誤校準)過于自信(Guo等人[99])，以及不適合處理私人數據(Gilad-Bachrach等人[88])。在本分析中，我們將詳細研究這些問題，研究它們的原因，并提出在實踐中減少它們的計算成本低廉的算法。為此，我們確定了深度神經網絡中的結構，可以利用這些結構來減輕上述導致深度學習算法不可靠的原因。在第4章中，我們展示了最小化神經網絡中單個權重矩陣的矩陣的一個屬性，稱為穩定秩，降低了網絡記憶噪聲的趨勢，而不犧牲其在無噪聲數據上的性能。在第5章中，我們證明了記憶標簽噪聲或進行不適當的表示學習使實現對抗魯棒性成為不可能。第6章表明，神經網絡表示空間上的低秩先驗增加了神經網絡對對抗性擾動的魯棒性，而在實踐中不會導致與精度的任何權衡。在第7章中，我們重點介紹焦點損失(focal loss)的使用，它根據神經網絡對每個樣本的分類情況，對單個樣本的損失分量進行差異加權，作為交叉熵的替代損失函數，以最小化神經網絡中的錯誤校準。在第8章中，我們首先定義了一個名為加密預測即服務(Encrypted Prediction As a Service, EPAAS)的新框架，以及一系列計算和隱私約束。然后，我們提出使用一種完全同態加密[84]方案，該方案可與二元神經網絡[61]一起使用，以及一組代數和計算技巧，以滿足我們對EPAAS的所有條件，同時計算效率高。

//ora.ox.ac.uk/objects/uuid:1b9afe07-718b-404a-af25-470d476d5c30

本文提出了計算概率神經網絡局部魯棒性的方法，特別是由貝葉斯推理得到的魯棒性。從理論上講，將貝葉斯推理應用到神經網絡參數的學習中，有望解決頻繁主義學習范式下出現的許多實際困擾問題。特別是，貝葉斯學習允許有原則的架構比較和選擇，先驗知識的編碼，以及預測不確定性的校準。最近的研究表明，貝葉斯學習可以導致更多的對抗魯棒預測。雖然從理論上講是這樣的，并且在具體實例中已經證明了這一點，但提高魯棒性的軼事證據并不能為那些希望在安全關鍵環境中部署貝葉斯深度學習的人提供足夠的保證。雖然有方法可以保證確定性神經網絡的魯棒性，但貝葉斯神經網絡權重的概率性質使這些方法不可操作。本文研究了貝葉斯神經網絡的魯棒性概念，允許同時考慮模型的隨機性和模型決策的魯棒性保證。本文提供了一種方法，可以為給定的貝葉斯神經網絡計算這些數量，這些方法要么對估計的精度有先驗的統計保證，要么有可靠的概率上下界。最后，我們將魯棒性作為神經網絡參數貝葉斯推斷的主要要求，并演示了如何修改似然，以推斷出具有良好魯棒性的后驗分布。對似然的修正使我們的方法對貝葉斯神經網絡的近似推理技術是透明的。

我們使用貝葉斯神經網絡來評估我們提出的方法的實用性，這些神經網絡訓練了幾個真實的數據集，包括空中碰撞避免和交通標志識別。此外，我們評估了使用五種不同近似推理方法近似推斷的貝葉斯后驗分布的魯棒性。我們發現，我們的方法為貝葉斯神經網絡提供了第一個可證明的魯棒性保證，從而使它們能夠部署在安全關鍵場景中。此外，我們提出的神經網絡參數的魯棒貝葉斯推理方法使我們能夠推斷出后驗分布，這大大提高了可證明的魯棒性，即使是在全色圖像上。概述經典計算機科學關注的是如何創建解決給定問題的程序。相應地，經典程序驗證是確保(通常通過形式證明)給定程序在每個實例[6]中正確解決給定問題的任務。近年來，計算機科學家們已經將他們想要解決的問題的類別擴大到那些過于復雜或定義欠佳而無法用經典編程范式處理的任務。在程序不能再由人類設計的地方，它們可以通過示例[57]學習。隨著學習到的解決方案變得比手工編碼的解決方案好得多，它們所應用的領域也變得更加復雜。學習具有最大潛在影響的領域也具有最大的危害風險，這并不奇怪[1,10]。針對這類任務(包括醫療診斷和自動駕駛汽車)的學習解決方案，在部署和獲得公眾信任之前，必須保證其安全性。不幸的是，為這些任務編寫經典程序的障礙也阻礙了它們的正式驗證[79]。此外，檢驗習得解的基本穩定性的初步嘗試揭示了它們顯著的脆弱性[136]。這種脆弱性表現為過度自信、不正確的預測，幾乎對學習算法的每個輸入都可能產生這種預測。

因此，如果我們想要利用機器學習算法的光明未來，我們必須確保它們在部署之前是安全的。在這篇論文中，我們將關注到目前為止最流行和最強大的學習算法:深度神經網絡神經網絡是功能強大的函數逼近器，它有望在廣泛的任務中對先進性能的進步做出持續和重要的貢獻。神經網絡已經在諸如醫療診斷和病理以及控制和規劃等安全關鍵領域取得了顯著的強大性能。然而，在這些領域采用神經網絡的主要障礙是它們的預測缺乏可解釋性和可靠性[1]。我們將使用兩個主要漏洞來激發貝葉斯神經網絡(BNNs)的魯棒性研究，BNNs是由貝葉斯規則推斷的參數分布的神經網絡。第一個潛在的漏洞是確定性神經網絡(DNNs)缺乏校準的不確定性，即知道自己不知道什么[81]。當確定性神經網絡用于對統計上偏離訓練數據的數據點進行推斷時，這是一個特別的挑戰。在這種情況下，DNN經常會做出高度自信、不正確的預測，如果依賴這些預測，可能會導致糟糕的行為[104]。第二個弱點是對抗性的例子[136]。一個對抗性的例子是一個輸入，它被精心設計成與自然發生的輸入無法區分，但這會導致神經網絡在輸出中做出錯誤的分類或不安全的更改。在醫學診斷中，這可能是由于病理幻燈片色調的輕微變化而預測患者患有癌癥，或者在自主導航中，這可能是基于照明條件的輕微變化而預測轉向角度的較大變化[105]。對抗攻擊已被證明不僅在圖像分類[58]中存在安全隱患，在音頻識別[163]、惡意軟件識別[126]和自然語言處理[41]中也存在安全隱患。這些對安全性和安全性關鍵型應用程序構成了巨大的安全風險。當然，證明對抗實例的安全性是在安全關鍵環境下部署任何神經網絡的先決條件。

在過去幾年里，證明神經網絡預測的安全性一直是一個重要而活躍的研究領域，并且在有效證明對抗例子不存在方面取得了巨大進展[79,22,152]。雖然這滿足了我們的一個愿望(缺乏對抗性的例子)，但確定性神經網絡在校準不確定性方面仍然提供很少的東西。特別是，給定一個確定性神經網絡和一個我們想要分類的輸入，通常的情況是，如果一個對抗的例子存在，那么它被錯誤地分類，置信度非常高[58]。這意味著，基于輸出，無法推斷輸入是否可能不正確或損壞。此外，有關于確定性神經網絡的研究表明，對于許多任務來說，對抗實例的存在是不可避免的[47,46]，進一步說，魯棒確定性學習是不可能的[59]。雖然合理的局部驗證(證明不存在對抗性例子)對于向用戶保證在特定情況下的正確性能是必要的，但貝葉斯學習范式提供了一種系統的方法，可以在更一般的水平上減輕這些不可能結果的擔憂。通過引入校準的不確定性，貝葉斯神經網絡在理論和經驗上都被證明對對抗性例子具有更強的魯棒性，并且可以潛在地削弱或擊敗確定性網絡的不可能結果[53,23,7]。因此，在需要安全性和魯棒性證明的安全關鍵場景中，貝葉斯神經網絡似乎是一種自然和可行的部署方案。

盡管貝葉斯神經網絡有許多吸引人的特性，但無法用確定性神經網絡開發的技術直接分析貝葉斯神經網絡[168]。貝葉斯網絡與確定性網絡的主要區別在于前者的參數值具有后驗分布。為了驗證這種模型的魯棒性，必須找到一種方法來執行確定性神經網絡可用的正確性分析，同時以合理的方式考慮到范圍或可能的參數值。這樣做是在安全關鍵場景中安全部署貝葉斯神經網絡的必要前提。在這篇論文中，我們開發了一些工具，允許我們在貝葉斯環境下利用確定性神經網絡的魯棒性量化方面的進展。特別地，我們研究了貝葉斯神經網絡魯棒性的兩個概念，這允許從業者在給定貝葉斯神經網絡部署之前量化其最壞情況的行為。貝葉斯神經網絡魯棒性的第一個概念是概率魯棒性(在第4章中定義)。這允許從業者理解模型固有的隨機性及其對抗魯棒性之間的相互作用，也可以被視為不確定性的最壞情況度量。魯棒性的第二個概念是貝葉斯決策魯棒性。貝葉斯神經網絡除了在其權重上有一個分布之外，還與確定性神經網絡不同，因為我們必須對其預測分布和錯誤決策的風險或損失進行推理，以便做出預測。決策魯棒性考慮了考慮中的貝葉斯模型的決策過程，并允許我們證明即使在對手存在的情況下，也會發布正確的決策。這些定義允許我們量化貝葉斯神經網絡的概率正確性。

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。

在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。

//arxiv.org/pdf/2112.01423.pdf

人工智能系統落地應用不僅需要考慮準確性，還需考慮其他維度，如魯棒性、可解釋性等，即要構建負責任的人工智能。CMU的Nicholas Gisolfi的博士論文《Model-Centric Verification of Artificial Intelligence》探究訓練模型的正式驗證是否可以回答關于真實世界系統的廣泛現實問題。提出方法適用于那些在特定環境中最終負責確保人工智能安全運行的人。值得關注!

摘要：

這項工作展示了如何在人工智能(AI)系統的背景下使用可證明的保證來補充概率估計。統計技術測量模型的預期性能，但低錯誤率并不能說明錯誤表現的方式。對模型是否符合設計規范的正式驗證可以生成證書，該證書明確地詳細說明了違規發生時的操作條件。這些證書使人工智能系統的開發人員和用戶能夠按照合同條款對其訓練的模型進行推理，消除了由于不可預見的故障導致模型失效而造成本可以很容易預防的傷害的機會。為了說明這個概念，我們展示了名為Tree Ensemble itor (TEA)的驗證流程。TEA利用我們的新布爾可滿足性(SAT)形式，為分類任務的投票樹集成模型提供支持。與相關的樹集合驗證技術相比，我們的形式化產生了顯著性的速度增益。TEA的效率允許我們在比文獻中報道的更大規模的模型上驗證更難的規范。

在安全背景下，我們展示了如何在驗證數據點上訓練模型的局部對抗魯棒性(LAR)可以納入模型選擇過程。我們探索了預測結果和模型魯棒性之間的關系，允許我們給出最能滿足工程需求的LAR定義，即只有當模型做出正確的預測時，它才應該是魯棒的。在算法公平的背景下，我們展示了如何測試全局個體公平(GIF)，包括數據支持內和數據支持外。當模型違反GIF規范時，我們列舉了該公式的所有反例，以便揭示模型在訓練過程中所吸收的不公平結構。在臨床環境中，我們展示了如何簡單地通過調整樹集合的預測閾值來滿足安全優先工程約束(SPEC)。這促進了預測閾值的帕累托最優選擇，這樣就不能在不損害系統安全性的情況下進一步減少誤報。

本論文的目標是探究訓練模型的正式驗證是否可以回答關于真實世界系統的廣泛的現有問題。我們的方法適用于那些在特定環境中最終負責確保人工智能安全運行的人。通過對訓練過的樹集合進行驗證(V&V)，我們希望促進AI系統在現實世界的落地應用。

//www.ri.cmu.edu/publications/model-centric-verification-of-artificial-intelligence/

動機

人工智能領域前景廣闊，我們的共同目標是確保盡可能多的人釋放其潛力，解決許多不同應用領域的新問題。我們發現有一個共同的障礙限制了AI系統的采用速度，這通常歸結為信任問題。許多最終負責AI系統輸出的人對他們的模型的信任程度不足以保證將AI部署到某個新領域。

考慮到艾薩克·阿西莫夫的機器人第一定律:機器人不能傷害人類，也不能坐視人類受到傷害。這是AI系統關鍵設計規范的一個很好的例子。一個人工智能系統并不局限于物理機器人，它也可以是一個黑盒子，機器學習(ML)模型。傷害不需要僅僅描述身體上的傷害，它也可能涉及由人工智能系統提出的違反人類直覺的建議所導致的混亂。這就是人們開始信任人工智能系統的地方。我們知道，人工智能有時會做一些與人類對模型應該如何運作的直覺相悖的事情。令人擔心的是，在這些情況下，人工智能系統可能會造成人類決策者永遠不會造成的容易預防的傷害。如果我們不確定AI系統是否遵守了關鍵的設計規范(如阿西莫夫第一定律)，我們還能相信它嗎?

目前將人工智能系統視為用以數據為中心的統計方法來審問的黑匣子解決該問題。模型行為的概率估計需要一定的置信度，該置信度取決于應用領域中可接受的不確定性邊際。如果我們考慮一個電影推薦系統，可接受的不確定性是很高的，因為一部糟糕的電影最多會浪費一天中的幾個小時。如果我們考慮的是自動駕駛汽車環境或任何其他關鍵應用領域，可接受的不確定性幅度要低得多。即使統計方法反復檢驗模型以提高其估計的置信界限，也不可能提供真正全面的評估并實現絕對的確定性。我們所能說的是，在許多測試過程中，我們從未觀察到特定的故障，這使我們有理由相信，一旦部署模型，同樣的故障非常不可能發生。對于更長時間的任務，比如為深空棲息地開發半自主生命支持系統，即使是很小的模型失敗的機會也會有大量的機會出現。

Tree Ensemble itor (TEA)，我們的認證流程

統計技術本身并不能很好地適應關鍵系統所需要的信任水平。這是因為低錯誤率只告訴我們關鍵錯誤發生的頻率很低;我們想知道這些關鍵的錯誤將如何表現。本文的研究范圍集中在容易造成可預防傷害的關鍵錯誤上。我們將在整個工作中探索的關鍵錯誤類型包括健壯性、公平性和安全性的概念。為了增強魯棒性(見第3章)，我們測試了一個模型在特定輸入的屬性值存在難以察覺的擾動時輸出的一致性。為了公平起見(見第4章)，我們測試了一個模型，以確定它是否總是以相似的方式對待相似的個體。為了安全起見(見第5章)，我們測試了一個模型，以確保沒有從輸入到輸出的可理解映射代表人類永遠不會做出的違反直覺的、有害的建議。值得注意的是，這個列表中缺少分類錯誤，這在很多情況下并不一定是一個關鍵的錯誤。人類的決策在硬邊界情況下會產生錯誤，所以AI應該被允許犯同樣類型的錯誤。相反，我們關注的是人工智能表現出人類沒有表現出的不受歡迎的決策邏輯的情況，比如在兩個難以區分的輸入之間設置決策邊界，對兩個相似的輸入產生截然不同的輸出，以及在人類最容易判斷的情況下犯錯誤。

AI系統實際上并不是黑盒，我們也不需要這么對待它們。相反，它們是由一組離散的組件定義的，這些組件相互作用，以產生看似智能的模型行為。正是這些組件的行為決定了模型實現其預測的方式。解決詢問訓練模型內部組件的挑戰的一種方法涉及邏輯和統計技術的結合。統計機器學習擅長于從數據中學習有用的策略，而形式邏輯和自動推理則擅長于確定是否可以從一組前提條件中得出結論。

我們的工作彌合了人工智能領域歷史上兩大成功理念之間的鴻溝。在早期，人工智能系統由符號邏輯、規則和專家知識組成;專家系統很容易用形式邏輯進行測試。現代人工智能系統由組件和元結構組成，這些組件和元結構承擔優化過程，以使模型適合數據。目前流行的統計學ML易于用統計方法進行檢驗。人工智能領域焦點的轉變，在一定程度上是由于對人類大腦內部工作方式的不同看法。符號主義認為人類的智力是通過邏輯推理獲得的，這一觀點逐漸被連接主義的觀點所取代，連接主義認為，在人類大腦的相互連接的結構中，招募成群的神經元會產生智能行為。我們今天構建的人工智能系統反映了這種思維方式的轉變。這兩個框架各有優缺點;例如，統計模型可以更好地概括尚未見過的數據，但符號模型可能更易于解釋。我們將邏輯和統計方法的優勢結合起來，認為這是構建成功的、值得信賴的人工智能系統的最佳方法。如果用純邏輯檢驗統計技術產生的模型，那么我們就可以提供證據，證明模型確實符合設計規范、工程需求，甚至專家知識。這使得對于將在現實世界中部署的模型的契約推理和概率推理都成為可能。

雖然我們的方法是否會增加人類對人工智能系統的信任感的問題超出了本文的范圍，但我們確實聲稱，我們的工作增加了人工智能系統的可信度。一個正式的證明和伴隨的證書是一種解釋。它們描述了模型結構滿足或違反關鍵設計規范的操作條件。對模型結構的推理提供了當前實踐無法獲得的洞察力。這些關于模型的優勢和劣勢的附加信息使所有涉眾都更加了解情況。我們表明，模型符合關鍵設計規范的正式驗證補充了通常用于在構建AI系統時告知決策的概率估計。證書使AI系統的開發者和用戶能夠根據合同條款對他們的模型進行推理，從而實現AI系統的規格驅動設計。我們將展示如何結合這些信息來回答關于現實世界的AI系統的現有問題。

我們對世界的體驗是多模態的，然而深度學習網絡傳統上是為圖像、音頻片段或文本等單模態輸入而設計和訓練的。在這篇論文中，我們提出了策略來利用多模態信息(以視覺、文本、語音和非語音音頻的形式)來自動理解以人為中心的視頻。本文提出的關鍵思想是 (i)跨模態監督，(ii)自監督表示學習和(iii)模態融合。在跨模態監督中，來自監督豐富的模態的數據標簽被用于學習另一個缺乏監督的目標模態的表示，從而避免了在目標模態域中昂貴的手動注釋的需要。這有效地利用了模態之間的冗余或重疊信息。我們將展現該技術在三個不同任務中的效用; 首先，我們使用人臉識別和視覺主動說話人檢測來管理一個被稱為VoxCeleb的大規模人類語音視聽數據集，對其進行訓練，產生了最先進的說話人識別模型; 其次，我們訓練了一個基于文本的模型來預測僅從轉錄的語音中的動作標簽，并將這些標簽轉移到相應的視頻中。使用這些標簽進行的訓練使我們能夠在完全監督的動作識別模型上表現得更好，而這些模型是通過昂貴的人工監督進行訓練的; 第三，我們從為情感識別而訓練的人臉模型中提取信息到語音領域，而在語音領域，手動情感標注是昂貴的。本文探討的第二個關鍵思想是利用模態冗余進行自監督表示學習。在這里，我們學習了在沒有任何人工監督的情況下，在任何一種模式下的視聽表示，特別是對于人類的面孔和聲音。與現有的表示不同，我們的聯合表示支持從音頻到視覺的跨模態檢索，反之亦然。然后，我們將這項工作擴展到明確地消除習得偏見，從而實現更大的泛化。最后，我們通過開發新的模態融合架構，有效地結合不同模式下的互補信息。通過將視頻中的多個模態的信息提取到一個單一的、緊湊的視頻表示，我們實現了對可能丟失、損壞、閉塞或具有不同級別背景噪聲的單峰輸入的魯棒性。利用這些模型，我們在動作識別和視頻文本檢索方面都取得了最先進的結果。

//www.robots.ox.ac.uk/~vgg/publications/2020/Nagrani20e/nagrani20e.pdf

在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。

本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。

我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。

//www.zhuanzhi.ai/paper/c5e7a9742d6a6313d63c5976499166dc

隨著機器學習模型越來越多地用于做出涉及人類的重大決策，重要的是，這些模型不能因為種族和性別等受保護的屬性而歧視。然而，模型持有人并不是受到歧視性模型傷害的首當其沖的人，因此模型持有人修復歧視性模型的自然動機很少。因此，如果其他實體也能發現或減輕這些模型中的不公平行為，將對社會有益。只需要對模型進行查詢訪問的黑盒方法非常適合這個目的，因為它們可以在不知道模型的全部細節的情況下執行。

在這篇論文中，我考慮了三種不同形式的不公平，并提出了解決它們的黑盒方法。第一個是代理使用，模型的某些組件是受保護屬性的代理。其次是個體公平性的缺乏，這使模型不應該做出任意決定的直覺觀念形式化。最后，模型的訓練集可能不具有代表性，這可能導致模型對不同的保護組表現出不同程度的準確性。對于這些行為中的每一個，我提出使用一個或多個方法來幫助檢測模型中的此類行為或確保缺乏此類行為。這些方法只需要對模型的黑箱訪問，即使模型持有者不合作，它們也能有效地使用。我對這些方法的理論和實驗分析證明了它們在這種情況下的有效性，表明它們是有用的技術工具，可以支持對歧視的有效回應。