亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習模型在面對分布變化時很脆弱，這使得它們在現實世界的部署中很難依賴。這促使開發方法，使我們能夠檢測和減輕這種模型的脆弱性，以及驗證我們的模型確實滿足期望的魯棒性保證。本文提出了一套工具，幫助我們檢測模型漏洞和偏差。該集合包括一套新的數據集，使我們能夠更細粒度地了解模型對背景的依賴。另一方面，它涉及3DB，一個利用逼真模擬的框架，以探測模型對更多樣化分布變化的脆弱性。除了識別這些漏洞外，還討論了可以使模型對分布變化更魯棒的干預措施，包括使用更多的訓練數據。正如所證明的，不加區分地使用更多的輔助數據并不總是有益的，因此提出了數據集投影，一種選擇要使用的"正確"輔助數據的方法。展示了如何有效和形式化地驗證所提出模型對研究最充分的分布漂移類型之一是魯棒的:逐像素對抗性擾動。

**本文的目標是提高實際環境中部署的機器學習(ML)系統的可靠性。當測試樣例與訓練樣例相似時，ML模型的表現非常好。然而，實際應用程序需要在任意分布的測試樣本上執行。例如，在醫療健康應用程序中，ML可以遇到任何分布的患者或醫院系統。當前的ML系統在分布變化的測試示例上可能會悄無聲息地失敗。為了提高協變量或域偏移導致的ML模型的可靠性，本文提出算法，使模型能夠: (a)泛化到更大的測試分布族，(b)評估分布偏移下的精度，(c)適應目標/測試分布。

本文研究了域偏移魯棒性受損的原因，并提出了訓練域魯棒模型的算法。模型脆性的一個關鍵來源是域過擬合，新的訓練算法抑制并鼓勵域通用假設。雖然我們提高了對某些問題設置的標準訓練方法的魯棒性，但ML系統的性能仍然可以隨著域的變化而發生巨大變化。對于開發人員和利益干系人來說，理解模型漏洞和輸入的操作范圍是至關重要的，這些可以在部署期間進行評估，盡管成本很高。本文主張在預先指定和可解釋的域變化的任何組合上主動估計精度表面，以進行性能預測。本文提出一種標簽有效的貝葉斯估計技術，以解決域偏移的組合空間上的估計問題。此外，當發現模型在目標域上的性能較差時，傳統方法會使用目標域的資源來調整模型。標準的自適應方法假設訪問足夠的計算和標記目標域資源，這對于已部署的模型可能是不切實際的。本文啟動了一項只使用未標記數據資源的輕量級自適應技術的研究，重點是語言應用。所提出方法從選定的未標記數據部分中注入上下文，以獲得更好的表示，而無需進行廣泛的參數調整。

1. 引言

在過去的幾十年里，機器學習模型在各種認知任務上提供了顯著的改進，令人驚訝的是，有時甚至擊敗了人類。機器學習(ML)現在被譽為“新電力”，因為它正在大量的現實世界中被部署。ML的創新為鼓舞人心的應用提供了動力，如糖尿病視網膜病變導致失明的早期診斷、預測蛋白質折疊、發現新行星和探測引力波。此外，ML在改善醫療保健、個性化教育和自動化方面有巨大的潛力。ML的成功主要歸功于在大型數據集上進行端到端訓練的統計學習方法。盡管在標準基準測試和排行榜上取得了進展，但ML系統在部署時往往表現不佳。眾所周知，它們很脆弱，在不熟悉的輸入上可能會以莫名其妙的方式失敗[Szegedy et al., 2013, Qiu and Yuille, 2016, Zech et al., 2018, Gururangan et al., 2018, Beery et al., 2018, David et al., 2020, Bandi et al., 2018a]。標準的訓練和測試算法假設訓練和測試示例是從相同的底層分布中采樣的。然而，這種假設在野外經常被違背。因此，ML模型的真實性能可能會比同分布測試分割的預期差得多[Plank, 2016, Geirhos等人，2020]。由于訓練-測試分布不匹配而導致的不良性能被稱為數據轉移問題。

一些研究說明了ML在實踐中的數據遷移挑戰。**Qiu和Yuille[2016]發現，Faster-RCNN [Ren et al.， 2015]在視點簡單變化的情況下，物體識別的平均準確率變化很大，如圖1.1所示。Awasthi等人[2021]發現，最先進的自動語音識別(ASR)系統的單詞錯誤率(WER)因口音類型而異(美國英語的錯誤率為4%，印度英語口音的錯誤率為11%至55%)。這些失敗可以歸因于訓練數據對某些角度或口音類型的偏差。

這種普遍缺乏通用性正在成為ML應用程序中的一個主要問題，特別是在嵌入式ML部署中，錯誤會被忽視。本文的主要動機是:我們如何提高實際部署的機器學習模型的可靠性?

部署在實際環境中的ML系統可能會遇到任何輸入。它們在輸入空間的一個小子集上進行訓練，該子集在未見過的輸入上具有未知的行為。訓練和評估在任何環境下工作的機器學習模型構成了可靠性的挑戰[Varshney, 2022]。本文將通過解決以下子問題來解決域遷移帶來的可靠性挑戰。

• 域魯棒性訓練:用于訓練域魯棒模型的算法。
• ML應用場景的評估方法:適用于任何領域性能查詢的技術。
• 無標簽自適應:使用用戶提供的無標簽資源自適應模型的算法。

兒童和機器的語言習得是了不起的。然而，雖然兒童通過聽相對少量的語言以及與人和周圍環境的互動來學習，但神經語言模型需要更多的數據和監督，難以泛化到新領域，絕大多數情況下只能從文本中學習。本文探討了關于兒童語言習得的知識——特別是兒童接受語言信息的規模和類型，他們如何使用反饋，以及他們如何以超出他們接觸到的語言輸入的系統方式進行概括——如何應用于多模態語言模型。本文的重點是:(1)基于視覺，用較少的數據訓練弱監督語言模型;(2)探索模型在多模態域的泛化能力。第一種方法使用字幕視頻訓練語義解析器，將自然語言映射到邏輯形式，在沒有解析樹或任何其他注釋的情況下進行學習。第二種方法從簡單的觀察視頻轉向使用機器人模擬器和世界狀態來驗證生成的邏輯形式的更動態的設置。這些方法專注于評估弱監督，訓練和推理數據相對相似;探索了評估，其中推理數據與訓練數據有很大不同，需要系統的泛化。一種方法測試了預訓練和一種新的解碼策略在網格世界中導航的作用;推理命令和動作序列在系統方面與訓練不同。最后一種方法測試了當輸入圖像或文本中的人口統計特征與其學習到的社會偏見不同時，預訓練的多模態transformer模型的泛化程度。

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

在大量標記語音數據上使用監督學習算法訓練的深度神經網絡在各種語音處理應用中取得了顯著的性能，往往在相應的排行榜上處于領先地位。然而，訓練這些系統依賴于大量帶注釋的語音這一事實，為繼續發展最先進的性能造成了可擴展性瓶頸，而且對在語音領域部署深度神經網絡構成了更根本的障礙，因為標記數據本質上是罕見的，昂貴的，或耗時的收集。

與帶注釋的語音相比，未轉錄的音頻通常積累起來要便宜得多。在這篇論文中，我們探索使用自我監督學習——一種學習目標由輸入本身產生的學習范式——來利用這種易于擴展的資源來提高口語技術的性能。提出了兩種自監督算法，一種基于"未來預測"的思想，另一種基于"從未被掩碼中預測被掩碼"的思想，用于從未標記語音數據中學習上下文化語音表示。我們證明了我們的自監督算法能夠學習表征，將語音信號的高級屬性，如語音內容和說話人特征轉換為比傳統聲學特征更容易獲得的形式，并證明了它們在提高深度神經網絡在廣泛的語音處理任務中的性能方面的有效性。除了提出新的學習算法，我們還提供了廣泛的分析，旨在理解學習的自監督表示的屬性，以及揭示使一個自監督模型不同于另一個的設計因素。 //dspace.mit.edu/handle/1721.1/144761

如今，深度神經網絡或深度學習技術為最先進的人工智能系統提供了能力，用于各種數據類型的廣泛應用——圖像分類(He et al.，2016;Liu et al.，2022)、機器翻譯(Vaswani et al.，2017)和語音識別(Gulati et al.，2020)等等。然而，訓練這些系統的傳統范式一直是監督學習，其中系統的性能隨著用于訓練它們的標記數據的大小大致呈對數增長(Sun et al.，2017)。獲取這種帶注釋的數據的成本已經被證明是最先進系統持續開發的可擴展瓶頸，而且對于在數據和注釋收集本來就很少、昂貴或耗時的應用領域部署深度神經網絡來說，這是一個更根本的障礙。

上述情況激發了一波關于自監督表征學習的研究浪潮，其中，由精心設計的前置任務生成的免費標簽被用作監督信號，以預訓練深度神經網絡。然后，從預訓練的深度神經網絡的參數全部或部分用于初始化任務特定的深度神經網絡的參數，以解決下游的任務，使用比傳統監督學習相對較少的注釋數據。自監督指的是要求深度神經網絡預測給定的輸入數據的一部分(或通過編程派生的標簽)的學習任務。

自監督學習技術已被成功地用于提高各種模式下學習的樣本效率，包括圖像(Chen et al., 2020; Grill et al., 2020; Caron et al., 2020)，視頻(Xu et al., 2019; Alwassel et al., 2020)，語音和音頻(Baevski et al., 2020b; Gong et al., 2022)，文本(Mikolov et al., 2013; Peters et al., 2018b; Devlin et al., 2019; Liu et al., 2019)，到圖表(Velickovic et al.，2019年)，舉幾個例子。一些結果表明，自監督表示的質量也是未標記訓練前數據量的對數函數(Goyal等人，2019)。如果這一趨勢保持不變，那么隨著時間的推移，可實現的性能可能會“免費”提高，因為數據收集和計算能力的改進允許使用越來越大的預訓練集，而不需要手動注釋新數據。在本論文中，我們著重于將自監督學習策略應用于語音領域，目的是推動口語技術的最先進性能，并提高訓練它們的數據效率。我們致力于開發新的自監督語音表征學習方法，并分析其學習表征的特性。

論文貢獻：

1. 介紹了最早成功的自監督語音表征學習框架之一。我們利用了“未來預測”的思想，并提出了一個簡單而有效的自監督目標，稱為自回歸預測編碼(APC)，用于訓練深度神經網絡。設計的未來幀預測任務能夠利用未標記的語音數據學習表示，使語音的高級屬性，如語音內容和說話人的特征更容易被下游任務訪問(定義為線性可分性)。APC是最早展示自監督表征優于傳統手工制作的聲學特征(如Mel-frequency倒譜系數(MFCCs)和log Mel 聲譜圖)的工作之一，表明使用自監督學習來提高口語技術表現的潛力。

2. 介紹了目前最先進的自監督語音表示學習框架之一。我們利用了“從未掩碼中預測掩碼”的想法，并提出了w2v-BERT，這是目前最先進的框架之一，用于對語音應用的深度神經網絡進行預訓練。我們訓練一個語音離散器(通過優化對比損失)來將連續語音信號表示為鑒別標記，并使用它們來訓練一個類似BERT的模型。與vq-wav2vec和HuBERT等現有框架相比，w2v-BERT可以以端到端方式優化離散化器和上下文網絡，避免了多個訓練階段之間的協調，這些階段往往涉及脆弱的建模選擇。我們展示了w2v-BERT的有效性，在基準良好的語音識別數據集和谷歌收集的語音搜索數據集上，它優于包括HuBERT和wav2vec 2.0在內的最新技術。

3.引入一種分析方法，能夠在自監督的目標和他們學習表示的屬性之間建立連接。我們探索使用矢量量化來控制深度神經網絡內部的信息流量，以獲得具有相同的自監督目標但模型容量下降的模型譜。我們將這種分析方法應用于APC的研究，并診斷了APC在模型容量受限時保存信息的偏好。我們的分析結果解釋了為什么APC可以學習捕捉高級語音和說話人信息的表征。該分析方法具有普適性，也可用于其他自監督目標的分析。

4. 不同自監督模型的幾個共享性質的演示。在分析我們自己和其他已有的自監督模型時，我們發現，盡管這些模型在訓練目標和神經網絡結構上存在差異，但它們都存在一些共同的特性。這類屬性之一就是隱式發現有意義的聲音單元庫存的能力。我們發現，在自監督模型中通常存在一些層，其中表示與英語電話具有相當高的互信息(當模型在英語語料庫上訓練時)，即使模型沒有明確地訓練以發現它們。大多數自監督模型共有的另一個特性是，不同層次的語音信息被捕獲在不同的層中，盡管信息分布可能因模型而異。例如，在APC中，較低的層次往往對說話者更具辨別能力，而較高層提供更多的語音內容。意識到這一點有助于選擇適當的層，從中提取表示，以便在感興趣的任務中獲得最佳性能。

5. 識別訓練影響其表征相似性的自監督模型的建模因素的重要性順序。我們在訓練過程中比較了一組具有不同建模選擇的自監督模型，并使用諸如典型相關分析(CCA)等措施來量化它們的兩兩相似性。我們考慮了三個建模因素: 訓練目標、模型的方向性(即模型是單向的還是雙向的)和神經網絡構建塊(CNN/RNN/Transformer)，并表明這三個因素在使一個自監督表示不同于另一個方面具有不同的權重。具體而言，我們發現在所有因素中，訓練目標對表征相似性的影響最大;在相同的訓練目標下，模型的方向性對表征相似性的影響大于其神經網絡構件。

機器學習正在醫療健康等各種關鍵應用得到實施。為了能夠信任機器學習模型，并在它出現故障時修復它，能夠解釋它的決策是很重要的。例如，如果一個模型在特定的子群體(性別、種族等)上的表現很差，找出原因并解決它是很重要的。在本文中，我們研究了現有可解釋性方法的不足，并介紹了新的ML可解釋性算法，旨在解決一些不足。數據是訓練機器學習模型的材料。如果不返回最初訓練ML模型的數據，就不可能解釋ML模型的行為。一個基本的挑戰是如何量化每個數據源對模型性能的貢獻。例如，在醫療健康和消費市場，有人提出個人應因其產生的數據而得到補償，但對個人數據的公平估值尚不清楚。在本文中，我們討論了數據公平價值評估的原則框架; 也就是說，給定一個學習算法和一個性能度量來量化結果模型的性能，我們試圖找到單個數據的貢獻。本論文分為3個部分，機器學習的可解釋性和公平性，數據估值，以及用于醫療健康的機器學習——所有這些都被一個共同的目標聯系在一起，即使機器學習的使用對人類的福祉更負責。

//searchworks.stanford.edu/view/13874839

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 （Explaining Deep Neural Networks）》，系統性介紹了深度神經網絡可解釋性方面的工作，值得關注。

作者介紹：

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功，因此越來越受歡迎。然而，這些模型的決策過程通常是無法向用戶解釋的。在各種領域，如醫療保健、金融或法律，了解人工智能系統所做決策背后的原因至關重要。因此，最近研究了幾個解釋神經模型的方向。

在這篇論文中，我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成，也就是說，這些方法旨在解釋一個已經訓練過的固定模型(事后解釋)，并提供輸入特征方面的解釋，例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成，也就是說，模型有一個內置模塊，為模型的預測生成解釋。在這些方面的貢獻如下：

• 首先，我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明，盡管有明顯的隱含假設，即解釋方法應該尋找一種特定的基于真實值特征的解釋，但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法，它們針對的是不同類型的事實基礎解釋，但沒有明確地提及它。此外，我還指出，有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

• 其次，我還介紹了一個框架，用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用，這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性，并介紹了減輕這些局限性的方法。引入的驗證框架是通用的，可以在不同的任務和域上實例化，以提供現成的完整性測試，這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架，并提供了完備性測試s1，在此基礎上我展示了三種流行的解釋方法的性能。

• 第三，為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向，我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集，數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力，以及在訓練時提供自然語言解釋的好處。

• 第四，我指出，目前那些為自己的預測生成自然語言解釋的自解釋模型，可能會產生不一致的解釋，比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程，要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架，用于在生成不一致的自然語言解釋時檢查模型的完整性。此外，作為框架的一部分，我解決了使用精確目標序列的對抗性攻擊的問題，這是一個以前在序列到序列攻擊中沒有解決的場景，它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上，并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址： //arxiv.org/abs/2010.01496