機器學習模型在面對分布變化時很脆弱，這使得它們在現實世界的部署中很難依賴。這促使開發方法，使我們能夠檢測和減輕這種模型的脆弱性，以及驗證我們的模型確實滿足期望的魯棒性保證。本文提出了一套工具，幫助我們檢測模型漏洞和偏差。該集合包括一套新的數據集，使我們能夠更細粒度地了解模型對背景的依賴。另一方面，它涉及3DB，一個利用逼真模擬的框架，以探測模型對更多樣化分布變化的脆弱性。除了識別這些漏洞外，還討論了可以使模型對分布變化更魯棒的干預措施，包括使用更多的訓練數據。正如所證明的，不加區分地使用更多的輔助數據并不總是有益的，因此提出了數據集投影，一種選擇要使用的"正確"輔助數據的方法。展示了如何有效和形式化地驗證所提出模型對研究最充分的分布漂移類型之一是魯棒的:逐像素對抗性擾動。

在過去的十年中，機器學習在許多具有挑戰性的基準上取得了驚人的成功。然而，我們的機器學習模型是否準備好離開這個實驗室環境，并安全地部署在高風險的現實世界應用程序中?本文通過開發和應用新的框架，使現代機器學習系統更魯棒，從而采取措施使這一愿景成為現實。特別是，我們在這類系統的兩種主要脆弱性模式:對抗性示例和后門數據中毒攻擊方面取得了進展。具體來說，在本文的第一部分中，構建了一種對抗樣本的防御方法，這是第一個在自適應對手面前提供非平凡的對抗魯棒性的方法。在第二部分中，開發了一個后門數據投毒攻擊框架，并展示了在自然假設下，我們的理論結果如何激勵算法標記和刪除經驗上成功的潛在投毒示例。最后，簡要探索了初步證據，表明該框架也可以應用于其他數據模態，如表格數據，以及其他機器學習模型，如決策樹的集成。近年來，機器學習，特別是深度學習，在具有挑戰性的人工智能基準上取得了巨大的進步，從計算機視覺[KSH12]到玩游戲[SHS+18]，從自然語言處理[BMR+20]到機器人[ABC+20]，再到自動駕駛汽車，都取得了令人印象深刻的結果。這些成功給我們帶來了希望，在未來，普適的ML系統將乏味的體力和腦力任務自動化，甚至增強和改善我們的健康、智能和社會。然而，這些令人印象深刻的研究成果和演示是否準備在一個混亂、異構、有時是對抗的世界中轉化為同樣令人印象深刻和有影響力的應用?雖然我們最先進的機器學習模型普遍在各個領域和模態中取得了偉大的結果，但它們在訓練數據中同樣普遍地易受變化的影響——無論是良性的還是對抗的。這篇論文是關于開發原則性的方法來防御特定類型的這種脆弱性。在以下部分中，我們給出了論文的路線圖和我們的主要貢獻。

本文解決了檢測和修復機器學習(ML)模型-模型調試中的錯誤的挑戰。當前的機器學習模型，特別是在眾包數據上訓練的過參數化深度神經網絡(DNN)，很容易鎖定虛假信號，在小群體中表現不佳，并可能因訓練標簽中的錯誤而偏離正軌。因此，在部署之前檢測和修復模型錯誤的能力是至關重要的。可解釋的機器學習方法，特別是事后解釋，已經成為事實上的ML模型調試工具。目前存在大量的方法，但不清楚這些方法是否有效。在本文的第一部分中，我們介紹了一個框架，對標準監督學習流程中可能出現的模型錯誤進行分類。在分類的基礎上，評估了幾種事后模型解釋方法對檢測和修復框架中提出的缺陷類別是否有效。目前的方法很難檢測模型對虛假信號的依賴，無法識別具有錯誤標簽的訓練輸入，也沒有提供直接的方法來修復模型錯誤。此外，實踐者在實踐中很難使用這些工具來調試ML模型。針對現有方法的局限性，在論文的第二部分，我們提出了新的模型調試工具。本文提出一種稱為模型指導的方法，用一個審計集(一個由任務專家仔細注釋的小型數據集)來更新預訓練機器學習模型的參數。將更新表述為一個雙層優化問題，要求更新的模型匹配專家在審計集上的預測和特征注釋。模型引導可用于識別和糾正錯誤標記的示例。同樣，該方法還可以消除模型對虛假訓練信號的依賴。本文介紹的第二個調試工具使用估計器的影響函數來幫助識別訓練點，其標簽對ML模型的視差度量有很高的影響，如組校準。總之，本文在為機器學習模型提供更好的調試工具方面取得了進展。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

摘要

強化學習是一種為需要做出一系列決定的任務制定最佳策略的方法。以平衡短期和長期結果的方式做出決定的能力，使強化學習成為醫療機構中規劃治療的潛在強大工具。不幸的是，傳統的強化學習算法需要對環境進行隨機實驗，這在醫療衛生領域通常是不可能的。然而，強化學習提供了從觀察數據中評估策略的工具，這是一個被稱為離策略評估的子項目。

在這項工作中，我們討論了離策略評估在應用于醫療數據時變得如此困難的主要挑戰，并設計了一些算法來改進目前執行離策略評估的方法。我們描述了幾種改進現有方法的準確性和統計能力的算法，最后介紹了一種新的方法，通過開發一種將專家臨床醫生及其知識納入評價過程的評價技術來提高離策略評估方法的可靠性。

簡介

強化學習(RL)是機器學習(ML)中的一個子領域，它為學習需要平衡短期和長期結果的任務中的連續決策策略提供了一個框架。RL的關鍵范式是將學習算法視為一個與環境互動的智能體，采取行動并觀察環境對這些行動的變化。通過與環境的不斷互動和實驗，智能體學會了實現預期目標的最佳策略。這個強大的想法促進了RL算法在廣泛的應用中的成功，如游戲和機器人。

然而，在這些應用中，與環境的隨機互動--使RL如此強大的關鍵特性--是不可能的。例如，在醫療保健中，隨機治療病人并觀察其反應是不道德的。

從批量觀察數據中評估RL決策的任務被稱為離策略評估（OPE），這個術語用來表示用于收集數據的策略與我們希望評估的策略不同。OPE只關注評估一個特定的策略，而不是學習一個最優的onc，這是大多數RL應用的目標。

這項工作的動力來自于這樣的認識：盡管在OPE方面取得了重大的理論突破，但目前的方法仍然遠遠不夠可靠，無法證明其在實際應用中的使用和部署。這些限制在醫療保健領域尤為突出，因為那里的數據非常嘈雜，而且錯誤的代價很高。 我們首先強調了使OPE在觀察性醫療環境中如此困難的關鍵因素，并展示了這些算法可能失敗的主要方式。然后，我們描述了幾種改善OPE算法性能的方法。這些方法可以應用于所有RL領域，但我們在醫療數據中經常遇到的具體特征是其強大的動力。

雖然這項工作中所描述的方法有助于提高OPE方法的性能，但它們基本上都試圖從數據中提取出更多的統計能力。不幸的是，僅從數據中提取出的知識是有限的，而且往往我們所能做的最好的也是不夠好。 然而，試圖僅從原始數據中獲得知識，卻忽視了臨床醫生和其他醫療專家所擁有的大量知識和專長。在這項工作的最后一部分，我們將論證，為了使OPE的性能足夠好，使其能夠被信任并用于醫療領域，領域專家必須被納入評估過程。為了能夠在OPE中使用領域專家，必須開發新的方法，使幾乎總是不熟悉RL和OPE技術細節的臨床醫生能夠有效地提供對OPE過程有用的意見。我們將在這個方向上邁出一步，描述一種方法，使臨床醫生能夠隨意地識別OPE方法何時可能給出不可靠的結果，并討論發展這一研究途徑的未來方向。

總而言之，這項工作應該概述了OPE在醫療領域的狀況，以及將其引入現實世界所必須做出的努力--從詳細說明當前方法可能失敗的方式和解決這些問題的可能方法，到描述臨床醫生可以被納入評估過程的方式。本論文的其余部分的結構如下：本章的其余部分介紹了本論文將使用的基本符號，并涵蓋了相關文獻。 第三章繼續討論基于模型的OPE，并介紹了一種建立模型的方法，該方法的訓練強調從評估策略下可能出現的例子中學習，并沿用了Liu等人的工作。最后，在第四章中，我們討論了如何利用臨床醫生的輸入來調試和驗證OPE的結果，沿用了Gottesman等人的方法。

深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。

在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。

//arxiv.org/pdf/2112.01423.pdf

機器學習是一種變革性的計算工具，它正在革新許多技術和科學應用。然而，最近在人工智能和機器學習方面的成功，以及隨之而來的模型的廣泛部署，已經改變了經典的機器學習管道。首先，可用數據的絕對規模——在數量和維度上——已經爆炸。此外，現代機器學習架構具有指數級的設計選擇和超參數，但它們都是使用通用的隨機梯度方法進行優化的。這突出了自適應梯度方法的需要，該方法在沒有事先知道實例的情況下充分執行。接著并期望它們即使在不分布的輸入中也能提供良好的預測——這強調了對可靠模型的需要。最后，隨著我們收集越來越多的用戶數據，我們希望在向公眾發布這些模型時，基于這些數據訓練的模型不會損害訓練集中存在的個人的隱私。在這篇論文中，我們證明了解決這些新出現的問題需要優化方面的基本進步。更具體地說，我們首先提出了理解自適應梯度算法的最優性的新的理論結果，并展示了在基于梯度的采樣器的背景下自適應方法的實際用例。然后，我們提出了可擴展的最小最大優化方法，以有效地解決魯棒目標。最后，我們開發了私有優化方法，在更嚴格的隱私要求下最優地學習，以及自適應方法，在簡單的實例上增加“適當數量的噪聲”并顯著降低隱私的代價。

//searchworks.stanford.edu/view/14053711

在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。

本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。

我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。

//www.zhuanzhi.ai/paper/c5e7a9742d6a6313d63c5976499166dc

Adaptive Methods for Real-World Domain Generalization

不變方法在解決領域泛化問題方面已經取得了顯著的成功，該問題的目標是對不同于訓練中使用的數據分布進行推斷。在我們的工作中，我們研究是否有可能利用未知測試樣本本身的領域信息。我們提出一個域自適應方法包括兩個步驟: a)我們首先學習區別的域嵌入從無監督訓練的例子,和 b)使用該域嵌入作為補充信息來構建一個domainadaptive模型,這需要輸入以及其域考慮而做出的預測。對于看不見的域，我們的方法簡單地使用少數未標記的測試示例來構建域嵌入。這使得對任何看不見的域進行自適應分類成為可能。我們的方法在各種領域泛化基準上實現了最先進的性能。此外，我們還引入了第一個真實世界的大規模域泛化基準Geo-YFCC，該基準包含超過40個訓練域、7個驗證域和15個測試域的1.1萬個樣本，比之前的工作大了幾個數量級。我們表明，現有的方法要么不能擴展到這個數據集，要么不如基于所有訓練領域的數據聯合的訓練模型的簡單基線。相比之下，我們的方法獲得了顯著的1%的改進。

//www.zhuanzhi.ai/paper/6e7661967d0879ebfd0236873a75386b

來自卡內基梅隆大學機器人研究所Zhanghao博士論文，他師從著名的邢波教授！博士題目是機器學習并行可以是自適應的、可組合的和自動化的，不可錯過！

Zhang hao， 卡內基梅隆大學機器人研究所博士，導師是Eric Xing教授。畢業后將加入加州大學伯克利分校的RISE實驗室，做博士后。 //www.cs.cmu.edu/~hzhang2/

Machine Learning Parallelism Could Be Adaptive, Composable and Automated

近年來，機器學習(ML)領域的創新步伐加快，SysML的研究人員已經創建了在多個設備或計算節點上并行化ML訓練的算法和系統。隨著ML模型在結構上變得越來越復雜，許多系統都努力在各種模型上提供全面的性能。一般來說，根據從適當的分布策略映射到模型所需的知識數量和時間，ML的規模通常被低估了。將并行訓練系統應用到復雜的模型中，除了模型原型之外，還增加了重要的開發開銷，并且經常導致低于預期的性能。本文識別并解決并行ML技術和系統實現在可用性和性能方面的研究挑戰。

本文的第一部分提出了一個簡單的設計原則，自適應并行化，它根據特定的ML屬性將適當的并行化技術應用于模型構建塊(如層)。接下來，我們導出了一系列優化ML并行化不同方面的優化和實現。我們對它們進行了研究，并表明它們顯著提高了ML訓練在適用場景下對集群進行2-10倍的效率或可伸縮性。

為了推廣這種方法，本論文的第二部分將ML并行化為端到端優化問題，并尋求自動解決它，用于ML并行任務的兩種廣泛范例:單節點動態批處理和分布式ML并行。我們提出了有原則的表示來表示兩類ML并行性，以及可組合的系統架構，分別是Cavs和AutoDist。它們支持為不可見的模型快速組合并行化策略，提高并行化性能，并簡化并行ML編程。

在此基礎上，本文的第三部分提出了自動并行化框架AutoSync，用于自動優化數據并行分布訓練中的同步策略。AutoSync實現了“開框即用”的高性能——它在提議的表現方式所覆蓋的范圍內導航，并自動識別同步策略，這些同步策略的速度比現有手動優化的系統快1.2 - 1.6倍，降低了分布式ML的技術障礙，并幫助更大的用戶社區訪問它。本文所開發的技術和系統為分布式環境下大規模ML訓練的端到端編譯器系統的概念和原型實現提供了理論依據。

論文結構：

第一部分(第三章-第五章):通過自適應并行來理解和優化并行ML在各個方面的性能; 第二部分(第六章-第七章):開發ML并行的統一表示和可組合系統; 第三部分(第八章):自動化ML并行化