亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在一個典型的建模設置中，我們對想要學習的函數類型有先驗的概念。例如，在回歸中，我們可能想要學習一個平滑函數或周期函數；在圖像分類中，我們可能想要學習一個對旋轉不變的函數。雖然函數空間為我們提供了理解諸如不變性或平滑性等特性的好處，但直接量化模型的功能屬性往往是困難的。 在這篇論文中，我們利用對函數空間的推理能力來構建更強大的模型，無論是在高斯過程（GPs）還是神經網絡中。通過將GP核作為潛在過程本身的函數生成，我們引入了一種方法，不僅僅是對GP模型中的函數本身，而且對我們產生的函數類型提供不確定性。我們還引入了一種方法，用于在神經網絡中學習不變性和等變性的水平，使我們能夠賦予模型產生的函數以軟感應偏見，而不是硬約束。最后，我們展示了如何利用對神經網絡參數空間的理解，高效地整合多樣化的函數集合，以提高模型的準確性和魯棒性。通過引入這些方法，我們展示了通過仔細考慮我們正在產生的函數類型，我們可以描述具有一系列理想特性的模型。這些特性包括更靈活的模型、更符合領域知識的模型，以及既準確又魯棒的模型。我們在包括時間序列預測、圖像分類和強化學習在內的廣泛問題上展示了這些結果。 在許多建模背景下，對于我們想要產生什么類型的函數進行規定要比推理函數的參數形式或函數本身的參數容易得多。例如，在時間序列中，我們可能只需簡單地觀察我們的數據，就能確定我們想要的，比如某種具有上升趨勢的準周期函數。相反地，給定一個足夠復雜的參數化回歸模型和相同的數據，如果沒有一些數值優化程序，我們可能無法事先確定合理的參數值來擬合數據。盡管推理我們想要產生的函數類型可能更容易，但在實踐中直接產生這些函數卻是具有挑戰性的，我們的努力反而集中在學習參數上。 雖然從函數空間的角度提供了與我們旨在建模的數據更直接的聯系，而不是參數空間的視角，但它也引入了許多新的和令人興奮的挑戰。盡管高斯過程（GPs）提供了一種建模函數的方法，甚至在函數空間中進行貝葉斯推理，但用于考慮GP模型本身的不確定性的方法是有限的。例如，在核學習中，我們可能希望對一系列核的分布進行邊緣化，其中每個核可能產生不同類型的函數。通過對核本身設置函數空間先驗，我們能夠對我們的GP模型產生的函數類型提供不確定性，而不僅僅是對函數本身。 另一個直接處理函數空間的日益增長的興趣領域是神經網絡中的等變性和不變性。例如，如果我們尋求建模一個對旋轉不變或僅對一部分旋轉不變的函數，這意味著我們的預測不應隨輸入的旋轉而改變，那么我們可能會旨在學習一個分布，反映我們期望我們的函數對其不變的旋轉范圍。通過對變換進行簡單的分布假設，我們使模型能夠學習對正確變換的近似不變性，以及這些變換的正確數量。 這篇論文由三部分組成，每部分都關注于函數空間建模的一個獨特組成部分，重點是高斯過程模型或神經網絡。在第2章中，我們討論了在高斯過程模型中形成協方差函數分布的方法。首先是從譜表示的角度，通過使用一個潛在的GP對核函數的傅里葉變換進行建模，然后是通過隨機波動模型，使用一個潛在的GP來模型一個隨時間變化的波動性術語。 在第3章中，我們引入了在神經網絡中構建對稱性分布的方法。我們首先研究對有限范圍的變換的近似對稱性，例如僅對一部分旋轉的不變性。然后我們研究學習僅近似滿足的對稱性分布，例如在物理系統中，關于某一軸的反射可能幾乎但不完全保持能量和動量等量。 最后，在第4章中，我們探討了神經網絡中參數空間和函數空間之間的聯系。我們通過描述在神經網絡中聚合和集成訓練解決方案集合的一般方法來結束。這種方法圍繞著我們無法直接解決像對稱性這樣的函數空間量的情況，而希望集成多樣化的函數集合的案例。在我們無法有效測量功能多樣性的情況下，我們依靠損失表面推理來收集多樣化的參數集，作為收集多樣化函數的代理。 總體而言，這些方法反映了從函數空間的角度進行建模的力量，或者從一個能夠建立我們的模型中的參數與它們產生的函數之間聯系的視角。

最優傳輸（OT）在機器學習（ML）中比較概率分布時扮演著越來越重要的角色。OT問題已被用于許多應用，并有多種表述。其中，蒙日答案和康托羅維奇線性程序最為突出。前者涉及尋找一個有效的前推映射，可以將一個測度變形到另一個；而后者則放寬了測度的匹配，允許質量的分裂。康托羅維奇OT在計算上更為宜人，并已成為數據科學的主要焦點。然而，當用于應用問題時，其原始形式提出了幾個挑戰：（i）在離散分布之間計算OT相當于解決一個大型且昂貴的網絡流問題，這需要在點數上具有超立方的復雜性；（ii）使用采樣測度估計OT受到維數詛咒的困擾。可以使用熵正則化來緩解這些問題，使用Sinkhorn算法解決，這在統計和計算方面都有所改進。盡管速度更快，但熵OT仍然需要與點數的二次復雜性，因此對于大規模問題仍然是禁止的。抓住這個機會，我在我的論文中花了很大的篇幅研究OT的可擴展方法，這導致了我關于低秩最優傳輸（LOT）的工作線。我還意識到，康托羅維奇提出的放寬OT的基本思想可以應用于其他設置，我提出了使用這個非常相同的想法來處理公平分割問題和通過OT的視角進行對抗攻擊問題的新方法。因此，這篇論文分為兩個主要部分。

在第一部分，我提出了新的OT問題的正則化方法，以及其二次擴展，即Gromov-Wasserstein（GW）問題，通過對耦合施加低秩結構。這在時間和內存上都產生了線性復雜性，與點數有關。在我朝著這個目標的第一次嘗試中，我建議近似解決熵OT的Sinkhorn算法的迭代，通過強制對所涉及的核進行特定的低秩分解，從而導致最優耦合的低非負秩分解。然后我建議將這個想法推廣，并直接解決OT問題以及在可接受的耦合上的低非負秩約束下的GW問題。我們證明這些新的正則化方案與熵方法相比具有更好的計算和統計性能，并且在對基礎成本矩陣進行低秩假設時甚至可以達到線性復雜性。這些新的計算方案為OT在大規模環境中的使用鋪平了道路。

在第二部分，我提出了兩種設置，康托羅維奇提出的放寬OT問題的基本思想也可以應用，為長期存在的ML問題提供了新的視角。更確切地說，我們提議放寬并提升多個代理之間的公平分割問題到分布空間，允許在分區中分裂資源質量。這樣做，我們證明總是可能獲得資源的公平分割，并且當涉及多個成本時，我們得到OT問題的泛化。我們還使用OT解決對抗性示例的問題。在這個問題中，攻擊者可以被表示為一個確定性映射，將數據分布向前推到一個旨在最大化分類器風險的對抗性分布。通過放寬攻擊者的定義為一個耦合，我們得到了對抗風險的變分形式，這使我們能夠將對抗風險最小化問題解釋為一個兩玩家零和游戲，我們研究了在這個游戲中納什均衡的存在性問題。

現代機器學習主要受到黑盒模型的驅動，這些模型提供了卓越的性能，但對于如何進行預測的透明度有限。對于需要了解模型如何做出決策的應用，以及協助模型調試和數據驅動的知識發現，我們需要可以回答有關影響模型行為的問題的工具。這就是可解釋機器學習（XML）的目標，這是一個子領域，它開發了從多個角度理解復雜模型的工具，包括特征重要性、概念歸因和數據估值。本文提供了對XML領域的幾個貢獻，主要思想分為三部分：(i)一個框架，使得可以統一分析許多當前的方法，包括它們與信息論和模型魯棒性的聯系；(ii)一系列技術，用于加速Shapley值的計算，這是幾種流行算法的基礎；以及(iii)一系列用于深度學習模型的特征選擇的方法，例如，在無監督和自適應的設置中。這些思想中的許多都是受到計算生物學和醫學應用的啟發，但它們也代表了在各種領域中都有用的基本工具和觀點。

在模型透明度的辯論中，傳統的觀點是我們面臨解釋性與準確性之間的權衡。1有些人辯稱這種權衡并不存在，聲稱我們可以使用“天生可解釋”的模型達到近乎最優的性能（Rudin, 2019）；這對于簡單的表格數據集往往是正確的，但對于像圖像和語言這樣的復雜數據模態則較為罕見。在這里，我們采取了更為寬容的立場：鑒于黑盒模型目前提供了最佳的性能并且已經廣泛部署，我們探討是否有可能從任何模型中獲得足夠的見解。在這樣做的過程中，我們開發了一套在很大程度上對模型的內部機制持中立態度，或者說是模型不可知的工具集，因此即使在今天的最高性能的黑盒模型中也能正常運行。 這一目標也被可解釋機器學習（XML）子領域的許多工作所共享，并且近年來已經取得了顯著的進展。目前，XML工具已被用于了解新疾病的風險因素（Razavian等人，2020；Snider等人，2021），加速數學猜想的發現（Davies等人，2021），在有限的訓練數據標簽下識別蛋白質結合位點（Gligorijevi?等人，2021），審計有缺陷的醫學診斷系統（DeGrave等人，2021）以及從功能系統中獲得新的見解（Ting等人，2017；Sundararajan等人，2017）。這些早期的成功表明了這些工具的潛力，但在這些方法的底層理論以及使它們在實踐中高效的計算程序方面仍有進展空間。這篇論文介紹了我在博士期間進行的幾項工作，旨在解決這些挑戰。

這篇論文包含了我在博士期間完成的大部分項目，所有這些項目都與透明機器學習的核心主題相關。我們首先在第2章建立符號和幾個初步的概念。接下來，每一章都基于一篇第一作者的出版物，其中在某些情況下與共同第一作者共享。為了使它們在一個文檔中更具連貫性，對各個作品進行了修改，但這里沒有提供新的信息，這些論文也可以單獨閱讀。這些作品被組織成三個部分，如下所述。

**第一部分：XML的基礎 **我們首先討論一個統一了大部分文獻的觀點：許多現有的方法都基于一個解釋原則，即通過移除或量化從模型中移除特征的影響。我們描述了一個框架，在這個框架中，這些方法基于三個實現選擇而有所不同，我們為26個現有的算法確定了這些選擇（第3章）。基于這個觀點，我們對這些方法進行了統一分析，并找到了與信息理論、博弈論和認知心理學的聯系。然后，我們探索這些方法的魯棒性特性，并得出了描述它們對輸入和模型擾動的魯棒性的新結果（第4章）。 第二部分：Shapley值計算 接下來，我們探討XML中最廣泛使用的工具之一：Shapley值，一種博弈論信用分配技術。這些是最受歡迎的特征歸因方法之一，SHAP（Lundberg和Lee，2017）的基礎，以及一個著名的數據估值技術（Ghorbani和Zou，2019），但它們是臭名昭著的難以計算。有一系列方法來加速它們的計算（Chen等人，2022），我們在這里討論兩個：基于加權線性回歸的近似（第5章），和基于深度學習的攤銷優化的近似（第6章，第7章）。 第三部分：深度學習的特征選擇 最后，特征選擇為提供透明度的同時也降低了特征獲取成本提供了另一個方向。由于多次訓練不同特征集的模型的高昂成本，似乎很難與深度學習一起實施，但我們探討了如何使用可微分的層來阻止特征信息進入網絡（第8章）。然后，我們討論如何在自適應設置中應用這些思想，其中我們根據當前可用的信息為每個預測單獨選擇特征（第9章，第10章）。

在本論文中，我們考慮了從隨機分析和代數到統計和機器學習的工具的應用。其中大多數工具是已知為簽名方法的不同形式。在過去的70年里，簽名在數學的幾個不同領域被發現和重新發現。簡而言之，它將一個在向量空間中演變的路徑映射到包裹同一空間的一個群體。它對統計如此有用的原因有兩個：一是它的不變性集在許多應用中都非常受歡迎；二是其圖像群體結構嚴密，非常適合使用代數工具進行數學研究。這里的主要目標是研究如何使用簽名來表示給定路徑的統計屬性，以及如何將這些屬性應用于機器學習。這個目標表現為 - 除其他事項外： ? 一種用于簽名的新型累積量，具有獨特的組合屬性，可用于表征路徑的獨立性， ? 在再生核希爾伯特空間上的累積量，與簽名累積量有關，盡管沒有明確使用簽名， ? 將簽名推廣到其他類型的特征映射到非交換代數， ? 具有初始拓撲的特征映射，捕捉隨機過程濾波的屬性， ? 以及一系列得分規則與相關的散度、熵和路徑的相互信息，這些都尊重它們的群體結構。 這些被劃分為單獨的、自成體系的章節，可以互相獨立閱讀。

本論文旨在設計有效的方法，將已知結構融入機器學習模型中。結構的產生源于問題的形式化（例如，物理約束、聚合約束）或模型所需的屬性（能效、稀疏性、魯棒性）。在許多情況下，建模者對他們正在建模的系統有一定的了解，這必須以精確的方式進行加強。這對于提供充分的安全保證，或提高系統效率是必要的：用更少的數據訓練系統，或減少計算成本。本論文在各種設置中提供了方法，這些方法建立在連續的、受約束的優化和可微統計建模（也稱為深度學習）的兩個基礎領域之上。

論文的第一部分集中于設計和分析帶有凸約束的優化問題的高效算法。特別是，它關注Frank-Wolfe算法的兩個變體：第一個變體提出了一個快速的回溯線搜索算法，以自適應地設置全梯度設置中的步長；第二個變體提出了一個快速的隨機Frank-Wolfe算法，用于受約束的有限和問題。我還描述了對開源受約束優化軟件的貢獻。這篇論文的第二部分關注設計確切強制某些約束的深度學習模型：基于物理的約束，以及概率預測模型的聚合約束。這部分利用了雙層優化模型，并利用可微優化約束復雜神經網絡的輸出。我們證明，可以在復雜的非凸模型上強制執行復雜的非線性約束，包括概率模型。

這些例子展示了混合模型的威力，這些模型結合了數據驅動的學習，利用如深度神經網絡這樣的復雜非線性模型，并允許高效算法的經過深入研究的優化問題。這些混合模型幫助高度靈活的模型捕獲結構模式，有時甚至不需要任何數據訪問就能實現出色的性能。

近年來，機器學習模型在旨在匹配人類感知的領域（計算機視覺、音頻處理、自然語言）中取得了無數的成功。這些成功是通過理解如何利用模型輸入中的結構來實現的：圖片、聲音、文本、代碼，甚至分子的數字表示[1, 2, 3, 4]。為了在工程和科學中達到相似的成功水平，模型必須納入額外的結構性約束：模型的內部和輸出都應滿足某些關鍵屬性（例如，模型內部的稀疏或低秩權重，以及模型輸出的物理方程）。盡管優化領域長期以來一直關注如何實施這些約束，但將優化方法帶來的結構與數據驅動模型的靈活性結合起來的努力是非常近期的[5, 6]。這篇論文提出了新穎、高效的方法，將結構融入機器學習模型中，無論是在模型的內部（第一部分）還是在模型的輸出（第二部分）。我們認為這樣的混合系統將是為復雜的物理應用開發高性能系統的關鍵。機器學習中的結構性約束最近再次將Frank-Wolfe（FW）算法家族推到了聚光燈下。Frank-Wolfe算法允許對決策變量（例如，模型權重）施加凸約束，同時保持決策變量的稀疏表示。這篇論文的第一部分開發了新穎的Frank-Wolfe算法變體，以提高算法的實際速度。此外，我們還描述了我們的兩個開源優化庫：COPT和CHOP。在實際環境中部署決策制定系統時，系統必須執行物理約束：差異可能導致未定義的決策。例如，如果我們預測一個地區不同粒度的水庫的入水流量，不同級別的預測必須執行質量守恒；否則，會有未被計入的水量，破壞決策制定系統。這篇論文的第二部分考慮了將物理約束納入深度學習模型的問題，采用偏微分方程和分層質量守恒的形式。

這篇博士論文支持一個更廣泛的論點，即范疇語義是研究和設計編程語言的有力工具。它專注于在簡單類型函數設置中可微分編程的基礎方面。盡管使用的大部分范疇理論可以歸結為更基礎的描述，但其影響對于獲得本論文中的結果確實至關重要。某些證明的簡潔性和某些定義與洞見的緊湊性得益于我的范疇理論背景得以簡化。

反向傳播是允許神經網絡快速學習的關鍵算法。它使得機器學習最近的一些令人印象深刻的進步成為可能。隨著模型的復雜性增加，同樣需要復雜的數據結構，這要求我們能夠超越標準的可微分性。這種新興的概括被稱為可微分編程。其思想是允許用戶編寫代表（可微分函數的一般化）的富有表現力的程序，其梯度計算可以通過自動微分進行自動化。在這篇論文中，我為可微分編程奠定了一些基礎。這是通過三種方式完成的。

首先，我提出了一個簡單的高階函數語言，并定義自動微分為保留結構的程序轉換。這種語言采用了微分空間的表示語義，并證明了轉換是正確的，即AD生成的程序確實計算原始程序的梯度，使用邏輯關系論證。

其次，我擴展了前一章描述的語言，引入了如條件和遞歸等新的有表現力的程序結構。在這樣的設置中，即使是一階程序也可能代表不必是可微分的函數。我為這樣的語言引入了更適合的表示語義，并展示了如何將AD擴展到這樣的設置中，以及現在關于AD的哪些保證仍然成立。這種擴展的語言模擬了文獻中可以找到的對表現力的更現實的需求，例如在現代的概率性編程語言中。

第三，我呈現了已開發理論的詳細應用。我首先展示了如何將AD擴展到非常規的新類型和新原語的一般方法。然后，我展示了關于AD的保證對于在某些應用中的使用是足夠的，例如隨機梯度下降的變量變換公式，但在簡單的梯度下降中可能不足夠。最后，探索了概率編程的特定背景中的更多應用。首先，給出了概率程序的跟蹤語義在幾乎所有地方都是可微分的表示證明。其次，得到了在歐幾里得空間中的概率程序的后驗分布的特征：它們相對于某個在可數的光滑流形的并集上的Hausdorff度量的和具有密度。

總的來說，這些貢獻為我們提供了更深入的對可微分編程的理解。它們為研究現實復雜程序的類似可微分性的屬性提供了一個基礎設置，超越了像可微分性或凸性這樣的常規設置。它們提供了證明這些程序的某些屬性，并將自動微分模塊化擴展到帶有新類型和原語的更豐富的背景的一般方法。

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

長期以來，隨著數據處理系統的復雜性不斷增加，系統設計者一直在想象能夠根據環境線索進行自我配置和適應的系統(如數據庫、調度程序)。在這種情況下，強化學習(RL)方法從一開始就吸引了系統開發人員。他們承諾從原始反饋信號中獲取復雜的決策策略。盡管RL方法在概念上很流行，但在現實世界的數據處理系統中卻很少見到。最近，由于利用大型神經網絡(深度強化學習)取得了引人注目的成功，RL受到了爆炸性增長的關注。新興的機器學習框架和強大的硬件加速器催生了大量新的潛在應用。在本文中，我首先提出，為了高效地設計和執行深度RL算法，需要新穎的軟件抽象來適應通信密集和快速進化算法的獨特計算模式。我提出了一種將邏輯算法構造與本地和分布式執行語義解耦的體系結構。我將進一步介紹RLgraph，這是我對這個體系結構的概念驗證實現。在RLgraph中，算法開發人員可以通過組合邏輯組件構建高級數據流圖來探索新的設計。此數據流圖獨立于特定的后端框架或執行概念，只在以后通過分階段構建過程映射到執行語義。RLgraph支持高性能算法實現，同時保持快速原型的靈活性。

//www.repository.cam.ac.uk/handle/1810/304385

其次，我研究了系統本身中RL應用程序稀缺的原因。我認為，由于缺乏用于任務模型設計的工具來彌合系統和算法之間的差距，以及缺乏評估模型能力的共同標準，應用RL的進展受到了阻礙。在本文中，我介紹了應用RL中第一個用于增量模型設計的工具——Wield。Wield 提供了一小組原語，將系統接口和特定于部署的配置從表示中分離出來。運用的核心是一種新的指導性實驗協議，稱為漸進隨機化，它幫助從業者逐步評估非確定性的不同維度。我演示了如何使用和漸進的隨機化可以用來再現和評估之前的工作，并指導新RL應用程序的實現。

在過去的十多年里，粗糙路徑理論和機器學習對序列數據的融合一直是人們越來越感興趣的話題。這兩個學科領域的統一是自然的:粗糙路徑理論為我們提供了描述由多維(可能高度不規則)信號驅動的微分方程的解的語言，而機器學習提供了從數據中學習此類解的工具。粗糙路徑理論的中心目標是為回答關于數據流對系統的影響的問題提供一個通用的數學框架。這類數據的一個常見例子是時間序列，它普遍存在于生活的各個領域(這將是我們在本文中最常考慮的流類型);因此，用粗糙路徑的語言構建問題為我們提供了在現實世界中具有真正效用的模型。這篇論文的目的是為機器學習的應用提供粗糙路徑理論領域的一個可訪問的介紹，然后提供一個帳戶，進一步連接這兩個領域的最新和有效的貢獻。**這篇論文涵蓋的主題包括:神經控制微分方程(神經CDEs) **-神經常微分方程的擴展，可以包含外部數據過程的變化;神經粗糙微分方程(neural RDEs)—對神經CDEs的粗糙路徑擴展，對長或高頻時間序列有好處;廣義簽名法——多變量時間序列特征提取技術的集合最后介紹了簽名方法在敗血癥和應激檢測中的實際應用。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。