亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

智能軟件具有改變我們社會的潛力。它正在成為現實世界中許多系統的基石。然而，盡管機器學習模型在基準測試上表現出色，像神經網絡這樣的最新方法在遇到現實情境時經常失敗。由于神經網絡通常學習相關性而不是根據正確的信號和知識進行推理，它們在面對分布變化、意外破壞和最壞情況時會失敗。由于神經網絡是黑盒模型，用戶無法解釋或信任它們。為了在最關鍵的應用和系統中自信和負責任地部署機器學習，我們需要構建魯棒的模型。 在這篇論文中，我介紹了我們的魯棒機器學習系統的進展，通過緊密將上下文整合到算法中。上下文有兩個方面：自然數據的內在結構和來自領域知識的外在結構。兩者都至關重要：通過利用自然數據的內在結構，我的工作表明，我們甚至可以在最壞情況下創建魯棒的機器學習系統，這也是一項強有力的實證收益。通過整合外部知識，如任務之間的關聯和因果結構，我的框架可以指導模型使用正確的信號進行推理，為可控和可解釋的模型開啟新的機會。 這篇論文分為三個部分。在第一部分中，我旨在涵蓋三個使用內在結構作為約束以實現魯棒推理的工作。我介紹了我們的框架，該框架執行測試時優化以尊重自然約束，這些約束由自監督任務捕獲。我闡述了測試時優化如何改善分布外泛化和對抗性魯棒性。除了推理算法，我還展示了通過離散表示來改善分布外魯棒性的內在結構。 在論文的第二部分中，我詳細介紹了使用外部領域知識的工作。我首先介紹了如何利用來自外部領域知識的因果結構來提高領域泛化魯棒性。然后，我展示了多個任務和正則化目標的關聯如何幫助提高魯棒性。 在這篇論文的最后部分，我展示了關于值得信賴和可靠的基礎模型的三個工作，這是許多人工智能應用的基礎模型。我展示了一個利用上下文來保護、解釋和控制基礎模型的框架。

雖然生成模型具有令人興奮的潛力，但其有限的可用性為其在現實世界應用中的廣泛采納帶來了重大挑戰。具體而言，現有方法往往會放大埋藏在其訓練數據中的有害社會偏見，并且經常無法準確反映用戶主觀規格，例如在生成輸出中的風格。此外，當處理具有獨特結構的數據分布，如周期性時，存在明顯的性能差距，限制了它們在圖像和文本數據之外的適用性。本論文考慮了所有這些方面，以幫助構建安全、可靠的生成AI系統，以便實際集成和部署。

首先，我們提出了一個方法論框架來應對偏見緩解和可控性的挑戰。基于傳統的密度比率估計(DRE)方法，我們開發了技術來修正已學習的模型分布，使其顯示的特征更接近感興趣的另一個目標分布。這些貢獻不僅為DRE提供了一個新的理論框架，而且還提高了在一系列下游任務上的性能，如域適應、數據增強和互信息估計。接下來，我們展示了這些方法在社會應用中的兩個實際應用。我們證明：(a)我們的重新加權生成建模框架成功地緩解了數據集偏見，以及(b)更可控制的模型可以更好地根據個人偏好定制AI生成的音樂，并協助創作過程。最后，我們總結了開發新的學習算法，將領域特定的歸納偏見整合到無線通信的生成模型中，以及離散數據分布。

基于概率的生成模型為我們今天的社會解鎖了大量新的機會。在大規模數據集和計算能力的推動下，最近的進展使我們能夠自動完成開發者工作流中的代碼[Che+21]，根據自然語言指令合成高保真度的圖像和視頻[Ram+21; Ram+22; Rom+22; Yu+22; Ho+22; Sin+22]，將風格傳遞給錄制視頻的每一幀[Ess+23]，并個性化音樂表演以適應我們的口味[Don+23; Ago+23]。從通過協助數字內容創建為經濟增加數萬億美元的價值，到為創意工作民主化訪問和降低進入門檻，該領域正準備重新定義人工智能(AI)領域內的可能性[Bom+21; Elo+23]。

然而，這種興奮掩蓋了阻礙生成模型在現實世界應用中實際可用性的新出現的瓶頸。盡管它們具有強大的功能，生成模型仍然難以準確捕獲具有周期性（例如，醫學時間序列）和離散性（例如，分子生成的圖）這樣的特性的結構化數據分布。這極大地限制了它們在圖像和文本數據的創意努力之外的實用性。此外，實際將這些模型整合到我們的創意循環中也由于控制其輸出所涉及的復雜性而面臨重大挑戰[Lou+20]。這是因為指導合成輸出的用戶指定控制信號通常很難在數學或語言上明確地表達，而需要大量注釋的數據集進行標記監督或巧妙地導航模型超參數的組合爆炸[Yu+22; Gal+22; Fen+23]。最后，這樣的模型可能是不安全的，并在部署時產生意外的后果。因為生成模型旨在捕獲數據分布，它們不幸地可能放大訓練數據中的有害社會刻板印象，在下游應用中[Wei+21; CZB22]。這種關鍵的故障模式對終端用戶構成了重大的安全風險，他們可能會暴露于或在令人不安的內容中被利用[Jal+21; Bia+22; Ran+22]。因此，大型機構行為者可能會猶豫是否開放這些模型的源代碼，而基于這些技術構建的產品非常難以可靠且安全地部署到廣大公眾。 在這一背景下，任何成功的利用這些AI系統的方法都必須滿足兩個基本標準。首先，它們必須生成忠實于用戶規格的高質量內容，無論控制信號是顯式的（例如，風格）還是隱式的（例如，社會規范或價值觀）。這種細致的控制將確保生成可靠和相關的輸出，適用于實際的、真實世界的應用。第二個要素是，它們必須成功處理各種數據分布。這對于擴展這些模型在各種社會和技術領域的適用性至關重要。

近年來，機器學習在許多應用中證明了其極高的用途性。然而，這些成功故事很多都源于在與訓練數據非常相似的數據上評估算法。當應用于新的數據分布時，機器學習算法已被證明會失敗。鑒于現實世界數據的非平穩和異構性質，我們需要更好地掌握算法在分布外（out-of-distribution）的泛化能力，以便算法能被廣泛部署和信任。我的論文提出了三個研究課題，旨在調查和發展分布外泛化的領域。這些研究努力的中心目標是產生新的工具，如算法、理論結果、實驗結果和數據集，以提高在數據分布發生變化時機器學習方法的理解和性能。貫穿這三個機器學習場景的高級思想是模塊性——由組合在一起形成一個整體的獨立部分的質量。模塊化方法被假設為引導機器學習方法遠離僵化的記憶示例，走向更靈活和“更智能”的支持泛化的學習。

在我的第一項貢獻中，我從多個訓練分布的學習角度來接近論文目標。對這一研究方向的貢獻有兩方面。首先，我呈現了一組新的標準化任務，用于評估和比較分布外泛化算法。其次，我陳述了一系列新的理論結果，填補了數據中心和算法方法之間在分布外泛化方面的現有差距。這些理論發現引導了一組關于如何采用算法方法的新的實用建議。

在第二項貢獻中，我處理了監督圖像識別中的泛化問題。在這一背景下，我首先調查了多級特征聚合對泛化的影響，并證明了使用其中一種考慮的方法進行增強可以持續提高性能。其次，我提出了一組簡單的圖像數據集，可作為評估和比較圖像分類方法在分布外泛化方面的墊腳石。最后，我深入研究了多個神經網絡通信以解決共享任務的學習場景。這項工作以兩種方式支持論文目標。首先，我提出了一個新的環境，圖引用游戲（graph referential games），并在數據表示和相應的數據表示學習方法對分布外泛化的影響上提出了結果。這些結果連接了之前不相連的圖表示學習和新興通信領域。其次，我解決了基于現實圖像的群體通信這一具有挑戰性的領域。這篇論文中的數據集、算法、定理和實驗結果代表了在機器學習中理解和改進分布外泛化方面的幾個步驟。它們為研究人員提供了旨在促進這一領域研究的新工具和結果，其中一些已被證明對研究社群有用。最后，這項工作提出了機器學習的多個分布學習、圖像分類和多代理通信子領域中重要的未來方向。

//www.repository.cam.ac.uk/items/8680585b-87ca-4196-987f-c4d379259092

記憶與學習是否相同？阿根廷作家豪爾赫·路易斯·博爾赫斯（Jorge Luis Borges）的短篇小說《記憶者富內斯》（Funes the Memorious，由James E. Irby翻譯成英文[71，第59–66頁]）描述了一個名叫富內斯的男孩，在頭部受傷后獲得了完美的記憶。他開始詳細地記住他一生的每一個時刻。同時，他失去了泛化的能力：他的記憶彼此是孤立的。例如，他從不同的角度看到同一只狗，卻只把同一只狗的不同側面視為獨立的信息。他甚至不了解自己的身體是什么樣的（‘每次看到鏡中的自己的臉，看到自己的手，都讓他感到驚訝’），這導致了一個結論：‘思考就是忘記一個差異，進行泛化，進行抽象。在富內斯過于充實的世界里，只有細節。’""與富內斯相似，具有數百萬參數的現代神經網絡已被證明會記住訓練樣本，這可能導致一系列問題，例如：（1）對噪聲數據的高度敏感性[150, 221]，（2）易受對抗性攻擊的影響[271, 87, 269, 287]，（3）與人類學習相比樣本效率低[302, 303, 275]，以及（4）對新數據的泛化能力差[62]，即使新數據樣本直觀地與模型已經訓練過的數據有相似之處[61, 251]。這些問題可能出現在應用現代機器學習的任何領域。它們可能導致機器學習系統在使用過程中產生不透明的故障模式，從而導致對機器學習系統的信任度下降[297]。"

"標準機器學習方法中缺少對分布外泛化（Out-of-distribution generalisation）的能力。這些方法得到了統計學習理論[279]的支持，該理論證明了使用基于平均值的優化（經驗風險最小化[279]）以及使用測試集估計泛化誤差的做法是合理的。然而，這一理論假設訓練（過去）和測試（未來）數據是獨立同分布的。在應用機器學習的許多實際領域中，這一假設是不正確的：現實世界的數據是異構的，其分布通常會隨時間變化。分布變化的實際來源包括機器學習系統用戶特性的變化，或一個有實體的代理（embodied agent）所處環境的變化。另一個常見的分布變化例子是由于語言（包括在線使用的語言）動態性而產生的。自然語言的不斷演變已被證明會改變語言模型的困惑度（perplexity），當這些模型在數月內多次應用時[164]。背景章節的第2.4節更多地涵蓋了分布變化的類型和相應的例子。由于這些變化，即使在常用的分布內測試集上達到接近100%的準確率也不總是能預示未來的性能，這一點已被眾多論文所證明[137, 15, 61, 235, 204, 62]。"

"在機器學習領域，關于分布外泛化（OOD generalisation）的主題實質上與機器學習本身一樣廣泛和復雜，并且在研究社群中同樣容易受到瞬息萬變的趨勢和不同觀點的影響。在我看來，面對分布變化提高泛化能力是必要的，原因如下： ? 工程原因 — 提高樣本效率，并在沒有數千個訓練樣本的低資源領域提高性能[110]； ? 科學原因 — 深入了解神經網絡是如何學習的，并可能讓機器學習更接近人類學習； ? 商業原因 — 在目前由人類執行的越來越復雜的任務中使用神經網絡； ? 社會原因 — 通過控制簡單性偏見[246]來消除機器學習系統的偏見。

利用數據中的‘捷徑’可能會導致不公平的解決方案（例如，這可以在招聘工具中利用性別信息時看到[59]）。在我的博士研究期間，我一直在問自己：致力于分布外泛化的機器學習研究社群最需要什么樣的工具？這篇論文旨在以新數據集、新理論結果、新測試平臺、新實驗結果和新算法的形式提供這樣的工具。這些研究努力的具體成果總結在圖1.1中。"

導致這篇論文的研究工作涉及機器學習的三個子領域：多分布學習（第3章）、圖像分類（第4章）和多智能體通信（第5章）。這種廣泛的視角使我能夠收集更多證據來支持中心假設，并探討研究問題（第1.2節）。同時，本論文中介紹的工具旨在對我在博士研究期間有幸與之合作和學習的幾個機器學習社群有所用處：（1）不變學習和群體魯棒性社群（第3章），（2）視覺社群（第4章），以及（3）新興通信社群（第5章）。所有這些社群都在獨立地研究機器學習中的分布外泛化，正如我在背景章節（第2章）以及各自貢獻章節中所回顧的。本論文聯系了我在研究中涉足的之前是分離的社群，例如圖神經網絡[141]與新興通信[43]（第5章），以及面向群體魯棒性的數據導向方法[36]與分布魯棒優化[21]（第3章）。"

盡管生成模型具有令人振奮的潛力，但它們的有限可用性對于在現實世界應用中廣泛采用它們提出了重大挑戰。具體來說，現有方法往往會放大嵌入在其訓練數據中的有害社會偏見，并且通常無法準確反映生成的輸出中的主觀用戶規范，例如風格。此外，當處理具有獨特結構的數據分布時，如周期性，會存在明顯的性能差距，這限制了它們在圖像和文本數據之外的適用性。本論文考慮了所有這些方面，以幫助構建安全可靠的生成式人工智能系統，用于實際集成和部署。

首先，我們提出了一種方法論框架，以應對偏見減輕和可控性方面的挑戰。在經典的密度比估計（DRE）方法基礎上，我們開發了技術，用于糾正學習模型分布，使其表現出更與另一目標分布更緊密對齊的特征。這些貢獻不僅為DRE提供了一個新的理論框架，還提高了在各種下游任務上的性能，如領域自適應、數據增強和互信息估計等。接下來，我們介紹了這些方法在社會應用中的兩個真實應用。我們證明：（a）我們的重新加權生成建模框架成功減輕了數據集偏見，（b）更可控的模型可以更好地定制AI生成的音樂以適應個人偏好，并促進創造過程。最后，我們總結了通過將領域特定的歸納偏見納入無線通信的生成模型以及離散數據分布的生成模型中的新學習算法。

概率生成模型承諾為我們的社會帶來巨大的新機會。受大規模數據集和計算資源的可用性推動，最近的進展已經催生出可以自動完成開發者工作流中的代碼 [Che+21]，根據自然語言指令合成高保真度圖像和視頻 [Ram+21; Ram+22; Rom+22; Yu+22; Ho+22; Sin+22]，將風格轉移到錄制視頻的每一幀 [Ess+23]，并個性化音樂表演以迎合我們的口味 [Don+23; Ago+23] 的機器。從通過協助數字內容創作增加數萬億美元的經濟價值到民主化訪問并降低創意工作的準入門檻，這個領域準備重新定義人工智能（AI）領域的可能性 [Bom+21; Elo+23]。

然而，這種興奮熱潮掩蓋了阻礙生成模型在實際應用中的實用性的新興瓶頸。盡管生成模型具有強大的能力，但它們仍然難以準確捕捉具有周期性（例如，醫學時間序列）和離散性（例如，分子生成的圖形）等特征的結構化數據分布。這極大地限制了它們在涉及圖像和文本數據以外的創意工作之外的實用性。此外，實際將這些模型集成到我們的創意循環中也面臨著重大挑戰，因為控制它們的輸出涉及復雜性 [Lou+20]。這是因為用于引導合成輸出的用戶指定的控制信號通常在數學或語言上很難表達，而是需要大量的帶標簽監督的注釋數據集或巧妙地導航可能的模型超參數組合爆炸 [Yu+22; Gal+22; Fen+23]。最后，這些模型可能存在安全風險，并在部署時產生意想不到的后果。因為生成模型的設計目標是捕捉數據分布，不幸的是，它們可能會在下游應用中放大訓練數據中存在的有害社會刻板印象 [Wei+21; CZB22]。這種重要的故障模式對最終用戶構成了重大安全風險，他們可能會接觸到或被濫用于令人不安的內容 [Jal+21; Bia+22; Ran+22]。因此，大型機構可能會猶豫是否開源這些模型，以及基于這些技術構建的產品可能會受到極大的限制。

在這種背景下，任何成功的方法來利用這些人工智能系統都必須滿足兩個基本標準。首先，它們必須生成高質量的內容，忠實于用戶的規范，無論控制信號是顯式的（比如風格）還是隱式的（比如社會價值觀念）。這種細粒度的控制將確保可靠且相關的輸出，使其適用于實際的現實世界應用。第二個要素是它們必須成功處理各種數據分布。這對于擴展這些模型的適用性到各種社會和技術領域將是至關重要的。

本論文旨在設計有效的方法，將已知結構融入機器學習模型中。結構的產生源于問題的形式化（例如，物理約束、聚合約束）或模型所需的屬性（能效、稀疏性、魯棒性）。在許多情況下，建模者對他們正在建模的系統有一定的了解，這必須以精確的方式進行加強。這對于提供充分的安全保證，或提高系統效率是必要的：用更少的數據訓練系統，或減少計算成本。本論文在各種設置中提供了方法，這些方法建立在連續的、受約束的優化和可微統計建模（也稱為深度學習）的兩個基礎領域之上。

論文的第一部分集中于設計和分析帶有凸約束的優化問題的高效算法。特別是，它關注Frank-Wolfe算法的兩個變體：第一個變體提出了一個快速的回溯線搜索算法，以自適應地設置全梯度設置中的步長；第二個變體提出了一個快速的隨機Frank-Wolfe算法，用于受約束的有限和問題。我還描述了對開源受約束優化軟件的貢獻。這篇論文的第二部分關注設計確切強制某些約束的深度學習模型：基于物理的約束，以及概率預測模型的聚合約束。這部分利用了雙層優化模型，并利用可微優化約束復雜神經網絡的輸出。我們證明，可以在復雜的非凸模型上強制執行復雜的非線性約束，包括概率模型。

這些例子展示了混合模型的威力，這些模型結合了數據驅動的學習，利用如深度神經網絡這樣的復雜非線性模型，并允許高效算法的經過深入研究的優化問題。這些混合模型幫助高度靈活的模型捕獲結構模式，有時甚至不需要任何數據訪問就能實現出色的性能。

近年來，機器學習模型在旨在匹配人類感知的領域（計算機視覺、音頻處理、自然語言）中取得了無數的成功。這些成功是通過理解如何利用模型輸入中的結構來實現的：圖片、聲音、文本、代碼，甚至分子的數字表示[1, 2, 3, 4]。為了在工程和科學中達到相似的成功水平，模型必須納入額外的結構性約束：模型的內部和輸出都應滿足某些關鍵屬性（例如，模型內部的稀疏或低秩權重，以及模型輸出的物理方程）。盡管優化領域長期以來一直關注如何實施這些約束，但將優化方法帶來的結構與數據驅動模型的靈活性結合起來的努力是非常近期的[5, 6]。這篇論文提出了新穎、高效的方法，將結構融入機器學習模型中，無論是在模型的內部（第一部分）還是在模型的輸出（第二部分）。我們認為這樣的混合系統將是為復雜的物理應用開發高性能系統的關鍵。機器學習中的結構性約束最近再次將Frank-Wolfe（FW）算法家族推到了聚光燈下。Frank-Wolfe算法允許對決策變量（例如，模型權重）施加凸約束，同時保持決策變量的稀疏表示。這篇論文的第一部分開發了新穎的Frank-Wolfe算法變體，以提高算法的實際速度。此外，我們還描述了我們的兩個開源優化庫：COPT和CHOP。在實際環境中部署決策制定系統時，系統必須執行物理約束：差異可能導致未定義的決策。例如，如果我們預測一個地區不同粒度的水庫的入水流量，不同級別的預測必須執行質量守恒；否則，會有未被計入的水量，破壞決策制定系統。這篇論文的第二部分考慮了將物理約束納入深度學習模型的問題，采用偏微分方程和分層質量守恒的形式。

在過去的幾十年里，機器學習在眾多人工智能應用中取得了長足的進步。然而，它的成功主要依賴于在一個封閉的環境中使用大量的離線數據訓練模型，然后在類似的測試環境中對它們進行評估。這意味著大多數機器學習模型無法在很少的觀察下快速適應新環境并在線學習新知識。相比之下，我們的人類大腦可以從在線感官輸入流中學習新的表示、概念和技能。**本文旨在使具有幾個核心能力的機器能夠在開放世界中學習新概念，而無需訪問大量精心策劃的標記數據。**具體來說，它解決了幾個關鍵問題，如使用有限的標記數據、增量數據、無標記數據以及不平衡和噪聲數據進行學習。本文提出的算法可以自然地與任何深度神經網絡相結合，并且與網絡架構無關。它們可以為各種開放世界條件提供更大的靈活性和魯棒性，使基于學習的方法適合部署在一般的基于智能體的智能系統中。

1.引言

**機器學習是人工智能領域的核心課題之一。由于許多智能行為不能簡單地由標準程序定義，而不是依靠人工設計的規則，本文使用機器學習來獲得函數逼近，給定許多輸入和輸出觀測。**今天，在機器學習的幫助下，我們的計算機可以識別我們的聲音和筆跡，記住我們的臉，標記我們的照片，翻譯不同的語言，在下棋和圍棋中擊敗我們，并在道路上安全駕駛汽車。就像阿蘭·圖靈在20世紀50年代設想的那樣，今天的計算機使用機器學習來“模擬”兒童的思維，這是一張逐漸充滿各種各樣的知識和表示的白紙。然而，機器的學習過程與兒童的學習過程仍有很大的差距。也許機器學習和人類學習之間最顯著的區別之一是能夠學習自然世界中稀缺數據的任務。如今的機器學習往往依賴于在一個封閉的世界環境中訓練模型，并在大量經過整理的數據中進行評估，然后在類似或相同的測試環境中進行評估。這意味著，與人類不同，標準的機器學習算法無法在很少的觀察下快速適應新環境并在線學習新知識。在本文中，我們將這種期望的能力稱為開放世界學習。 我們如何彌合人類和機器之間的這種明顯差距?我的論文旨在尋求解決方案，使機器能夠在一個開放的世界中學習新概念，而不需要獲取大量的策劃標簽。具體來說，它解決了開放世界學習框架下的幾個關鍵問題，如使用有限的標記數據、增量數據、無標記數據、不平衡和噪聲數據、在線和流數據進行學習，所有這些都是今天典型的機器學習管道中沒有考慮的。這些問題的最終解決方案將對我們所有人產生深遠的影響。首先，它將允許未來的智能體在飛行中學習:你未來的家庭機器人將適應你的房子，識別新家具，并學習使用新設備;你的增強現實眼鏡將通過你對世界的視角來學習，這些視角是你過去從未經歷過的;您的個人AI助理將適應您的偏好，并在與您的對話中學習新技能。此外，它將在許多工業應用中節省數百萬小時的工程、標簽和數據管理工作。最后，通過將我們的學習過程投射到計算框架中，這也將是探索理解人類智能的一個里程碑。

本文概述

**本文提出的貢獻，使機器能夠用很少的標記示例獲得新概念，并使它們對許多自然主義和開放世界條件更魯棒。**在過去，有幾種機器學習范式，如小樣本學習、持續學習、自監督學習等，它們都是由使機器學習在開放世界中更加靈活和自適應的大愿景所驅動的。第二章概述了這些課題的背景文獻。具體來說，本文首先討論了各種學習范式，這些范式鼓勵在與訓練不同的環境中進行測試時的學習，例如小樣本學習和持續學習，然后討論了另一個相關研究的思路，旨在從無標簽的示例中學習，例如自監督學習。 然而，這些學習范式通常只專注于一個特定的屬性，如域偏移量或標記數據點的數量。有時，這些性質是正交的，它們的解可以組合在一起，但通常提出的解決方案依賴于一些額外的不現實的假設。例如，標準的半監督學習利用未標記的數據來提高學習模型的質量;然而，它假設未標記的數據與標記的數據來自相同的分布，并且也屬于預定義的類別之一。在另一個例子中，標準的少樣本學習旨在用很少的數據點來學習新類別，但它假設數據點平均分布于在訓練期間從未見過的幾個新類別。或者，類不平衡問題通常假設類標簽是正確的，因此高訓練成本意味著數據點來自少數類。在這些示例中，假設學習環境的其他屬性的解決方案在同時存在多個問題的開放世界中部署時可能會崩潰。因此，本文的核心主題是尋求新的解決方案，以同時解決開放世界的多種特性，如有限的標記數據學習、輸出空間的增量增長、無標記、不平衡和有噪聲的數據。為了實現這一目標，我們不僅需要開發新的學習算法，還需要重新思考定義問題的學習范式。因此，論文的一部分，如第4章和第6章的部分，也旨在定義具有額外自然屬性的新的學習范式或基準。

**用有限的標記數據進行學習的文獻被廣泛稱為少樣本學習。然而，標準的少樣本學習在測試時只處理少量的新類。**在第3章中，我們關注的是增量少樣本學習的問題，模型需要識別訓練時多次出現的舊類別和測試時剛剛引入的新類別。令人驚訝的是，許多只專注于解決新類別的經典少樣本學習方法，實際上在處理結合新舊類別的更現實問題時受到了影響，可能是因為新舊類別的表示彼此不兼容。與直接使用新類樣本的某些特征向量作為分類器權重的傳統方法不同，本文提出的方法是基于連續優化的，通過平衡新舊類帶來的目標來求解權重，并在測試時達到更好的優化解。在整個增量學習新類別的過程中，現實世界的智能體通常會遇到更多的未標記樣本。在第4章中，我們又向前邁進了一步，將未標記數據引入到小樣本學習問題中。本文提出一種半監督少樣本學習的新學習范式，除了在每個學習片段中標記的數據點很少的約束外，還考慮未標記的樣本。本文工作是第一個同時解決半監督學習和少樣本學習的工作。它不僅減少了訓練和測試任務中對標記數據量的依賴，而且解決了干擾因素的問題，即不屬于任何已知類別的類別，因為在經典的半監督學習中不考慮這一問題。本文提出新的少樣本學習模型，可以規避分干擾類的影響，同時仍然設法利用來自未標記數據的有用信息。

**盡管小樣本學習取得了廣泛的成功，但情節通常是從精心策劃的數據集中采樣，而不是從自然世界的噪聲長尾分布中采樣。**我們在第4章中介紹的干擾物例子也可以被認為是一種噪聲訓練數據。在第5章中，我們將研究在標準機器學習環境下的不平衡和噪聲類標簽學習問題。雖然這兩個問題在自然學習環境中普遍發生，但傳統上，它們被分開研究，采用相互矛盾的補救方法。為了解決這一沖突，本文提出了一種數據驅動的示例權重機制，可以在統一的框架下直接應用于這兩個問題。該算法利用干凈和平衡的驗證集來校準訓練樣本權重。該模型還強調了一種同時聯合更新內層和外層循環參數的高效學習方法。少樣本學習通常伴隨著僵化的情景設置，這使得對新概念的持續增量獲取進行建模變得不自然。第6章提出了一種新的在線情境化小樣本學習范式。雖然我們在第3章中研究了新舊類別的組合，但之前的方法主要關注情節的概念，但知識從未隨著時間順序和增量增長。雖然已經有一些努力使這些情節更有順序，就像設置增量類學習一樣，但訓練和測試階段的分離仍然使評估變得繁重。現實世界的智能體不依賴偶發的停止，而是執行在線持續學習，在序列的每個時間步中產生一些輸出預測，通過自上而下的上下文信息流進行調制。新范式包含了許多自然主義屬性，如在線、增量、上下文化、少樣本和半監督，還開發了一個基于室內家庭圖像的新基準，模仿現實世界智能體的視覺輸入流。提出了一種新的模型——上下文原型記憶(context Prototypical Memory, CPM)，成功地解決了在有限標記數據下的在線上下文類學習問題。

最后，在第7章中，我們研究了在不使用任何類別標簽的情況下，通過在線視覺輸入流動態學習表示和類別。在前幾章中，學習仍然主要由帶標簽的示例驅動:例如，在第6章中，只有當環境告訴智能體它是一個新類時，新的類別簇才會創建。在本章中，我們將介紹一種算法，該算法允許智能體同時從未標記的數據流中學習表示和類別。這可以被視為發展過程中的一個前階段，因為智能體可以首先通過在沒有標記數據的情況下學習表示和類別來探索環境，然后在一些示例的監督下進行。所提出的模型，在線無監督原型網絡，將用于概念學習的原型網絡與基于聚類的自監督表示學習相結合，并與僅使用在線數據流進行訓練的最先進的自監督視覺表示學習方法相比較。此外，該算法對不均衡分布也具有較強的魯棒性。

目錄內容：

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

長期以來，隨著數據處理系統的復雜性不斷增加，系統設計者一直在想象能夠根據環境線索進行自我配置和適應的系統(如數據庫、調度程序)。在這種情況下，強化學習(RL)方法從一開始就吸引了系統開發人員。他們承諾從原始反饋信號中獲取復雜的決策策略。盡管RL方法在概念上很流行，但在現實世界的數據處理系統中卻很少見到。最近，由于利用大型神經網絡(深度強化學習)取得了引人注目的成功，RL受到了爆炸性增長的關注。新興的機器學習框架和強大的硬件加速器催生了大量新的潛在應用。在本文中，我首先提出，為了高效地設計和執行深度RL算法，需要新穎的軟件抽象來適應通信密集和快速進化算法的獨特計算模式。我提出了一種將邏輯算法構造與本地和分布式執行語義解耦的體系結構。我將進一步介紹RLgraph，這是我對這個體系結構的概念驗證實現。在RLgraph中，算法開發人員可以通過組合邏輯組件構建高級數據流圖來探索新的設計。此數據流圖獨立于特定的后端框架或執行概念，只在以后通過分階段構建過程映射到執行語義。RLgraph支持高性能算法實現，同時保持快速原型的靈活性。

//www.repository.cam.ac.uk/handle/1810/304385

其次，我研究了系統本身中RL應用程序稀缺的原因。我認為，由于缺乏用于任務模型設計的工具來彌合系統和算法之間的差距，以及缺乏評估模型能力的共同標準，應用RL的進展受到了阻礙。在本文中，我介紹了應用RL中第一個用于增量模型設計的工具——Wield。Wield 提供了一小組原語，將系統接口和特定于部署的配置從表示中分離出來。運用的核心是一種新的指導性實驗協議，稱為漸進隨機化，它幫助從業者逐步評估非確定性的不同維度。我演示了如何使用和漸進的隨機化可以用來再現和評估之前的工作，并指導新RL應用程序的實現。

在現實生活中部署人工智能體的一個基本問題是它們快速適應環境的能力。傳統的強化學習(RL)以兩種方式與這一需求作斗爭。首先，對不受約束的環境動態的迭代探索會產生大量信息不足的更新，從而導致適應速度緩慢。其次，最終的策略沒有能力適應未來的觀察結果，必須隨著觀察結果的發生緩慢地無限學習或完全重新訓練。本文探討了兩種旨在解決這些問題的表述。元強化學習對整個任務分布的考慮使策略能夠快速適應特定實例。通過強迫智能體特定地請求反饋，主動強化學習強制進行選擇性的觀察和更新。這兩個公式都簡化為貝葉斯-自適應設置，在其中保持對可能環境的概率信念。許多現有的解只提供了在實際環境中使用有限的漸近保證。我們開發了一種近似信念管理的變分方法，并通過廣泛的消融實證支持其有效性。然后，我們考慮最近成功的規劃方法，但發現和討論它們在應用到所討論的設置中的障礙。影響RL系統的數據需求和穩定性的一個重要因素是選擇合適的超參數。我們開發了一種貝葉斯優化方法，利用訓練過程的迭代結構，其經驗性能超過現有基線。本文的最后一個貢獻是提高高斯過程(GPs)的可擴展性和表達性。雖然我們沒有直接使用現有的框架，但GPs已經被用于在密切相關的設置中建模概率信念。

//ora.ox.ac.uk/objects/uuid:54963b90-2d7c-41a9-9bf3-065a3097c077

深度學習方法是最近計算機視覺快速發展的基礎。然而，這些方法往往需要昂貴的標記數據。特定于任務的模型，如分類器，并不是為了最大限度地學習一般的內部表示。此外，這些模型不能模擬數據生成過程來合成新樣本，也不能修改輸入樣本。無監督深度生成模型有可能避免這些問題。

然而，兩個主要的生成模型家族，生成對抗網絡(GAN)和變分自編碼器(VAE)，都有各自的特點問題。基于GAN的模型在架構上相對復雜，有一個識別器網絡，但通常沒有編碼器來接受輸入。此外，GAN訓練通常是不穩定的，并且容易忽略訓練分配的部分(“模式崩潰”或“模式下降”)。另一方面，VAEs往往高估分布的某些區域的方差，導致生成的圖像模糊。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

最后，使用高斯過程框架，圖像編碼器-解碼器設置從單個圖像擴展到圖像序列，包括視頻和攝像機運行。為此，輔助圖像元數據在生成模型的潛在空間中以非參數先驗的形式被利用。這允許平滑和自由插值圖像序列。在此過程中，高斯過程和計算機視覺方法之間提供了一個優雅的連接，這意味著將兩者結合起來具有深遠的意義。

//aaltodoc.aalto.fi/handle/123456789/101686