亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

自然語言處理（NLP）領域因創建和大量傳播預訓練的大型語言模型而發生了巨大變化，這些模型是在互聯網規模的文本數據上預訓練的。這些模型在眾多NLP任務上帶來了顯著的改進。然而，隨著這些模型的能力提高現有任務基準的性能，迫切需要與當前模型同步更新的評估指標。在這篇論文中，我們開發了基準和利用預訓練語言模型的NLP評估方法。我們首先提出了兩個多任務基準，用于評估NLP模型的泛化能力，并討論了這些基準在大型語言模型開發中的作用。接下來，我們展示了我們可以利用預訓練語言模型的能力來開發新的自動評估指標，更好地衡量模型生成文本的語義。具體來說，我們利用預訓練模型的問答能力來評估自動生成摘要的準確性。最后，我們探索了為解決語言模型復制基準數據集中的噪聲所暴露的數據質量問題而眾包高質量且具有挑戰性的文本生成數據的方法。總的來說，我們展示了預訓練語言模型的崛起在如何評估NLP系統方面既帶來了挑戰也帶來了機遇，并且將這些模型納入我們的評估方法提供了一條有前景的路徑。

在標準的監督式機器學習問題中，我們會獲得一個數據集來訓練模型，以及另一個從與訓練相同分布中抽取的保留數據集，用來評估所學習模型的質量。然而，在自然語言處理（NLP）中，任務輸入和/或輸出為文本時，對于那些可以應用于任意NLP任務的模型（不僅僅是那些與模型訓練數據分布相匹配的任務）的興趣日益增加。因為這些任務都在某種程度上涉及到人類語言，所以希望某種理解語言的模型能夠將這種理解轉移到不同的任務上。這種希望催生了預訓練語言模型，這些龐大的機器學習模型在數百億的令牌上進行語言建模目標的訓練，并且在下游NLP任務上具有極好的泛化能力。預訓練語言模型的快速發展和傳播對各種長期存在的NLP任務產生了深遠的影響，例如文本分類和問題回答[Devlin et al. 2019; Radford et al. 2018; Lewis et al. 2020; Raffel et al. 2020, 等]，并且也迅速促進了令人驚訝的新能力的發展，如編寫代碼[Austin et al. 2021]和解決數學問題[Hendrycks et al. 2021]。

預訓練語言模型帶來的進步為我們評估NLP系統的方式提供了一系列機會。預訓練語言模型在各種任務的長期基準數據集上推動了迅速進展，飽和了這些數據集并限制了它們的效用。為了繼續能夠準確地衡量這些模型的能力，我們必須開發構建更具挑戰性和更高質量評估數據的新方法。此外，由于它們泛化到下游任務的能力不受以前方法的限制，我們必須創建新的評估范式來量化這種泛化能力，并衡量它們執行新技能的能力。與此同時，我們可以嘗試將這些模型的新興能力納入評估方法本身。在這篇論文中，我們探索了這些問題和機會。

首先，我們開發評估資源來衡量預訓練模型適應不同任務的效果。在第2章中，我們介紹了GLUE基準，該基準衡量NLP系統泛化到多樣化任務和設置的能力。GLUE基準是一個多任務基準，所有任務共享相同的任務格式，但其中一些任務訓練數據集只包含幾百個示例，需要從某個外部來源轉移知識以在任務上表現良好。GLUE在領域中迅速被采納，其最新成果迅速達到了與人類眾包工作者在該基準上的表現相飽和的程度。在第3章中，我們介紹了SuperGLUE基準，該基準通過選擇一組更多樣化的任務格式和更具挑戰性的任務集來刷新GLUE基準。與GLUE基準一樣，SuperGLUE基準已成為衡量NLP模型泛化的標準方法之一。

接下來，隨著基于大型LM的NLP模型能力的不斷發展，我們可以利用它們以前所未有的方式更穩健地評估系統能力。在第4章中，我們探索了在檢測神經文本摘要系統輸出中的幻覺方面使用預訓練語言模型的用途。盡管文本生成模型的輸出變得高度流暢，但它們經常包含與之前生成的令牌或它們所依賴的輸入文檔相矛盾的不一致之處。這些幻覺或不一致是文本生成系統可用性和可靠性的主要障礙，但現有的自然語言生成系統評估指標對這類錯誤不敏感。我們將檢測這些幻覺的問題分解為問答和問題生成兩個問題，這兩個問題是預訓練語言模型近年來取得顯著進展的領域。我們展示了基于預訓練語言模型的評估指標在檢測生成文本中的幻覺方面，與現有評估指標相比有顯著的改進。該方法的成功預示了利用預訓練模型衡量生成文本的各種屬性的前景，這些屬性是前一代評估指標所無法涵蓋的。

最后，隨著系統能力的發展，我們的評估數據也需要相應地發展，因為舊數據集飽和，更強大的模型更能利用意外偏見并揭示評估數據中的問題。為文本生成任務獲取和維護高質量數據尤其具有挑戰性，因為文本生成數據集通常依賴于查找自然發生的數據源或使用啟發式方法將數據源轉化為任務格式。在摘要的背景下，這種數據集創建方法導致基準數據集包含了許多被模型捕獲的問題[Kryscinski et al. 2019]。在第5章中，我們探索了為自然語言生成任務創建高質量測試集的替代方法。特別是，我們專注于以成本效益的方式為短篇小說眾包摘要。所產生的數據集SQuALITY是一個高質量的多參考摘要數據集，超出了現有摘要模型的能力。總而言之，我們展示了大型語言模型時代NLP模型評估領域的概覽，包括評估這些模型的方法以及將這些模型納入評估方法。我們在第6章以開放問題和進一步研究現代NLP系統的穩健評估的機會的討論作為總結。

現代機器學習主要受到黑盒模型的驅動，這些模型提供了卓越的性能，但對于如何進行預測的透明度有限。對于需要了解模型如何做出決策的應用，以及協助模型調試和數據驅動的知識發現，我們需要可以回答有關影響模型行為的問題的工具。這就是可解釋機器學習（XML）的目標，這是一個子領域，它開發了從多個角度理解復雜模型的工具，包括特征重要性、概念歸因和數據估值。本文提供了對XML領域的幾個貢獻，主要思想分為三部分：(i)一個框架，使得可以統一分析許多當前的方法，包括它們與信息論和模型魯棒性的聯系；(ii)一系列技術，用于加速Shapley值的計算，這是幾種流行算法的基礎；以及(iii)一系列用于深度學習模型的特征選擇的方法，例如，在無監督和自適應的設置中。這些思想中的許多都是受到計算生物學和醫學應用的啟發，但它們也代表了在各種領域中都有用的基本工具和觀點。

在模型透明度的辯論中，傳統的觀點是我們面臨解釋性與準確性之間的權衡。1有些人辯稱這種權衡并不存在，聲稱我們可以使用“天生可解釋”的模型達到近乎最優的性能（Rudin, 2019）；這對于簡單的表格數據集往往是正確的，但對于像圖像和語言這樣的復雜數據模態則較為罕見。在這里，我們采取了更為寬容的立場：鑒于黑盒模型目前提供了最佳的性能并且已經廣泛部署，我們探討是否有可能從任何模型中獲得足夠的見解。在這樣做的過程中，我們開發了一套在很大程度上對模型的內部機制持中立態度，或者說是模型不可知的工具集，因此即使在今天的最高性能的黑盒模型中也能正常運行。 這一目標也被可解釋機器學習（XML）子領域的許多工作所共享，并且近年來已經取得了顯著的進展。目前，XML工具已被用于了解新疾病的風險因素（Razavian等人，2020；Snider等人，2021），加速數學猜想的發現（Davies等人，2021），在有限的訓練數據標簽下識別蛋白質結合位點（Gligorijevi?等人，2021），審計有缺陷的醫學診斷系統（DeGrave等人，2021）以及從功能系統中獲得新的見解（Ting等人，2017；Sundararajan等人，2017）。這些早期的成功表明了這些工具的潛力，但在這些方法的底層理論以及使它們在實踐中高效的計算程序方面仍有進展空間。這篇論文介紹了我在博士期間進行的幾項工作，旨在解決這些挑戰。

這篇論文包含了我在博士期間完成的大部分項目，所有這些項目都與透明機器學習的核心主題相關。我們首先在第2章建立符號和幾個初步的概念。接下來，每一章都基于一篇第一作者的出版物，其中在某些情況下與共同第一作者共享。為了使它們在一個文檔中更具連貫性，對各個作品進行了修改，但這里沒有提供新的信息，這些論文也可以單獨閱讀。這些作品被組織成三個部分，如下所述。

**第一部分：XML的基礎 **我們首先討論一個統一了大部分文獻的觀點：許多現有的方法都基于一個解釋原則，即通過移除或量化從模型中移除特征的影響。我們描述了一個框架，在這個框架中，這些方法基于三個實現選擇而有所不同，我們為26個現有的算法確定了這些選擇（第3章）。基于這個觀點，我們對這些方法進行了統一分析，并找到了與信息理論、博弈論和認知心理學的聯系。然后，我們探索這些方法的魯棒性特性，并得出了描述它們對輸入和模型擾動的魯棒性的新結果（第4章）。 第二部分：Shapley值計算 接下來，我們探討XML中最廣泛使用的工具之一：Shapley值，一種博弈論信用分配技術。這些是最受歡迎的特征歸因方法之一，SHAP（Lundberg和Lee，2017）的基礎，以及一個著名的數據估值技術（Ghorbani和Zou，2019），但它們是臭名昭著的難以計算。有一系列方法來加速它們的計算（Chen等人，2022），我們在這里討論兩個：基于加權線性回歸的近似（第5章），和基于深度學習的攤銷優化的近似（第6章，第7章）。 第三部分：深度學習的特征選擇 最后，特征選擇為提供透明度的同時也降低了特征獲取成本提供了另一個方向。由于多次訓練不同特征集的模型的高昂成本，似乎很難與深度學習一起實施，但我們探討了如何使用可微分的層來阻止特征信息進入網絡（第8章）。然后，我們討論如何在自適應設置中應用這些思想，其中我們根據當前可用的信息為每個預測單獨選擇特征（第9章，第10章）。

近年來，機器學習在許多應用中證明了其極高的用途性。然而，這些成功故事很多都源于在與訓練數據非常相似的數據上評估算法。當應用于新的數據分布時，機器學習算法已被證明會失敗。鑒于現實世界數據的非平穩和異構性質，我們需要更好地掌握算法在分布外（out-of-distribution）的泛化能力，以便算法能被廣泛部署和信任。我的論文提出了三個研究課題，旨在調查和發展分布外泛化的領域。這些研究努力的中心目標是產生新的工具，如算法、理論結果、實驗結果和數據集，以提高在數據分布發生變化時機器學習方法的理解和性能。貫穿這三個機器學習場景的高級思想是模塊性——由組合在一起形成一個整體的獨立部分的質量。模塊化方法被假設為引導機器學習方法遠離僵化的記憶示例，走向更靈活和“更智能”的支持泛化的學習。

在我的第一項貢獻中，我從多個訓練分布的學習角度來接近論文目標。對這一研究方向的貢獻有兩方面。首先，我呈現了一組新的標準化任務，用于評估和比較分布外泛化算法。其次，我陳述了一系列新的理論結果，填補了數據中心和算法方法之間在分布外泛化方面的現有差距。這些理論發現引導了一組關于如何采用算法方法的新的實用建議。

在第二項貢獻中，我處理了監督圖像識別中的泛化問題。在這一背景下，我首先調查了多級特征聚合對泛化的影響，并證明了使用其中一種考慮的方法進行增強可以持續提高性能。其次，我提出了一組簡單的圖像數據集，可作為評估和比較圖像分類方法在分布外泛化方面的墊腳石。最后，我深入研究了多個神經網絡通信以解決共享任務的學習場景。這項工作以兩種方式支持論文目標。首先，我提出了一個新的環境，圖引用游戲（graph referential games），并在數據表示和相應的數據表示學習方法對分布外泛化的影響上提出了結果。這些結果連接了之前不相連的圖表示學習和新興通信領域。其次，我解決了基于現實圖像的群體通信這一具有挑戰性的領域。這篇論文中的數據集、算法、定理和實驗結果代表了在機器學習中理解和改進分布外泛化方面的幾個步驟。它們為研究人員提供了旨在促進這一領域研究的新工具和結果，其中一些已被證明對研究社群有用。最后，這項工作提出了機器學習的多個分布學習、圖像分類和多代理通信子領域中重要的未來方向。

//www.repository.cam.ac.uk/items/8680585b-87ca-4196-987f-c4d379259092

記憶與學習是否相同？阿根廷作家豪爾赫·路易斯·博爾赫斯（Jorge Luis Borges）的短篇小說《記憶者富內斯》（Funes the Memorious，由James E. Irby翻譯成英文[71，第59–66頁]）描述了一個名叫富內斯的男孩，在頭部受傷后獲得了完美的記憶。他開始詳細地記住他一生的每一個時刻。同時，他失去了泛化的能力：他的記憶彼此是孤立的。例如，他從不同的角度看到同一只狗，卻只把同一只狗的不同側面視為獨立的信息。他甚至不了解自己的身體是什么樣的（‘每次看到鏡中的自己的臉，看到自己的手，都讓他感到驚訝’），這導致了一個結論：‘思考就是忘記一個差異，進行泛化，進行抽象。在富內斯過于充實的世界里，只有細節。’""與富內斯相似，具有數百萬參數的現代神經網絡已被證明會記住訓練樣本，這可能導致一系列問題，例如：（1）對噪聲數據的高度敏感性[150, 221]，（2）易受對抗性攻擊的影響[271, 87, 269, 287]，（3）與人類學習相比樣本效率低[302, 303, 275]，以及（4）對新數據的泛化能力差[62]，即使新數據樣本直觀地與模型已經訓練過的數據有相似之處[61, 251]。這些問題可能出現在應用現代機器學習的任何領域。它們可能導致機器學習系統在使用過程中產生不透明的故障模式，從而導致對機器學習系統的信任度下降[297]。"

"標準機器學習方法中缺少對分布外泛化（Out-of-distribution generalisation）的能力。這些方法得到了統計學習理論[279]的支持，該理論證明了使用基于平均值的優化（經驗風險最小化[279]）以及使用測試集估計泛化誤差的做法是合理的。然而，這一理論假設訓練（過去）和測試（未來）數據是獨立同分布的。在應用機器學習的許多實際領域中，這一假設是不正確的：現實世界的數據是異構的，其分布通常會隨時間變化。分布變化的實際來源包括機器學習系統用戶特性的變化，或一個有實體的代理（embodied agent）所處環境的變化。另一個常見的分布變化例子是由于語言（包括在線使用的語言）動態性而產生的。自然語言的不斷演變已被證明會改變語言模型的困惑度（perplexity），當這些模型在數月內多次應用時[164]。背景章節的第2.4節更多地涵蓋了分布變化的類型和相應的例子。由于這些變化，即使在常用的分布內測試集上達到接近100%的準確率也不總是能預示未來的性能，這一點已被眾多論文所證明[137, 15, 61, 235, 204, 62]。"

"在機器學習領域，關于分布外泛化（OOD generalisation）的主題實質上與機器學習本身一樣廣泛和復雜，并且在研究社群中同樣容易受到瞬息萬變的趨勢和不同觀點的影響。在我看來，面對分布變化提高泛化能力是必要的，原因如下： ? 工程原因 — 提高樣本效率，并在沒有數千個訓練樣本的低資源領域提高性能[110]； ? 科學原因 — 深入了解神經網絡是如何學習的，并可能讓機器學習更接近人類學習； ? 商業原因 — 在目前由人類執行的越來越復雜的任務中使用神經網絡； ? 社會原因 — 通過控制簡單性偏見[246]來消除機器學習系統的偏見。

利用數據中的‘捷徑’可能會導致不公平的解決方案（例如，這可以在招聘工具中利用性別信息時看到[59]）。在我的博士研究期間，我一直在問自己：致力于分布外泛化的機器學習研究社群最需要什么樣的工具？這篇論文旨在以新數據集、新理論結果、新測試平臺、新實驗結果和新算法的形式提供這樣的工具。這些研究努力的具體成果總結在圖1.1中。"

導致這篇論文的研究工作涉及機器學習的三個子領域：多分布學習（第3章）、圖像分類（第4章）和多智能體通信（第5章）。這種廣泛的視角使我能夠收集更多證據來支持中心假設，并探討研究問題（第1.2節）。同時，本論文中介紹的工具旨在對我在博士研究期間有幸與之合作和學習的幾個機器學習社群有所用處：（1）不變學習和群體魯棒性社群（第3章），（2）視覺社群（第4章），以及（3）新興通信社群（第5章）。所有這些社群都在獨立地研究機器學習中的分布外泛化，正如我在背景章節（第2章）以及各自貢獻章節中所回顧的。本論文聯系了我在研究中涉足的之前是分離的社群，例如圖神經網絡[141]與新興通信[43]（第5章），以及面向群體魯棒性的數據導向方法[36]與分布魯棒優化[21]（第3章）。"

隨著機器學習模型在各種應用中的部署越來越頻繁，我們越來越需要更好地理解、交互和調節它們的行為。解釋性機器學習是一個致力于這一需求的研究領域，其主要焦點最初在滿足有利于揭示有關模型預測的可能有用信息的算法屬性的方法論發展。然而，批評也強調了需要更為嚴謹地評估這些方法在不同用戶的具體任務中的應用。在這篇論文中，我們對該領域的方法論和應用方面做出了我們個人的貢獻。在方法論上，我們提出了一種有效的算法，通過影響力大的訓練數據點提供關于模型行為的重要信息。然后，我們提出了一種理論框架，以理解模型在性能和公平性指標上的權衡。接下來，從應用驅動的角度，我們討論了一個評估框架，測試現有的圖像顯著性方法是否適用于實際的假相關檢測任務。最后，受到學術同行評審中實際問題的啟發，我們展示了我們對新的和現有的方法在幫助人類用戶進行文檔匹配任務方面的效用的發現。

在計算機視覺和自然語言處理等實踐領域表現出色的復雜機器學習模型，越來越多地被用來協助人類進行高風險的決策，如醫療、金融、法律和社會應用。這種加速的采用使得人類用戶越來越需要更好地理解、調節和與這些模型交互。解釋性機器學習是一個致力于這一需求的廣泛研究領域。許多文獻中的工作側重于方法論的發展：開發新的滿足各種技術目標的方法，可以有效地從一個黑盒機器學習模型中引出重要和有用的信息。然而，這些方法使用的各種技術目標與引出的信息的實際“重要性”或“有用性”沒有明確的聯系，這本質上依賴于用戶使用信息進行某些下游任務。因此，基于具體應用對開發的方法進行評估，對于完全閉環開發具有實用價值的新方法至關重要。在這篇論文中，我們提出了對這個領域的方法論和應用重點方面的個人貢獻。

近年來，機器人領域發展迅速，機器人被用于越來越多的應用中，從制造業到醫療健康再到家務勞動。機器人技術的關鍵挑戰之一是使機器人能夠在非結構化和動態環境中執行復雜的操作任務。雖然機器人學習和控制已經取得了重大進展，但許多現有方法受到限制，因為它們依賴于預定義的運動基元或通用模型，而這些模型沒有考慮到個人用戶、其他合作智能體或交互對象的特定特征。為了在這些不同的環境中有效地工作，機器人需要能夠適應不同的任務和環境，并與不同類型的智能體進行交互，如人類和其他機器人。本論文研究學習方法，使機器人能夠適應他們的行為，以實現智能機器人行為。

在本文的第一部分中，我們專注于使機器人更好地適應人類。我們首先探索如何利用不同的數據源為人類用戶實現個性化。研究了人類如何喜歡用低維控制器(如操縱桿)遙控輔助機器人手臂。本文提出一種算法，可以有效地開發輔助機器人的個性化控制。這里的數據是通過最初演示機器人的行為，然后詢問用戶以從操縱桿收集他們相應的首選遙操作控制輸入來獲得的。探索了利用較弱的信號來推斷智能體的信息，如物理修正。實驗結果表明，人工修正是相互關聯的，共同推理這些修正可以提高精度。最后，研究了機器人如何通過推理和利用團隊結構更有效地與人類團隊合作和影響人類團隊，而不是只適應單個人類用戶。將該框架應用于兩種類型的群體動力學，即領導-跟隨和捕食者-被捕食者，并證明機器人可以首先開發一種群體表示，并利用這種表示成功地影響一個群體以實現各種目標。

在本文的第二部分，我們將研究范圍從人類用戶擴展到機器人智能體。本文解決了分散的機器人團隊如何通過只觀察其他智能體的行動來相互適應的問題。本文發現了團隊中存在無限推理循環的問題，并通過為機器人智能體分配不同的角色，如"發言人"和"聽眾"，提出了解決方案。這種方法使我們能夠將觀察到的行動視為一個溝通渠道，從而實現分散團隊內的有效協作。在本文的第三部分，我們探討了如何通過開發定制的工具來適應不同的任務。強調了工具在確定機器人如何與物體交互方面的關鍵作用，使它們在為特定任務定制機器人方面變得重要。為解決這個問題，本文提出一個端到端的框架，通過利用可微物理模擬器來自動學習富接觸操作任務的工具形態學。最后，對全文進行了總結，并對未來的研究方向進行了展望。

機器學習被廣泛應用于各種不同的學科，以開發感興趣的變量的預測模型。然而，構建這樣的解決方案是一個耗時且具有挑戰性的學科，需要經過高度訓練的數據科學家和領域專家。作為回應，自動化機器學習(AutoML)領域旨在通過自動化減少人工工作量并加快開發周期。由于超參數在機器學習算法中無處不在，以及調優的超參數配置可以對預測性能產生影響，超參數優化是AutoML的一個核心問題。最近，深度學習的興起推動了神經架構搜索(NAS)，這是一個專注于自動化神經網絡設計的超參數優化問題的專門實例。對于大規模調優問題，網格搜索和隨機搜索等簡單的超參數優化方法在計算上是難以處理的。因此，本文的重點是開發高效和有原則的超參數優化和NAS方法。

**在回答以下問題方面取得了進展，目的是開發更高效和有效的自動化機器學習算法。**1. 超參數優化(a)我們如何有效地使用早期停止來加速超參數優化?(b)如何利用并行計算來執行超參數優化，同時在順序設置中訓練單個模型所需的時間?(c)對于多階段機器學習管道，我們如何利用搜索空間的結構來減少總計算成本?

2. 神經架構搜索(a)最先進的權重共享NAS方法和隨機搜索基線之間的性能差距是什么?(b)如何開發更有原則的權重共享方法，并證明收斂速度更快和改進的經驗性能?(c) NAS中常用的權重共享范式是否可應用于更一般的超參數優化問題?

鑒于這些問題，本文分為兩個部分。第一部分側重于通過解決1a, 1b和1c問題在高效超參數優化方面取得的進展。第二部分側重于通過解決問題2a, 2b和2c，在理解和改進神經架構搜索的權重共享方面取得的進展。

在過去的幾十年里，機器學習在眾多人工智能應用中取得了長足的進步。然而，它的成功主要依賴于在一個封閉的環境中使用大量的離線數據訓練模型，然后在類似的測試環境中對它們進行評估。這意味著大多數機器學習模型無法在很少的觀察下快速適應新環境并在線學習新知識。相比之下，我們的人類大腦可以從在線感官輸入流中學習新的表示、概念和技能。**本文旨在使具有幾個核心能力的機器能夠在開放世界中學習新概念，而無需訪問大量精心策劃的標記數據。**具體來說，它解決了幾個關鍵問題，如使用有限的標記數據、增量數據、無標記數據以及不平衡和噪聲數據進行學習。本文提出的算法可以自然地與任何深度神經網絡相結合，并且與網絡架構無關。它們可以為各種開放世界條件提供更大的靈活性和魯棒性，使基于學習的方法適合部署在一般的基于智能體的智能系統中。

1.引言

**機器學習是人工智能領域的核心課題之一。由于許多智能行為不能簡單地由標準程序定義，而不是依靠人工設計的規則，本文使用機器學習來獲得函數逼近，給定許多輸入和輸出觀測。**今天，在機器學習的幫助下，我們的計算機可以識別我們的聲音和筆跡，記住我們的臉，標記我們的照片，翻譯不同的語言，在下棋和圍棋中擊敗我們，并在道路上安全駕駛汽車。就像阿蘭·圖靈在20世紀50年代設想的那樣，今天的計算機使用機器學習來“模擬”兒童的思維，這是一張逐漸充滿各種各樣的知識和表示的白紙。然而，機器的學習過程與兒童的學習過程仍有很大的差距。也許機器學習和人類學習之間最顯著的區別之一是能夠學習自然世界中稀缺數據的任務。如今的機器學習往往依賴于在一個封閉的世界環境中訓練模型，并在大量經過整理的數據中進行評估，然后在類似或相同的測試環境中進行評估。這意味著，與人類不同，標準的機器學習算法無法在很少的觀察下快速適應新環境并在線學習新知識。在本文中，我們將這種期望的能力稱為開放世界學習。 我們如何彌合人類和機器之間的這種明顯差距?我的論文旨在尋求解決方案，使機器能夠在一個開放的世界中學習新概念，而不需要獲取大量的策劃標簽。具體來說，它解決了開放世界學習框架下的幾個關鍵問題，如使用有限的標記數據、增量數據、無標記數據、不平衡和噪聲數據、在線和流數據進行學習，所有這些都是今天典型的機器學習管道中沒有考慮的。這些問題的最終解決方案將對我們所有人產生深遠的影響。首先，它將允許未來的智能體在飛行中學習:你未來的家庭機器人將適應你的房子，識別新家具，并學習使用新設備;你的增強現實眼鏡將通過你對世界的視角來學習，這些視角是你過去從未經歷過的;您的個人AI助理將適應您的偏好，并在與您的對話中學習新技能。此外，它將在許多工業應用中節省數百萬小時的工程、標簽和數據管理工作。最后，通過將我們的學習過程投射到計算框架中，這也將是探索理解人類智能的一個里程碑。

本文概述

**本文提出的貢獻，使機器能夠用很少的標記示例獲得新概念，并使它們對許多自然主義和開放世界條件更魯棒。**在過去，有幾種機器學習范式，如小樣本學習、持續學習、自監督學習等，它們都是由使機器學習在開放世界中更加靈活和自適應的大愿景所驅動的。第二章概述了這些課題的背景文獻。具體來說，本文首先討論了各種學習范式，這些范式鼓勵在與訓練不同的環境中進行測試時的學習，例如小樣本學習和持續學習，然后討論了另一個相關研究的思路，旨在從無標簽的示例中學習，例如自監督學習。 然而，這些學習范式通常只專注于一個特定的屬性，如域偏移量或標記數據點的數量。有時，這些性質是正交的，它們的解可以組合在一起，但通常提出的解決方案依賴于一些額外的不現實的假設。例如，標準的半監督學習利用未標記的數據來提高學習模型的質量;然而，它假設未標記的數據與標記的數據來自相同的分布，并且也屬于預定義的類別之一。在另一個例子中，標準的少樣本學習旨在用很少的數據點來學習新類別，但它假設數據點平均分布于在訓練期間從未見過的幾個新類別。或者，類不平衡問題通常假設類標簽是正確的，因此高訓練成本意味著數據點來自少數類。在這些示例中，假設學習環境的其他屬性的解決方案在同時存在多個問題的開放世界中部署時可能會崩潰。因此，本文的核心主題是尋求新的解決方案，以同時解決開放世界的多種特性，如有限的標記數據學習、輸出空間的增量增長、無標記、不平衡和有噪聲的數據。為了實現這一目標，我們不僅需要開發新的學習算法，還需要重新思考定義問題的學習范式。因此，論文的一部分，如第4章和第6章的部分，也旨在定義具有額外自然屬性的新的學習范式或基準。

**用有限的標記數據進行學習的文獻被廣泛稱為少樣本學習。然而，標準的少樣本學習在測試時只處理少量的新類。**在第3章中，我們關注的是增量少樣本學習的問題，模型需要識別訓練時多次出現的舊類別和測試時剛剛引入的新類別。令人驚訝的是，許多只專注于解決新類別的經典少樣本學習方法，實際上在處理結合新舊類別的更現實問題時受到了影響，可能是因為新舊類別的表示彼此不兼容。與直接使用新類樣本的某些特征向量作為分類器權重的傳統方法不同，本文提出的方法是基于連續優化的，通過平衡新舊類帶來的目標來求解權重，并在測試時達到更好的優化解。在整個增量學習新類別的過程中，現實世界的智能體通常會遇到更多的未標記樣本。在第4章中，我們又向前邁進了一步，將未標記數據引入到小樣本學習問題中。本文提出一種半監督少樣本學習的新學習范式，除了在每個學習片段中標記的數據點很少的約束外，還考慮未標記的樣本。本文工作是第一個同時解決半監督學習和少樣本學習的工作。它不僅減少了訓練和測試任務中對標記數據量的依賴，而且解決了干擾因素的問題，即不屬于任何已知類別的類別，因為在經典的半監督學習中不考慮這一問題。本文提出新的少樣本學習模型，可以規避分干擾類的影響，同時仍然設法利用來自未標記數據的有用信息。

**盡管小樣本學習取得了廣泛的成功，但情節通常是從精心策劃的數據集中采樣，而不是從自然世界的噪聲長尾分布中采樣。**我們在第4章中介紹的干擾物例子也可以被認為是一種噪聲訓練數據。在第5章中，我們將研究在標準機器學習環境下的不平衡和噪聲類標簽學習問題。雖然這兩個問題在自然學習環境中普遍發生，但傳統上，它們被分開研究，采用相互矛盾的補救方法。為了解決這一沖突，本文提出了一種數據驅動的示例權重機制，可以在統一的框架下直接應用于這兩個問題。該算法利用干凈和平衡的驗證集來校準訓練樣本權重。該模型還強調了一種同時聯合更新內層和外層循環參數的高效學習方法。少樣本學習通常伴隨著僵化的情景設置，這使得對新概念的持續增量獲取進行建模變得不自然。第6章提出了一種新的在線情境化小樣本學習范式。雖然我們在第3章中研究了新舊類別的組合，但之前的方法主要關注情節的概念，但知識從未隨著時間順序和增量增長。雖然已經有一些努力使這些情節更有順序，就像設置增量類學習一樣，但訓練和測試階段的分離仍然使評估變得繁重。現實世界的智能體不依賴偶發的停止，而是執行在線持續學習，在序列的每個時間步中產生一些輸出預測，通過自上而下的上下文信息流進行調制。新范式包含了許多自然主義屬性，如在線、增量、上下文化、少樣本和半監督，還開發了一個基于室內家庭圖像的新基準，模仿現實世界智能體的視覺輸入流。提出了一種新的模型——上下文原型記憶(context Prototypical Memory, CPM)，成功地解決了在有限標記數據下的在線上下文類學習問題。

最后，在第7章中，我們研究了在不使用任何類別標簽的情況下，通過在線視覺輸入流動態學習表示和類別。在前幾章中，學習仍然主要由帶標簽的示例驅動:例如，在第6章中，只有當環境告訴智能體它是一個新類時，新的類別簇才會創建。在本章中，我們將介紹一種算法，該算法允許智能體同時從未標記的數據流中學習表示和類別。這可以被視為發展過程中的一個前階段，因為智能體可以首先通過在沒有標記數據的情況下學習表示和類別來探索環境，然后在一些示例的監督下進行。所提出的模型，在線無監督原型網絡，將用于概念學習的原型網絡與基于聚類的自監督表示學習相結合，并與僅使用在線數據流進行訓練的最先進的自監督視覺表示學習方法相比較。此外，該算法對不均衡分布也具有較強的魯棒性。

目錄內容：

在過去的十年里，深度學習取得了巨大的成功，但在權值更新和訓練樣本數量方面，實際有用的深度模型的訓練仍然非常低效。為了解決這些問題的一個方面，本文研究了持續學習設置，該模型利用一系列的任務，利用之前的知識來快速學習新任務。持續學習的主要挑戰是，在為新任務更新模型時，避免模型災難性地忘記之前的信息。

//ora.ox.ac.uk/objects/uuid:7a3e5c33-864f-4cfe-8b80-e85cbf651946

為此，本文首先提出了一種持續學習算法，通過正則化兩個連續任務的條件似然之間的kl -散度來保留之前的知識。結果表明，這種正則化對網絡權值施加了二次懲罰，該懲罰基于上一個任務的最小曲率。其次，本文提出了一種更有效的持續學習算法，利用對過去任務的情景記憶作為約束，這樣當對新任務進行權重更新時，情景記憶的損失不會增加。結果表明，使用情景記憶約束目標比正則化網絡參數更有效。此外，為了提高學習新任務的速度，提出了使用組合任務描述符的聯合嵌入模型，大大提高了正向遷移。基于情景記憶的持續學習目標通過直接在損失函數中使用記憶來簡化。盡管它傾向于記憶出現在微小情景記憶中的數據，結果算法顯示出比使用記憶作為約束的算法更好的泛化。分析認為，這種驚人的概化是由于新任務數據帶來的正則化效應。然后利用該算法對合成數據和真實數據進行持續學習。為此，提出了一種方法，通過優化重放緩沖區上的事后遺忘損失，為每個任務生成合成數據點。設計了一個嵌套的持續學習優化目標，有效地利用這些綜合點來減少基于記憶的持續學習方法的遺忘。最后，本文提出了一種持續學習算法，在不重疊的特征子空間中學習不同的任務。通過保持不同任務的子空間相互正交來最小化重疊，可以減少這些任務表示之間的干擾。

構建高性能的端到端機器學習系統主要包括開發機器學習模型和為感興趣的應用程序收集高質量的訓練數據(假設一個人可以訪問正確的硬件)。盡管在過去幾年里，隨著開源平臺的興起，機器學習模型變得越來越商品化，但管理高質量的標記訓練數據集對許多現實世界的應用來說仍然是昂貴的或不可行的。因此，我們在本文中主要關注數據，特別是如何** (1)通過注入領域特定的先驗知識或利用已為不同任務創建的現有軟件系統和數據集，使用數據高效的機器學習方法減少對標記數據的依賴，(2)有效管理訓練數據并構建相關工具，以最大化數據的效用，(3)通過將數據的結構與嵌入空間的幾何形狀進行匹配，提高嵌入所實現的數據表示的質量**。

我們首先描述了我們在構建數據高效的機器學習方法方面的工作，通過物理驅動的一致性訓練增強、尺度等變展開神經網絡和使用未經訓練的神經網絡弱監督來加速磁共振成像(MRI)重建。然后，我們描述了我們在構建用于自然語言理解的數據高效機器學習方法方面的工作。特別地，我們討論了一種監督對比學習方法用于預訓練的語言模型微調和一種大規模數據增強方法來檢索領域數據。與有效管理訓練數據相關，我們討論了我們提出的用于類表單文檔gather的信息提取系統，并重點討論了訓練數據管理和相關工具中經常被忽略的方面。我們強調了有效管理訓練數據的重要性，表明它至少與機器學習模型在真實數據集的下游提取性能方面的進展一樣關鍵。最后，為了改進各種類型數據的嵌入表示，我們研究了具有異質曲率的空間。我們展示了混合曲率表示為圖和詞嵌入提供了更高質量的表示。此外，我們還研究了如何將Wikidata知識圖譜中的實體嵌入到一個抽象的文本摘要模型中，以增強其真實性。

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269