人類通常可以通過少量的示例快速高效地解決復雜的新學習任務。相比之下，現代人工智能系統往往需要成千上萬甚至數百萬次觀察才能解決最基本的任務。元學習旨在通過利用類似學習任務的過去經驗，將適當的歸納偏差嵌入學習系統，從而解決這一問題。歷史上，針對優化器、參數初始化等元學習組件的方法已顯著提高了性能。本論文旨在通過對通常被忽視的損失函數組件進行研究，探討元學習以提升性能的概念。損失函數是學習系統的重要組成部分，它代表了主要學習目標，系統優化該目標的能力決定并量化了學習的成功。 在本論文中，我們開發了用于深度神經網絡的元學習損失函數的方法。首先，我們引入了一種稱為進化模型無關損失函數（EvoMAL）的符號模型無關損失函數元學習方法。該方法整合了損失函數學習的最新進展，使得在普通硬件上開發可解釋的損失函數成為可能。通過實證和理論分析，我們發現了學習損失函數中的模式，這激發了稀疏標簽平滑正則化（SparseLSR）的開發，這是一種顯著更快且內存效率更高的標簽平滑正則化方法。其次，我們挑戰了損失函數必須是靜態函數的傳統觀念，開發了自適應損失函數學習（AdaLFL）方法，這是一種用于元學習自適應損失函數的方法。最后，我們開發了神經過程偏置元學習（NPBML），這是一種任務自適應的小樣本學習方法，能夠同時元學習參數初始化、優化器和損失函數。
人類具備從極少量的觀察中學習新任務的非凡能力。我們通常可以通過利用過去相關任務的經驗，并結合關于目標領域的一小部分信息，快速適應新領域（Lake et al., 2015）。利用從過去經驗中學到的共享任務規律，使人類能夠在廣泛的多樣任務上表現出色，展示出一種相對普遍的智能形式。與此形成對比的是，現代人工智能和機器學習系統通常高度專業化，往往需要成千上萬次的觀察才能在單一任務上達到有競爭力的表現。這種樣本效率低下的情況，是由于目前將從頭開始的端到端學習視為學習的黃金標準（Collobert et al., 2011；Yi et al., 2014）；其實際動機是能夠在不需要嵌入大量人類知識和專業知識的情況下進行學習。 然而，正如Finn（2018）指出的那樣，每次都要求系統從零開始學習每個任務，就像要求（人類）嬰兒在沒有掌握與語言、感知或推理相關的基本概念之前就學會編程一樣，這顯然是不合理的。為了縮小我們智能系統與人類之間的差距，顯然需要重新考慮從零開始的學習方式，轉而采用一種更具樣本效率的學習方法。傳統學習方法的另一個局限性是，它們通常需要預先假設一組歸納偏差，例如可搜索模型的類別，即表示偏差，或用于找到模型參數集合的學習規則，即程序偏差（Gordon & Desjardins, 1995）。然而，這種方法必然會導致次優性能，因為所選擇的歸納偏差集合很少，甚至從未是任何特定學習問題的最佳選擇。 因此，越來越多的研究開始探討一種稱為元學習的學習范式（Hospedales et al., 2022；Peng, 2020；Vanschoren, 2018；Vilalta & Drissi, 2002）。通常非正式地稱為學習如何學習的范式。元學習旨在提供一種與傳統AI方法相反的替代范式，即智能系統通過多次學習經歷（通常但不限于覆蓋一系列相關任務）利用過去的經驗。元學習利用過去的經驗來提高模型（通常是深度神經網絡（LeCun et al., 2015；Goodfellow et al., 2016））未來的學習性能，通過自動選擇適合于給定問題或相關問題族的歸納偏差集合（或其子集）（Hospedales et al., 2022）。 許多元學習方法已經被提出用于優化各種深度學習（DL）組件（Goodfellow et al., 2016）。例如，早期研究探索了使用元學習生成神經網絡學習規則（Schmidhuber, 1987, 1992；Bengio et al., 1994），而更多的當代研究則擴展到了學習激活函數（Ramachandran et al., 2017）、共享參數初始化（Finn et al., 2017）和神經網絡架構（Stanley et al., 2019）以及從頭開始的整個學習算法（Real et al., 2020；Co-Reyes et al., 2021）等（Snell et al., 2017；Houthooft et al., 2018；Liu et al., 2020a；Alet et al., 2018；Franceschi et al., 2018）。
付費5元查看完整內容
相關內容
深度神經網絡因其強大的性能，越來越多地應用于計算機視覺任務。然而，它們的訓練需要大規模的標注數據集，而這些數據集的準備工作耗時費力。半監督學習（SSL）通過結合標注數據和未標注數據進行學習，提供了一種解決方案。雖然大多數最先進的SSL方法采用確定性方法，但對其概率模型的探索仍然有限。研究這一領域非常重要，因為概率模型可以提供不確定性估計，這在實際應用中至關重要。例如，由于未標注數據中的潛在偽標簽錯誤，SSL訓練的模型可能不如監督學習訓練的模型，且這些模型在實踐中更容易做出錯誤預測。特別是在醫學圖像分析和自動駕駛等關鍵領域，決策者必須了解模型的局限性以及何時可能出現錯誤預測，這些洞察通常由不確定性估計提供。此外，當使用未標注樣本進行訓練時，不確定性還可以作為過濾不可靠偽標簽的標準，從而有可能提高深度模型的性能。本論文進一步探索了SSL的概率模型。借助廣泛使用的貝葉斯近似工具——蒙特卡洛（MC） dropout，我提出了一種新的概率框架，即生成貝葉斯深度學習（GBDL）架構，用于半監督醫學圖像分割。這種方法不僅緩解了以往方法中潛在的過擬合問題，而且在四項評估指標上都取得了優異的結果。與其經驗設計的前輩不同，GBDL以完整的貝葉斯公式為基礎，提供了理論上的概率基礎。鑒于MC dropout的局限性，我引入了NP-Match，這是一種用于大規模半監督圖像分類的新概率方法。我們通過在不同挑戰性環境下（如標準、不平衡和多標簽半監督圖像分類）的大量實驗，評估了NP-Match的泛化能力。實驗結果表明，NP-Match不僅與先前最先進的方法競爭力強，而且比基于MC dropout的模型更快地估計不確定性，從而提高了訓練和測試的效率。最后，我提出了NP-SemiSeg，一種用于半監督語義分割的新概率模型。這個靈活的模型可以與各種現有分割框架集成，以進行預測和估計不確定性。實驗表明，NP-SemiSeg在準確性、不確定性量化和速度方面都優于MC dropout。
付費5元查看完整內容
近年來，預訓練的神經語言模型在各種自然語言理解和生成任務上取得了顯著的能力。然而，將這些模型擴展到包含數十億參數的趨勢，雖然增強了適應性和新出現的能力，但也因其龐大的規模帶來了顯著的部署挑戰。這些挑戰包括對模型存儲和實際部署的推理延遲的限制、任務適應所需的密集時間和計算成本，以及影響任務適應性的大量冗余參數的存在。受到這些挑戰的驅動，本論文旨在提高這些模型的參數效率，尋求最小化存儲需求、加速推理和適應，并增強泛化能力。
-- 在神經語言模型中提高參數利用率
雖然最近的研究發現預訓練神經語言模型中存在顯著的冗余，但參數冗余對模型泛化能力的影響在很大程度上仍未被深入探討。我們首先考察參數冗余與模型泛化能力之間的關系。觀察到移除冗余參數可以提高泛化能力，我們提出了一種用于微調的自適應優化算法，以提高冗余參數的利用率。實驗結果驗證了在各種下游任務上增加的泛化能力。
-- 神經語言模型中的模型壓縮
我們探索了模型壓縮方法，包括權重修剪和知識蒸餾，以減少模型存儲并加速推理。我們首先開發了一種可靠的迭代修剪方法，該方法考慮到訓練動態中的不確定性。然后，我們深入探討知識蒸餾領域，解決了常常阻礙學生表現的大教師-學生“知識差距”。為了解決這個問題，我們提供了兩種解決方案，通過選擇性地蒸餾與任務相關的知識來產生特定任務的學生。在需要學生跨多種任務適應性的情境中，我們提出通過結合迭代修剪和蒸餾來減少知識差距。我們的方法在相似的壓縮比率下顯著超過傳統的蒸餾方法。 -- 神經語言模型中高效的任務適應
雖然微調是實現下游任務滿意表現的一種重要適應方法，但它既計算密集又耗時。為了加速任務適應，我們研究了超網絡方法，該方法使用輔助超網絡基于少量示例迅速生成特定于任務的權重。我們通過利用內在權重結構作為歸納偏差，改進了權重生成方案，提高了超網絡訓練的樣本效率。與現有的超網絡方法相比，該方法在未見任務上顯示出優越的泛化性能。
//repository.gatech.edu/entities/publication/b2f1067e-2ee3-4b86-b565-1111a50b2cf5
付費5元查看完整內容
在更廣泛的背景下，元學習關注的是一個智能體如何了解自己的學習過程，從而改進其學習過程。學習如何學習不僅對人類有益，而且也顯示出對改進機器學習方式的巨大好處。在機器學習的背景下，元學習使模型能夠通過選擇影響學習的適當元參數來改進其學習過程。具體到深度學習，元參數通常描述模型訓練的細節，但也可以包括模型本身的描述——即架構。元學習通常是以特定目標為導向的，例如嘗試改善泛化能力或從少數幾個例子中學習新概念的能力。元學習可以很強大，但它有一個主要缺點：通常計算成本高昂。如果能夠減輕這些成本，元學習將更容易被新的人工智能模型開發者訪問，使他們能夠實現更偉大的目標或節省資源。因此，我們研究的一個關鍵重點是顯著提高元學習的效率。我們發展了兩種方法：EvoGrad和PASHA，兩者在兩種常見場景中顯著提高了元學習效率。EvoGrad允許我們高效地優化大量可微分的元參數值，而PASHA則能夠高效地優化數量較少的任何類型的元參數。
//era.ed.ac.uk/handle/1842/41452 元學習是一個可以應用于解決各種問題的工具。最常見的應用是從少量例子中學習新概念（少樣本學習），但也存在其他應用。為了展示元學習在神經網絡背景下可以產生的實際影響，我們使用元學習作為兩個選定問題的新解決方案：更準確的不確定性量化（校準）和通用少樣本學習。這兩個都是實際重要的問題，通過使用元學習方法，我們可以獲得比使用現有方法獲得的更好的解決方案。校準對神經網絡的安全關鍵應用至關重要，而通用少樣本學習測試了模型在諸如識別、分割和關鍵點估計等多樣化任務上的少樣本學習能力的泛化能力。 更高效的算法以及新的應用使得元學習領域能夠對深度學習的更廣泛領域產生更顯著的影響，并有潛力解決之前過于具有挑戰性的問題。最終，這兩者都使我們能夠更好地利用人工智能呈現的機會。
付費5元查看完整內容
人工智能系統開發具備高級推理能力是一個持續存在且長期的研究問題。傳統上，解決這一挑戰的主要策略涉及采用符號方法，其中知識通過符號明確表示，并通過明確編程的規則來實現。然而，隨著機器學習的出現，系統向能夠自主從數據中學習、需要最小人類指導的方向發生了范式轉移。鑒于這一轉變，近年來，越來越多的興趣和努力被投入到賦予神經網絡推理能力上，以彌合數據驅動學習與邏輯推理之間的差距。在這一背景下，神經算法推理（NAR）作為一個有希望的研究領域脫穎而出，旨在將算法的結構化和基于規則的推理與神經網絡的自適應學習能力整合起來，通常通過讓神經模型模仿經典算法來實現。在這篇論文中，我們對這一研究領域提供了理論和實踐上的貢獻。我們探索了神經網絡與熱帶代數之間的聯系，推導出與算法執行對齊的強大架構。此外，我們討論并展示了這樣的神經推理器學習和操縱復雜的算法和組合優化概念的能力，如強對偶性原理。最后，在我們的實證努力中，我們驗證了NAR網絡在不同實際場景中的實際用途。這包括任務多樣化，如規劃問題、大規模邊緣分類任務以及學習NP-hard組合問題的多項式時間近似算法。通過這一探索，我們旨在展示在機器學習模型中整合算法推理潛力。
//arxiv.org/abs/2402.13744 本論文旨在探索神經算法推理器的潛力，特別是關于它們學習執行經典算法的能力以及使用訓練有素的算法推理器作為相關下游任務的歸納先驗的有效性。 本論文的主要貢獻旨在解決這兩個研究問題，特別是在圖的背景下，鑒于許多感興趣的經典算法是為結構化數據開發和設計的（Cormen et al., 2009）。此外，我們將尋求從理論和實證的視角提供前述問題的證據。 為了解決關于經典算法可學習性的問題，我們提出了一個理論框架，將圖、神經網絡和熱帶代數（Landolfi et al., 2023）之間的聯系繪制出來。在這個設置中，將建立算法（特別是動態規劃算法）與神經網絡之間的等價性。我們還將展示如何基于這種聯系派生出適合學習算法的強大神經網絡架構。 跳出動態規劃算法的背景，我們提議通過對偶性學習算法（Numeroso et al., 2023），有效地展示我們如何借鑒與算法相關的各個領域的概念，如組合優化，以增強將算法推理編碼到神經網絡中的程度。這一貢獻也作為使用算法作為歸納先驗可以幫助更準確地解決標準機器學習任務的第一個實際示例。 在此基礎上，我們提出了兩個更多的貢獻：一個學習規劃問題一致性啟發式函數的算法推理器（Numeroso et al., 2022）；以及一個關于將算法知識轉移到NP-hard組合優化問題的有效性的廣泛研究（Georgiev et al., 2023）。 此外，作為一個附加目標，本論文還努力作為神經算法推理世界的入門指南，特別是通過其第三章，為那些不熟悉NAR的人量身定做。
付費5元查看完整內容
深度學習在過去的十年里引領了革命性的進展，它在各種任務的前沿，包括計算機視覺、自然語言處理和強化學習等領域取得了非凡的成就。然而，眾所周知，通過最大似然估計訓練的深度模型往往過于自信，并給出校準不良的預測。貝葉斯深度學習試圖通過在模型參數上放置先驗，然后與似然結合來執行后驗推斷來解決這個問題。不幸的是，對于深度模型來說，真實的后驗是難以處理的，迫使用戶不得不求助于近似。在這篇論文中，我們探討了作為近似的變分推斷的使用，因為它在同時近似后驗和提供邊緣似然的下界方面是獨一無二的。如果這個下界足夠緊，就可以用來優化超參數和促進模型選擇。然而，這種能力在貝葉斯神經網絡中很少被充分利用，可能是因為實踐中通常使用的近似后驗缺乏有效限制邊緣似然的靈活性。因此，我們探索了深度模型的貝葉斯學習的三個方面。首先，我們的調查從詢問是否有必要對盡可能多的參數進行推斷開始，或者是否合理地將許多參數作為超參數，我們通過邊緣似然來優化它們。這將帶來顯著的計算節省；然而，我們觀察到這可能導致病態行為和嚴重的過擬合，表明盡可能“完全貝葉斯”是更好的選擇。我們繼續我們的論文，提出了一種變分后驗，它為貝葉斯神經網絡和深度高斯過程中的推斷提供了統一的視角，我們展示了它有足夠的靈活性來利用添加的先驗超參數。最后，我們展示了如何在某些深度高斯過程模型中通過從后驗中解析去除對稱性，并對格拉姆矩陣而不是特征進行推斷來改進變分推斷。雖然我們沒有直接調查我們的改進在模型選擇中的使用，但我們希望我們的貢獻將為將來充分實現變分推斷的承諾提供一個跳板。
付費5元查看完整內容
聚類是數據分析中的主要而又具有挑戰性的任務，旨在將相似的樣本劃分到同一組，而將不相似的樣本劃分到不同的組。近期，由于在無監督深度圖聚類方面的突破，傳統的卷積神經網絡（例如，自編碼器（AE））和圖卷積網絡（GCN）的結合已經達到了最先進的性能。其中，自編碼器提取節點屬性特征，而圖卷積網絡捕獲拓撲圖特征。然而，現有方法沒有充分利用來自特征嵌入和聚類分配的現有信息，從而限制了它們的性能。鑒于這一限制，本論文專注于無監督深度圖聚類中的自適應表示學習。主要工作涉及自適應嵌入\分配\圖表示學習，總結如下：
首先，我們提出了一種名為注意力驅動圖聚類網絡（AGCN）的新穎無監督深度圖聚類方法，以解決以下問題：現有工作(??)缺乏一種靈活的組合機制來自適應地融合來自自編碼器和圖卷積網絡的兩種特征，從而增強表示學習能力；以及(????)忽視了嵌入在不同層的多尺度信息，導致后續的聚類分配效果不佳。具體而言，AGCN主要包括兩個注意力驅動的特征融合模塊，即AGCN異質性融合模塊（AGCN-H）和AGCN尺度融合模塊（AGCN-S）。這兩個模塊都利用基于注意力的機制動態地測量相應特征的重要性。AGCN-H自適應地合并自編碼器特征和圖卷積網絡特征，而AGCN-S動態地連接不同層的多尺度特征。為了以無監督的方式進行訓練，我們設計了一個能夠直接產生聚類分配結果的統一學習框架。與現有的無監督深度圖聚類方法相比，我們的方法更為靈活和有效，因為它考慮了網絡中嵌入的豐富和有區分性的信息來自適應地學習嵌入表示。在常用的基準數據集上的大量定量和定性結果驗證了我們的AGCN始終超越最先進的方法。此外，我們還進行了一系列消融研究來驗證我們方法的效率和有效性。
然而，上述提出的模型在面對從自編碼器和圖卷積網絡學到的兩種概率分布時存在決策困境，即應選擇哪一種作為最終的聚類分配結果。據我們所知，這是先前的無監督深度圖聚類方法中普遍存在的一個未解決的問題。為了應對這一挑戰，我們提出了一種名為深度注意力引導的雙重自監督圖聚類（DAGC）的新方法。具體而言，我們設計了一個分布融合模塊，該模塊利用這兩種聚類分配來自適應地學習分配表示，從而獲得最終的聚類結果。為了更好地探索來自聚類分配的現有信息，我們開發了一個雙重自監督解決方案，包括一個帶有Kullback-Leibler散度損失的軟自監督策略和一個帶有偽監督損失的硬自監督策略來指導整個網絡訓練。在九個基準數據集上的定量和定性實驗和分析表明，我們的方法始終超越最先進的方法。此外，我們還提供了消融研究和可視化，以驗證DAGC網絡的有效性和優勢。
現有的基于GCN的圖聚類網絡在很大程度上依賴于預定義的圖。如果初始圖無法真實且精確地反映其在嵌入空間上的拓撲結構，這些網絡可能會失敗。為了解決上述問題，我們提出了一種新穎的嵌入引導的圖優化聚類網絡（EGRCNet），該網絡能夠自適應地使用學習到的嵌入來改進初始圖，從而實現更好的聚類性能。具體來說，我們首先利用普通自編碼器和圖卷積網絡模塊來自適應地整合節點屬性和拓撲結構信息，以學習潛在特征表示。接著，我們探索嵌入空間上的幾何結構信息來構造一個鄰接圖，然后開發一個圖融合架構，動態地將該圖與初始圖融合。最后，我們最小化多個派生分布之間的Jeffreys散度損失函數，以無監督的方式進行網絡訓練。在七個常用的基準數據集上的廣泛實驗表明，所提出的方法始終超越了幾種最先進的方法。
以下聲明突出了這些工作的重要性：在無監督的深圖聚類中進行自適應表示學習對于人工普適性智能至關重要，因為它使機器能夠在沒有人類注釋的情況下從數據中學習復雜的模式和關系。通過利用無監督的自適應表示學習技術，人工普適性智能系統可以發展其數據的內部表示能力，并適應新的環境、任務和情境。這種能力對于理解復雜和非結構化數據至關重要。最后但并非最不重要的是，無監督的自適應表示學習是向開發能夠像人類一樣進行研究和推斷的機器邁出的關鍵一步，為AI在從醫療保健到金融到娛樂的廣泛領域開辟了新的可能性。在未來，我們將繼續為人工普適性智能社區做出貢獻，繼續研究大規模數據集、先進的表示學習和高效的信息傳播。
付費5元查看完整內容
近年來，機器學習在許多應用中證明了其極高的用途性。然而，這些成功故事很多都源于在與訓練數據非常相似的數據上評估算法。當應用于新的數據分布時，機器學習算法已被證明會失敗。鑒于現實世界數據的非平穩和異構性質，我們需要更好地掌握算法在分布外（out-of-distribution）的泛化能力，以便算法能被廣泛部署和信任。我的論文提出了三個研究課題，旨在調查和發展分布外泛化的領域。這些研究努力的中心目標是產生新的工具，如算法、理論結果、實驗結果和數據集，以提高在數據分布發生變化時機器學習方法的理解和性能。貫穿這三個機器學習場景的高級思想是模塊性——由組合在一起形成一個整體的獨立部分的質量。模塊化方法被假設為引導機器學習方法遠離僵化的記憶示例，走向更靈活和“更智能”的支持泛化的學習。
在我的第一項貢獻中，我從多個訓練分布的學習角度來接近論文目標。對這一研究方向的貢獻有兩方面。首先，我呈現了一組新的標準化任務，用于評估和比較分布外泛化算法。其次，我陳述了一系列新的理論結果，填補了數據中心和算法方法之間在分布外泛化方面的現有差距。這些理論發現引導了一組關于如何采用算法方法的新的實用建議。
在第二項貢獻中，我處理了監督圖像識別中的泛化問題。在這一背景下，我首先調查了多級特征聚合對泛化的影響，并證明了使用其中一種考慮的方法進行增強可以持續提高性能。其次，我提出了一組簡單的圖像數據集，可作為評估和比較圖像分類方法在分布外泛化方面的墊腳石。最后，我深入研究了多個神經網絡通信以解決共享任務的學習場景。這項工作以兩種方式支持論文目標。首先，我提出了一個新的環境，圖引用游戲（graph referential games），并在數據表示和相應的數據表示學習方法對分布外泛化的影響上提出了結果。這些結果連接了之前不相連的圖表示學習和新興通信領域。其次，我解決了基于現實圖像的群體通信這一具有挑戰性的領域。這篇論文中的數據集、算法、定理和實驗結果代表了在機器學習中理解和改進分布外泛化方面的幾個步驟。它們為研究人員提供了旨在促進這一領域研究的新工具和結果，其中一些已被證明對研究社群有用。最后，這項工作提出了機器學習的多個分布學習、圖像分類和多代理通信子領域中重要的未來方向。
//www.repository.cam.ac.uk/items/8680585b-87ca-4196-987f-c4d379259092
記憶與學習是否相同？阿根廷作家豪爾赫·路易斯·博爾赫斯（Jorge Luis Borges）的短篇小說《記憶者富內斯》（Funes the Memorious，由James E. Irby翻譯成英文[71，第59–66頁]）描述了一個名叫富內斯的男孩，在頭部受傷后獲得了完美的記憶。他開始詳細地記住他一生的每一個時刻。同時，他失去了泛化的能力：他的記憶彼此是孤立的。例如，他從不同的角度看到同一只狗，卻只把同一只狗的不同側面視為獨立的信息。他甚至不了解自己的身體是什么樣的（‘每次看到鏡中的自己的臉，看到自己的手，都讓他感到驚訝’），這導致了一個結論：‘思考就是忘記一個差異，進行泛化，進行抽象。在富內斯過于充實的世界里，只有細節。’""與富內斯相似，具有數百萬參數的現代神經網絡已被證明會記住訓練樣本，這可能導致一系列問題，例如：（1）對噪聲數據的高度敏感性[150, 221]，（2）易受對抗性攻擊的影響[271, 87, 269, 287]，（3）與人類學習相比樣本效率低[302, 303, 275]，以及（4）對新數據的泛化能力差[62]，即使新數據樣本直觀地與模型已經訓練過的數據有相似之處[61, 251]。這些問題可能出現在應用現代機器學習的任何領域。它們可能導致機器學習系統在使用過程中產生不透明的故障模式，從而導致對機器學習系統的信任度下降[297]。"
"標準機器學習方法中缺少對分布外泛化（Out-of-distribution generalisation）的能力。這些方法得到了統計學習理論[279]的支持，該理論證明了使用基于平均值的優化（經驗風險最小化[279]）以及使用測試集估計泛化誤差的做法是合理的。然而，這一理論假設訓練（過去）和測試（未來）數據是獨立同分布的。在應用機器學習的許多實際領域中，這一假設是不正確的：現實世界的數據是異構的，其分布通常會隨時間變化。分布變化的實際來源包括機器學習系統用戶特性的變化，或一個有實體的代理（embodied agent）所處環境的變化。另一個常見的分布變化例子是由于語言（包括在線使用的語言）動態性而產生的。自然語言的不斷演變已被證明會改變語言模型的困惑度（perplexity），當這些模型在數月內多次應用時[164]。背景章節的第2.4節更多地涵蓋了分布變化的類型和相應的例子。由于這些變化，即使在常用的分布內測試集上達到接近100%的準確率也不總是能預示未來的性能，這一點已被眾多論文所證明[137, 15, 61, 235, 204, 62]。"
"在機器學習領域，關于分布外泛化（OOD generalisation）的主題實質上與機器學習本身一樣廣泛和復雜，并且在研究社群中同樣容易受到瞬息萬變的趨勢和不同觀點的影響。在我看來，面對分布變化提高泛化能力是必要的，原因如下： ? 工程原因 — 提高樣本效率，并在沒有數千個訓練樣本的低資源領域提高性能[110]； ? 科學原因 — 深入了解神經網絡是如何學習的，并可能讓機器學習更接近人類學習； ? 商業原因 — 在目前由人類執行的越來越復雜的任務中使用神經網絡； ? 社會原因 — 通過控制簡單性偏見[246]來消除機器學習系統的偏見。
利用數據中的‘捷徑’可能會導致不公平的解決方案（例如，這可以在招聘工具中利用性別信息時看到[59]）。在我的博士研究期間，我一直在問自己：致力于分布外泛化的機器學習研究社群最需要什么樣的工具？這篇論文旨在以新數據集、新理論結果、新測試平臺、新實驗結果和新算法的形式提供這樣的工具。這些研究努力的具體成果總結在圖1.1中。"
導致這篇論文的研究工作涉及機器學習的三個子領域：多分布學習（第3章）、圖像分類（第4章）和多智能體通信（第5章）。這種廣泛的視角使我能夠收集更多證據來支持中心假設，并探討研究問題（第1.2節）。同時，本論文中介紹的工具旨在對我在博士研究期間有幸與之合作和學習的幾個機器學習社群有所用處：（1）不變學習和群體魯棒性社群（第3章），（2）視覺社群（第4章），以及（3）新興通信社群（第5章）。所有這些社群都在獨立地研究機器學習中的分布外泛化，正如我在背景章節（第2章）以及各自貢獻章節中所回顧的。本論文聯系了我在研究中涉足的之前是分離的社群，例如圖神經網絡[141]與新興通信[43]（第5章），以及面向群體魯棒性的數據導向方法[36]與分布魯棒優化[21]（第3章）。"
付費5元查看完整內容
利用有限的數據進行學習是深度學習的最大問題之一。目前，解決這個問題的流行方法是在大量數據上訓練模型，無論是否標記，然后在同一模態的感興趣的較小數據集上重新訓練模型。直觀地說，這種技術允許模型首先學習某種數據(如圖像)的一般表示。然后，學習這種特定模態的特定任務應該需要更少的數據。雖然這種被稱為“遷移學習”的方法在計算機視覺或自然語言處理等領域非常有效，但它不能解決深度學習的常見問題，如模型可解釋性或對數據的總體需求。本文探索了在數據約束設置中學習表達模型問題的不同答案。我們不再依賴大數據集來學習神經網絡的參數，而是用反映數據結構的已知函數來代替其中的一些參數。這些函數通常都是從內核方法的豐富文獻中提取出來的。實際上，許多核函數都可以解釋，并且/或允許使用少量數據進行學習。所提出方法屬于"歸納偏差"的范疇，可以定義為對手頭數據的假設，限制了學習過程中模型探索的空間。在本文的前兩章中，我們在序列(如自然語言中的句子或蛋白質序列)和圖(如分子)的上下文中證明了該方法的有效性。本文還強調了工作與深度學習最新進展之間的關系。本文的最后一章重點研究凸機器學習模型。這里，我們不是提出新的模型，而是想知道學習一個“好的”模型真正需要數據集中的哪些樣本比例。更準確地說，研究了安全樣本篩選的問題，即在擬合機器學習模型之前，執行簡單測試以丟棄數據集中沒有信息的樣本，而不影響最優模型。此類技術可用于壓縮數據集或挖掘稀有樣本。
付費5元查看完整內容
在過去的十年里，深度學習取得了巨大的成功，但在權值更新和訓練樣本數量方面，實際有用的深度模型的訓練仍然非常低效。為了解決這些問題的一個方面，本文研究了持續學習設置，該模型利用一系列的任務，利用之前的知識來快速學習新任務。持續學習的主要挑戰是，在為新任務更新模型時，避免模型災難性地忘記之前的信息。
//ora.ox.ac.uk/objects/uuid:7a3e5c33-864f-4cfe-8b80-e85cbf651946
為此，本文首先提出了一種持續學習算法，通過正則化兩個連續任務的條件似然之間的kl -散度來保留之前的知識。結果表明，這種正則化對網絡權值施加了二次懲罰，該懲罰基于上一個任務的最小曲率。其次，本文提出了一種更有效的持續學習算法，利用對過去任務的情景記憶作為約束，這樣當對新任務進行權重更新時，情景記憶的損失不會增加。結果表明，使用情景記憶約束目標比正則化網絡參數更有效。此外，為了提高學習新任務的速度，提出了使用組合任務描述符的聯合嵌入模型，大大提高了正向遷移。基于情景記憶的持續學習目標通過直接在損失函數中使用記憶來簡化。盡管它傾向于記憶出現在微小情景記憶中的數據，結果算法顯示出比使用記憶作為約束的算法更好的泛化。分析認為，這種驚人的概化是由于新任務數據帶來的正則化效應。然后利用該算法對合成數據和真實數據進行持續學習。為此，提出了一種方法，通過優化重放緩沖區上的事后遺忘損失，為每個任務生成合成數據點。設計了一個嵌套的持續學習優化目標，有效地利用這些綜合點來減少基于記憶的持續學習方法的遺忘。最后，本文提出了一種持續學習算法，在不重疊的特征子空間中學習不同的任務。通過保持不同任務的子空間相互正交來最小化重疊，可以減少這些任務表示之間的干擾。
付費5元查看完整內容
在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。
//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191