亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去十年的繁榮發展之后，視頻理解的研究已到達一個關鍵的節點，單純依賴海量數據和復雜的架構已不再是適用于所有情況的萬能解決方案。數據不平衡的普遍存在阻礙了深度神經網絡（DNNs）有效學習潛在的因果機制，導致在遇到分布變化時（如長尾不平衡和擾動不平衡）性能顯著下降。這一現象促使研究者開始探索替代方法，以捕捉視頻數據中的因果模式。為了應對這些挑戰并提高DNNs的魯棒性，因果建模作為一種原則被提出，旨在發現觀察到的相關性背后的真實因果模式。

本文主要研究視頻語義理解領域，探索因果建模在推進兩個基礎任務中的潛力：視頻關系檢測（Video Relation Detection, VidVRD）和視頻問答（Video Question Answering, VideoQA）。

總結來說，本論文的主要貢獻如下：

• 我們提出了一種干預性視頻關系檢測方法，稱為IVRD，旨在解決VidVRD中關系的長尾不平衡問題。盡管尾部關系具有信息性，但由于其在數據集中稀少，難以預測。我們特別提出了一套分層的關系原型，這迫使關系推理模塊關注實體之間動態交互的視覺內容，而非依賴于對象與關系標簽之間的偽相關性。通過引入因果推理，IVRD為改善長尾不平衡情況下的視頻理解提供了一個有前景的方向，使模型能夠更好地泛化到現實世界場景中，特別是在稀有或不常見的關系在場景理解中扮演關鍵角色時。
• 我們引入了一種視頻問答中的不變性定位方法，稱為IGV，這是一種與模型無關的學習框架，旨在解決由答案-環境之間的偽相關性帶來的負面影響。IGV通過定位問題關鍵的（因果）場景，發現因果推理模式。具體而言，IGV利用了因果場景與答案之間的關系在環境變化時仍保持不變這一事實，并且去除因果場景應導致問題回答失敗。通過定位這些關鍵場景，IGV使VideoQA模型能夠專注于準確推理所需的視覺內容，同時避免環境負面的影響，從而顯著提升了模型的推理能力。
• 我們提出了視頻問答中的等變性定位方法EIGV，進一步增強了魯棒性和視覺可解釋性。基于IGV，EIGV還引入了等變性，促使回答過程對因果場景和問題中的語義變化更為敏感。相較之下，不變性定位要求回答過程對環境場景的變化不敏感。這兩種正則化機制協同工作，區分因果場景與環境場景，并通過呈現視覺-語言對齊提供更多的透明性。通過結合不變性和等變性定位的優勢，EIGV創建了一個更加魯棒且可解釋的VideoQA框架。
• 我們發現了視頻問答中的時空推理，解決了長視頻和多對象樣本（即復雜視頻問答）上的低準確性問題。現有的VideoQA實踐（包括預訓練模型如SeVila [162]）大多是在短視頻片段（約15秒）和少數實體（約2個）上進行訓練的，因此在復雜視頻（超過80秒且包含5個以上對象）上表現較差。原因在于長視頻不可避免地引入大量冗余和偽相關性，因為許多與問題無關的環境對象存在。為應對這一挑戰，我們首先強調建模問題關鍵的時間片段和空間對象的重要性，接著提出了時空推理（Spatio-Temporal Rationalization, STR）方法，通過可微選擇模塊自適應地收集問題關鍵的時間片段和對象，并通過跨模態交互進行推理。結合更合理的候選答案解碼策略，STR有效識別出與問題無關的幀和對象作為因果模式，尤其在復雜場景下顯著改善了預測性能。

本文的一個局限性在于對所識別因果場景的評估。在整個研究過程中，我們依賴于問題回答（QA）總體性能作為所發現因果場景質量的間接指標，基于這樣一個推理：更準確地定位因果場景可能會提供更豐富的問題-關系視覺線索，從而提升QA性能。然而，值得注意的是，基于因果場景的直接量化指標將提供更具說服力的見解。遺憾的是，由于缺乏人類級別的定位標注，當前工作中未能實現這種度量。因此，未來的研究將著力建立一個專門針對因果場景的評估基準，涉及對回答過程所依賴的視覺元素進行人類標注。這一舉措將有助于更全面和嚴格地評估因果場景的發現。

總之，本文的貢獻拓展了因果建模在視頻語義理解中的前沿應用，賦能AI系統掌握因果模式，并在應對視頻理解挑戰任務中提升性能。

近年來，深度學習的進展在很大程度上得益于數據和計算資源的增加。盡管數據的豐富性使模型在某些領域表現良好，但在實際應用中（例如醫學領域），數據往往稀缺或難以收集。此外，也存在將大型數據集視為許多相關的小數據集的情境，其中一個小數據集相關任務的數據可能不充足。同時，人類智能通常只需少量樣本即可在新任務上表現出色，這強調了設計數據高效AI系統的重要性。本論文探討了應對這一挑戰的兩種策略：元學習和對稱性。

元學習將數據豐富的環境視為許多小型、獨立數據集的集合。每個小數據集代表一個不同的任務，但它們之間存在潛在的共享知識。利用這種共享知識可以設計出在相似領域中高效解決新任務的學習算法。相比之下，對稱性是一種直接的先驗知識。通過確保模型的預測在輸入發生任何變換后仍保持一致，這些模型可以提高樣本效率和泛化能力。

在后續章節中，我們提出了一些旨在提高深度學習系統數據效率的新技術和模型。首先，我們展示了基于條件神經過程（CNPs）的編碼器-解碼器風格的元學習方法的成功應用。其次，我們引入了一類新型的表達力強的元學習隨機過程模型，這些模型通過在函數空間中堆疊神經參數化的馬爾可夫轉移算子序列構建而成。最后，我們提出了群等變子采樣/上采樣層，以解決傳統子采樣/上采樣層中等變性的喪失問題。利用這些層可以構建端到端的等變模型，從而提升數據效率。

//ora.ox.ac.uk/objects/uuid:98de960f-f7eb-4437-8c37-174b82374b21

大型多模態模型（LMMs）的研究已經成為深度學習領域的重點，展示了其在當代研究中的重要性。LMMs能夠處理來自不同模態的數據，通過利用互補信息來執行多種任務，從而提高預測能力。LMMs的學習過程分為兩個關鍵階段：計算密集的預訓練階段，旨在從大規模的噪聲數據中獲取通用表示；以及后續的微調階段，專注于將預訓練模型調整到特定任務上。傳統上，基礎LMMs的預訓練被認為是擁有豐富計算資源的研究實驗室的專屬特權。在本論文中，我們提出了一種用于高效預訓練基礎視覺-語言模型（VLMs）的新方法。這涉及通過專門的預訓練過程，利用現成的凍結大型語言模型（LLMs），從而減少對數據的需求。此外，我們引入了一種高效的VLM預訓練方法，減少模態投影中的冗余。通過我們的方法，訓練LLMs所需的數據量從1.29億實例大幅減少到400萬實例，并且相關的訓練成本可減少至1/10，而性能幾乎沒有顯著下降。此外，我們提出了一種簡單但強大的時序融合機制，用于將預訓練的圖像-語言模型適應下游的視頻任務。我們的視頻描述模型在沒有大量視頻-文本數據集預訓練的情況下，能夠達到與最新基準競爭的性能。除了在計算機視覺和自然語言處理中的多模態研究領域外，我們的研究還擴展到了生物信息學領域，通過研究蛋白質-RNA模型進行多模態學習。我們的研究結果表明，預訓練的蛋白質模型包含可與RNA共享的生物結構信息。鑒于實驗解析的RNA結構數量有限，我們的發現為蛋白質和RNA之間的遷移學習開啟了新的研究方向。最后，我們采用物理增強模擬來訓練T細胞-肽模型，表明在機器學習中整合這種模擬顯著提高了模型訓練效果，尤其是在標記數據有限的情況下。這凸顯了將模擬與機器學習結合的潛力，為推動生物領域LMMs的訓練提供了寶貴的策略。

在過去的十年中，深度學習研究取得了顯著進展，并在多個領域中取得了卓越的成就，包括圖像分類、圖像分割、動作識別和語言建模。盡管這些模型通過在大量特定領域的數據集上訓練，表現出了在特定任務中的優異性能，但當代的研究已經轉向開發能夠跨多種模態（如視覺、語言和音頻）解釋信息的模型。 此外，鑒于可以提升模型預測能力的潛力，近期的研究倡導訓練能夠無縫整合不同模態信息的模型。例如，在在線會議的背景下，向模型展示一個視頻可以通過同時考慮視覺內容（展示人類活動）和聽覺線索（捕捉會話動態）來提高摘要質量。這種互補模態的整合有助于做出更為準確的決策。 多模態學習的研究也致力于模擬人類從多種來源獲取知識的能力。通過促進類似于人類感知和認知功能的能力獲取，這些模型旨在突破單一模態的限制，展現出對信息感知和表達的整體理解。 計算機視覺和自然語言處理領域的蓬勃發展推動了多模態學習領域的顯著進展，特別是在視覺-語言模型的開發方面。當前的主流范式通常分為兩個階段： * 預訓練階段：這一初始階段通過利用大規模的網絡數據集進行模型的預訓練，使模型能夠獲取覆蓋視覺和語言領域的廣泛知識。這些通常被稱為“基礎模型”的預訓練模型，作為多模態數據中的復雜模式和表示的基礎。 * 微調階段：在預訓練之后，基礎模型會進行微調，以適應特定任務的需求。值得注意的是，在某些情況下，模型無需微調即可通過上下文學習生成預測。此階段在將模型的能力調整至任務特定需求方面起著關鍵作用。

在接下來的章節中，我們將深入探討這兩個訓練階段。本論文引入了一種新穎的模態投影模塊，并提出了一種新的學習范式，旨在提高視覺-語言模型預訓練的效率。此外，還將詳細闡述新型微調模塊，特別針對在訓練樣本有限的情況下，將預訓練的基礎模型適應于特定任務的挑戰。通過這些貢獻，本研究旨在推進對視覺-語言模型多模態學習的理解和效率提升。

傳統的機器學習方法通常依賴于最大似然估計（MLE），因為它易于實現并且與KL散度最小化等價。然而，僅通過最大化似然訓練的模型通常缺乏在實際部署中所期望的某些特性，例如不確定性的量化、對分布外輸入的魯棒性或遵守隱私約束。隨著機器學習模型的廣泛部署，這些重要特性比以往任何時候都更加必要。不幸的是，能夠提供這些特性的方法往往難以在當今的大型模型和數據集上實現。 在本文中，我們提出了幾項貢獻，以提高超越最大似然方法的可行性。首先，我們在多個領域改進了貝葉斯機器學習。這使我們能夠恢復感興趣參數的完整后驗分布，而不僅僅是最大似然方法提供的點估計。其次，我們在序列任務中實現了新的訓練方案：強化學習和序列建模。在強化學習的情況下，這使我們能夠開發不泄露私人信息的獎勵最大化策略。在序列建模的情況下，我們實現了新的散度方法，從而改進了文本生成。 我們的貢獻使我們能夠將分布感知的方法擴展到多個領域，并實現最先進的結果，包括恢復因果圖的后驗分布、在模擬機器人任務中開發隱私感知算法，以及使用具有數十億參數的語言模型生成類人文本。

傳統的機器學習方法通常依賴于最大似然估計（MLE），因為其實現簡單且等價于最小化KL散度。然而，僅通過最大化似然進行訓練的模型往往缺乏在實際應用中所期望的某些特性，如不確定性的量化、對分布外輸入的魯棒性，或遵守隱私約束。隨著機器學習模型被越來越廣泛地部署，這些重要特性變得比以往任何時候都更加必要。不幸的是，能夠提供這些特性的方法在當今的大模型和大數據集下通常難以實現。

在本論文中，我們提出了若干貢獻，以提高超越最大似然方法的可操作性。首先，我們在多個領域改進了貝葉斯機器學習。這使得我們能夠恢復感興趣參數的完整后驗分布，而不是最大似然方法所給出的點估計。其次，我們在順序任務中實現了新穎的訓練方案，包括強化學習和序列建模。在強化學習的案例中，這使我們能夠開發不會泄露私人信息的獎勵最大化策略。在序列建模的案例中，我們實現了新的散度函數，從而改進了文本生成。

我們的貢獻使得分布感知方法能夠擴展到多個領域，取得了最新的研究成果，包括恢復因果圖的后驗分布、在模擬機器人任務中開發隱私保護算法，以及使用數十億參數的語言模型生成類似人類的文本。

在我的博士學習期間，機器學習領域取得了巨大的進展。然而，隨著這些模型在越來越廣泛和重要的應用中部署，越來越多的關注點集中在它們的局限性上。盡管許多當前的模型在某些領域可以實現超越人類的表現 [SHM+16]，它們仍然存在一些人類不會表現出的缺陷。這些問題包括缺乏對分布外數據的魯棒性 [SZS+14]、缺乏對不確定性的考慮 [GPSW17]，以及私人信息的泄露 [KR19]。

在本論文中，我們的目標是開發解決這些缺陷的方法，涵蓋多種機器學習問題和應用領域。特別是，我們首先專注于改進貝葉斯機器學習，這是一種在參數估計中超越最大似然估計的傳統方法。在后續部分中，我們在強化學習和序列建模中引入了替代的訓練方法。正如下文所討論的，這些方法也可以看作是超越最大似然的訓練方法。

1.1 最大似然目標

最大似然目標無疑是今天機器學習中最常用的目標函數，是分類、參數估計和生成建模中占主導地位的方法。簡單來說，給定一個數據集 DDD 和一個由參數 θ\thetaθ 參數化的概率模型 PθP_\thetaPθ，為數據集中的元素分配概率，最大似然目標尋找： θ?=arg?max?θEx～D[log?Pθ(x)]. 然而，最大似然目標并不總是機器學習從業者的顯而易見的選擇。在早期的分類研究中 [LeBB+98]，非基于似然的目標函數常常被使用。在早期關于神經網絡機器學習的教材中 [Bis95]，提出了幾種損失函數，包括平方和目標。實際上，在2010年代中期，生成對抗網絡 [GPM+14] 開始采用非似然損失。然而，最大似然目標逐漸成為今天機器學習中的主要目標函數。其原因有很多。首先，MLE方法在概率論上非常有依據，因為它與最小化KL散度是等價的。

DKL(PD∥Pθ) = Ex～D [log PD(x) ? log Pθ(x)] = ?Ex～D [log Pθ(x)] + C， 其中PD是數據集D的經驗分布函數（或基礎的群體分布），C是一個不依賴于θ的常數。因此，最大化似然等價于最小化數據分布與由θ參數化的分布之間的KL散度。其次，MLE方法通常非常容易優化。最大化似然只需要從數據集中采樣并計算對數似然的梯度，而這通常可以通過現代自動微分工具包輕松實現 [BFH+20, PGM+19]。相比之下，最小化數據分布與參數化分布之間的其他散度（例如χ2散度）通常要求對數據分布的密度有詳細了解。這種情況通常是未知的，而通過學習分類器近似這種密度的方法（如生成對抗網絡）則需要與θ一起對分類器參數進行對抗性訓練，導致訓練不穩定。

最后，最大似然通常與下游任務目標高度一致。例如，在ImageNet發布后變得流行的分類任務中 [DDS+09]，最大化正確標簽的概率正是訓練分類模型的目標。 然而，最大似然目標并不總是最合適的選擇。不幸的是，采用非基于似然的目標通常是具有挑戰性的。在現代機器學習中，方法的可擴展性和優化的便捷性是所有方法的重要考慮因素。我們面臨的挑戰是：找到超越最大似然方法的技術，同時保持數據效率、易于通過梯度下降優化，并具備計算擴展性。為了解決這個問題，我們利用了一些在本論文中提出的關鍵技術：變分推理用于神經函數逼近下的貝葉斯推斷，連續松弛和路徑梯度估計器用于減少優化中的方差，以及將問題重新參數化為更易處理的等價形式。 本論文分為兩部分，但有一個共同的目標：開發超越典型MLE方法的技術。在第一部分中，我們研究了貝葉斯機器學習的改進，尤其在數據較少的情況下，由于數據集的有限性，關于θ的值可能存在相當大的不確定性。首先，我們開發了一種使用正則化流計算高維積分的新方法，并將其應用于計算貝葉斯定理中的歸一化函數。然后，我們將變分推理應用于因果發現問題，解決了在復雜有向無環因果圖集中構建后驗分布的挑戰。 在第二部分中，我們研究了在序列任務中超越最大似然的替代訓練方法。首先，我們研究了在強化學習中執行隱私約束的問題。這需要控制策略生成的軌跡分布，以確保它們不會泄露有關私有狀態變量的信息。最后，我們解決了基于序列數據的自回歸模型訓練問題。我們將任務重新表述為模仿學習任務，從而可以有效地最小化與數據分布的不同散度。超越MLE方法還為生成過程提供了額外的靈活性，我們通過允許回溯來增強生成過程。

1.1.1 改進貝葉斯機器學習

在參數估計的設定中，我們有一個數據集D，并希望推斷感興趣的參數θ。例如，我們可能有一組(x, y)對，并希望推斷可能的線性關系的斜率，在假設數據生成y = θx + ?（其中? ～ N(0, σ)）的情況下。最大似然估計給出了使Ex～D [Pθ(x)]最大的θ值，也可以寫作P(D|θ)。實際上，我們通常想要得到的是P(θ|D)，即在給定數據集的情況下θ的后驗概率。根據貝葉斯定理，我們知道P(θ|D) = P(D|θ)P(θ)/P(D)，其中P(θ)是θ的先驗分布，P(D)是歸一化常數。只要θ可以從數據中識別，并且先驗分布對θ的真實值有密度，那么在足夠的數據情況下，最大似然解將收斂于后驗分布的眾數。然而，在數據有限的情況下，得到完整的后驗分布通常非常重要，而不僅僅是最大似然值。后驗分布可以指示對θ估計的不確定性，這在做出最優決策時非常有用。 然而，精確計算后驗分布通常是不可行的，因為它需要計算歸一化常數P(D) = ∫ΘP(D|θ)P(θ)dθ。當θ的維度超出適度范圍時，由于維度詛咒，進行這種積分變得極其困難。在論文的第一個貢獻中，我們通過隨機采樣域的子集并估計每個子集的積分值來解決這個問題。雖然這是無偏的，但這種方法在典型目標函數下具有極高的方差，因為它們集中在域的一個小體積內。我們通過使用正則化流解決這個問題，正則化流是一種靈活的變換家族，可以在保持體積的同時在空間之間映射。這使我們能夠學習一個可逆映射，將[0, 1]d映射到積分域上，構造該映射，使得在[0, 1]d上的均勻分區通過正則化流映射后在積分域上生成具有大致相等積分量的（非均勻）分區。這大大降低了估計器的方差。通過改變分區的數量，我們可以在重要性采樣估計器（在無限多的小分區的極限下）和變分下界（在單個分區的極限下）之間平滑插值。

在這一部分的第二個重點中，我們將變分推理應用于從數據中推斷線性高斯結構方程模型（SEM）的問題。結構方程模型是一種特定類型的因果圖，配備了因果解釋的有向邊。在線性高斯SEM中，條件概率分布是高斯分布，均值由圖中變量的父節點的線性函數給出。盡管這個設定受到了限制，但在這種設定中進行變分推理仍然具有挑戰性。主要問題是網絡必須是一個有向無環圖（DAG），這是在鄰接矩陣空間中的一個復雜約束。我們通過將DAG權重矩陣重新參數化為P LP?來解決這個問題，其中L是下三角矩陣，P是置換矩陣。這使我們能夠應用關于置換的松弛的最新研究 [MBLS18]。我們發現我們的方法能夠恢復與真實數據生成圖非常相似的圖，并且表現優于基線方法。

1.1.2 在序列任務中超越KL散度

在論文的第二部分中，我們從序列建模和強化學習（RL）設定的角度，探索了超越最大似然的訓練方法。如上所述，最大似然等價于KL散度最小化。實際上，正如 [Lev18] 中所描述的，我們可以將傳統的強化學習目標視為在熵獎勵的條件下最大化回報的過程，這等價于最小化由策略引發的分布與按軌跡獎勵加權的分布之間的KL散度。

在這一部分的第一個章節中，我們研究了在滿足信息披露約束的情況下最大化回報的任務。例如，參與管理CEO日程的算法可能擁有私人信息，在安排會議時不應泄露這些信息，或者游戲策略可能包含一些應該保密的有用信息。這表現為對對手從策略行動中推斷私有信息的能力的約束——為了隱藏私有信息，可能有必要采取次優行動（從減少回報的角度）。我們將其表述為對私有狀態變量與策略行動之間互信息的約束，并使用對抗訓練的批評者來試圖發現這些私有信息。我們進一步通過引入可微分模擬器擴展了這一方法，使我們首次能夠將私有強化學習擴展到高維模擬機器人任務。

在這一部分的最后一章中，我們解決了自回歸序列建模的傳統問題。通常這被表述為最大似然問題：對于由一系列標記構建的序列x1，目標是最大化似然PL1 log Pθ(xi|x<i)。這等價于最小化數據的經驗分布與由自回歸模型Pθ引發的分布之間的KL散度。然而，越來越多的模型用于生成任務，即自回歸地采樣一系列標記，如x1 ～ Pθ(·)，x2 ～ Pθ(·|x1)，依此類推。如果模型Pθ與基礎數據分布完全匹配，這將導致從真實的序列分布中采樣。然而，對于不能完全匹配數據分布的有限容量模型，最大化似然不一定會導致最理想的自回歸序列分布。我們將任務重新表述為模仿學習任務，從而能夠有效地最小化與數據分布的不同散度。此外，超越MLE方法為生成過程提供了額外的靈活性，我們通過允許回溯來增強生成過程。我們將該方法擴展到具有超過70億參數的Llama-2-7B語言模型 [TMS+23]，并且性能優于可比方法。

遷移學習是一種機器學習（ML）范式，通過利用其他任務中的“知識”來提高對目標任務的性能。這項技術已成為推動機器學習模型能力邊界擴展的關鍵動力。當前的公式相對簡單——在大量遷移任務數據上訓練一個大型模型；然后將所學的模型零樣本或經過適應性調整后應用于目標下游任務。這篇論文認識到，這些強大的模型并不是在真空中開發的，而是需要大量資源來訓練和部署。因此，有許多突出的問題和研究社區被現狀所忽視。在這篇論文的第一部分中，我們將專注于數據高效遷移學習的訓練時間問題。我們將從一個常見的ML情境出發，論證利用目標下游任務的高級知識來指導遷移學習的不同維度。我們將這種方法稱為終任務感知遷移學習。接下來，我們將提出一組新的終任務感知優化算法，這些算法通過偏向數據高效的解決方案來引導學習軌跡，并在終任務上具有較強的泛化能力。我們將以提供一種自動化方法結束這一部分，該方法可以在僅有終任務數據且數據量有限的情況下，構建并搜索與任務相關的遷移目標。 在論文的第二部分中，我們將開發計算和內存高效的遷移學習算法。我們的目標是基于一個已經在遷移任務（或任務集）上預訓練的通用大型模型，提供一個小型且高效但仍具有良好性能的任務特定模型，以供部署。我們將以結構化剪枝為主要技術，研究在兩種資源受限情況下的剪枝：（1）有限的任務數據，在這種情況下，我們將利用額外的遷移任務來學習剪枝結構，在相同的任務性能下，產生計算和內存更高效的模型；（2）內存受限的環境中，許多經典的剪枝技術因需要基于梯度的優化而導致內存開銷過大，從而失效。 本論文的結論部分將通過基于我們的既往工作，提出更多未來在資源高效遷移學習領域的研究方向，并建議一些新的研究分支。 機器學習（ML）模型變得越來越強大，導致它們在許多任務領域（Gururangan等，2020a；Liu等，2022）、數據模態（Team等，2023；McKinzie等，2024）和最終用戶應用（Bommasani等，2021；Maslej等，2023）中的廣泛采用。可以說，這一驚人增長速度的關鍵驅動力之一是遷移學習。在遷移學習中，我們通過利用來自不同但希望相關任務的知識，來提高對目標任務（或任務集）的性能（Bozinovski和Fulgosi，1976；Pratt，1992；Ruder等，2019）。我們希望解決的許多終任務數據有限，或者過于復雜，無法通過實際數量的監督樣本直接指定或學習。遷移學習不僅通過提供代理數據，還通過利用這些任務與選定遷移任務之間的結構關系，使我們能夠高效學習復雜任務（Thrun和Schwartz，1994；Baxter，2000）。 盡管取得了成功，現代實現形式的遷移學習可能資源消耗過大。例如，普遍的預訓練后適應范式1。在這種方法中，越來越大的模型首先在越來越多的數據上進行訓練，這些模型最終通過微調（Devlin等，2018；Abnar等，2021）、提示（Brown等，2020a；Liu等，2023）或基于人類反饋的強化學習（RLHF）（Christiano等，2017）適應于大量下游任務。GPT-4（Achiam等，2023）作為這一范式下的一個流行模型，據傳其參數數量超過1.7萬億2，估計訓練時使用了超過10萬億個標記；總共超過1e25次浮點運算（當時約為1億美元）。盡管這些巨大的訓練成本通常被認為可以通過未來的多個終任務攤銷，但如此龐大的模型在部署時會帶來顯著的內存、延遲、計算和能源負擔，從而引發了對資源節約程度的真正質疑。 本論文致力于探索資源高效的遷移學習技術。我們認識到，不僅存在廣泛的資源受限的ML實踐者，還有許多任務在訓練和部署時都有內在的資源限制（例如，在邊緣設備上執行的任務往往受到內存限制）。即使對于有能力訓練和使用大型模型的機構，資源高效的遷移學習也可以帶來顯著的財務節省，并減少通過二氧化碳排放對環境造成的壓力（Ligozat等，2022）。 本論文關注三個主要的資源維度：數據、計算和內存，以及它們在訓練和部署時的使用。我們的目標是在訓練和測試時實現資源高效的前提下，生成表現出色的模型（包括任務特定的指標，如準確率或F1）。我們將利用的一個基礎性見解是，ML實踐者通常對模型將用于的終任務有一定程度的先驗意識。這種終任務感知使我們能夠做出明智的設計決策，從而在資源節約的情況下生成高效且強大的模型。簡而言之，本論文基于以下問題陳述： 給定一個特定的終任務T?，我們如何通過利用一組遷移任務Taux，在資源高效的情況下生成滿足T?各種性能標準的模型？ 終任務感知遷移學習的概念本身并不新穎。以往的工作已經在解決復雜規劃問題（Stone和Veloso，1994）、提高支持向量機性能（Wu和Dietterich，2004）和構建貝葉斯線性回歸的先驗（Raina等，2006）等方面探索了不對稱遷移。我們感興趣的是擴展現有文獻，并開發適應于新的、深度學習主導的時代（LeCun等，2015；Goodfellow等，2016）的新方法。與以往的工作不同，我們不僅關注提高任務指標，如準確率或困惑度，我們還關注在資源高效的情況下實現這些改進。下面，我們將提供本論文中不同工作部分的高層次概述，并說明它們與我們定義的目標的關系。

與機器學習系統不同，人類可以從少數示例中學習新概念，并有效適應變化的環境。機器學習系統通常需要大量數據來學習類似的概念或適應變化。這是因為它們缺乏領域特定的先驗知識（也稱為歸納偏差）。為了應對這些缺點，元學習旨在通過數據驅動的方式獲得領域特定的歸納偏差，通常是從一組相關數據集中獲得。文獻中的大多數現有元學習方法依賴于豐富的領域或問題特定的數據集。然而，在實踐中，我們通常只能獲取有限數量的此類數據集。因此，在本論文中，我們探討了如何僅從少量數據集中成功進行元學習。為了解決這個問題，我們開發了一個理論框架來理解元學習中的泛化。在此基礎上，我們提出了一類可擴展的算法，這些算法通過原理性的元級正則化來進行元學習先驗，防止數據集的過擬合。然后，我們研究了確保元學習先驗提供可靠不確定性估計的方法，使其適用于交互學習。為此，我們提出了一種在函數空間中的正則化方案，并證明所得到的元學習方法在貝葉斯優化中顯著提高了效率。隨后，我們將該方法擴展到安全約束設置中。此外，我們引入了一種基于模型的元強化學習方法，用于有效地適應控制策略的變化動態。最后，我們提出了一種新的元學習框架，該框架直接逼近數據生成的隨機過程。由于它完全在函數空間中進行元學習，因此不會受到神經網絡高維參數空間中先驗問題的影響。在整個論文中，我們通過醫療保健、分子生物學和自動化機器學習（AutoML）以及機器人控制等實際應用，實驗證明了我們提出的方法的實際有效性。

當前流行的機器學習范式涉及對每一個新任務使用靜態數據集訓練一個獨立模型。與之相反，人類會隨時間積累知識，終身學習范式旨在通過使系統能夠持續地從一系列任務中學習，并保留過去的知識以實現未來學習的高效性，來模擬這一過程。這種范式還提供了諸如避免定期模型訓練、潛在地減少計算和能源需求、以及促進環保的綠色人工智能等優勢。在現代機器學習中，盡管深度神經網絡功能強大，但面臨如災難性遺忘（在新任務學習中丟失先前任務的知識）和負面干擾（先前學到的知識阻礙新任務學習）等挑戰。這些問題源于穩定性-可塑性困境，這需要在保留過去知識（穩定性）與獲取新知識（可塑性）之間找到正確的平衡。高效的終身學習系統必須解決這一困境，以及其他考慮，如支持在線數據流、利用小型且固定的內存緩沖容量（如果有的話）和從未標記的數據流中學習。

在本文中，我們從生物學習過程和深度學習的最新進展中獲得靈感，以實現高效的終身學習系統。我們提出將歸納偏置注入數據驅動機器學習的三個主要組成部分：模型（架構與初始化）、訓練（目標與優化）和數據。本論文分為三個部分，每個部分對應以上一個組件。在第一部分中，我們探索了預訓練初始化的角色，揭示了它們與隨機初始化相比在減輕遺忘方面的隱性優勢。接下來，我們設計了一個參數高效的專家架構，該架構動態擴展學習容量以解決穩定性-可塑性困境。在第二部分中，我們展示了針對平坦極小值的顯式優化如何改善網絡穩定性，并引入了一個元學習目標以平衡穩定性與可塑性。第三部分深入探討了終身半監督學習，通過復習偽標記數據來解決穩定性-可塑性困境。我們以從終身學習的角度檢驗預訓練結束，展示通過將上述策略應用于模型的（持續）預訓練，如何增強其性能。

在過去的十年中，訓練硬件的進步和大數據集的可用性使得深度神經網絡在機器學習領域取得了顯著進展。這些網絡在許多自然語言處理和計算機視覺任務中達到或超過了人類水平的表現，例如機器翻譯（Lepikhin et al., 2021）、問答（Du et al., 2022; Chowdhery et al., 2023）、開放式對話生成（Ouyang et al., 2022）、對象檢測和圖像生成（Lu et al., 2023），這些評估是基于獨立同分布（i.i.d）的保留數據進行的。然而，當這些網絡應用于數據分布隨時間變化的現實情況時，它們的表現往往會變差（Lazaridou et al., 2021）。它們失敗的主要原因是當前的機器學習方法專注于孤立學習（Chen and Liu, 2018），即使用靜態數據集為每個新任務或一組相關任務訓練一個單獨的網絡。一種保持這些網絡更新的方法是每當新信息變得可用時就從頭開始重新訓練它們。然而，先前訓練所用的數據可能因隱私或存儲限制而只是暫時可用（Farquhar and Gal, 2018）。此外，重新訓練方法可能在計算上昂貴，數據效率低，且耗時長，尤其是對于大型網絡。例如，GPT-3（Brown et al., 2020），一個具有175B參數的自回歸語言模型，訓練了499B個標記，使用的計算量相當于3.14e23次浮點操作，如果在單個NVIDIA Tesla V100 GPU上訓練，將需要355年和460萬美元的成本。另一種方法是連續地隨著新信息的到來更新網絡。然而，深度神經網絡和一般的參數模型容易發生災難性遺忘（McCloskey and Cohen, 1989; Ratcliff, 1990; French, 1999）現象。在這種現象中，網絡在新信息被整合進系統時會忘記或覆蓋之前學到的知識。此外，這些網絡可能會經歷負面干擾（Pan and Yang, 2009; Weiss et al., 2016）現象，即先前學到的知識可能會妨礙新事物的有效學習，從而增加了數據需求。這兩種現象都源于穩定性-可塑性困境（Mermillod et al., 2013）。穩定性與保留過去的知識有關，可塑性與學習新知識有關。需要一種平衡，因為過多的穩定性會阻礙新知識的獲取，而過多的可塑性會導致忘記以前的知識。這一困境使得當前網絡難以更新其知識，并有效地適應新任務的增量學習。

與此相反，我們人類的學習方式則大不相同。我們通過在一生中獲取和更新知識來學習，保留以前學到的知識，并利用它來促進新概念和技能的有效學習。受到這種人類學習過程的啟發，終身學習（Thrun and Mitchell, 1995; Thrun, 1995; Chen and Liu, 2018）或增量學習（Solomonoff et al., 1989; Syed et al., 1999; Ruping, 2001）或永不停止的學習（Mitchell et al., 2018）或連續學習（Parisi et al., 2019）范式旨在開發能夠從持續的數據流中學習的系統，理想情況下保留過去的知識，用新信息更新它，并利用它進行后續學習。此外，研究人員也認識到終身學習能力對于實現人工通用智能的進展至關重要（Silver, 2011; Chen and Liu, 2018; Yogatama et al., 2019）。除了與生物學習相似之外，終身學習范式還有潛力通過消除過度模型重新訓練來減少能源浪費，并實現環保和可持續的綠色人工智能（Hazelwood et al., 2018; Strubell et al., 2019; Schwartz et al., 2020）。終身學習范式還與其他知識轉移相關的范式有關，如轉移學習（Pan and Yang, 2009）和多任務學習（Caruana, 1997）。與這兩個范式不同的是，終身學習范式更為通用；它假設對任務的順序訪問，旨在改善對先前任務的表現（理想情況下是積極的后向轉移或消極的遺忘）和新任務的表現（積極的前向轉移）。當前的轉移學習范式主要關注從以前的任務到新任務的單向知識轉移，即使這可能損害先前學到的任務的表現。另一方面，多任務學習假設同時訪問所有任務的數據，并通過使任務之間的知識共享來改善所有任務的表現。此外，即使在單任務學習設置中，神經網絡也顯示出經歷災難性遺忘的情況（Toneva et al., 2019），這突出了終身學習范式不僅限于多任務場景。即使是任務的概念在終身學習范式中也非常開放。例如，考慮一個終身COVID-19命名實體識別（NER）標記器。任務有三種不同的表現形式 - （i）分類任務，如實體塊、實體檢測、實體鏈接、共指解析和關系提取，（ii）針對2020、2021、2022、2023年COVID-19研究文章的不同領域的NER，（iii）針對COVID-19變種如COVID-Alpha、COVID-Beta、COVID-Omicron的演化類別的NER。這些表現形式對應于終身學習的三個突出場景：任務、領域和類別增量學習（Van de Ven and Tolias, 2019）。除了解決災難性遺忘之外，終身學習系統還有幾個其他目標（Biesialska et al., 2020）。人類能夠迅速從持續的對話中學習新信息，而不需要明確的主題邊界（Chen and Liu, 2018）。我們有選擇地保留過去的經驗在我們有限的記憶容量中以防止遺忘，并在需要時稀疏地回放它們（Ratcliff, 1990; McGaugh, 2000）。此外，我們經常從環境中以無監督的方式學習，而不是依賴于明確的監督（Aljundi, 2019）。相比之下，當前的終身學習系統（Biesialska et al., 2020）需要明確的任務邊界，它們依賴于大內存容量，因此數據效率低，且在計算上昂貴，因為它們需要對標記數據進行多次傳遞。為了更有效地模仿人類學習，有必要開發在更現實的假設下運行且在數據、記憶和計算上更高效的終身學習系統（Farquhar and Gal, 2018）。 在本論文中，我們的目標是設計高效的終身學習系統，這些系統可以減輕之前學到的知識的災難性遺忘，并通過在現實假設下運行來促進未來的學習。受到生物學習過程和深度學習的最新進展的啟發，我們提議將適當的歸納偏見注入數據驅動機器學習的三個主要組成部分：模型、訓練和數據。通過這樣做，我們還希望提高終身學習系統在數據、內存和計算需求方面的效率。

當在非結構化和半結構化環境(如倉庫、住宅和零售中心)中操作時，機器人經常需要從雜亂的箱子、貨架或桌子中交互式地搜索和檢索特定的對象，這些對象可能部分或完全隱藏在其他對象后面。我們將此任務定義為機械搜索，其目標是在盡可能少的操作中檢索到目標對象。在這些場景中，由于傳感器噪聲、遮擋和未知物體特性的存在，魯棒地感知和操作目標具有挑戰性。由于這些感知和操作挑戰，從數據中學習端到端的機械搜索策略變得非常困難。相反，我們將機械搜索策略分成三個模塊，一個感知模塊從輸入觀察中創建一個中間表示，一組低級操作原語，以及一個高級操作選擇策略，該策略根據感知模塊的輸出迭代選擇要執行的低級原語。我們探索了在操作原語方面取得的進展，如推和抓取，帶有未知對象的場景分割和占用分布預測，以推斷目標對象的可能位置。此外，我們證明了使用模擬的深度圖像或點云可以為感知網絡快速生成大規模的訓練數據集，同時允許它們泛化到真實世界的對象和場景。結果表明，在模擬和物理實驗中，與基準策略相比，集成這些組件可以產生一個高效的機械搜索策略，提高15%的成功率，并減少提取目標對象所需的操作次數。

深度神經網絡(DNNs)使計算機能夠在許多不同的應用中脫穎而出，如圖像分類、語音識別和機器人控制。為了加快DNN的訓練和服務，并行計算被廣泛采用。向外擴展時，系統效率是一個大問題。在分布式機器學習中，高通信開銷和有限的設備上內存是導致系統效率低下的兩個主要原因。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-83.html

本文研究了在分布式機器學習工作負載下，在數據和模型并行性方面減輕通信瓶頸并實現更好的設備上內存利用的可能方法。

在通信方面，我們的Blink項目緩解了數據并行訓練中的通信瓶頸。通過打包生成樹而不是形成環，Blink可以在任意網絡環境中實現更高的靈活性，并提供近乎最佳的網絡吞吐量。為了消除模型并行訓練和推理過程中的通信問題，我們從系統層上升到應用層。我們的sensAI項目將多任務模型解耦到斷開的子網中，其中每個子網負責單個任務或原始任務集的子集的決策制定。

為了更好地利用設備上的內存，我們的小波項目有意增加任務啟動延遲，在加速器上的不同訓練任務波之間交錯使用內存峰值。通過將多個訓練波集中在同一個加速器上，它提高了計算和設備上的內存利用率。