亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

多模態學習使神經網絡能夠處理和整合來自不同感知模態（如視覺、語言和聲音）的信息，在情感計算、醫療健康和高級多模態聊天機器人等應用中日益重要。盡管多模態學習具有廣闊的潛力，但仍面臨諸多挑戰，尤其是在數據效率方面。構建高質量的大規模多模態數據集的需求構成了巨大的障礙，限制了大規模多模態模型的可擴展性和可獲取性。 本論文研究了數據高效的深度多模態學習中的關鍵問題，重點關注不均衡的多模態數據選擇、多模態主動學習中的冷啟動問題，以及大型視覺-語言模型（VLMs）中的幻覺問題。 首先，我們分析了傳統主動學習策略的局限性，這些策略往往偏向于主導模態，導致模型在訓練過程中忽略較弱的模態，從而形成不平衡的多模態表示。為了解決這一問題，我們提出了一種梯度嵌入調制（gradient embedding modulation）方法，以確保數據選擇過程中對不同模態的公平性，從而提升模型對強模態和弱模態的均衡利用能力。 基于我們在熱啟動（warm-start）主動學習方面的研究，我們進一步研究了多模態主動學習中的冷啟動（cold-start）問題，即在沒有初始標注數據的情況下如何有效進行數據選擇。為此，我們提出了一種兩階段方法：

1. 多模態自監督學習：通過使用單模態原型（unimodal prototypes）來統一不同模態的表示，從而縮小模態間的表示差距。
2. 數據選擇階段：引入正則化項以最大化模態對齊度，在不增加數據量的前提下提升模型性能，相較于現有方法取得了更優結果。

在從數據選擇擴展到訓練數據利用的研究中，我們進一步探討了大型視覺-語言模型（VLMs）中的幻覺（hallucination）問題，即模型在生成內容時產生與輸入圖像上下文不符的錯誤信息。我們研究了幻覺現象與視覺依賴性（visual dependence）之間的關系，揭示了某些特定 token 對幻覺的貢獻遠高于其他 token。基于這一發現，我們提出了一種訓練權重調整策略，根據 token 的視覺依賴性來調整訓練過程中的權重分配，從而在無需額外訓練數據或推理成本的情況下有效降低幻覺率。 本論文的貢獻在于推動數據高效的多模態學習，通過優化多模態數據選擇、解決冷啟動問題，以及減少大型視覺-語言模型中的幻覺，本研究為更實用、可擴展的多模態學習系統奠定了基礎，使其在降低數據和計算成本的同時提升模型性能。

//arxiv.org/pdf/2411.17992

機器學習，特別是神經網絡，現如今廣泛應用于許多領域，如貸款評估、搜索結果和招聘推薦。這些系統通常提供自動化決策，影響著大多數人的生活。近年來，自然語言處理（NLP）應用特別受到關注，尤其是非常高效的通用模型的出現，特別是聊天系統，這些系統現在被廣泛使用，甚至普通公眾也能直接使用它們。

不幸的是，這些系統并非沒有缺陷。僅在招聘系統中，就有性別歧視的案例，比如簡歷中“國際象棋俱樂部成員”受到青睞，而“女性國際象棋俱樂部成員”則被忽視，或者某些系統認為計算機科學學位是醫院打字員的必要資格。雖然前者可能通過分析模型的性別偏差并加以修正來緩解，但后者過于具體，可能只能通過解釋模型的預測來揭示。 可解釋性 是一個研究領域，致力于用人類可以理解的術語解釋模型和數據集。其目標通常是防止不良行為，正如上述例子所示。不幸的是，這個領域經常面臨提供錯誤解釋的問題，即解釋并未反映模型的真實情況。例如，解釋表明哪些輸入詞語很重要，可能并不比隨便指出隨機詞語更有價值。當解釋真實反映模型時，這種解釋被稱為“忠實解釋”。 不幸的是，衡量一個解釋是否忠實（忠實度指標）非常具有挑戰性，因為我們無法得到真實的標準答案。一個重要的原因是，模型通常太復雜，人類難以理解，因此無法判斷解釋是否忠實于模型。更糟糕的是，設計不當的忠實度指標可能會給出錯誤的信心，而錯誤的解釋則可能會給出對模型行為的虛假信心。因此，本論文的核心研究問題是：“如何為復雜的通用神經網絡自然語言處理模型提供并確保忠實的解釋？” 在可解釋性領域，目前有兩種主要的范式來回答這個問題：內在范式和后驗范式。 內在范式認為“只有在架構上設計為可以解釋的模型才能被解釋”，而后驗范式認為“可以且應該在模型訓練完成后生成解釋，以避免任何性能影響”。 通過分析現有文獻并提出新的忠實度指標，本論文認為這兩種范式都未能取得有效的進展。后驗解釋的忠實度經常受到批評，而內在模型要么實際上并非內在的，要么由于過于受限，無法成為高性能的通用模型。 因此，本論文假設該領域應通過結合兩種現有范式的優點，發展出新的范式來回答核心研究問題。具體來說，本論文設計了無需架構約束的可解釋模型，這樣這些模型仍然是通用且高性能的。特別地，本文提出了兩種潛在的范式，即“忠實度可度量模型”（FMMs）和“自解釋”。FMMs直接回答核心研究問題，而自解釋目前尚未完全解答該問題，但可能在未來解決。 忠實度可度量模型（FMMs） 是本論文提出的新范式，它將內在范式的“設計可解釋的模型”重新表述為“設計能夠便捷且可靠地測量忠實度的模型”。如本論文所示，這比內在范式提出的目標要容易得多，因為它不要求架構約束。該范式的具體展示應用于重要性度量——即指出每個輸入特征在做出預測時的重要性。對于這類解釋，FMMs只需對訓練過程進行小幅修改，即在訓練時隨機屏蔽輸入標記。 這種訓練過程使得我們可以使用忠實度擦除指標：“如果一個特征確實重要，那么如果去掉該特征，模型的預測應該會發生顯著變化。” 這個指標不能應用于任何模型，因為去除特征（例如詞語或標記）會導致分布外問題。然而，這種FMM支持去除特征，因此使得該指標得以應用。由于現在忠實度測量變得既便宜又可靠，因此可以優化解釋，以達到最大的忠實度。因此，FMMs變得間接地內在可解釋，但無需架構約束，并且還回答了如何衡量忠實度，從而回答了核心研究問題。 自解釋 是另一種新興范式，這些解釋直接作為模型的輸出生成。這類解釋因聊天系統的興起而變得流行，這些系統通常會以自然語言的形式闡明它們發出的解釋。然而，由于自解釋的自由形式，評估其忠實度極為困難。此外，由于這些模型也存在幻覺問題，因此有充分的理由對此保持懷疑。盡管如此，這些解釋仍然非常普遍，并且常常被當作真理接受，包括研究人員在內。為了評估這一新范式的可行性，本文還提出并評估了自解釋的忠實度指標。研究結果表明，類似于后驗解釋，它們是模型和任務相關的。 本文還研究了后驗和內在解釋的忠實度，發現結論與模型和任務的依賴性相同。然而，當使用忠實度可度量模型時，即便使用相同的后驗解釋方法，且在相同的數據集和基礎模型上，也得出了不同的結論。 這得出一個總體結論：忠實度默認是依賴于模型和任務的。然而，即便是對模型進行簡單修改，如隨機屏蔽訓練數據集（如在忠實度可度量模型中所做的），也能極大地改變局面，從而得到一致忠實的解釋。我們提供了一些建議，說明如何也可以通過自解釋來實現這一點。此外，利用忠實度可度量模型，本文證明了有可能確定新的可解釋性范式，克服過去的局限，并回答如何為復雜的通用神經網絡自然語言處理模型提供并確保忠實的解釋這一核心研究問題。

隨著基礎模型（包括大規模視覺語言模型）的最新進展，許多研究者探討了將多模態數據作為視覺問答輸入的結合方法。在醫療領域，視覺問答的一個關鍵應用是自動化醫學報告生成，其中可能提供胸部X光圖像和患者基于文本的癥狀數據，目的是生成相關的醫學報告。然而，很少有研究分析這些模型與單模態微調的大型語言模型（LLM）的性能差異，更少有研究比較這些多模態模型在提供癥狀信息作為輸入時的表現。此外，過去的研究通常使用簡單的評估指標，如n-gram重疊（例如BLEU和ROUGE分數），這些指標對于能夠生成不同句子但具有相同語義意義的生成式基礎模型并不有效。 本文的主要貢獻有兩個。首先，我們比較了多種醫學報告生成方法在胸部X光醫學報告數據集上的表現，包括單模態微調的醫學LLM、沒有癥狀數據的多模態模型和包含癥狀數據的多模態模型。其次，我們引入了四種新的評估指標，用于評估生成醫學報告與參考醫學報告之間的相似性，分別為：單詞對、句子平均、句子對和句子對（生物）。我們的結果表明，針對醫學報告生成的多模態方法遠優于單模態方法，且提供癥狀數據略微提高了生成報告的準確性。我們還發現，我們新提出的句子對評估指標比所有之前的指標更能準確衡量生成報告與參考報告之間的相似性，這一點通過全面的定量和定性案例研究對比得到了證實。 這項研究從根本上推動了醫學報告生成的前沿，進一步增強了使用多模態模型和癥狀輸入的準確性優勢，并引入了幾種更為全面、定制化的評估生成醫學報告的評分指標。

在過去十年的繁榮發展之后，視頻理解的研究已到達一個關鍵的節點，單純依賴海量數據和復雜的架構已不再是適用于所有情況的萬能解決方案。數據不平衡的普遍存在阻礙了深度神經網絡（DNNs）有效學習潛在的因果機制，導致在遇到分布變化時（如長尾不平衡和擾動不平衡）性能顯著下降。這一現象促使研究者開始探索替代方法，以捕捉視頻數據中的因果模式。為了應對這些挑戰并提高DNNs的魯棒性，因果建模作為一種原則被提出，旨在發現觀察到的相關性背后的真實因果模式。

本文主要研究視頻語義理解領域，探索因果建模在推進兩個基礎任務中的潛力：視頻關系檢測（Video Relation Detection, VidVRD）和視頻問答（Video Question Answering, VideoQA）。

總結來說，本論文的主要貢獻如下：

• 我們提出了一種干預性視頻關系檢測方法，稱為IVRD，旨在解決VidVRD中關系的長尾不平衡問題。盡管尾部關系具有信息性，但由于其在數據集中稀少，難以預測。我們特別提出了一套分層的關系原型，這迫使關系推理模塊關注實體之間動態交互的視覺內容，而非依賴于對象與關系標簽之間的偽相關性。通過引入因果推理，IVRD為改善長尾不平衡情況下的視頻理解提供了一個有前景的方向，使模型能夠更好地泛化到現實世界場景中，特別是在稀有或不常見的關系在場景理解中扮演關鍵角色時。
• 我們引入了一種視頻問答中的不變性定位方法，稱為IGV，這是一種與模型無關的學習框架，旨在解決由答案-環境之間的偽相關性帶來的負面影響。IGV通過定位問題關鍵的（因果）場景，發現因果推理模式。具體而言，IGV利用了因果場景與答案之間的關系在環境變化時仍保持不變這一事實，并且去除因果場景應導致問題回答失敗。通過定位這些關鍵場景，IGV使VideoQA模型能夠專注于準確推理所需的視覺內容，同時避免環境負面的影響，從而顯著提升了模型的推理能力。
• 我們提出了視頻問答中的等變性定位方法EIGV，進一步增強了魯棒性和視覺可解釋性。基于IGV，EIGV還引入了等變性，促使回答過程對因果場景和問題中的語義變化更為敏感。相較之下，不變性定位要求回答過程對環境場景的變化不敏感。這兩種正則化機制協同工作，區分因果場景與環境場景，并通過呈現視覺-語言對齊提供更多的透明性。通過結合不變性和等變性定位的優勢，EIGV創建了一個更加魯棒且可解釋的VideoQA框架。
• 我們發現了視頻問答中的時空推理，解決了長視頻和多對象樣本（即復雜視頻問答）上的低準確性問題。現有的VideoQA實踐（包括預訓練模型如SeVila [162]）大多是在短視頻片段（約15秒）和少數實體（約2個）上進行訓練的，因此在復雜視頻（超過80秒且包含5個以上對象）上表現較差。原因在于長視頻不可避免地引入大量冗余和偽相關性，因為許多與問題無關的環境對象存在。為應對這一挑戰，我們首先強調建模問題關鍵的時間片段和空間對象的重要性，接著提出了時空推理（Spatio-Temporal Rationalization, STR）方法，通過可微選擇模塊自適應地收集問題關鍵的時間片段和對象，并通過跨模態交互進行推理。結合更合理的候選答案解碼策略，STR有效識別出與問題無關的幀和對象作為因果模式，尤其在復雜場景下顯著改善了預測性能。

本文的一個局限性在于對所識別因果場景的評估。在整個研究過程中，我們依賴于問題回答（QA）總體性能作為所發現因果場景質量的間接指標，基于這樣一個推理：更準確地定位因果場景可能會提供更豐富的問題-關系視覺線索，從而提升QA性能。然而，值得注意的是，基于因果場景的直接量化指標將提供更具說服力的見解。遺憾的是，由于缺乏人類級別的定位標注，當前工作中未能實現這種度量。因此，未來的研究將著力建立一個專門針對因果場景的評估基準，涉及對回答過程所依賴的視覺元素進行人類標注。這一舉措將有助于更全面和嚴格地評估因果場景的發現。

總之，本文的貢獻拓展了因果建模在視頻語義理解中的前沿應用，賦能AI系統掌握因果模式，并在應對視頻理解挑戰任務中提升性能。

理解圖像內容是許多應用的重要組成部分，例如自動駕駛、增強現實、機器人、醫學影像和遙感。隨著深度神經網絡的突破，語義圖像理解在過去幾年中取得了顯著進展。然而，神經網絡需要大量標注數據才能進行適當訓練。由于大規模真實世界數據集的標注成本高昂，網絡可以在具有現成或較低成本標注的數據集（如自動標注的合成數據）上進行訓練。然而，神經網絡通常對領域偏移（domain shifts）敏感，因此在與訓練數據不同的領域中表現較差。因此，無監督領域適應（UDA）和領域泛化（DG）方法的目標是使在源域（例如合成數據）上訓練的模型在未標注或甚至未見過的目標域（例如真實世界數據）上表現良好。

大多數UDA/DG研究專注于設計適應和泛化技術以克服領域偏移的問題。然而，學習框架中其他方面對領域魯棒性的影響大多被忽視。因此，我們從更全面的角度研究領域魯棒性，探討不同學習框架方面對UDA和DG的影響，包括網絡架構、通用訓練方案、圖像分辨率、裁剪大小和上下文信息。特別是，我們解決了現有DG和UDA方法中的以下問題：(1) 我們研究了最新架構對領域魯棒語義/全景分割的影響，并設計了一種專為領域泛化和領域適應分割量身定制的網絡架構，而不是依賴過時的分割架構來評估DG/UDA策略。(2) 為了避免對源域的過擬合，我們提出了保持先驗知識的通用訓練策略。(3) 為了在DG/UDA增加的GPU內存消耗下實現精細的分割細節，我們提出了一個領域魯棒且內存高效的多分辨率訓練框架。(4) 為了解決目標域的局部外觀歧義，我們提出了一種增強空間上下文關系學習的方法。以下段落詳細介紹了這些貢獻。

由于之前的UDA和DG語義分割方法大多基于過時的DeepLabV2網絡和ResNet骨干網絡，我們對較新的架構進行了基準測試，揭示了Transformer的潛力，并設計了DAFormer網絡架構，專為UDA和DG量身定制。它由分層Transformer編碼器和多級上下文感知特征融合解碼器組成。DAFormer網絡通過三種簡單但至關重要的訓練策略來穩定訓練并避免對源域的過擬合：在源域上進行稀有類采樣，通過緩解自訓練對常見類別的確認偏差，改善偽標簽的質量；Thing-Class ImageNet特征距離和學習率預熱有助于從ImageNet預訓練中轉移特征。通過這些技術，DAFormer在UDA和DG中實現了顯著的性能提升，甚至能夠學習像火車、公交車和卡車等難以分類的類別。

此外，我們研究了全景分割的主要架構設計及其UDA能力。我們表明，之前的全景UDA方法在設計上做出了次優選擇。基于這些發現，我們提出了EDAPS，一種特別為領域適應全景分割設計的網絡架構。它使用一個共享的領域魯棒Transformer編碼器，以促進語義和實例特征的聯合適應，同時針對領域適應語義分割和實例分割的具體需求設計了任務特定解碼器。

雖然DAFormer和EDAPS能夠更好地區分不同的類別，但我們觀察到它們缺乏精細的分割細節。我們將其歸因于使用了下采樣的圖像，導致了低分辨率的預測。然而，直接使用全分辨率圖像在UDA/DG中由于其較高的GPU內存消耗而不可行。使用高分辨率圖像的隨機裁剪進行訓練雖然緩解了這一問題，但在捕捉長程、領域魯棒的上下文信息方面表現不足。因此，我們提出了HRDA，一種用于UDA和DG的多分辨率訓練方法，結合了小型高分辨率裁剪以保留精細分割細節和大型低分辨率裁剪以捕捉長程上下文依賴關系，同時保持可管理的GPU內存占用。HRDA能夠適應小物體并保留精細分割細節，顯著提高了之前UDA和DG方法的性能。

即使有了DAFormer和HRDA改進的區分能力和高分辨率性能，UDA方法在目標域中具有類似視覺外觀的類別上仍然表現掙扎，因為沒有可用的真實標簽來學習細微的外觀差異。為了解決這個問題，我們提出了一個掩碼圖像一致性（MIC）模塊，通過學習目標域的空間上下文關系作為穩健視覺識別的額外線索，來增強UDA。MIC通過對隨機遮蔽的目標圖像的預測與基于完整圖像生成的偽標簽之間的一致性進行約束。為了最小化一致性損失，網絡必須學會從上下文中推斷被遮蔽區域的預測。由于其簡單且通用的概念，MIC可以集成到各種UDA方法中，涵蓋不同的視覺識別任務，如圖像分類、語義分割和目標檢測。MIC顯著提高了不同識別任務和領域差距的最新性能。

總體而言，本論文揭示了在領域魯棒的視覺場景理解中，從網絡架構和通用訓練策略等學習框架的不同方面進行全面考量的重要性。所提出的方法大幅提升了從合成到真實、白天到夜晚、晴朗到惡劣天氣等多個感知任務的領域適應性能。例如，在GTA→Cityscapes的語義分割中，它們實現了+18.4 mIoU的總體提升。超越領域適應，DAFormer和HRDA甚至在更具挑戰性的領域泛化設置中也表現出色，在從GTA泛化到5個未見的真實世界數據集時，性能提升了+12.0 mIoU。實現已開源并可在//github.com/lhoyer上獲取。

大型多模態模型（LMMs）的研究已經成為深度學習領域的重點，展示了其在當代研究中的重要性。LMMs能夠處理來自不同模態的數據，通過利用互補信息來執行多種任務，從而提高預測能力。LMMs的學習過程分為兩個關鍵階段：計算密集的預訓練階段，旨在從大規模的噪聲數據中獲取通用表示；以及后續的微調階段，專注于將預訓練模型調整到特定任務上。傳統上，基礎LMMs的預訓練被認為是擁有豐富計算資源的研究實驗室的專屬特權。在本論文中，我們提出了一種用于高效預訓練基礎視覺-語言模型（VLMs）的新方法。這涉及通過專門的預訓練過程，利用現成的凍結大型語言模型（LLMs），從而減少對數據的需求。此外，我們引入了一種高效的VLM預訓練方法，減少模態投影中的冗余。通過我們的方法，訓練LLMs所需的數據量從1.29億實例大幅減少到400萬實例，并且相關的訓練成本可減少至1/10，而性能幾乎沒有顯著下降。此外，我們提出了一種簡單但強大的時序融合機制，用于將預訓練的圖像-語言模型適應下游的視頻任務。我們的視頻描述模型在沒有大量視頻-文本數據集預訓練的情況下，能夠達到與最新基準競爭的性能。除了在計算機視覺和自然語言處理中的多模態研究領域外，我們的研究還擴展到了生物信息學領域，通過研究蛋白質-RNA模型進行多模態學習。我們的研究結果表明，預訓練的蛋白質模型包含可與RNA共享的生物結構信息。鑒于實驗解析的RNA結構數量有限，我們的發現為蛋白質和RNA之間的遷移學習開啟了新的研究方向。最后，我們采用物理增強模擬來訓練T細胞-肽模型，表明在機器學習中整合這種模擬顯著提高了模型訓練效果，尤其是在標記數據有限的情況下。這凸顯了將模擬與機器學習結合的潛力，為推動生物領域LMMs的訓練提供了寶貴的策略。

在過去的十年中，深度學習研究取得了顯著進展，并在多個領域中取得了卓越的成就，包括圖像分類、圖像分割、動作識別和語言建模。盡管這些模型通過在大量特定領域的數據集上訓練，表現出了在特定任務中的優異性能，但當代的研究已經轉向開發能夠跨多種模態（如視覺、語言和音頻）解釋信息的模型。 此外，鑒于可以提升模型預測能力的潛力，近期的研究倡導訓練能夠無縫整合不同模態信息的模型。例如，在在線會議的背景下，向模型展示一個視頻可以通過同時考慮視覺內容（展示人類活動）和聽覺線索（捕捉會話動態）來提高摘要質量。這種互補模態的整合有助于做出更為準確的決策。 多模態學習的研究也致力于模擬人類從多種來源獲取知識的能力。通過促進類似于人類感知和認知功能的能力獲取，這些模型旨在突破單一模態的限制，展現出對信息感知和表達的整體理解。 計算機視覺和自然語言處理領域的蓬勃發展推動了多模態學習領域的顯著進展，特別是在視覺-語言模型的開發方面。當前的主流范式通常分為兩個階段： * 預訓練階段：這一初始階段通過利用大規模的網絡數據集進行模型的預訓練，使模型能夠獲取覆蓋視覺和語言領域的廣泛知識。這些通常被稱為“基礎模型”的預訓練模型，作為多模態數據中的復雜模式和表示的基礎。 * 微調階段：在預訓練之后，基礎模型會進行微調，以適應特定任務的需求。值得注意的是，在某些情況下，模型無需微調即可通過上下文學習生成預測。此階段在將模型的能力調整至任務特定需求方面起著關鍵作用。

在接下來的章節中，我們將深入探討這兩個訓練階段。本論文引入了一種新穎的模態投影模塊，并提出了一種新的學習范式，旨在提高視覺-語言模型預訓練的效率。此外，還將詳細闡述新型微調模塊，特別針對在訓練樣本有限的情況下，將預訓練的基礎模型適應于特定任務的挑戰。通過這些貢獻，本研究旨在推進對視覺-語言模型多模態學習的理解和效率提升。

機器學習（Machine Learning, ML）越來越多地用于驅動復雜應用，如大規模網頁搜索、內容推薦、自動駕駛汽車以及基于語言的數字助理。近年來，這些系統變得主要依賴數據驅動，通常以端到端學習復雜函數的深度學習模型為基礎，這些模型通過大量可用數據進行訓練。然而，純粹的數據驅動特性也使得所學習的解決方案不透明、樣本效率低下且脆弱。

為了提高可靠性，生產級解決方案通常采用混合形式的ML系統，這些系統利用深度學習模型的優勢，同時通過系統中的其他組件來處理諸如規劃、驗證、決策邏輯和政策合規等輔助功能。然而，由于這些方法通常是在完全訓練后的黑箱深度學習模型上后期應用的，它們在提高系統可靠性和透明性方面的能力有限。 在本論文中，我們研究了如何通過使用具有結構化中間表示（Structured Intermediate Representations, StructIRs）的機器學習模型來構建更可靠且透明的機器學習系統。與神經網絡激活等非結構化表示相比，StructIRs 是通過優化明確的目標直接獲得的，并且具有結構約束（例如歸一化嵌入或可編譯代碼），同時仍然具有足夠的表達能力來支持下游任務。因此，它們通過增加模塊化并使建模假設顯式化，可以使得所產生的ML系統更加可靠且透明。

我們探討了StructIRs在三種不同機器學習系統中的作用。在我們的第一個工作中，我們使用由神經網絡參數化的簡單概率分布來構建一個有效的ML驅動的數據中心存儲策略。在第二項工作中，我們展示了將文本生成嵌入到結構良好的向量表示空間中，可以通過簡單、可解釋的向量運算有效地轉換文本的高層屬性，如時態和情感。最后，在第三項工作中，我們進行了人類受試者研究，表明基于Bandit的推薦系統背后的平穩性假設在實踐中并不成立，強調了驗證ML系統背后假設和結構的重要性。

AlphaGo和ChatGPT可能是過去十年中人工智能領域最重要的兩項突破。這些技術得益于在序列決策（例如，規劃、搜索和強化學習）以及基礎模型（例如，基于互聯網數據訓練的語言和視頻生成模型）方面的研究。本論文提出了在現實世界決策任務背景下，利用具有廣泛知識的基礎模型的新技術、算法和框架，這些研究將影響對話代理的構建、機器人控制和科學發現等應用。本論文從離線環境中的傳統決策制定開始，逐步通過表示學習和生成建模引入更廣泛的互聯網規模數據。論文強調了理論基礎與實際應用的結合。本論文的主要貢獻包括離線強化學習的算法進步、面向決策制定的表示學習改進、作為強化學習替代的全新生成建模技術，以及基于互聯網規模的生成代理和生成模擬器，所有這些都旨在增強基礎模型的決策能力，并使之相輔相成。通過廣泛的實證和理論分析，本論文表明，基礎模型在得到適當利用時，可以顯著提高決策任務的效果。這些發現為將機器學習模型與現實世界應用整合提供了新的方向，為更智能、適應性更強、效率更高的系統鋪平了道路。 在過去的十年中，人工智能（AI）領域的兩項重要突破包括2016年人工智能圍棋玩家AlphaGo擊敗人類選手李世乭 [21]，以及2022年部署的人工智能聊天機器人ChatGPT [22]。這些技術進步得益于在序列決策和基礎模型方面的研究。在序列決策中，目標是讓計算機（代理）自動決定一系列動作（例如，在哪里放置圍棋子），并且讓計算機基于來自環境的反饋（例如圍棋比賽的結果）自動改進這些決策。機器學習在序列決策中的方法涉及訓練決策策略，即基于當前觀測（例如圍棋棋盤）選擇動作的策略，通過試驗和錯誤的方式進行訓練。這種方法在環境支持無限訪問的游戲場景中表現良好，但在現實世界中超越游戲場景的規模時卻難以實現，因為在現實環境中無限訪問是不切實際的。即使在游戲場景中，先前在序列決策中的工作大多集中在任務特定或“白板”設置中，缺乏先驗知識 [23]。因此，先前的序列決策工作在泛化和樣本效率方面通常表現不佳，例如解決單個Atari游戲需要7個GPU天的交互游戲時間 [24]。 最近，基礎模型（定義為使用自監督學習在大規模數據上訓練的大型機器學習模型 [25]）在互聯網上的大量數據上進行了訓練。例如，自回歸語言模型 [26, 27]通過從互聯網抓取的文本數據來預測給定前述單詞（標記）后的下一個單詞（標記）。類似地，視頻生成模型 [28, 29]通過從互聯網抓取的視頻數據，在給定語言輸入和/或前述幀的情況下，預測下一幀。因此，這些模型能夠生成高度逼真的自然語言和視頻。然而，模仿互聯網內容并不是這些模型的最終目標。這些模型的最終目標是解決現實世界中的任務，如回答人們的問題和模擬現實世界的交互。為了實現這一目標，這些模型生成的內容必須由人類控制。如何引導這些模型根據用戶反饋生成理想的內容，以及如何使這些模型做出一系列決策以完成某些復雜任務（例如構建網站），是序列決策的核心問題。將基礎模型研究和序列決策研究結合起來具有巨大的優勢。一方面，基礎模型中的廣泛知識可以提高決策算法的樣本效率和泛化能力。另一方面，決策算法可以對原本與任務無關的基礎模型進行任務特定的優化。本論文研究了基礎模型在決策制定中的技術、框架和算法，并展示了如何將基礎模型中的廣泛知識有效轉化為任務特定的決策，以更好地解決廣泛的問題和應用。 本論文通過從傳統的決策制定技術開始，研究在離線數據集設置下的基礎模型在決策制定中的應用，隨后逐步引入更廣泛的數據，最終整合互聯網規模的視覺和語言數據。我們將對利用基礎模型解決序列決策問題的理論方面和實際應用方面給予高度關注。本論文的工作基于先前關于序列決策的研究思想，但新提出的方法展示了更高的全面性和可擴展性。 本章的其余部分組織如下。第1.1節介紹了基礎模型，這是一種在互聯網規模數據上訓練的機器學習模型。本節討論了訓練基礎模型的常見技術，包括表示學習和生成建模。隨后描述了基礎模型的局限性，包括指令遵循、長時間推理、多步驟規劃和多模態處理。然后概述了本論文如何通過結合決策制定技術來應對其中的一些挑戰。第1.2節描述了序列決策的典型設置和常見的決策制定算法，包括模仿學習、強化學習、搜索和規劃。接下來，本節重點介紹了序列決策的主要瓶頸，包括樣本效率和缺乏良好的視覺和文本表示。最后，簡要介紹了本論文如何通過結合基礎模型來應對這些挑戰。第1.3節闡述了本論文的貢獻，并總結了其結構。

大型基礎模型在實現人工智能領域的最新突破中發揮了核心作用。通過同時將數據集和模型規模擴展到前所未有的水平，這些基礎模型在蛋白質結構預測、圖像/視頻生成、代碼生成、聊天機器人等許多領域表現出色。然而，它們的計算和內存成本也急劇增長，使得這些基礎模型在實際應用中的部署變得困難，尤其是在資源受限的邊緣設備上。此外，巨大的訓練成本也顯著阻礙了新基礎模型的發展，并引發了對巨大能源消耗和二氧化碳排放的擔憂。為了解決這些問題，構建有效的模型加速技術對于縮小計算供需之間的差距至關重要。 本論文將涵蓋模型加速的三個重要方面。首先，我們將討論高效表示學習，包括用于高分辨率視覺的EfficientViT（一種新的視覺Transformer架構）和用于條件圖像生成的條件感知神經網絡（一個新的控制模塊）。其次，我們將介紹硬件感知的加速技術，以創建針對不同硬件平臺和效率限制的專用神經網絡。第三，我們將介紹TinyTL，這是一種內存高效的遷移學習技術，用于實現設備上的模型定制。通過我們的設計，我們可以顯著提高深度神經網絡在硬件上的效率，而不損失準確性，使它們更易于訪問并降低其服務成本。例如，我們的模型在A100 GPU上實現了48.9倍的吞吐量提升，同時在零樣本實例分割性能上略微優于最新的模型。在條件圖像生成方面，我們的方法實現了52倍的計算成本降低，而性能沒有下降。

大型基礎模型在許多人工智能領域（包括自然語言處理[1], [2]、計算機視覺[3]–[5]、科學領域的AI應用[6]等）引發了革命性的變化。通過擴大模型規模并在網絡規模的數據集上訓練，這些基礎模型展示了驚人的少樣本/零樣本學習能力，能夠解決復雜的任務。這些卓越的表現引發了在實際應用中使用這些基礎模型的熱潮，將人工智能引入了我們的工作和日常生活。 然而，由于模型規模和計算成本的增加，這些基礎模型的訓練和推理成本非常高昂。例如，GPT-3[7]模型擁有1750億個參數，僅存儲它就已經超出了目前最強大的GPU（如NVIDIA H100 GPU）的容量。這對在云平臺上提供這些模型服務或在邊緣設備上部署它們提出了巨大挑戰。此外，高昂的訓練成本還導致了巨大的能源消耗和二氧化碳排放，引發了對這些AI基礎模型的可持續性問題的擔憂。 在本論文中，我們旨在研究模型加速技術，以提高深度神經網絡的效率，從而應對這一挑戰。我們的方法從三個方面加速深度神經網絡。首先，我們將討論高效的表示學習，旨在構建高效的構建模塊/神經網絡架構，從原始數據中提取有用信息。其次，我們將討論硬件感知的加速方法，旨在為不同的硬件平臺和效率約束定制專用的神經網絡，以獲得精度和硬件效率之間的最佳平衡。第三，我們將討論高效的模型定制，允許內存高效的設備端學習，以提供定制化的AI服務而不犧牲隱私。我們總結了本論文的主要內容如下：

**1.1 論文大綱

• 第2章 描述了高效表示學習的技術。內容基于[8]和[9]。首先，Transformer架構是當前大型基礎模型的核心組件。然而，Transformer架構在處理長序列時表現不佳，因為其計算成本隨著輸入序列長度的增加而呈二次增長。我們提出了EfficientViT，這是一種用于高分辨率視覺的新型視覺Transformer架構。它通過僅使用硬件高效的操作，達到了全局感受野和強大的容量。EfficientViT在不同的硬件平臺上提供了顯著的性能提升。其次，添加控制是將圖像/視頻生成模型轉化為人類生產工具的關鍵步驟。我們提出了條件感知神經網絡（CAN），這是一種為圖像生成模型添加控制的新方法。與以往的條件控制方法并行，CAN通過動態操控神經網絡的權重來控制圖像生成過程。CAN在擴散Transformer模型中持續帶來顯著改進。

• 第3章 介紹了硬件感知的AutoML技術，以有效地為不同的硬件平臺和效率約束定制專用的深度神經網絡。內容基于[10]和[11]。不同的硬件平臺具有不同的屬性（例如并行度、緩存大小、帶寬等）。針對不同的目標硬件平臺和不同的效率約束，我們需要定制化的神經網絡以實現性能與效率之間的最佳平衡。然而，手動為每個案例定制神經網絡是不可擴展的。因此，我們提出了硬件感知的AutoML技術來應對這一挑戰。我們的方法在不同的硬件平臺上提供了顯著的加速，包括手機、CPU、GPU、FPGA等。此外，我們的方法在多個低功耗計算機視覺挑戰賽中獲得了第一名。

• 第4章 介紹了TinyTL[12]，一種用于內存高效的設備端學習技術。TinyTL凍結了權重，只學習內存高效的偏置模塊，因此不需要存儲中間激活。為了保持適應能力，我們引入了一種新的內存高效偏置模塊，即輕量殘差模塊，通過學習小的殘差特征圖來優化特征提取器，僅增加了3.8%的內存開銷。廣泛的實驗表明，TinyTL在與微調整個網絡相比僅有微小的準確性損失的情況下，顯著節省了內存。

在快速發展的機器學習領域，計算能力和數據的激增推動了深度學習成為學術研究的前沿。隨著模型和數據集規模的不斷擴大，越來越多的注意力集中在算法改進上，以應對日益增長的計算和內存需求。此外，由于其在廣泛應用中的成功，該領域見證了多種多樣的神經網絡架構的涌現，每種架構都有其獨特的訓練挑戰。本論文介紹了利用模型結構來提高資源和算法效率的流行神經網絡架構的高效訓練方法。 在第一部分中，我們首先提出了針對隱式深度學習模型和基于變壓器的語言模型的具有較低計算和內存需求的新訓練算法。具體來說，我們首先提出了一種高效的順序訓練方法，用于隱式平衡模型，消除了在現有訓練過程中求解計算昂貴的固定點方程和投影步驟的需求。然后，我們引入了方差減少的零階方法，以僅使用內存高效的推理過程來有效微調大型語言模型。

在第二部分中，我們轉向探索可微分優化在元優化和矢量量化中的訓練增強應用。具體來說，對于前者，我們提出了一種利用可微分凸優化結構來參數化新型一階優化器的方法。對于后者，我們引入了可微分凸優化作為一種改進通過矢量量化層反向傳播的技術。

我們希望這項工作能為研究社區提供新的視角，并作為進一步發展深度學習高效訓練策略的基礎。 在過去的十年中，人工智能（AI）領域取得了前所未有的進展，這些進展使其在自然語言處理和計算機視覺等多個專門任務領域達到了超越人類的表現。深度學習架構創新和計算改進的協同作用促進了AI的飛躍發展 [1], [2]。

直到最近，深度學習領域的研究通常是專門化的，聚焦于特定領域，如自然語言處理（NLP）或視覺。在每個應用領域，研究的目標是開發旨在解決特定應用挑戰的定制神經網絡架構。例如，循環神經網絡（RNN）及其變體用于處理NLP中常見的序列數據。而視覺應用則常使用卷積神經網絡（CNN），因為它們能夠高效處理視覺數據。這種專門化被認為是必要的，因為不同的數據模態需要定制的處理方法來學習其潛在模式。這促使了各個領域中架構類型的激增。

最近，變壓器和隱式深度學習的引入帶來了從開發領域特定架構的轉變。變壓器模型建立在注意力機制的基礎上，這種機制能夠處理序列數據中的長期依賴關系，支持并行處理，并且與反向傳播兼容。尤其是基于變壓器的架構現在在NLP和視覺任務中都成為了最先進模型的標準，設立了性能基準。隱式深度學習則摒棄了將神經網絡視為顯式、前饋層堆疊的概念，而是通過一組輸出應滿足的條件隱式地表示它們。這種范式提供了一種具有多種實例的表達模型類別，包括神經常微分方程、可微優化和深度平衡模型。具體而言，文獻[3]中展示了隱式模型在許多流行深度學習架構中的推廣，并在各種示例應用中表現出色。

新興的、更具表現力的深度學習架構突顯了開發高效優化策略以釋放其全部性能潛力的重要性。更具體地說，針對不同架構類型開發優化策略是高效模型訓練的基礎，它能有效地從數據中學習。這強調了需要不斷改進訓練技術和架構設計，以充分實現深度學習技術的潛力。

本論文為應對最先進深度學習架構的獨特需求，貢獻了開發定制訓練策略的更廣泛努力。第一部分中，我們首先審視了現有隱式深度學習和變壓器模型訓練方法的資源密集特性，并提出了新算法以克服計算和內存需求的障礙。第二部分我們重點探討如何利用特定的隱式深度學習實例——可微優化作為一種技術來增強元優化和矢量量化中的訓練過程。

第一部分：深度神經架構的高效訓練策略

在這一部分中，我們關注流行架構類型在訓練中面臨的挑戰，并提出旨在緩解這些特定挑戰的優化算法。具體來說，我們旨在克服現有隱式深度學習和基于變壓器的語言模型訓練方法中禁止性的計算和內存需求。

**第二章

我們強調了通過固定點方程描述的隱式模型的現有訓練方法的缺點：這種端到端優化方案利用了計算繁重的隱式微分和投影步驟。我們提出了一種新的順序、分塊訓練算法，適用于上三角隱式深度模型，從而減輕了隱式微分和投影步驟的需求。

**第三章

我們解決了在微調基于變壓器的語言模型（LM）時一階方法的大內存需求。基于零階（ZO）方法僅使用內存高效的推理過程來估計梯度的觀察，我們將ZO方法與方差減少技術結合，以增強基于推理的LM微調的穩定性和收斂性。我們的實驗表明，相比于現有的ZO微調基準，我們的方法在保持顯著較低內存占用的同時，性能也有了持續的改善。

第二部分：通過可微優化增強訓練

在第二部分中，我們集中探討了如何應用可微優化來改進元優化和矢量量化中的學習過程。

**第四章

我們展示了如何利用凸優化來推廣許多現有的一階更新規則。隨后我們提出了一種新的數據驅動優化算法設計方法，利用可微凸優化（DCO）。這種利用以往優化經驗的方法可以提出新的更新規則，能夠高效解決來自相同基礎問題類的新優化任務。通過示例實驗，我們展示了DCO優化器在實際應用中能夠超越流行的一階方法。

**第五章

我們利用DCO來緩解矢量量化（VQ）層帶來的訓練挑戰。嵌入VQ的模型在圖像和語音生成等多個應用中顯示出令人印象深刻的結果。VQ作為一種參數化的K均值算法，在前向傳遞中使用單個代碼本向量對輸入進行量化。盡管強大，該技術面臨實際挑戰，包括代碼本坍塌、不可微性和有損壓縮。為緩解上述問題，我們提出了軟凸量化（SCQ），作為VQ的直接替代。SCQ像一個可微凸優化（DCO）層一樣工作：在前向傳遞中，我們求解出量化輸入的最佳凸組合代碼本向量。在反向傳遞中，我們利用前向解決方案的最優性條件進行微分。隨后，我們介紹了SCQ優化的可擴展放松，并在CIFAR-10 [4]、GTSRB [5]和LSUN [6]數據集上驗證了其有效性。我們訓練了強大的SCQ自動編碼器模型，這些模型顯著超越了匹配的基于VQ的架構，在圖像重建和代碼本使用方面表現出數量級的提升，同時保持了可比的量化運行時間。