亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

最近在大型語言模型（LLMs）上的進展塑造了人工智能智能體的新范式，即基于LLM的智能體。與獨立的LLMs相比，基于LLM的智能體通過增強LLMs感知和利用外部資源和工具的能力，極大地擴展了LLMs的多功能性和專業性。到目前為止，基于LLM的智能體已經在軟件工程（SE）領域得到了應用，并顯示出顯著的效果。多個智能體之間的協同作用以及與人類互動相結合，為解決復雜的現實世界中的SE問題帶來了更大的希望。在此工作中，我們提出了一個關于用于SE的基于LLM智能體的全面系統的綜述。我們收集了106篇論文，并從兩個角度對它們進行了分類，即SE視角和智能體視角。此外，我們還討論了該關鍵領域中存在的開放性挑戰和未來的研究方向。本綜述的資料庫位于//github.com/FudanSELab/Agent4SE-Paper-List。 大型語言模型（LLMs）[1] 已經取得了顯著的進步，并展示了類似人類智能的潛力。近年來，LLMs 在軟件工程（SE）中得到了廣泛的應用。如最近的綜述所示[2],[3]，LLMs 已經被采用并在各種軟件開發和維護任務中顯示出有希望的表現，例如程序生成[4]–[8]，軟件測試[9]–[11]和調試[12]–[17]以及程序改進[18]–[20]。人工智能智能體是能夠自主感知并對其周圍環境采取行動以達成特定目標的人工實體[21]。智能體的概念已經發展了很長時間（例如，早期的智能體是基于符號邏輯或強化學習構建的[22]–[25]）。最近，LLMs 的顯著進步進一步形成了一種新的AI智能體范式，即基于LLM的智能體，這種智能體利用LLMs作為中心控制單元。不同于獨立的LLMs，基于LLM的智能體通過賦予LLMs感知和利用外部資源和工具的能力來擴展其多功能性和專業性，這使得它們可以通過多個智能體之間的協作或涉及人類互動來應對更復雜的真實世界目標。在此工作中，我們提出了一個關于用于SE的基于LLM智能體的全面系統的綜述。我們收集了106篇論文，并從兩個角度對它們進行了分類，即SE視角和智能體視角。此外，我們還討論了該領域中的開放性挑戰和未來的研究方向。從SE的角度來看，我們分析了基于LLM的智能體如何應用于不同的軟件開發和改進活動，包括單個任務（例如需求工程、代碼生成、靜態代碼檢查、測試和調試）以及軟件開發和改進的端到端過程。從這個角度來看，我們提供了基于LLM的智能體如何處理SE任務的整體概覽。從智能體的角度來看，我們專注于設計用于SE的基于LLM智能體的組件。具體而言，我們分析了這些智能體的關鍵組件，包括規劃、記憶、感知和行動。除了基本的智能體構建外，我們還分析了多智能體系統，包括它們的角色、協作機制以及人機協作。從這個角度來看，我們總結了當應用于SE領域時，基于LLM智能體的不同組件的特點。總之，本綜述做出了以下貢獻：

• 提供了首次對106篇將基于LLM智能體應用于SE的文獻進行全面綜述。
• 分析了現有的基于LLM的智能體是如何從SE和智能體的視角設計和應用于軟件開發和維護的。
• 討論了在這個關鍵領域中的研究機會和未來方向。 綜述結構。圖1總結了本綜述的結構。第2節介紹了背景知識，而第3節則呈現了方法論。第4節和第5節分別從SE的視角和智能體的視角展示了相關工作。最后，第6節討論了潛在的研究機會。

背景與初步介紹

2.1 基于LLM智能體的基本框架 基于LLM的智能體通常由四個關鍵組件組成：規劃、記憶、感知和行動[21]。規劃和記憶是LLM控制的大腦的關鍵部分，它們通過感知和行動組件與環境進行交互以實現特定目標。圖2展示了基于LLM的智能體的基本框架。 規劃：規劃組件將復雜任務分解為多個子任務，并安排這些子任務以達到最終目標。具體來說，智能體可以（i）通過不同的推理策略生成一個無需調整的計劃，或者（ii）根據外部反饋（如環境反饋或人工反饋）調整已生成的計劃。 記憶：記憶組件記錄智能體執行過程中產生的歷史思想、動作和環境觀察[21][26][27]。基于累積的記憶，智能體可以回顧和利用之前的記錄和經驗，從而更有效地處理復雜任務。記憶管理（即如何表示記憶）和利用（即如何讀寫或檢索記憶）至關重要，這直接影響到智能體系統的效率和效果。 感知：感知組件接收來自環境的信息，這有助于更好的規劃。具體來說，智能體可以感知多模態輸入，例如文本輸入、視覺輸入和聽覺輸入。 行動：基于大腦做出的規劃和決策，行動組件執行具體的行動以與環境互動并影響環境。行動的一個重要機制是控制和利用外部工具，這可以通過訪問更多的外部資源來擴展LLMs的固有能力，并將行動空間擴展到不僅僅是文本交互之外。 2.2 高級的基于LLM的智能體系統 多智能體系統：雖然單個智能體系統可以專門解決某一特定任務，但使多個智能體之間進行協作（即多智能體系統）可以進一步解決與不同知識領域相關的更復雜任務。特別地，在一個多智能體系統中，每個智能體都有一個獨特的角色和相關專業知識，使其負責不同的任務；此外，智能體之間可以相互溝通，并隨著任務的推進共享進度/信息。通常情況下，智能體可以協作（即通過處理不同的子任務來實現最終目標）或競爭（即在同一任務上工作同時進行對抗性的辯論）的方式工作。 人機協調：智能體系統可以進一步結合人類的指令，并在人類指導下繼續執行任務。這種人機協調范式有助于更好地與人類偏好對齊并使用人類的專業知識。具體來說，在人機交互期間，人類不僅可以向智能體提供任務要求和對當前任務狀態的反饋，還可以與智能體合作共同實現目標。 2.3 相關綜述 一般領域的基于LLM的智能體已經被廣泛討論和綜述過[21][26][28]–[32]。與這些綜述不同，本文綜述側重于專門為軟件工程領域設計和應用的基于LLM的智能體。在軟件工程領域，已有幾項關于LLMs在軟件工程中的通用應用的綜述或文獻回顧[2][3][10][32][33]。與這些綜述不同的是，本文綜述特別關注智能體的視角，并且對于基于LLM的智能體在軟件工程中的應用更加全面。此外，He等人[34]提出了一篇關于多智能體系統在軟件工程中潛在應用和新興挑戰的展望文章。不同于這份展望文章，本文的工作重點是對現有智能體系統（包括單個智能體和多智能體系統）進行全面綜述。總的來說，據我們所知，這是第一篇專門針對軟件工程領域基于LLM智能體文獻的綜述。 綜述方法論

3.1 綜述范圍 我們將注意力集中在那些應用基于LLM的智能體來處理SE任務的論文上。以下是術語的具體定義： SE任務：遵循之前關于LLMs在SE中的應用綜述[2][3]，我們關注整個軟件生命周期中的所有SE任務，包括需求工程、軟件設計、代碼生成、軟件質量保證（即靜態檢查和測試）以及軟件改進。 基于LLM的智能體：一個獨立的LLM可以作為一個簡單的“智能體”工作，因為它可以接受文本輸入并產生文本輸出，這使得LLMs和基于LLM的智能體之間沒有明確界限。然而，這可能會導致過于寬泛的范圍，并與現有的關于LLMs在SE中的應用綜述[2][3]有大量重疊。基于廣泛接受的關于AI智能體的共識，智能體的關鍵特征在于它們能夠自主且迭代地從動態環境中感知反饋并對其采取行動[21]。為了確保從智能體的角度進行更集中的討論，此綜述重點關注不僅將LLMs作為其“大腦”的核心部分，而且還具有迭代與環境互動、實時接收反饋并采取行動能力的基于LLM的智能體。 更具體地說，我們在論文收集過程中應用了以下納入和排除標準： 納入標準：如果一篇論文滿足以下任何一項標準，則將其納入我們的綜述：(i) 論文提出了一種技術、框架或工具，用于使用基于LLM的智能體解決特定的SE任務；(ii) 論文展示了一種一般的技術、框架或工具，前提是其評估至少包括一個SE任務；(iii) 論文展示了一項對特定SE任務上基于LLM的智能體進行評估的經驗研究。 排除標準：如果一篇論文滿足以下任何一項標準，則將其排除在我們的綜述之外：(i) 論文不涉及任何SE任務；(ii) 論文僅在討論或未來工作的上下文中討論基于LLM的智能體，而未將其整合為主要方法的一部分；(iii) 論文僅使用獨立的LLM來處理文本輸入并生成文本輸出，而沒有任何與環境的迭代互動。 3.2 論文收集 我們的論文收集過程包含兩個步驟：關鍵詞搜索和滾雪球法。 3.2.1 關鍵詞搜索 我們遵循軟件工程綜述中的既定實踐[35]-[39]，使用DBLP數據庫[40]進行論文收集。近期的研究[39]表明，從其他主要出版物數據庫收集的論文通常是DBLP中論文的子集，DBLP涵蓋了超過7百萬份計算機科學領域的學術會議（超過6,500個）和期刊（1,850個）的出版物[41]。DBLP還包括arXiv[42]，這是一個廣泛采用的開放獲取存儲庫。我們采用一種在軟件工程綜述中廣泛采用的試錯法來確定搜索關鍵詞。最初，所有作者，特別是那些在LLM和SE領域有相關研究經驗和出版物的作者，聚在一起建議與我們的范圍相關的論文，從而得到一個初步的相關論文集合。隨后，前兩位作者審閱這些論文的標題、摘要和引言以識別額外的關鍵詞。然后，我們進行頭腦風暴會議以擴展和細化我們的搜索字符串，納入相關術語、同義詞和變體。這一過程使我們能夠迭代地改進我們的搜索關鍵詞列表。 最終的關鍵詞包括 ("agent" OR "llm" OR "language model") AND ("api" OR "bug" OR "code" OR "coding" OR "debug" OR "defect" OR "deploy" OR "evolution" OR "fault" OR "fix" OR "maintenance" OR "program" OR "refactor" OR "repair" OR "requirement" OR "software" OR "test" OR "verification" OR "vulnerab")。 基于這些關鍵詞，我們在2024年7月1日在DBLP上進行了57次搜索，并獲得了10,362條結果。表1顯示了通過關鍵詞搜索收集的論文統計數據。前兩位作者手動審查每篇論文，以過濾掉不在本次綜述范圍內的論文。結果，我們通過這一過程確定了67篇相關的論文。 3.2.2 滾雪球法 為了提高我們綜述的全面性，我們采用了滾雪球法來識別那些過渡相關的論文并擴展我們的論文收集[35]。具體來說，在2024年7月1日至7月10日期間，我們進行了前后滾雪球法。后向滾雪球法涉及檢查每篇收集論文中的參考文獻，以識別我們范圍內的相關論文；而前向滾雪球法則使用谷歌學術來查找引用這些收集論文的相關論文。這一迭代過程一直持續到不再發現新的相關論文為止。在這個過程中，我們又檢索到了另外39篇論文。 3.3 收集論文的統計 如表1所示，我們總共收集了106篇論文用于這次綜述。圖3展示了截至2024年7月10日隨時間累積發表的論文數量。我們觀察到該領域研究興趣的持續增長，突顯了此次綜述的必要性和相關性。此外，圖4顯示了論文發表場所的分布情況，涵蓋了諸如軟件工程、人工智能和人機交互等不同的研究社區。特別是，大多數論文來自arXiv且尚未經過同行評審。這種情況是可以預期的，因為該領域正在興起并且仍處于快速發展之中。

隨著大規模預訓練模型的廣泛應用，自然語言處理的各領域（如文本分類和機器翻譯）均取得了長足的發展.然 而，受限于預訓練模型的“黑盒”特性，其內部的決策模式以及編碼的知識信息被認為是不透明的.以 OpenAI 發布的 ChatGPT 和 GPT-4 為代表的先進預訓練模型為例，它們在各領域取得重大性能突破的同時，由于無法獲知其內部是否真正 編碼了人們期望的世界知識或語言屬性，以及是否潛藏一些不期望的歧視或偏見現象，因此仍然無法應用于重視安全性和 公平性的領域.近年來，一種新穎的可解釋性方案“探針任務”有望提升人們對預訓練模型各層編碼的語言屬性的理解.探針 任務通過在模型的某一區域訓練輔助語言任務，來檢驗該區域是否編碼了感興趣的語言屬性.例如，現有研究通過凍結模型 參數并在不同層訓練探針任務，已經證明預訓練模型在低層編碼了更多詞性屬性而在高層編碼了更多語義屬性，但由于預 訓練數據的毒性，很有可能在參數中編碼了大量有害內容.本篇綜述中，我們首先介紹了探針任務的基本范式，包括任務的 定義和基本流程；然后對自然語言處理中現有的探針任務方案進行了系統性的歸納與總結，包括最常用的診斷分類器以及 由此衍生出的其他探針方法，為讀者提供設計合理探針任務的思路；接著從對比和控制的角度介紹如何解釋探針任務的實 驗結果，以說明探測位置編碼感興趣屬性的程度；最后對探針任務的主要應用和未來的關鍵研究方向進行展望，討論了當 前探針任務亟待解決的問題與挑戰.

近年來，以ChatGPT為代表的能夠適應復雜場景、并能滿足人類的各種應用需求為目標的文本生成算 法模型成為學術界與產業界共同關注的焦點 . 然而，ChatGPT等大規模語言模型（Large Language Model，LLM）高度忠 實于用戶意圖的優勢隱含了部分的事實性錯誤，而且也需要依靠提示內容來控制細致的生成質量和領域適應性，因 此，研究以內在質量約束為核心的文本生成方法仍具有重要意義. 本文在近年來關鍵的內容生成模型和技術對比研 究的基礎上，定義了基于內在質量約束的文本生成的基本形式，以及基于“信、達、雅”的6種質量特征；針對這6種質量 特征，分析并總結了生成器模型的設計和相關算法；同時，圍繞不同的內在質量特征總結了多種自動評價和人工評價 指標與方法. 最后，本文對文本內在質量約束技術的未來研究方向進行了展望.

 2022 年 11 月 30 日，由 OPENAI 實驗室推出的一款 基于 GPT3.5的內容生成工具 ChatGPT［1，2］ ，通過進一步 提升模型的記憶能力與文本理解能力，使其自動生成 的問題解答、軟件代碼、數學計算和信件內容等結果， 不僅具備優秀的內容完整性和邏輯性，而且能夠符合 用戶偏好并實現場景的自適應性，從而引起了學術界 和工業界的廣泛關注，并使基于人工智能的內容生成 技術（AI Generate Content，AIGC）成為目前 AI 技術領 域中熱議的焦點之一［3，4］ . AIGC 技術的核心是通過 AI 算法自動化地生成滿足特定目標和質量要求的文本 內容，生成文本不僅需要符合圖靈假設［5］ ，而且應當滿 足人們在瀏覽信息時所需要的“信（Credible）、達（Ex? pressiveness）、雅（Elegance）”的質量需求［6］ . 目前，以 GPT-3 ［3］ ，T5 ［7］ 和 GPT-4 ［8］ 為核心的大規模預訓練語言 模 型（Large Language Model，LLM）不 僅 具 有 的 層 數 多、參數量大的結構特點，而且通過海量語料的訓 練，具有很強的理解能力和泛化能力，逐漸成為 AIGC 技術的主流 . 但是，相比 LLM 聚焦不同外在環境和任 務的普適性，如何提升語言模型所生成文本的內在 質量以符合特定領域的質量需求，迫切需要開展深入 的研究. 近年來語言生成模型的技術演化路線如圖1所示. 其中，Google 和 OpenAI 的研究者在早期基于多頭注意 力機制的Transformer［9］ 模型基礎上，通過增加預訓練子 任務或改進解碼器結構，分別提出了用于自然語言理 解任務的 BERT 模型［10］ 和適應多種任務的自回歸模型 GPT［11］ . 此后預訓練語言模型出現了兩個重要分支： 一是以 GPT-2 ［12］ ，GPT-3 ［3］ ，T5 ［7］ 和 GPT-4 ［8］ 為代表的自 回歸模型采用了更加豐富的訓練語料和更加龐大的 參數，進一步增強了 LLM 在多種不同生成任務中的性 能 與 泛 化 性 ；二 是 以 RoBERTa［13］，SpanBERT［14］和 SBERT［15］為代表的改進模型通過改進掩碼機制和預 訓練子任務，進一步提升了 BERT 模型的編碼性能和 應用領域 . 同一時期，基于循環機制和雙流自注意力 的 TransformerXL［16］和 XLNet［17］等預訓練模型在生成 長文本的同時，通過生成質量控制保持了上下文語義 的流暢性；而融合了 BERT 編碼能力和 GPT-2 生成優 勢的 BART 模型［4］ 能夠通過輸入不同的關鍵字來控制 生成文本的內容語義 . 為了生成更加連貫的長文本內 容，Tan 等人［18］ 基于 BART 構建了多步驟生成模型 Pro? Gen，通過在多步生成過程中采用不同的觸發詞，有效 控制了長文本生成中內容語義的連貫性，并在基于 CNN新聞數據集的實驗結果表明，相對于BART模型的 BLEU 值 30.1%，ProGen模型提升到了 31.2%. 而 Hua等 人［19］ 從語義連貫性與動態語義的演化特征出發，提出 了連貫性生成模型 PAIR，它將文本計劃作為生成模型 的輸入以控制輸出文本的整體脈絡，從而保證了輸出 內容具有更加平滑的語義變化和連貫性，在針對 Red? dit 數據集的測試中發現，相比 BART 模型的 BLEU 值 6.78%，PAIR 的 BLEU 值提升至 36.09%. Jang 等人［20］ 為了增強對話任務中回復內容的角色一致性，提出 的模型將 BART 模型作為生成器的主體結構，采用 角色和知識的獨立編碼以增強回復文本中的屬性表 達，該模型在 FoCus 數據集上測試結果為 46.31%，比 BART 模型的 BLEU 值 13.18% 大幅提升 . 上述工作 表明，從不同的質量特征上來優化內容生成模型的 結構，均可獲得較 BART 模型更優的結果，因此，在 各種大語言模型不斷推新的場景下，從質量特征的 視角來進行模型優化，仍然具有的重要的研究價值 和意義. 圍繞著生成更準確［21，22］ 、更真實［23，24］ 、更細致［25~27］ 、 更可靠［28，29］ 的高質量文本內容，大量學者從不同的視 角對AIGC領域中的關鍵技術問題進行了綜述研究. 其 中，Iqbal 等人［30］在 CNN，RNN，LSTM 等經典模型的基 礎上，深入分析和對比了基于 VAE和 GAN等生成模型 的差異，發現傳統語言模型無法控制不同文本質量中 的細微差別 . Li 等人［31］ 則從預訓練語言模型和微調機 制出發，從“相關性、忠實度、保序性”等質量維度來分 析不同類型的輸入數據如何自適應地生成滿足特定質 量要求的文本，但是這些工作缺少探索所選特性的可 泛化能力，導致一些質量特征僅限于特定的任務. 在生 成文本的可靠評價角度上，Celikyilmaz 等人［32］ 從人工 評價方法、非訓練的自動評價算法和機器學習的評價 模型等方向出發，系統討論了生成文本的評價方法與 指標體系 . 而 Jin 等人［33］ 關注文本風格遷移任務，特別 是圍繞著風格遷移強度、語義保存性和流暢度等特征 深入研究了自動評價和人工評價方法. 然而，現有的評 價方法依然偏向于特定的生成任務，缺乏一個以質量 特征為核心主線的內容評價框架. 綜上所述，在考慮到不同研究工作之間關注焦點 存在的差異性，本文在梳理和對比與已有研究綜述 在 AIGC 核心問題與工作挑戰的基礎上（表 1），從質 量約束與控制的視角出發，對 AIGC 中高質量文本內 容生成進行形式化定義，進而圍繞不同的質量特征 與任務分析相關技術、模型的研究進展，對未來的發 展趨勢進行分析和總結，為未來的研究奠定基礎和 指引.

在過去的一年中，多模態大型語言模型（MLLMs）在視覺問答、視覺理解和推理等任務中表現出色。然而，龐大的模型規模和高昂的訓練與推理成本阻礙了MLLMs在學術界和工業界的廣泛應用。因此，研究高效且輕量級的MLLMs具有巨大的潛力，特別是在邊緣計算場景中。在這篇綜述中，我們對當前高效MLLMs的研究現狀進行了全面而系統的回顧。具體來說，我們總結了代表性高效MLLMs的時間線、高效結構和策略的研究現狀以及應用。最后，我們討論了當前高效MLLM研究的局限性和未來有前景的研究方向。更多詳情請參考我們的GitHub倉庫：//github.com/lijiannuist/Efficient-Multimodal-LLMs-Survey。

大規模預訓練作為人工智能（AI）領域的一種領先方法，使得像大型語言模型和多模態模型這樣的通用模型在許多任務中超越了專門的深度學習模型。大型語言模型（LLM）的卓越能力激發了將它們與其他基于模態的模型結合起來以增強多模態能力的努力。這一概念得到了OpenAI的GPT-4V[1]和Google的Gemini[2]等專有模型顯著成功的進一步支持。因此，多模態大型語言模型（MLLMs）應運而生，包括mPLUG-Owl系列[3, 4]、InternVL[5]、EMU[6]、LLaVA[7]、InstructBLIP[8]、MiniGPT-v2[9]和MiniGPT-4[10]。這些模型通過有效利用每種模態的預訓練知識，繞過了從頭開始訓練的計算成本。MLLMs繼承了LLM的認知能力，展示了許多顯著特性，如強大的語言生成和遷移學習能力。此外，通過與其他基于模態的模型建立強大的表示連接和對齊，MLLMs能夠處理來自多種模態的輸入，顯著拓寬了它們的應用范圍。 MLLMs的成功主要歸因于規模定律：隨著數據、計算能力或模型規模等資源的增加，AI模型的性能會提高。然而，可擴展性伴隨著高資源需求，這阻礙了大型模型的發展和部署。例如，MiniGPT-v2的訓練需要基于NVIDIA A100 GPU計算出的總計超過800個GPU小時[9]。這對主要企業外的研究人員來說是一個巨大的費用負擔。除了訓練之外，推理也是MLLMs資源消耗的主要部分。考慮一個典型場景，模型輸入包括一個尺寸為336 × 336像素的圖像和一個長度為40個tokens的文本提示，使用LLaVA-1.5和Vicuna-13B LLM骨干進行推理需要18.2T的FLOPS和41.6G的內存使用量。大規模模型的資源密集型特性也引發了關于民主化和隱私保護的擔憂，因為當前主流的MLLMs，如GPT-4V和Gemini，由少數幾家主導企業控制，并在云端運行。如上述實驗所示，即使是開源的MLLMs，對計算資源的高要求也使得在邊緣設備上運行它們變得具有挑戰性。這進一步加劇了確保公平訪問和保護用戶隱私的挑戰。

鑒于這些挑戰，高效MLLMs的研究受到了越來越多的關注。這些努力的主要目標是減少MLLMs的資源消耗，擴大其適用性，同時盡量減少性能下降。高效MLLMs的研究始于用輕量級替代品替換大型語言模型，并進行典型的視覺指令微調。隨后，研究進一步通過以下方式增強了能力并擴展了用例：(1)引入更輕量的架構，注重效率，旨在減少參數數量或計算復雜度[25, 13, 18]；(2)開發了更專業的組件，聚焦于高級架構的效率優化或賦予特定屬性，如局部性[19, 17, 12]；(3)支持資源敏感任務，一些工作采用視覺token壓縮來提高效率，使MLLM的能力能夠轉移到資源密集型任務中，如高分辨率圖像和視頻理解[35, 39, 14, 40]。

在本綜述中，我們旨在呈現快速發展的高效MLLMs領域的最新進展，如圖2所示。我們將文獻組織成六個主要類別，涵蓋高效MLLMs的各個方面，包括架構、高效視覺、高效LLMs、訓練、數據和基準測試以及應用。Architecture 關注通過高效技術開發的MLLM框架，以降低計算成本。該架構由多個基于模態的基礎模型組成，具有不同于單模態模型的特征，從而促進了新技術的發展。

Efficient Vision 探討優化高效視覺特征提取策略，強調在保持準確性的同時提高效率的方法。它解決了集成高質量視覺數據以實現有效跨模態理解的問題。

Efficient LLMs 探索提高語言模型計算效率和可擴展性的策略。它研究了模型復雜性與性能之間的權衡，并提出了平衡這些競爭因素的有前景途徑。

Training 調查了對高效MLLMs開發至關重要的訓練方法的現狀。它解決了與預訓練階段、指令微調階段及整體訓練策略相關的挑戰，以實現最先進的結果。

Data and Benchmarks 評估用于多模態語言模型評估的數據集和基準測試的效率。它評估了數據集規模、復雜性和計算成本之間的權衡，同時倡導開發優先考慮效率和與現實世界應用相關性的基準測試。

Application 研究高效MLLMs在各個領域的實際影響，強調性能和計算成本之間的平衡。通過解決諸如高分辨率圖像理解和醫療問答等資源密集型任務，本節強調了高效MLLMs在拓寬其應用范圍和解決現實問題方面的潛力。

總之，這篇綜述深入探討了這些研究工作，探索了多種使MLLMs更具資源效率的策略。我們回顧了高效MLLMs的發展歷史，提供了高效MLLMs策略的分類法，并全面比較了現有高效MLLMs的性能。通過這一探索，我們希望提供對當前最先進技術的全面理解，從而揭示這一新興領域的復雜細微之處。此外，這篇綜述還充當了路線圖，突出了未來研究的潛在途徑，促進了對高效MLLMs領域挑戰和機遇的更深入理解。除了這篇綜述，我們還建立了一個GitHub倉庫，收錄了綜述中提到的論文，并按照相同的分類法進行整理，地址為：

按照標準的MLLM框架，高效MLLMs可以分為三個主要模塊：視覺編碼器g，負責接收和處理視覺輸入；預訓練語言模型，管理接收到的多模態信號并進行推理；視覺-語言投影器P，作為連接兩種模態的橋梁。為了提高通用MLLMs的效率，主要的優化在于處理高分辨率圖像、壓縮視覺令牌、實施高效結構以及使用緊湊的語言模型等策略。圖3展示了架構圖。表1概述了高效MLLMs的總結，包括基礎LLM、視覺編碼器、圖像分辨率和用于連接視覺和語言的投影器。這些高效MLLMs包括：MobileVLM[20]、LLaVA-Phi[21]、Imp-v1[22]、TinyLLaVA[23]、Bunny[24]、Gemini Nano-2[2]、MobileVLMv2[17]、MoE-LLaVA-3.6B[25]、Cobra[13]、Mini-Gemini[26]、Vary-toy[27]、TinyGPT-V[28]、SPHINX-Tiny[14]、ALLaVA[29]、MM1-3B[30]、LLaVA-Gemma[31]、Mipha-3B[32]、VLMamba[18]、MiniCPM-V2.0[70]、DeepSeek-VL[34]、KarmaVLM[71]、moondream2[72]。在本節中，我們將按順序全面概述這三個模塊以及其他高效組件。

Vision Transformer (ViT) [94] 架構在計算機視覺應用中獲得了顯著的關注并被廣泛使用。然而，隨著ViT模型規模的增長，可訓練參數和操作數量也隨之增加，影響了它們的部署和性能。此外，自注意力機制的計算和內存成本隨著圖像分辨率的增加呈二次增長。參考論文[95]，本綜述旨在探索可用于高效MLLMs的最有效的視覺編碼方法。

高效的分子建模和設計對于新分子的發現和探索至關重要，深度學習方法的引入已經徹底改革了這一領域。特別是，大型語言模型（LLMs）提供了一種全新的方法來從自然語言處理（NLP）的角度解決科學問題，引入了一種稱為科學語言建模（SLM）的研究范式。然而，仍有兩個關鍵問題：如何量化模型與數據模態之間的匹配度以及如何識別模型的知識學習偏好。為了應對這些挑戰，我們提出了一個多模態基準，命名為ChEBI-20-MM，并進行了1263次實驗來評估模型與數據模態和知識獲取的兼容性。通過模態轉換概率矩陣，我們提供了關于任務最適合的模態的見解。此外，我們引入了一種統計上可解釋的方法，通過局部特征過濾發現特定上下文的知識映射。我們的先驅性分析提供了對學習機制的探索，并為推進分子科學中的SLM鋪平了道路。 Transformers[8]以其強大的文本編碼和生成能力提供了優勢。這些模型可以通過最小的任務特定調整進行微調，使它們在分子建模和設計中更加多才多藝和高效。此外，自從ChatGPT[9]和GPT-4[10]的出現以來，大型語言模型（LLMs）已成為尤其在分子科學中的一種突破性趨勢。LLMs憑借其在處理和生成類人文本的先進能力，提出了一個理解和設計分子結構的新范式。它們吸收和分析大量文本數據的能力可以提供前所未有的洞察，克服了傳統AI方法的一些限制。這種新能力結合了準確性和新穎性，以改善結果，被稱為化學知識。其有效性取決于輸入數據、模型架構和訓練策略等因素。然而，對這一能力的當前綜述和基準評估并不全面。 分子科學中現有的綜述，如分子生成綜述[11]，通常缺乏全面的模型比較，并且任務范圍有限。知識驅動的綜述[12]對分子學習進行了分類，但缺少詳細的方法比較和數據集討論。而最近的基準測試，如測試ChatGPT的[13]，涵蓋了八個化學任務，每個任務都提供了獨特的化學洞察。Mol-Instructions[14]提供了一個用于微調的數據集，包含各種分子和蛋白質指令，增強了LLMs中的生物分子理解。然而，這些綜述和基準測試缺乏多模態內容，也沒有充分探索模型的化學知識。 總結來說，本研究全面回顧了Transformers和LLMs在分子建模與設計中的應用。我們將六個常見的分子任務分類為三個不同的目標：描述、嵌入和生成，如圖1所生動描繪。此外，我們建立了一個統一的多模態基準ChEBI-20-MM，并進行實驗評估數據模態、模型架構和不同任務類型的兼容性，考察它們對任務性能的影響。此外，我們的端到端可視化方法展示了嵌入化學知識的建模洞察的發現。總體來說，我們的主要貢獻包括： ? 本工作分析了LLMs在分子建模中的應用，分類現有模型，并提出了一個多模態基準（ChEBI-20-MM）進行性能評估，支持1263次實驗。 ? 我們分析了模態轉換概率矩陣，并確定了不同數據模態和模型架構之間的最佳匹配。 ? 我們引入了一種統計上可解釋的方法，通過局部特征過濾展示了知識獲取。 本文的其余部分如下組織。第2節介紹相關定義和背景。然后，我們探討分子建模和設計中的六個關鍵任務。第3節展示了我們的基準測試和洞察。第4節討論了關鍵結果和限制，第5節總結了我們的貢獻和未來研究方向。

多模態（視覺-語言）模型，如CLIP，正逐漸取代傳統的監督預訓練模型（例如，基于ImageNet的預訓練）成為新一代的視覺基礎模型。這些模型通過從數十億個互聯網圖像-文本對中學習，形成了強大且一致的語義表示，并可以在零樣本的情況下應用于各種下游任務。然而，在醫學成像和遙感等一些細粒度領域，多模態基礎模型的性能往往不盡人意。因此，許多研究者開始探索這些模型的少樣本適應方法，逐漸衍生出三種主要技術途徑：1）基于提示的方法；2）基于適配器的方法；3）基于外部知識的方法。盡管如此，這一迅速發展的領域產生了大量結果，但尚無全面的綜述來系統地整理研究進展**。因此，在這篇綜述中，我們介紹并分析了多模態模型少樣本適應方法的研究進展，總結了常用的數據集和實驗設置，并比較了不同方法的結果**。此外，由于現有方法缺乏可靠的理論支持，我們推導了多模態模型的少樣本適應泛化誤差界限。該定理揭示了多模態基礎模型的泛化誤差受三個因素的約束：域間差異、模型容量和樣本大小。基于此，我們從以下幾個方面提出了三種可能的解決方案：1）自適應領域泛化；2）自適應模型選擇；3）自適應知識利用。

人工智能正在越來越多地應用于廣泛的關鍵行業，包括語音識別、圖像識別、自動駕駛、智能制造、醫學診斷、金融風險控制等。在用人工智能技術賦能各個領域的過程中，經常會遇到與碎片化和多樣化需求相關的挑戰。過去，模型通常具有較小的參數規模和有限的泛化能力。一個模型只能應對單一場景，導致成本高昂和泛化性能差。近年來，越來越多的研究者開始關注具有更強泛化能力的預訓練基礎模型。

自2018年以來，如BERT [1]、盤古 [2]、PaLM [3]、GPT4 [4]等基礎模型的訓練數據和參數規模呈指數級增長，導致在各種自然語言理解任務中的性能顯著提高。與此同時，基礎模型的發展也逐漸從單一模態（如文本、語音、視覺等）演變為多模態融合。越來越多的研究機構開始關注多模態預訓練基礎模型，如ViLBERT [5]、CLIP [6]、DeCLIP [7]、FILIP [8]、PyramidCLIP [9]、OFA [10]、BEiT-3 [11]、ERNIE-ViL [12]和Data2vec [13]。

2021年初，OpenAI發布了CLIP，這是一個大規模的多模態模型，用于對齊圖像和文本，它使用數十億互聯網數據進行預訓練，通過對比學習獲得豐富的視覺語言知識。雖然預訓練的CLIP模型可以在推理階段通過使用文本特征作為分類權重來實現零樣本預測，但這種方法通常只在諸如ImageNet之類的通用領域中表現出色，在處理某些細粒度領域的數據時表現不佳。這是因為這些模型在預訓練階段主要使用通用領域的數據，而在面對特定的下游任務時，數據分布往往與預訓練數據不同。因此，有必要使用下游任務的特定數據對模型進行微調。為了通過微調提高模型的泛化性能，研究人員首先提出了基于提示的微調適應方法（例如，CoOp [14]），該方法將CLIP文本端的固定文本輸入視為可學習的向量，然后使用少量樣本進行微調，以適應下游任務。另一種常用于增強少樣本適應能力的方法是基于適配器的微調，如CLIP-Adapter [15]。這種方法涉及在預訓練模型中添加簡單的適配器結構，然后使用少量樣本數據微調適配器參數，使基礎模型適應下游任務。此外，引入基礎語言模型或外部知識（如知識圖譜，例如，CuPL [16]）的方法可以幫助模型更好地處理未見樣本，增強其語義理解和魯棒性，從而提高其在少樣本適應任務中的性能。上述三種方法已廣泛用于各種下游適應任務，但缺乏一個全面的綜述來系統地整理這些方法。因此，我們詳細闡述并比較這些方法，并探索它們的未來發展方向，以進一步提高預訓練模型的性能和泛化能力。

本文的貢獻如下：

? 我們全面回顧和整理了多模態少樣本適應方法，并將現有方法分類為基于提示的微調適應方法、基于適配器的微調適應方法、基于外部知識的適應方法以及其他方法。在基于提示的微調適應方法中，我們進一步將其細分為文本提示微調、視覺提示微調、多模態提示和多任務提示方法。關于基于適配器的微調適應方法，我們將其分類為單模態適配器微調和多模態適配器微調。在使用外部知識的方法中，我們區分了帶有外部知識的預訓練方法和利用外部知識的下游適應方法。

? 我們回顧了11個常用數據集，用于評估多模態基礎模型的下游泛化性能。我們提供了四種實驗設置的詳細描述，以驗證多模態基礎模型在少樣本條件下的適應性能。展示了四種不同設置的實驗結果，并對這些結果進行了比較分析。我們強調了不同類型方法能有效提高多模態基礎模型泛化性能的原因。

? 我們討論了現有多模態基礎模型的少樣本適應方法的共同缺點，并分析了域適應問題。從統計機器學習理論中跨域泛化的誤差界限出發，我們推導了多模態基礎模型的少樣本適應誤差界限，揭示了現有方法面臨的主要挑戰是上游和下游域分布的無效適應、模型選擇的適應性不足以及數據和知識利用不足。

II. 多模態基礎模型的預訓練

近年來，大規模預訓練模型已受到學術界和工業界的廣泛關注。最初，基礎模型預訓練的相關工作主要集中在自然語言處理領域，在這個領域，如BERT [1]和GPT [17]這樣的自監著學習語言模型展現出比傳統方法更好的自然語言理解和生成能力。在計算機視覺領域，范式也從監督預訓練轉變為自監督預訓練。自監督預訓練的視覺模型性能顯著提高，從最初基于數據增強的模型（如SimCLR [18]和MoCo [19]）演變到最近基于隨機掩蔽方法的模型（如MAE [20]和BEiT [21]）。然而，預訓練的語言模型無法接收視覺輸入，導致它們無法將語言理解的優勢擴展到多模態下游任務（如視覺問答VQA）。另一方面，用于視覺預訓練的監督信號通常僅限于數據增強和隨機掩蔽，這阻止了它們在開放世界中學習更豐富的語義表征。因此，我們最近見證了大規模預訓練多模態模型的迅速發展，這些模型結合了視覺和語言模態，如表I所示。

III. 多模態基礎模型的少樣本適應方法

為了有效提高模型在特定領域的泛化性能，有必要使用有限的樣本對多模態基礎模型進行微調，使其具有更廣泛的應用。這些方法可以定義為多模態基礎模型的少樣本適應方法。本章將分為四個部分，提供現有多模態基礎模型方法的詳細概述，即：基于提示的微調適應方法、基于適配器的微調適應方法、基于外部知識的適應方法，以及其他方法。

A. 基于提示的微調適應方法

1. 文本提示基微調適應：在自然語言處理領域，基于提示的微調適應[34]–[38]是解決大型語言模型少樣本泛化問題的經典方法。它涉及將文本輸入的一部分作為可學習向量，并使用下游任務數據對其參數進行微調，使模型能夠適應特定的下游任務。這種方法的優勢在于它避免了文本提示的手動設計，有效地通過僅對模型輸入的特定部分進行微調來減輕過擬合風險。受此啟發，一些研究人員也開始為多模態基礎模型設計基于提示的微調適應方法。CoOp [14]首次將提示學習的思想納入多模態預訓練基礎模型的下游任務適應中。它使用可學習的詞嵌入來自動構建上下文提示，而不是為每個任務手動設計提示模板。如圖1所示，單個類別標簽{object}被轉換為綜合文本提示“[V]1, [V]2, ..., [V]m, {object}”。其中，[V]i代表可調整的詞向量。然后計算分類損失以使用下游任務數據微調這些詞向量，使模型能夠自主獲取適應下游任務的文本輸入。隨后，Zhou等人[39]引入了條件性上下文優化（CoCoOp），該方法構建了一個元網絡來學習圖像的特征。這些特征然后與提示向量結合以增強CoOp在新類別數據上的泛化性能。為了有效利用預訓練模型的零樣本能力，Huang等人[40]提出了無監督提示學習（UPL）。它選擇高置信度的零樣本預測結果作為偽標簽來監督提示向量的學習。類似地，Prompt-aligned Gradient（ProGrad）[41]使用零樣本預測結果來約束模型梯度更新的方向，從而避免少樣本模型與泛化知識之間的沖突，并減輕過擬合問題。然而，由于視覺信息的豐富多樣性，學習僅一個文本提示難以匹配復雜的視覺數據。為解決這一問題，Chen等人[42]提出了使用最優傳輸的提示學習（PLOT）。它用于學習多個不同的文本提示，其中不同的文本提示被視為圖像位置的描述，使用最優傳輸理論來匹配文本提示與局部圖像特征。Lu等人[43]引入了提示分布學習（ProDA），以學習提示分布并從這些分布中采樣不同的文本提示。此外，為了充分利用多任務數據之間的相關性，Ding等人[44]提出了用于提示調整的軟上下文共享（SoftCPT），該方法設計了一個任務共享元網絡，將預定義任務名稱和可學習的元提示作為輸入，以借助多任務數據微調提示。

2. 視覺提示基微調適應：上述所有方法僅微調CLIP的文本部分，而CLIP作為多模態模型，視覺和文本兩方面同等重要。僅微調文本提示無法改善視覺編碼器提取特征的能力，提取的視覺特征可能與下游任務的目標特征不匹配。因此，受到文本提示微調適應的啟發，一系列視覺提示微調適應方法應運而生。現有的視覺提示微調適應方法主要包括令牌級微調適應和像素級微調適應。視覺提示調整（VPT）[45]引入了以令牌形式的可學習視覺提示。類感知視覺提示調整（CAVPT）[46]在此基礎上進一步包括一個交叉注意模塊，使視覺提示更加關注下游任務的目標。與基于令牌的方法相反，Bahng等人[47]建議直接在圖像周圍以填充格式添加像素級視覺提示，以增強視覺提示。Wu等人[48]進一步提出了增強視覺提示（EVP），通過縮放和填充而不是直接在原始圖像周圍填充。

3. 多模態提示基微調適應：除了單獨學習文本和視覺提示外，還可以同時學習多模態提示，以更好地對齊文本和視覺特征。文本和視覺特征具有固有的差異，為了在學習多模態提示時加強它們之間的聯系，多模態提示學習（MAPLE）[49]使用copula函數將文本提示轉換為視覺提示。統一提示調整（UPT）[50]首先學習一個通用提示，然后將其分解為文本和視覺提示。另一方面，多任務視覺語言提示調整（MVLPT）[51]引入了多任務學習的概念，使用跨任務知識微調文本和視覺提示。

B. 基于適配器的微調適應方法

1. 單模態適配器基微調適應：在自然語言處理（NLP）領域，適配器的概念最初由谷歌團隊于2019年引入，用于微調大型語言模型[52]。在下游任務訓練中，該方法凍結原始語言模型的參數，僅更新作為適配器模塊添加的少量參數。由于其參數效率高、設計靈活性和高魯棒性等優點，這種方法近年來在NLP領域受到了廣泛的研究關注[53]。最近，基于適配器的方法也被應用于計算機視覺領域的視覺變換器（ViTs）中。Jie等人[54]通過引入卷積旁路（Convpass）解決了ViTs中適配器結構缺乏歸納偏置的問題。此外，他們提出了因子調整（FacT，引用為[55]），以進一步提高參數效率的遷移學習效率，以滿足實際應用中的存儲約束。

2. 多模態適配器基微調適應：上述基于適配器的方法都適用于自然語言處理或計算機視覺中的單模態基礎模型。近年來，基于適配器的方法也被擴展到多模態基礎模型中，以增強下游泛化能力。Gao等人[15]引入了CLIP-Adapter，該適配器在凍結骨干網絡后添加了一個全連接層適配器來學習額外知識。然后，它基于殘差連接將這些知識與零樣本預測結果合并，如圖2所示。基于這些發展，張等人引入了Tip-Adapter[56]。該方法基于下游少樣本訓練數據構建分類器，并以線性加權方式將其預測與原始零樣本分類器的結果結合，以增強模型的預測性能。SVL-Adapter[57]在適配器之前融合了一個預訓練的自監督視覺編碼器，以提取更魯棒的視覺特征。然而，上述方法僅使用跨模態對比損失，沒有考慮少樣本數據集的視覺特定對比損失。為解決這一問題，彭等人[58]提出了語義引導的視覺適應（SgVA-CLIP），通過隱式知識蒸餾引導視覺適配器的參數更新，以確保圖像-文本關系的一致性。為了增強適配器的跨模態交互能力，CALIP[59]利用注意力圖融合文本和圖像特征，并在融合前后插入兩個可微調的線性層。此外，跨模態適配器（CMA）[60]和多模態視頻適配器（MV-Adapter）[61]通過在兩種模態之間共享適配器權重實現跨模態交互。這些方法考慮了單模態和多模態場景，但沒有充分整合每種模態的優勢。為解決這一問題，陸等人[62]提出了UniAdapter，以統一單模態和多模態適配器。

C. 基于外部知識的適應方法

1. 基于外部知識的預訓練方法：預訓練基礎模型通過從互聯網上大量數據中挖掘相關信息，具有學習通用表征的能力。然而，在這些數據驅動的模型中，知識通常是隱性的，沒有明確鏈接到人類對世界的理解或常識性知識。近年來，數據和知識驅動的預訓練方法不斷涌現，研究人員開始探索將更全面的外部知識，如知識圖譜，融入基礎模型中。這種整合旨在使這些模型更加魯棒、可靠和可解釋。ERNIE[63]融合了一個知識編碼器，用于實體知識提取和異構信息融合。K-BERT[64]檢索與模型輸入相關的外部知識，并構建具有豐富上下文知識的句子樹作為模型輸入。近年來，一些工作也開始為多模態基礎模型的預訓練注入知識。例如，ERNIE-ViL[65]整合了來自場景圖的知識，KM-BART[66]通過創建額外的預訓練任務來模擬一般視覺知識，K-LITE[67]融合了包括WordNet和維基百科定義在內的各種外部知識源。

2. 基于外部知識的下游適應方法：上述方法在預訓練階段引入外部知識。然而，在數據樣本有限的下游少樣本適應場景中，也有必要增強外部知識以確保模型的性能。最常見的方法之一是通過查詢大型語言模型為每個類別生成更豐富的文本描述。圖3展示了這種方法的示例。通過語言模型定制提示（CuPL）[16]是第一個將外部知識融入多模態基礎模型下游泛化過程的方法。CuPL通過向GPT-3提問生成每個類別的多個描述性陳述，豐富類別的語義，從而提高零樣本分類性能。然而，CuPL使用GPT-3生成的句子可能存在描述性差和可靠性問題。為解決這些問題，Menon等人[68]進一步完善了基于GPT-3的知識增強過程。他們提示GPT-3以短語形式生成語義屬性描述，增強了模型的可解釋性。為了在可解釋性和性能之間取得平衡，語言引導瓶頸（LaBo）[69]使用GPT-3生成大量候選特征描述符空間，同時考慮特征相對于其他類別的區分性和當前類別的覆蓋率。它篩選出最佳子描述符空間以進行分類決策，從而揭示模型的決策邏輯。ELEVATER[70]還融合了來自GPT-3、WordNet和維基詞典等來源的定義。實驗結果表明，外部知識可以增強多模態基礎模型的下游泛化性能。然而，不同知識來源有不同的側重點和特性。例如，WordNet具有相對豐富和準確的知識，但覆蓋率較低，而GPT-3具有更廣泛的知識覆蓋范圍，但可能缺乏可靠性。此外，與上述使用外部知識增強文本語義的方法不同，SuS-X[71]專注于增強多模態模型的視覺樣本。

擴散模型（DMs）代表了圖像超分辨率（SR）領域的重大進步，使技術圖像質量更加符合人類偏好，并擴展了SR應用。DMs解決了先前方法的關鍵局限性，提高了SR圖像的整體真實感和細節。然而，DMs存在顏色偏移問題，且高計算成本要求高效采樣替代方案，這凸顯了平衡計算效率和圖像質量的挑戰。這篇綜述概述了將DMs應用于圖像SR的情況，并提供了一項詳細分析，強調了該領域內獨特的特征和方法論，與該領域更廣泛的現有綜述截然不同。它呈現了DM基礎知識的統一視角，并探索了研究方向，包括替代輸入域、條件策略、引導、腐敗空間和零樣本方法。這篇綜述提供了關于DMs在圖像SR領域演化的見解，涵蓋了當前趨勢、挑戰和這個快速發展領域的未來方向。

在不斷發展的計算機視覺領域中，超分辨率（SR）——將低分辨率（LR）圖像增強為高分辨率（HR）圖像——一直是一個長期而仍然令人困惑的挑戰，這歸因于其本質上不適定的特性：由于亮度和顏色等多種因素，任何給定的LR圖像都可以對應多個有效的HR圖像【1】。SR的應用范圍從自然【2】【3】到先進的衛星【4】和醫學成像【5】，其進展得益于深度學習的快速發展。最近，擴散模型（DMs）作為一種主要的生成模型家族嶄露頭角，挑戰著生成對抗網絡（GANs）長期以來的主導地位【6】【7】【8】【9】。雖然早期的生成模型展示了令人印象深刻的圖像生成能力，但它們存在內在的局限性。例如，自回歸模型在生成HR圖像時可能成本過高【10】【11】【12】。另一方面，NFs和VAEs通常生成的樣本質量不理想。此外，GANs需要精心設計的正則化和優化策略來管理優化不穩定性并防止模式崩潰【13】。盡管如此，這些模型對SR領域的貢獻仍然顯著。 DMs的出現標志著生成模型的新時代，并深刻影響了生成式AI領域，再次為圖像SR領域注入活力。然而，隨著關于DMs的研究量持續增長，對于那些新入此領域的人來說，跟上最新發展變得越來越具有挑戰性。這一研究領域的廣度可能會掩蓋主要趨勢，并可能阻礙進一步研究的進展。我們通過提供對圖像SR中DMs當前研究的全面概述來解決這些問題。 這篇綜述是在我們之前的作品《超分辨率領域的搭車旅行指南》【14】的基礎上建立的，該作品對圖像SR領域進行了廣泛的概述。我們旨在為那些新入DMs在圖像SR領域的人提供一個有價值的切入點，同時為那些已有經驗的人提供更廣闊的視角。

本文的結構如下所述： 第2節 - 超分辨率基礎：這一節提供了基本定義，并介紹了評估圖像質量時常用的標準數據集、方法和度量，這些都是圖像SR出版物中常用的。 第3節 - 擴散模型基礎：介紹了擴散模型（DMs）的原理和各種形式，包括去噪擴散概率模型（DDPMs）、基于評分的生成模型（SGMs）和隨機微分方程（SDEs）。這一節還探討了DMs與其他生成模型的關系。 第4節 - 擴散模型的改進：常見的增強DMs的實踐，重點是高效采樣技術和改進的似然估計。 第5節 - 圖像SR中的擴散模型：介紹了DMs在SR中的具體實現，探討了替代領域（潛在空間和小波域），討論了架構設計和多任務Null-Space模型，并研究了替代腐敗空間。 第6節 - 領域特定應用：基于DM的SR應用，特別是醫學成像、盲目面部恢復、面部SR中的大氣湍流以及遙感。 第7節 - 討論和未來工作：圖像SR中DMs的常見問題和值得注意的DMs在圖像SR中的研究途徑。 第8節 - 結論：總結了這項調查。

最先進的神經網絡架構設計的最新進展正在向Transformer模型發展。這些模型在計算機視覺、自然語言處理和語音識別的廣泛應用中取得了卓越的準確性。自從Transformer模型最初被引入以來，這種趨勢在過去幾年中一直是一致的。然而，最近Transformer模型推理所需的計算量和帶寬正在以顯著的速度增長，這使得它們在延遲敏感的應用程序中的部署具有挑戰性。因此，人們越來越關注提高Transformer模型的效率，方法從更改架構設計，一直到開發專用的特定領域加速器。**本文調研了高效Transformer推理的不同方法，包括:(i)分析和剖析現有Transformer架構中的瓶頸及其與之前卷積模型的異同;(ii) Transformer架構對硬件的影響，包括層歸一化、Softmax和GELU等非線性操作以及線性操作對硬件設計的影響;(iii)優化固定Transformer架構的方法;(iv)為Transformer模型找到正確的映射和操作調度的挑戰;(v)通過使用神經架構搜索調整架構來優化Transformer模型的方法。**最后，在開源的全棧深度神經網絡加速器生成器Gemmini上進行了案例研究，并與之前的基準測試結果相比，展示了這些方法是如何產生改進的。發現與上述方法相結合的全棧協同設計方法可以導致高達88.7倍的加速比。

1. 引言

深度學習模型在訓練和推理過程中已經擴展到數十億個參數和數十億個乘累加(MAC)操作。因此，人們對高效計算這些模型以及在資源受限的邊緣設備上部署這些計算和內存密集型工作負載的興趣越來越濃厚。這些邊緣設備有嚴格的能量和內存限制，相應的利用深度學習模型的應用程序通常也有實時延遲限制。CPU和GPU在通用性能計算平臺中都是常用的，它們的優勢是無處不在且能夠支持各種工作負載和操作。然而，這種靈活性是以降低效率為代價的。深度學習模型由少量不同的操作組成，這些操作會重復數百萬或數十億次，因此通常不需要很高的靈活性。此外，雖然現代CPU和GPU可以并行執行多個操作，但它們缺乏利用深度學習模型中的海量數據重用機會的能力。 對快速、高效計算的需求，使用少量不同的操作，以及數據重用的機會，這些結合在一起，導致了深度學習使用硬件加速器。這與學術界開發的許多研究加速器相似[34,37,39,40,59,69,70,81,169]。隨著硬件加速器的發展，用于部署各種深度學習算法的軟件框架[3,32,98,167]和編譯器[33,161,185]也得到了增強和成熟。這些工具使深度學習算法能夠在加速器上執行，并執行映射優化，以提高整個深度學習流水線的性能和效率。然而，快速發展的深度學習算法仍在不斷引入對軟硬件支持及其協同優化的新需求，以滿足各種部署約束。 **最近，transformer和大型語言模型[22,44,52,58,86,173-175,177,190,198]在解決各種自然語言處理(NLP)任務方面的流行，在加速器和框架的設計方面提出了一套全新的挑戰。**人們也越來越關注提高Transformer推理的效率，特別是由于它們的規模和運行時復雜性不斷增長。然而，與更知名的卷積神經網絡(CNN)架構相比，人們仍然缺乏對Transformer架構的工作負載特征的了解，從而缺乏有效運行這些模型所需的設計原則。例如，與傳統的以CNN為重點的設計相比，transformer主要由矩陣乘法(matmuls)和內存密集型的非線性操作組成。此外，Transformer模型的計算圖和數據流比CNN更復雜，具有更多類型的操作節點，以及更多的數據流拆分和連接。所有這些挑戰都要求我們對當前的硬件和軟件解決方案進行全面的分析，以及Transformer推理的各種設計權衡。進行這樣的分析將使我們能夠對高效運行transformer的需求建立全面和全面的理解。

本文工作有兩個方面的貢獻:(1)分析Transformer的運行時特性，并調查高效Transformer推理的不同方法;(2)在全棧深度神經網絡(DNN)加速器生成器Gemmini[70]上應用所調查的方法進行案例研究。本文工作的長期目標是描述硬件和軟件堆棧中的不同因素，以優化Transformer推理。關于我們的第一個貢獻，本文涵蓋了端到端深度學習推理的不同層次，特別關注transformer。這包括:Transformer架構的運行時特征和瓶頸的分析和profiling(第2節)。包括Transformer架構的非線性操作對其設計的影響(第3節)?優化策略，如修剪和量化，以進一步提高固定Transformer架構的性能(第4節)?Transformer架構中操作的映射和調度及其相關挑戰(第5節)?通過自動化神經架構搜索過程設計和適應Transformer架構，以提高硬件效率(秒。6)。

Transformer模型架構和性能瓶頸

在本節中，我們將從高層次地介紹Transformer架構的各個組成部分。首先討論了多頭注意力和前饋模塊、transformer中使用的非線性操作，以及編碼器/解碼器模型之間的差異，在2.1節中。在2.2節中，我們使用算法分析這些不同塊對硬件性能的影響，并對每個組件進行分析建模和直接profiling。

**硬件設計

**到目前為止，在第2節中，我們已經對Transformer架構的運行時特性和瓶頸進行了分析。現在將重點轉移到高效Transformer推理的全棧解決方案，從設計高效的硬件開始。第3.1節概述了為DNN使用特定領域加速器的基本原理，以及在大多數DNN加速器中使用的基本架構和數據流。第3.2節重點介紹了加速transformer的現有工作。第3.3節隨后提供了使用分析模型的分析，以評估transformer在典型加速器上的運行情況。最后，第3.4節提供了一個案例研究，說明了為transformer構建典型加速器的過程。總的來說，本節會給出相關的性能分析，并從全棧的角度為選定的硬件決策提供依據。請注意，我們這里只關心如何有效地推斷DNN。特別是，為高效的模型訓練設計硬件超出了本文的范圍。

** 模型優化**

給定一個已經設計和訓練好的DNN模型，一個重要的問題是，是否仍然有可能通過算法來提高模型在目標硬件平臺上的效率，通過將模型改編為更友好的硬件格式。在本節中，我們將分別在第4.1節和4.2節中討論流行的現成模型優化方法，量化和稀疏性(即剪枝)。然后，在第4.3節中，我們概述了特定于transformer的優化方法，以提高特定于transformer的特征(如注意和非線性操作)的性能。

將transformer映射到硬件

為了在目標硬件架構上執行Transformer塊，必須將其映射到執行所需的計算和通信的硬件指令中。在映射過程中所做的選擇對性能有很大影響。然而，可能映射空間的大小使找到最優映射變得困難，這需要使用仔細考慮的探索、啟發式或基于學習的方法。在本節中，我們將介紹5.1節中的映射問題。我們將在第5.2節討論高效執行transformer所需的關鍵映射決策。我們在第5.3節中概述了現有映射技術的分類，在第5.4節中概述了對不同映射的性能進行建模的技術。最后，在5.5節中，我們將介紹mapper在使用transformer時需要注意的問題。

盡管生成式對抗網絡(GAN)的歷史并不長，但它已被廣泛地研究和用于各種任務，包括其最初的目的，即合成樣品的生成。然而，將GAN用于具有不同神經網絡結構的不同數據類型，由于其在訓練方面的局限性，使得模型很容易出現混亂。這種臭名昭著的GAN訓練是眾所周知的，并已在許多研究中提出。因此，為了使GAN的訓練更加穩定，近年來提出了許多正則化方法。本文綜述了近年來引入的正則化方法，其中大部分是近三年來發表的。具體地說，我們關注的是那些可以被普遍使用的方法，而不管神經網絡體系結構如何。根據其運算原理將其分為若干組，并分析了各方法之間的差異。此外，為了提供使用這些方法的實際知識，我們調研了在最先進的GANs中經常使用的流行方法。此外，我們還討論了現有方法的局限性，并提出了未來的研究方向。