亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Transformer架構在自然語言處理和計算機視覺等多個領域展現了顯著的成功。當涉及到圖學習時，transformer不僅需要捕捉節點對之間的交互，還需要保持揭示它們之間潛在關系和鄰近性的圖結構，顯示出捕捉不同圖結構的表達能力。因此，已經提出并廣泛應用了各種結構保持圖transformer，用于生物信息學和化學信息學中的圖級任務。然而，與圖結構保持相關的策略在文獻中尚未得到良好的組織和系統化。在本文中，我們提供了結構保持圖transformer的全面概述，并從它們的設計目標的角度對這些方法進行了概括。首先，我們將策略分為四個主要組：節點特征調制、上下文節點采樣、圖重寫以及transformer架構改進。然后，我們根據圖結構保持的覆蓋范圍和目標進一步細分策略。此外，我們還討論了圖transformer模型在保持圖結構和理解圖的本質方面的挑戰和未來方向。

大型模型，包括大型語言模型和擴散模型，已在接近人類智能方面展現出卓越的潛力，引起了學術界和工業界的極大興趣。然而，這些大型模型的訓練需要大量的高質量數據，而且隨著這些模型的持續更新，現有的高質量數據資源可能很快就會耗盡。這一挑戰促使人們大量研究數據增強方法。利用大型模型，這些數據增強技術已超越傳統方法。本文提供了一篇關于大型模型驅動的數據增強方法的全面綜述。我們首先建立了相關研究的分類，分為三個主要類別：**圖像增強、文本增強和配對數據增強。**接著，我們深入探討了與基于大型模型的數據增強相關的各種數據后處理技術。我們的討論隨后擴展到這些數據增強方法在自然語言處理、計算機視覺和音頻信號處理等領域的應用范圍。我們繼續評估基于大型模型的數據增強在不同場景中的成功與局限性。在我們的綜述中，我們突出了數據增強領域未來探索的潛在挑戰和途徑。我們的目標是為研究人員提供關鍵洞察，最終有助于更復雜大型模型的發展。我們持續維護相關的開源材料在： //github.com/MLGroup-JLU/LLM-data-aug-survey。

數據增強，作為機器學習中的關鍵策略，解決了用有限的標記數據訓練不同任務模型的挑戰。它涉及增強訓練樣本的充足性和多樣性，而無需顯式收集新數據，因此在提高模型泛化方面起著至關重要的作用（Feng et al., 2021; Shorten and Khoshgoftaar, 2019）。數據增強的本質在于通過各種變換改變現有數據點來生成新數據。這防止了模型記憶無關的數據模式，增強的數據緊密反映了真實數據的分布（Cubuk et al., 2019; Wei and Zou, 2019）。這些技術直接適用于監督學習（Liu et al., 2021c）并且可以通過一致性規則化（Zhang et al., 2021a）在半監督學習中用于未標記數據。最初為計算機視覺（CV）開發的數據增強方法通過裁剪、旋轉和色彩調整等操作創建人工圖像（Kanwal et al., 2022; Krell and Kim, 2017; Takahashi et al., 2019）。在自然語言處理（NLP）中，類似的方法包括隨機字符插入、單詞刪除和同義詞替換（Liu et al., 2020; Shorten and Khoshgoftaar, 2019）。

數據增強的重要性在學術和工業領域引起了廣泛關注。作為一個活躍的研究領域，它解決了機器學習中對大量高質量標記數據的日益增長的需求，這一需求在現實世界中往往無法滿足。盡管在過去幾十年中，特別是在深度學習技術方面，數據增強取得了顯著進展，但這些方法仍然難以捕捉現實世界數據的復雜性（Feng et al., 2021），生成可擴展數據（Yang et al., 2022），并抵御對抗性示例（Qiu et al., 2020）。

為了應對這些限制，當前研究正在探索創新技術來增強數據增強方法的效果和多樣性。其中，大型模型，包括大型語言模型（Zhao et al., 2023）和擴散模型（Yang et al., 2023），顯示出相當大的潛力。大型語言模型（LLMs），如GPT-4（OpenAI, 2023a）和Llama2（Touvron et al., 2023b），已經革新了NLP。這些模型以Transformer架構（Vaswani et al., 2017）為特點，并在廣泛的語料庫上進行訓練，擅長理解和生成類似人類的文本，標志著機器學習能力的重大進步（Zhao et al., 2023）。這些擁有數十億參數的模型可以承擔包括代碼生成（Zhang et al., 2023b）和數據增強（Dai et al., 2023）在內的多樣化和復雜任務，為人工通用智能（AGI）的實現鋪平了道路。

擴散模型（Ho et al., 2020; Song et al., 2020），一種新的最先進的生成模型家族，在計算機視覺中的圖像合成方面超越了長期占據主導地位的生成對抗網絡（GANs）（Goodfellow et al., 2014）（Dhariwal and Nichol, 2021; Ho et al., 2020）。與變分自編碼器（VAEs）（Kingma and Welling, 2013）和GANs等先前模型不同，擴散模型通過迭代添加和逆轉噪聲來生成高質量的合成圖像，并已實現文本到圖像的生成（Saharia et al., 2022），擴展了數據增強的范圍。

方法論

大型模型的出現徹底改變了數據增強的方式，提供了與傳統方法相比更具多樣性的創新和有效手段來生成訓練數據。本節將現有的方法基于目標數據類型分為三個不同的類別：圖像增強、文本增強和配對數據增強。圖像增強涉及擴展圖像數據，文本增強涉及擴展文本數據，而配對數據增強則涉及兩者。這些方法反映了數據增強的最新趨勢，突出了大型模型的重要作用。

圖像增強圖像增強通過額外信息的指導來合成逼真的圖像。我們將這些技術分為基于提示的和基于主題的方法：在基于提示的類別中包括文本、視覺和多模態方法；在基于主題的類別中包括針對特定主題的策略。文本提示驅動的方法從文本描述中生成圖像，視覺提示驅動的方法使用視覺線索，而多模態提示驅動的方法結合了文本描述和視覺指導。基于主題的方法為特定主題量身定制增強。這些方法提升了深度學習任務的性能，有助于更加健壯的訓練體驗。現有方法在表3中總結。

文本增強

文本增強著重于利用大型模型的先進能力來增強文本數據集，包括兩種策略：基于標簽的和基于生成內容的。在基于標簽的方法中，模型被用于注釋文本數據，有效地豐富了文本數據集，增加了更多的標記實例。基于生成內容的策略指導模型合成新的文本數據，從而擴展了數據集，增加了新生成的文本材料。現有方法在表4中展示。

配對數據增強

MixGen（Hao et al., 2023）是一種用于視覺-語言表示學習的數據增強方法，通過圖像插值和文本連接生成具有保留語義關系的圖像-文本對。Bakhtiarnia等人（2023）提出了一種名為PromptMix的方法，該方法從現有數據集中提取文本描述，使用提取的文本作為輸入到潛在擴散模型以生成類似于現有數據集中的圖像，使用高性能的重量級網絡對生成的圖像進行注釋，并將這個假數據集與真實數據混合，以改善輕量級深度神經網絡的訓練。為了解決視覺語言數據集中的報告偏差問題，特別是對象屬性關聯對訓練模型的潛在有害影響，Wu等人（2023b）提出了一種稱為BigAug的雙模態增強方法。這種方法利用對象屬性解耦來合成不同的視覺語言示例，并創建跨模態的硬否定。LLM和基礎對象檢測器的整合有助于提取目標對象，其中LLM為每個對象提供詳細的屬性描述。這些描述以及相應的硬否定接著被用來通過修補模型生成圖像。這個明確的過程引入了缺失的對象和屬性以供學習，其中硬否定指導模型區分對象屬性。

總結

在本節中，我們提供了對我們在第3、4和5節中審查的主要發現的綜合概述。 基于大型模型的數據增強仍然是一個充滿機會和挑戰的領域。本調查旨在全面審查基于大型模型的數據增強方法，伴隨的數據后處理技術以及在下游任務中的應用。 它還仔細分類了現有的基于大型模型的數據增強方法。通過總結和分析當前的研究工作，我們確定了當前方法的成功和失敗，并辨別了基于大型模型的數據增強的新趨勢。此外，我們總結了用于評估基于大型模型的數據增強的現有方法。最重要的是，這些總結可以幫助提出未來研究的新挑戰和機會。

語言模型，特別是預訓練的大型語言模型，在作為少示例上下文學習者（ICL）方面展示了顯著的能力，擅長僅通過輸入上下文中的幾個示例適應新任務。然而，模型執行ICL的能力對少示例演示的選擇非常敏感。與其使用固定的示例集，一種新的發展趨勢是檢索針對每個輸入查詢定制的示例。演示檢索的實現相對直接，利用現有的數據庫和檢索系統。這不僅提高了學習過程的效率和可擴展性，而且已顯示出減少手動示例選擇中固有偏見的潛力。鑒于這些鼓舞人心的結果和使用檢索示例的ICL領域的研究日益增長，我們進行了這一領域研究的廣泛綜述。在這篇綜述中，我們討論并比較了不同的檢索模型設計選擇、檢索訓練程序和推理算法。

少示例上下文學習（ICL）是大型語言模型（LLMs）在給定新任務的幾個輸入-輸出示例或演示以及實際任務輸入時，執行新任務的能力。重要的是，模型參數不需要針對新任務進行微調。ICL的流行源于對預訓練大型語言模型的研究，這些模型可以在沒有被訓練執行ICL的情況下執行ICL（Brown et al., 2020），盡管較小的語言模型也可以被明確訓練以執行ICL（Min et al., 2022a）。ICL相較于傳統方法（即先進行初始預訓練，然后進行下游任務的微調）在適應語言模型到下游任務方面有幾個優勢。ICL的一個顯著優點是避免了微調，這在由于無法訪問模型參數或計算資源限制的情況下可能無法實現（Brown et al., 2020）。此外，ICL避免了微調常見的問題，例如過擬合（Ying, 2019; Kazemi et al., 2023a）。與參數高效微調方法（PEFT）相比（Hu et al., 2021; Dettmers et al., 2023; Lester et al., 2021），ICL在計算上更經濟，且保持模型參數不變，從而保持了LLMs的通用性。早期ICL實現使用針對每個目標任務的固定示例集。這些示例可以由人工精心制作（Hendrycks et al., 2021; Wei et al., 2022; Kazemi et al., 2023b），從訓練數據中隨機選擇（Brown et al., 2020; Lewkowycz et al., 2022），或基于復雜度或信息內容等指標選擇（Fu et al., 2022; Hongjin et al., 2022; Li and Qiu, 2023a; Wang et al., 2023b）。此類示例的有效性受到示例質量、數量和排序等因素的影響。重要的是，這些示例保持與上下文無關（即不管查詢如何，都使用相同的示例），這可能阻礙釋放LLMs的真正潛力。

基于檢索的ICL（RetICL）在優化語言模型性能方面呈現了一種范式轉變，從靜態、預定義的示例集轉向動態、與上下文敏感的方法。這一創新的核心是自適應示例選擇的概念，其中專門的檢索器為每個具體任務輸入智能地策劃定制示例。這種方法不僅一致地優于依賴隨機或靜態手工制作示例的方法，而且還顯示出對多種影響因素的顯著抵抗力。RetICL的有效性取決于所選示例的“相關性”和“有用性”，這一過程受到多個因素的復雜影響。這些包括檢索器的性質（從通用的現成模型到精細調整的特定領域變體）、檢索語料庫的來源和多樣性、檢索器的目標（專注于相似性或多樣性）以及集成多個示例的策略。在過去兩年中，眾多有時并行的研究已經研究了RetICL，每個研究使用不同的術語，并在問題定義和隨后的方法論上有所不同，使得理解RetICL的當前研究和實踐狀態，特別是對于該領域的新手來說，變得困難。在這篇全面的綜述中，我們詳細分析了RetICL領域的22篇開創性論文（如表1所示），并對其主要構建模塊進行了分類（見圖1）。我們的工作不僅提供了現有研究的全面綜合，而且強調了RetICL在超越以往ICL方法方面的重要領域，并為該領域未來的創新照亮了許多前進的道路，因此成為ICL的關鍵資源。

少樣本上下文學習的語言模型神經語言模型（LM）的增強能力催生了一種新的自然語言處理（NLP）問題學習范式。從歷史上看，NLP問題的主導學習范式是從頭開始對特定任務的數據進行模型訓練。因此，對于每一個新任務，模型都必須從頭開始學習。這通常導致泛化能力較差，尤其是在測試時遇到之前未觀察到的詞匯的情況下。在隨后的范式中，首先在大量文本語料庫上預訓練一個LM，使其了解語言如何運作并獲得關于世界的大量知識（Petroni et al., 2019; Lin et al., 2020; Sung et al., 2021; Yuan et al., 2023）；然后再在新任務的數據上進一步對預訓練的LM（PLM）進行微調（Sarzynska-Wawer et al., 2021; Devlin et al., 2018），從而教會通用的PLM新任務的特定內容。這一范式通常導致學習速度更快和預測性能更高。后來的研究表明，對PLM進行多任務微調可以更好地實現任務間知識轉移，并可能導致在新任務上的性能提升（Raffel et al., 2020）。隨著預訓練大型語言模型（LLMs）的規模和用于預訓練這些模型的數據集規模的增大，人們發現預訓練的LLMs（為簡潔起見，以下簡稱為LLMs）具有通過少量示例在上下文中學習的顯著能力（Brown et al., 2020）。也就是說，LLMs被證明能夠僅通過在輸入中看到幾個新任務的示例來適應新任務，而不需要額外的訓練數據或微調。這通常被稱為少示例上下文學習。

與上述涉及預訓練后進行微調的大型語言模型（LLMs）使用方法相比，上下文學習（ICL）提供了幾個關鍵優勢。首先，由于對LLM的訪問受限、計算資源不足或數據標記不充分（Brown et al., 2020），微調可能并不總是可行的，而ICL則需要更少的資源、更少的數據，并且通過API調用更易于服務。此外，ICL避免了常與微調相關的問題，如過擬合或沖擊（Ying, 2019; Kazemi et al., 2023a），因為它不修改模型的參數，使其保持通用性。

**什么構成了好的演示？**許多研究試圖提供理論上的解釋和洞見，來說明大型語言模型（LLMs）是如何從少量上下文演示中學習的（Xie et al., 2021; Garg et al., 2022; Von Oswald et al., 2023）。然而，這種能力背后的確切原因仍然不甚明了，這使得選擇最佳的少示例演示變得困難。幸運的是，各種實證結果展示了少示例演示對LLMs預測準確性的影響，并就準備它們的最佳實踐提供了建議。這些研究還展示了LLMs在選擇、格式和少示例演示順序方面的脆弱性。在此，我們描述了其中一些更為顯著的研究。

演示數量：大型語言模型（LLMs）通常受益于更多的演示，但隨著演示數量的增加，改進的速度通常會減少（Brown et al., 2020; Ye et al., 2023b; Min et al., 2022b）。生成任務比分類任務更能從增加的演示數量中受益（Li et al., 2023）。增加演示數量的一個障礙是LLM的最大上下文大小。盡管隨著新型LLM的出現，上下文的大小一直在增加，但對于文本輸入較長的數據集或分類數據集中類別較多的情況，這可能仍然是個問題。

演示格式：不同的工作表明，提示的格式和措辭在LLM的性能中起著至關重要的作用（Jiang et al., 2020; Shin et al., 2020; Kojima et al.; Yang et al., 2023）。例如，Kojima等人展示了僅在提示中添加“讓我們一步一步思考”可以使LLM逐步推理并解決更多問題，Weller等人（2023）展示了在提示中添加“根據維基百科”可以使其更具事實性。此外，Min et al.（2022b）指出，除了文本格式，標簽空間和演示中的輸入文本分布也非常重要。

演示順序：演示的順序已被證明會顯著影響模型性能。例如，Lu et al.（2022b）表明，在某些任務上，模型性能可能會根據提示的順序從接近隨機到最先進水平不等，而Zhao et al.（2021）表明，在提示的末尾出現的答案更可能被模型預測。演示多樣性：少示例學習成功的另一個重要因素是演示的多樣性。Naik et al.（2023）提出了DiversePrompting方法，其中對于演示的問題，使用LLM生成解決問題的不同方法，然后將這些解決方案用于提示。Zhang et al.（2022b）建議選擇一個多樣化的問題集作為少示例。Ma et al.（2023）提出了一個公平性指標用于選擇演示，鼓勵選擇多樣化的少示例演示，以產生對語義自由輸入的近似均勻預測分布。

思維鏈（CoT）：已有研究表明，包含答案的理由顯著提高了模型性能，尤其是對于超過特定大小的模型（Suzgun et al., 2022）。這種理由通常被稱為思維鏈（CoT）（Wei et al., 2022）。在CoT提示的情況下，演示通常格式化為： 查詢：qi，理由：ri，答案：ai其中理由出現在最終答案之前。已有多項研究探討了CoT提示的有效性原因以及如何改進提示和理由（Wang et al., 2022a; Lanham et al., 2023）。

使用檢索演示的上下文學習傳統上，所有查詢都使用相同的少示例演示集，這在查詢之間存在高度變化時可能并不理想。另一種方法是檢索針對當前查詢定制的少示例演示。先前的工作表明，與手工策劃或隨機選擇的演示相比，演示檢索在任務指標上帶來了顯著改進（Luo et al., 2023; Ye et al., 2023a）。此外，當使用檢索的演示時，已經證明大型語言模型（LLMs）對于演示順序等因素（第2.2節）變得不那么敏感（Li et al., 2023）。本節提供了基于檢索的上下文學習（RetICL）的概述。我們首先定義了使用檢索演示的上下文學習。正式地，給定一個查詢q?和一個檢索語料庫C，演示檢索器DR選擇一組演示{d1, . . . , dk} ～ C，其中每個演示為di = (qi, ai)。大型語言模型（LLM）的輸入序列變為(d1, . . . , dk, q?)。檢索器的目標是選擇能最大化正確答案a?概率的演示。RetICL的成功取決于多個因素。本節探討了設計選擇，包括檢索目標、檢索推理策略和檢索語料庫。然后在第4節和第5節中，我們探索了檢索器模型以及如何訓練它們以適應下游任務。

檢索目標：

相似性與多樣性為了選擇和定制適合大型語言模型（LLMs）的上下文示例，已經探索了各種檢索目標（Luo et al., 2023; Rubin et al., 2022; Ye et al., 2023a; Dalvi et al., 2022; Cheng et al., 2023; Li et al., 2023）。選擇演示的兩個主要檢索目標是相似性和多樣性。相似性涉及選擇最類似于查詢的演示，并可基于語言相似性（術語匹配或語義匹配）、結構方面（句子結構、推理結構等）或其他標準。大多數研究關注語言相似性，較少涉及結構相似性，這通常是由于在許多任務中提取查詢結構的挑戰（Levy et al., 2022）。除了相似性，一些工作發現演示的多樣性很重要。多樣性的動機包括避免重復的演示（Zhang et al., 2022b），帶來不同的視角（Yu et al., 2023），以及最大化演示對測試查詢的覆蓋，無論是覆蓋其詞匯還是句法結構（Levy et al., 2022）。衡量多個演示的多樣性是一個主要的技術挑戰。Ye et al. (2023a) 應用了決定性點過程（DPP）這一概率模型來衡量負相互作用（Kulesza et al., 2012），以衡量多樣性。Levy et al. (2022) 發現當模型對輸出符號空間不熟悉時，多樣性和覆蓋是重要的。值得注意的是，研究人員發現，在某些情況下，上下文學習（ICL）更多地從更高復雜性的演示中受益（Fu et al., 2022），其中復雜性是根據查詢長度或推理步驟定義的。然而，Fu et al. (2022) 使用啟發式規則來定義復雜性并相應地預選演示。他們的研究表明，使用基于相似性的檢索器在特定的數學推理任務中提高了性能。這可能表明結合相似性和復雜性考慮可能是增強推理任務方法的一個有前景的策略。

現成演示檢索器為了實現上述檢索目標，研究人員探索了各種類型的演示檢索器。典型的演示檢索器將檢索語料庫中的示例和查詢編碼為一些向量表示，然后計算候選演示嵌入和查詢嵌入之間的相似度度量（例如余弦相似度），以定位最相關的演示。鑒于對檢索演示增強大型語言模型（LLMs）性能的底層機制理解有限，最初的研究工作集中在對這一任務現成可用的檢索器進行啟發式評估。后續研究努力探索了特別為檢索演示而定制的基于學習的檢索器的設計和開發。本節回顧了代表性的現成模型，我們將在第5節討論基于學習的模型。

微調的演示檢索器盡管現成的檢索器在llm的檢索演示中顯示出了一些希望，但現成的檢索器給出的檢索演示可能不能代表任務的性質以及一般應如何解決任務。因此，它可能會導致次優性能。因此，研究人員已經開始探索基于學習的方法，以進一步突破邊界。設計一個好的演示檢索器的典型目標是:如果LLM發現一個演示在用作演示示例時有用，則應該鼓勵檢索器將演示排序更高。這使得我們可以直接依賴感興趣任務中的查詢和輸出對的信號來訓練模型，而無需人工注釋。為了開發演示檢索器，大多數方法利用當前的雙編碼器模型(Karpukhin等人，2020;Ni et al.， 2021)。關鍵的變化在于收集訓練數據和制定訓練目標的方法。我們將在后續章節中更詳細地探討這些方面。在這里，我們總結了各種檢索器模型的優點和缺點。現成的檢索器易于使用，無需進行下游任務的微調，通常表現比隨機演示更強大。唯一的例外是在常識推理任務中，Zhang等人（2022b）和Ye等人（2023a）發現對于這些任務，隨機演示始終比檢索方法更好。Cheng等人（2023）還表明，檢索到的演示對常識推理和共指解析任務產生了不利影響。在現成的檢索器的三個類別中，如BM25等稀疏檢索器更具索引效率。這個特性在處理大量演示和有限的硬件內存時特別有價值，使得在這種情況下BM25成為首選。相比之下，基于句子嵌入相似性的方法和基于雙編碼器的檢索系統，這些方法在語言任務上訓練，更擅長捕捉更語義上關注的檢索結果。就性能而言，Luo等人（2023）在5個任務中比較了BM25和雙編碼器（GTR），發現這兩者的平均性能非常相似（在0.5％的差異范圍內），在某些任務中BM25勝過雙編碼器，反之亦然。在另一項研究中，Ye等人（2023a）觀察到了類似的趨勢，強調沒有單一的檢索器在不同任務中始終表現優于其他檢索器。Rubin等人（2022）和Li等人（2023）發現，在語義解析任務中，BM25要優于SBERT，而Li等人（2023）發現，在情感分析任務中，SBERT要優于BM25。然而，經過微調的檢索器在性能上表現出優勢，相對于現成的檢索器。經過微調的檢索器的主要缺點在于獲取訓練數據的成本較高。

此外，采用任務特定的檢索器的常見做法使系統變得復雜，并限制了其通用性。Li等人（2023）提出了訓練通用檢索器的概念，該檢索器在大多數任務上表現優于任務特定的演示檢索器（例如EPR（Rubin等人，2022））。

結論

本調查集中討論了使用檢索到的示例進行少樣本上下文學習（ICL）的方法，這是檢索增強生成（RAG）的關鍵方面。我們概述了各種檢索策略、多樣化的檢索模型、檢索池、訓練演示檢索器的技術以及應用。基于對當前趨勢的全面了解，我們提出了增強這一方法的有效性和功能性的一些有前途的未來發展方向。

傳統的計算機視覺通常通過專門的模型獨立解決每個單一任務，任務指示隱式地設計在模型架構中，這引起了兩個限制：(1) 它導致了特定于任務的模型，需要多個模型來處理不同的任務，限制了來自不同任務的潛在協同作用；(2) 它導致了一個預定義的且固定的模型接口，該接口在遵循用戶的任務指示時具有有限的交互性和適應性。為了解決這些問題，最近積極研究了視覺指令微調（VIT），它通過將語言作為任務指示來微調一個大型視覺模型，旨在通過語言指示描述的各種視覺任務來學習一個通用的多模態模型，該模型可以遵循任意指示，從而解決用戶指定的任意任務。這項工作旨在提供視覺指令微調的系統綜述，涵蓋：(1) 呈現計算機視覺任務范式和VIT發展的背景；(2) 介紹VIT的基礎，包括常用的網絡架構、視覺指令微調框架和目標，以及評估設置和任務；(3) 視覺指令微調和評估中常用的數據集；(4) 對現有VIT方法的回顧，根據所研究的視覺任務和方法設計對它們進行分類，并強調它們的主要貢獻、優勢和不足；(5) 對各種指令遵循基準上的VIT方法進行比較和討論；(6) 視覺指令微調研究中的幾個挑戰、開放方向和可能的未來工作。****

1 引言

計算機視覺長期以來一直是人工智能領域的一大挑戰，旨在使計算機、機器或系統能夠像人類一樣感知、分析、理解并與視覺世界互動【1】、【2】。隨著深度神經網絡【3】、【4】、【5】的發展，計算機視覺研究在一系列任務中取得了巨大的成功，如判別性視覺任務（例如，圖像分類和分割，目標檢測等）和生成性視覺任務（例如，圖像生成、圖像編輯等）。 盡管如此，在這一研究領域中，每個視覺任務通常由一個專門的視覺模型獨立解決，其中任務指令被隱含地考慮并設計在模型架構中，例如用于掩碼預測的分割頭、用于框預測的檢測頭、用于描述性文本生成的圖像字幕頭和用于生成RGB圖像的圖像生成解碼器。這引起了兩個固有的限制：(1) 它導致視覺模型是特定于任務的，這需要訓練和使用多個模型來處理不同的任務，限制了不同任務間的潛在協同效應；(2) 它導致視覺模型通常具有預定義和固定的接口，導致在遵循用戶任務指令時的交互性和適應性有限。 最近，指令調優在微調大型語言模型（LLMs）以構建通用語言模型方面顯示出了巨大的有效性。在指令調優中，自然語言被用來顯式表示各種任務指令，并指導端到端可訓練的模型理解并轉換到感興趣的任務。通過這種方式，模型可以通過自然語言指令描述的廣泛任務范圍進行微調，最終構建出一個能夠遵循任意指令并解決用戶指定的任意任務的通用模型【6】、【7】、【8】。 受到自然語言處理成功的啟發，提出了視覺指令調優，它通過將語言作為任務指令來微調大型視覺模型，旨在構建一個通用的多模態模型（或稱為通用視覺-語言模型）。具體來說，視覺指令調優構建了一個通用接口，接受視覺和語言輸入，其中語言輸入作為任務指令，指導模型理解感興趣的任務，相應處理視覺輸入并返回預期輸出。通過這個通用接口，模型可以通過視覺指令調優數據（即由視覺輸入、語言指令輸入和相應輸出組成的三元組）對廣泛的視覺任務進行微調，從而構建出一個可以接受任意語言指令輸入和視覺輸入的通用多模態模型，因此可以解決任意視覺任務。例如，給定一個自然圖像作為視覺輸入，如果語言指令輸入要求“描述圖像”、“定位圖像中的物體”或“修改圖像風格”，則通用多模態模型的輸出可能是詳細的圖像描述、一組邊界框或修改后的圖像。 視覺指令調優的好處有三個方面：(1) 它構建了一個以語言為任務指令的通用視覺任務接口，使模型能夠學習并解決廣泛的視覺任務，從不同任務的協同效應中獲益；(2) 它使模型能夠接受用戶的任意任務指令，最終形成一個具有強大交互性和適應性的智能模型，以遵循用戶的意圖；(3) 它在計算上高效，因為它可以利用現成的預訓練大型視覺模型和大型語言模型，并將它們結合并微調，最終構建一個通用多模態模型。 盡管在構建通用多模態模型方面對視覺指令調優的興趣顯著，如圖1所示的大量近期論文證明了這一點，研究界缺乏一項綜合性調查，可以幫助整理現有的視覺指令調優方法、面臨的挑戰以及未來的研究方向。盡管如圖1所示的眾多近期出版物表明，研究界對構建通用多模態模型的視覺指令調優表現出了顯著興趣，但仍缺乏一項系統性的調查，可以幫助全面組織當前的視覺指令調優方法、現有的研究挑戰和未來研究的潛在方向。我們通過對視覺指令調優研究進行全面調查，努力填補這一空白，調查范圍涵蓋從判別性圖像任務（例如，圖像分類和分割）到生成性圖像任務（例如，圖像生成和編輯）、復雜圖像推理任務（例如，視覺問題回答和視覺助理）、視頻任務、醫療視覺任務、3D視覺任務等。該調查從不同的角度進行，包括背景、基礎、數據集、方法論、基準測試以及當前的研究挑戰和開放研究方向。我們希望這項工作能夠提供一個全面的概述，展示我們已經取得了哪些成就，目前面臨哪些挑戰，以及在視覺指令調優研究中我們還能進一步取得什么成就。 我們將這項工作的主要貢獻總結為三個方面。首先，它提供了對視覺指令調優的系統性回顧。我們根據所研究的視覺任務和方法設計開發了一個分類法，并突出了現有視覺指令調優方法的主要貢獻、優勢和不足。與其他主要集中在NLP領域或深入研究視覺-語言預訓練的文獻回顧不同，我們的調查聚焦于新興的視覺指令調優研究方向，并系統地組織了最近的方法，根據調查的視覺任務和指令調優設計進行分類，提供了這一有前途研究方向的全面概述。其次，它調查并分析了視覺指令調優的最新進展，包括對現有方法在各種指令遵循評估數據集上的全面基準測試和討論。第三，它識別并討論了視覺指令調優研究中的幾個挑戰，以及未來研究的潛在方向。 本工作的其余部分組織如下。第2節介紹計算機視覺中的任務范式、視覺指令調優的發展以及幾項相關調查。第3節調查視覺指令調優的基礎，包括常用的網絡架構、視覺指令調優框架和目標，以及針對指令調優的通用多模態模型的評估設置和任務。第4節提供了在視覺指令調優和指令調優模型評估中廣泛采用的數據集概述。第5節分類和回顧了各種視覺指令調優方法。 ** 視覺指令調優基礎**

視覺指令調優【9】旨在利用視覺指令跟隨數據對大型視覺模型進行微調，以構建通用多模態模型（GPMM）。視覺指令調優的流程通常包括兩個階段，即視覺指令跟隨數據的構建和視覺指令調優，如圖3所示。本節介紹視覺指令調優的基礎，包括構建視覺指令跟隨數據的常見方法、用于編碼圖像和文本數據的網絡架構、視覺指令調優框架、目標以及用于評估的下游任務。

廣泛采用的視覺指令調優框架如圖5所示，通常包括視覺編碼器、大型語言模型（LLM）和適配器。在這個框架中，視覺編碼器用于從圖像中提取特征。然后適配器作為橋梁，將這些圖像特征轉換到詞嵌入空間，從而促進LLM對視覺編碼器輸出的解讀。適配器通常被設計為輕量級且成本效益高，例如一些線性層【9】，以確保高效的多模態整合。隨后，LLM處理結合了文本和圖像嵌入的數據，以生成預期的語言響應。

針對通用多模態模型的視覺指令調優已經被用于探索各種視覺任務，包括判別性任務、生成性任務、復雜圖像推理任務、視頻任務、醫療視覺任務、文檔視覺任務和3D視覺任務，如表6所示。本節將根據表2和表3中列出的上述任務進行回顧。

結論

視覺指令調優通過將語言作為任務指令來微調大型視覺模型，最終從由語言指令描述的廣泛視覺任務中學習，構建出一個能夠遵循任意指令并因此解決用戶指定的任意任務的通用多模態模型。在這項調查中，我們從不同的角度對視覺指令調優研究進行了廣泛的回顧，范圍從背景到基礎、數據集、方法論、基準測試，以及當前的研究挑戰和開放的研究方向。我們以表格形式總結了視覺指令調優的數據集、方法和表現，旨在提供一個全面的概述，展示我們已經取得了哪些成就，目前面臨哪些挑戰，以及在視覺指令調優研究中我們還能進一步取得什么成就。

多模態3D場景理解由于其在自動駕駛和人機交互等多個領域的廣泛應用而受到了廣泛關注。與傳統的單一模態3D理解相比，引入額外的模態不僅提高了場景解釋的豐富性和精確性，而且確保了更為魯棒和有彈性的理解。在多變和具有挑戰性的環境中，這尤為重要，因為僅依賴3D數據可能是不夠的。盡管在過去三年中，多模態3D方法的發展呈現上升趨勢，尤其是那些整合多攝像頭圖像（3D+2D）和文本描述（3D+語言）的方法，但值得注意的是，缺乏一個全面且深入的綜述。在這篇文章中，我們提供了最近進展的系統性調研，以填補這一空白。我們首先簡要介紹一個背景，正式定義各種3D多模態任務并總結其固有的挑戰。之后，我們提出了一個新穎的分類法，根據模態和任務對現有方法進行了全面分類，探索了它們各自的優勢和局限性。此外，我們還提供了最近方法在幾個基準數據集上的比較結果，以及深入的分析。最后，我們討論了尚未解決的問題，并為未來的研究提供了幾個可能的方向。

//www.zhuanzhi.ai/paper/db0ef107bb8313585581f0bab52ab996

給定一個3D點云和來自另一模態的信息，如2D圖像和自然語言，多模態3D場景理解旨在理解每個物體及其周圍環境的語義含義 [1], [2], [3]。對3D場景的全面理解使代理能夠識別實體的類別和位置，并創建場景的新品牌內容和風格。與僅使用3D點云相比，2D圖像的加入提供了額外的顏色和紋理信息，而自然語言的引入則實現了人機交互。因此，多模態3D場景理解已成為計算機視覺中的一個重要研究領域，應用于自動駕駛[4]、機器人導航[5]和人機交互[6]。

多模態3D場景理解可進一步分為：(1) 3D+2D場景理解。3D LiDAR點云提供了充足的深度和幾何結構信息，這有助于獲得3D物體的形狀和姿態。但它們缺乏顏色信息和紋理細節，對于遠距離的物體往往稀疏而無序[7], [8], [9], [10], [11]。相反，2D相機圖像通常包含豐富的顏色、紋理和背景，但缺乏幾何信息，且易受天氣和光線條件的影響[12], [13], [14], [15]。自然地，利用LiDAR點云和相機圖像之間的互補性可以更好地、更完整地感知3D環境。但這兩種傳感器捕獲的同一個3D場景的表示之間經常會出現差異，因為LiDAR傳感器通過360度旋轉捕獲點云，而相機從透視視圖捕獲圖像，沒有深度感[16]。為了解決這個問題，提出了一些3D+2D場景理解方法，通過基于幾何的對齊[17]和基于語義的對齊[18]來進行LiDAR-相機融合。基于融合的特征，這些方法可以進一步執行3D物體檢測和分割[19], [20], [21]，這通常用于自動駕駛和機器人導航。(2) 3D+語言場景理解。傳統的3D場景理解通常要求用戶具有專業知識，這對普通用戶不友好[22], [23], [24], [25], [26], [27]。用戶現在期望有一種更便捷的方式將他們的意圖傳達給計算機，實現信息交換并獲得個性化的結果。為了實現便捷的人機交互，研究人員提出了3D+語言場景理解。它結合3D視覺信息和自然語言作為輸入[28], [29], [30]，因為自然語言可以作為背景知識和查詢條件來反映用戶意圖。通過多模態交互，經常采用如Transformer[31], [32]或圖神經網絡[33], [34]等技術，3D+語言場景理解方法不僅可以定位用戶提到的實體（例如，視覺定位和開放詞匯識別），還可以生成用戶所需的內容（例如，密集字幕，視覺問題回答，場景生成）。

盡管近年來出現了眾多方法，但多模態3D場景理解的很大一部分仍然分散在不同的任務中，并且沒有此類系統的調查存在。因此，有必要系統地總結近期的研究，全面評估不同方法的性能，并有前瞻性地指出未來的研究方向。這激發了本次調查，將填補這一空白。本文的主要貢獻可以總結為：

? 關于多模態3D場景理解的系統性調查。據我們所知，這是第一篇全面討論多模態3D場景理解近期進展的調查。為了使讀者對我們的文章有清晰的理解，我們從所需數據模態和目標下游任務的角度將算法分類為不同的分類，如圖1所示。

? 全面的性能評估和分析。我們比較了幾個公開可用的數據集上現有的多模態3D場景理解方法。我們的深入分析可以幫助研究者為其特定應用選擇合適的基線，同時也提供了關于修改現有方法的有價值的見解。

?** 對未來前景的有洞察力的討論**。基于系統調查和全面的性能比較，討論了一些有前途的未來研究方向，包括大規模3D基礎模型、數據高效訓練、3D建模的計算效率以及添加額外模態。

本文的結構組織如下。第2節總結了多模態3D場景理解中的問題定義和主要挑戰。第3節和第4節分別對3D+2D和3D+語言場景理解中用于不同下游任務的典型方法進行了深入探討。第5節介紹了基準數據集、評估指標以及不同技術的比較分析。最后，第6節總結了這篇文章并討論了未來研究的有前途的方向。

3D+2D多模態場景理解可以細分為多模態室外/室內3D對象檢測和多模態室外/室內3D語義分割。從2020年至今的現有3D+2D多模態方法的時間性概述如圖2所示。

3D+語言多模態場景理解可以分為3D視覺錨定、3D密集標注、3D問題回答、文本驅動的3D場景生成、開放詞匯的3D識別以及其他類別。從2020年至今的現有3D+語言多模態方法的時間性概述如圖5所示。

**結論與展望 **

本綜述為您提供了多模態3D場景理解的最新深入了解。我們首先總結了3D+2D和3D+語言情況下的任務定義和固有挑戰。接著是對每個任務的關鍵技術的結構化分類。此外，我們提供了對幾個基準數據集的最新進展的比較結果，并提供了有洞察力的觀察。我們希望這項調查能為新手和經驗豐富的從業者提供一個全面的指導。在多模態3D場景理解中，仍有許多進一步探索的可能性。以下提供了一些有前途的未來研究方向。 大規模3D-語言基礎模型。基于2D到3D轉移的當前3D VLMs在零射擊能力和下游應用中受到限制，主要是由于數據規模有限和幾何信息保留不足[41]。這強調了大規模3D-語言基礎模型的必要性。解決這一挑戰的主要解決方案在于創建可以支持從零開始訓練VLMs的大型數據集。此外，高效的遷移學習方法，包括像提示調整[177]和LORA[178]這樣的技術，通過利用預訓練的知識為特定任務提供了很大的應用前景。

數據高效訓練。考慮到與數據收集和注釋相關的顯著成本，當前的許多研究都局限于小規模數據集。因此，強調為有限數據量量身定制的健壯模型訓練和優化的開發變得越來越重要，從而減少對大規模數據集的依賴。最近的研究已經在解決數據注釋挑戰方面展現出了有前途的結果，通過無監督和弱監督學習方法。此外，使用文本到圖像或文本到3D生成合成逼真樣本有望進一步被研究，這可能緩解數據收集問題。

3D建模的計算效率。鑒于點云的大量體積，計算需求可能會顯著增加。因此，計算效率高的3D模型變得至關重要。為了應對這一挑戰，采用模型壓縮技術，如量化[179]、修剪[180]和高效結構[181]，對于減少計算復雜性至關重要。此外，利用硬件優化如Flash attention[182]可以促進應用在邊緣設備上的部署，為提高效率提供另一種途徑。

納入其他模式。盡管在多模態3D建模方面取得了令人印象深刻的進展，但主要的重點仍然是圖像和語言。我們設想將更多的模式，如音頻，納入一個綜合模型來適應它們的聯合分布，這對于理解復雜的3D場景更為有助。鑒于訓練新模型時的復雜訓練要求和成對數據的稀缺，提高現有的多模態3D模型的效果可能更為有效，通過集成其他模式。一個可行的方法[183]是使用最小的成對數據集對齊每一個定義良好的、特定模式的模型。

人工智能（AI）的歷史見證了高質量數據對各種深度學習模型的重大影響，例如ImageNet對于AlexNet和ResNet。最近，AI社區的關注點已從設計更復雜的神經結構（即模型為中心的方法）轉移到了數據為中心的方法，這種方法重點在于更好地處理數據以增強神經模型的能力。圖學習，操作于無處不在的拓撲數據上，也在深度學習時代中起到了重要作用**。在這次綜述中，我們從數據為中心的角度全面回顧了圖學習方法，并旨在回答兩個關鍵問題**：（1）何時修改圖數據以及（2）如何修改圖數據以發掘各種圖模型的潛力。因此，我們提出了一個基于圖學習流程中的階段的新分類法，并強調了圖數據中不同數據結構的處理方法，即拓撲、特征和標簽。此外，我們分析了嵌入在圖數據中的一些潛在問題，并討論了如何以數據為中心的方式解決它們。最后，我們為數據為中心的圖學習提供了一些建議的未來方向。

//arxiv.org/abs/2310.04987

最近在非歐幾里得領域的進展引起了人工智能（AI）社區的大量關注。圖，作為典型的非歐幾里得數據，在現實世界中無處不在，并已在許多領域中得到廣泛應用，例如推薦、安全、生物信息學等。在過去的十年中，由于圖模型的創新，圖相關研究得到了推動，從圖核心[1][2]到圖嵌入[3][4]，再到最新的圖神經網絡(GNNs)[5][6]。相反，關于圖數據的固有方面的研究較少，包括質量、多樣性、安全性等。 通常，AI的革命始終是由大量高質量數據的可用性引發的，隨后是強大的模型。一個顯著的例子是ImageNet[7]的成功，它為深度卷積神經網絡的發展做出了重要貢獻，例如AlexNet[8]和ResNet[9]。隨著數據的重要性得到越來越多的認可，最近，AI社區的關注點從以模型為中心的方法轉移到了以數據為中心的方法[10][11]。

新興的以數據為中心的AI強調產生適當的數據以提高給定模型的性能。“如何處理圖數據以發揮圖模型的全部潛力？”一個了解情況的答案可以幫助我們理解圖數據與圖模型之間的關系。然而，與圖像和表格數據等歐幾里得數據不同，圖的不規則性為以數據為中心的圖學習提出了幾個問題：首先，在什么時候我們應該修改圖數據以使圖模型受益？數據修改可能會在圖學習的不同階段發生。例如，我們可以在訓練之前啟發式地擾動邊，而在訓練期間我們也可以從節點表示中估計新的圖結構。其次，我們應該修改圖數據的哪一部分？圖數據涉及各種結構，包括邊、節點、特性和標簽，每一個都在圖表示學習中起到了重要作用。第三，如何防止圖模型受到有問題的圖數據的影響？由于手工定義的關系和特性，圖數據可能不可避免地引入噪聲和偏見，這使得模型變得不可靠。 本綜述系統地調研和分類了從數據中心的角度存在的圖學習方法。具體地說，為了回答第一個問題，我們將圖學習過程分為四個階段：準備、預處理、訓練和推斷，如圖1所示。我們討論了每個階段對圖數據的重要性。接下來，我們進一步從結構的角度對現有方法進行分類，以解決第二個問題。具體來說，我們考慮如何處理圖數據的拓撲、特征和標簽。最后，我們分析了現有圖數據中的潛在問題，包括脆弱性、不公平性、選擇偏見和異質性。并進一步討論如何從數據為中心的方式解決這些問題。

本文的貢獻可以總結如下：

? 新的分類法。我們按圖學習流程中的各個階段對現有的數據中心圖學習方法進行分類，包括預處理、訓練和推理。對于每個階段，我們都介紹了其在數據中心圖學習中的目標和重要性。 ? 多角度觀察。我們強調如何處理圖數據中的不同數據結構，包括拓撲、特征和標簽，以發揮給定圖模型的潛力。 ? 全面的討論。我們分析了有問題的圖數據對圖模型的潛在影響，并討論了如何以數據為中心的方式緩解這些問題。此外，我們提出了四個可能的數據中心圖學習的未來方向，這可能有助于這個領域的發展。 組織. 本調查的其余部分組織如下：第2節概述了數據中心圖學習的背景，并描述了如何手動處理圖數據。第3-5節分別介紹了預處理、訓練和推理階段的數據中心圖學習方法。第6節介紹了圖數據的潛在問題，并討論了如何處理這些問題。最后，第7節對本文進行了總結，并提出了一些有前途的未來方向。

2. 預處理階段

在本節中，我們將討論圖數據預處理階段的數據中心方法。具體來說，我們將現有的方法分為兩類：基于修改的方法和基于分布的方法。第一類旨在通過修改圖數據實例來提高圖模型的性能。第二類則著重于幫助圖模型捕捉數據集的分布，同時保持圖實例不變。此外，我們還考慮了不同的數據結構，包括拓撲、特征和標簽。相關方法列示在表1中。

圖的簡化 (Graph Reduction)

隨著圖的規模的增大，其計算所消耗的時間和空間也會增加。因此，如何在不失去太多有用信息的前提下減少圖的節點或邊成為了一個有價值的問題。圖的簡化可以加速模型的訓練，減少過擬合，并允許在更簡單的硬件條件下對模型進行訓練。圖的簡化可以分為兩大類：邊的簡化和節點的簡化。邊的簡化指的是圖的稀疏化，而節點的簡化包括圖的粗糙化和圖的凝縮。

圖的增強 (Graph Augmentation)

在深度學習中，數據增強被認為是非常重要的。由于圖數據的稀缺性和稀疏性相當嚴重，因此一個好的增強方法的重要性更為明顯。與其他數據形式相比，直接操作圖結構的圖增強是最具特色的圖數據增強類型。在這里，我們將介紹一些脫離訓練的啟發式方法。它們可能很簡單，但證明是非常有效和受歡迎的。 特征增強 (Feature Augmentation)

通過創建或修改節點特征，特征增強可以使后續模型避免過擬合并提高其性能。 對于已經有特征的圖，我們可以做一些直觀的調整來加強它們，例如特征損壞 [143]-[145]，特征洗牌，特征掩碼 [66], [87], [146]，特征添加，特征重寫 [147], [148]，特征傳播，特征混合 [149]等 [15]。 對于最初沒有特征的節點，有適當生成特征的方法。為了獲取結構信息，Perozzi 提出了基于 word2vec [150] 的 deepwalk [3]，它從每個節點開始，多次隨機走動，最后使用所有路徑為節點通過 word2vec [150]c 生成節點嵌入。接著，node2vec [4] 來自 deepwalk [3]，它為節點添加了一個隨機行走的概率。另一條與隨機行走無關的線是 SDNE [151]。他們通過編碼器-解碼器架構得到圖的結構。具體來說，他們將鄰接矩陣的每一列作為初始節點嵌入，這是編碼器的輸入。并計算模型在初始嵌入和解碼嵌入之間的損失。 在非標記圖中，特征增強是通過無監督學習實現的。例如，GREET [211] 將原始圖分割成兩個子圖，一個包含同質邊，另一個包含異質邊，然后通過兩個單獨的 GNN 得到子圖嵌入，再連接這些子圖嵌入來獲取節點特征。 總的來說，特征增強是多種多樣和任意的，特殊的特征增強可以根據特定問題的需要進行定制。 位置編碼 (Position Encoding)

眾所周知，信息傳遞神經網絡 (MPNNs) 的表達能力受到1-Weisfeiler-Lehman (WL) 測試的限制，不能區分同構圖 [212]。為了打破這個限制，一個受歡迎的方法是用一些位置信息來增強節點特征，這被稱為位置編碼。在本節中，我們將介紹兩種類型的位置編碼：絕對方法和相對方法。 標簽混合 (Label Mixing)

標簽混合旨在將帶有標簽或嵌入的兩個不同實例混合為一個新的實例，并使用這些混合的實例來訓練模型。這樣得到的模型更具泛化性，不容易過擬合。 Mixup 在圖分類和節點分類任務中都扮演著重要的角色。一方面，面對圖分類任務，我們可以采用各種方法來增強模型。一種方法 [174] 涉及混合多個預先存在的圖嵌入。或者，我們可以隨機選擇一個子圖，并用另一個圖中的相應子圖替代它，同時保留原始圖的嵌入，使模型更好地集中于數據的相關方面 [175], [176]。另一方面，一些工作 [177] 提議將鄰近節點的標簽或嵌入進行混合，用于節點分類任務。 圖的課程學習 (Graph Curriculum Learning) 課程學習 (CL) [215] 是一種模仿人類學習過程的訓練策略，主張模型從簡單樣本開始學習，然后逐漸過渡到復雜樣本。這種策略可以幫助模型更快地收斂，并提高模型的泛化能力。圖的課程學習 (Graph CL) [216] 是一種基于圖的課程學習方法，主要用于圖神經網絡的訓練和優化。大多數 CL 方法有兩個重要功能，難度測量器和訓練調度器。難度測量器可以評估訓練數據的難度，以給予學習優先權，而訓練調度器決定如何從簡單到困難地進行學習。根據這兩者是否自動設計，CL 方法可以分為兩類，即預定義的 CL 和自動的 CL。在本節中，我們將介紹預定義的 Graph CL。 圖采樣 (Graph Sampling) 圖采樣方法使用不同的策略對節點進行采樣，并在計算節點的表示時僅聚合部分節點的信息，這加速了模型的收斂并減少了內存開銷。在這部分中，我們將討論啟發式采樣方法，這些方法可以進一步劃分為兩個類別：隨機采樣和重要性采樣。 圖生成 (Graph Generation) 在現實世界中，某些圖數據集對于圖模型來說太小，無法有效地理解其分布。圖生成器 [219], [220] 可以通過生成額外的圖數據來幫助緩解這個問題。圖生成的方法可以分為兩種類型：自回歸 (autoregressive) 和一次性生成 (one-shot)。 3. 訓練階段 (TRAINING STAGE)

在本節中，我們介紹了訓練階段的圖數據修改方法，其中數據修改模塊和信息傳遞模塊合作以提高性能。具體而言，我們介紹了三種模型-數據協同的訓練范式，包括聯合訓練 (joint training)、自訓練 (self training) 和雙層訓練 (bi-level training)。相關方法可以在表格 1 (Table 1) 中查看。 4. 推斷階段 (INFERENCE STAGE)

推斷階段是指使用預訓練的圖模型進行下游任務的階段。在這個階段，我們重新定義下游任務為一個統一的模板，以與我們的預訓練模型對齊。這有助于彌合我們的預文本任務與下游任務之間的差距，實現高質量的知識轉移和多任務適應。此外，推斷數據是指在預訓練模型的推斷階段使用的圖數據。從數據中心的角度看，調整推斷數據作為提示可以幫助在不改變模型參數的情況下獲得期望的目標。在本節中，我們討論了在圖的背景下逐漸受到歡迎的提示學習方法。為了詳細說明，我們將現有的圖提示方法分為兩類：預提示 (pre-prompt) 和后提示 (post-prompt)，這取決于任務特定的提示是在信息傳遞模塊之前還是之后操作，如圖 1 (Figure 1) 所示。 結論 (CONCLUSION)

在這篇綜述中，我們對數據中心的圖學習進行了全面的回顧。我們從兩個角度對現有方法進行分類：一個是學習階段，包括預處理、訓練和推斷；另一個是數據結構，包括拓撲、特征和標簽。通過這兩個視角，我們仔細解釋了何時修改圖數據以及如何修改圖數據，以釋放圖模型的潛力。此外，我們還介紹了圖數據的一些潛在問題，并討論了如何用數據中心的方法解決它們。最后，我們提出了該領域的幾個有前景的未來方向。總的來說，我們相信數據中心的人工智能是通向一般人工智能的可行路徑，并且數據中心的圖學習將在圖數據挖掘中發揮重要作用。

深度模型融合/合并是一種新興的技術，它將多個深度學習模型的參數或預測合并成一個。它結合了不同模型的能力，以補償單一模型的偏差和錯誤，以實現更好的性能。然而，對于大規模深度學習模型（例如，LLMs 和基礎模型）的深度模型融合面臨著幾個挑戰，包括高計算成本、高維參數空間、不同異構模型之間的干擾等。盡管模型融合由于其解決復雜實際任務的潛力而引起了廣泛關注，但關于這種技術的完整和詳細的調查研究仍然缺乏。因此，為了更好地理解模型融合方法并推動其發展，我們提出了一項全面的調查以總結最近的進展。具體來說，我們將現有的深度模型融合方法分類為四種：（1）“模式連接”，通過非遞增損失的路徑連接權重空間中的解，以獲得模型融合的更好初始化；（2）“對齊”匹配神經網絡之間的單元以為融合創造更好的條件；（3）“權重平均”，一種經典的模型融合方法，對多個模型的權重進行平均，以獲得更接近最優解的精確結果。 （4）**“集成學習”**結合了多種模型的輸出，這是一種改善最終模型的準確性和魯棒性的基礎技術。另外，我們分析了深度模型融合面臨的挑戰，并提出了未來模型融合的可能研究方向。我們的評論對于深入理解不同模型融合方法之間的關系和實際應用方法是有幫助的，這可以啟發深度模型融合領域的研究。

//www.zhuanzhi.ai/paper/43bab5b376b2213134e1f99b305d4deb

近年來，深度神經網絡（DNNs）[129] 取得了顯著的發展，廣泛應用于計算機視覺（CV）[175]、自然語言處理（NLP）[30] 等領域。一般來說，單一深度學習模型通常具有一定的局限性，不能完全捕獲復雜網絡背后的所有潛在信息[195]。因此，經典的集成學習[15, 193, 198] 合并多個模型的輸出，以改善深度學習（DL）中模型的最終性能。但在測試時存儲和運行多個模型的成本很高[65, 204]，尤其是模型的復雜性和大小增加時。例如，GPT-3[172] 有數十億參數，PaLM[31] 甚至達到5400億參數和7800億令牌。此外，從深度神經網絡[134, 196] 的損失景觀的角度來看，梯度優化的解通常聚集在寬平區域的邊界附近的點，而不是中心點[99]。這意味著經過訓練的網絡并不完全接近具有最小測試錯誤的最優解。需要融合相對最優點附近的解，以得到更好的結果。這激發了研究人員不僅將融合范圍限制于預測（例如，logits等），而且還包括模型參數的融合，而無需訪問訓練數據或保持所有單獨模型[110]。因此，深度模型融合[111, 159] 旨在將多個DNNs融合成一個網絡，保留其原始功能，甚至超越多任務訓練[3, 135]。此外，深度模型融合可以減少單一模型過度擬合特定樣本或噪聲的傾向，從而提高預測的準確性、多樣性和穩健性[207, 223]。由于數據隱私和實際節約資源的問題，深度模型融合引起了越來越多的關注。盡管深度模型融合的發展帶來了許多技術突破，但它也產生了一系列的挑戰，例如高計算負荷、模型異構性和通過組合優化對齊的速度慢[133, 204]等。

有些方法僅限于特定場景[227, 254]，這激發了研究人員研究不同案例中模型融合的原理。然而，目前缺乏綜合評論來總結方法，以指示深度模型融合的內部機制。一些工作只關注從單一視角（例如，特征融合等）[45, 195] 和特定場景[213] 的模型融合，或者不同方式的信息融合（多模態融合[1, 103]）而不是參數的融合。為了給開發者深入了解深度模型融合，我們分析了深度模型融合的原理和方法。此外，我們回顧了最近的進展和代表性應用，例如聯邦學習（FL）[160] 和微調[29] 等。我們的調查旨在說明深度模型融合的最新趨勢和潛在方向，并為研究人員提供指南，以提高性能和降低成本。因此，我們根據內部機制和目的將方法分為四類，如圖1所示。對于相互之間不在附近的獨立訓練的模型，“模式連接”和“對齊”使解更加接近，以獲得更好的平均原始條件。對于權重空間中存在某些差異的類似模型，“權重平均（WA）”傾向于直接平均模型，并在損失函數值較低的參數空間區域獲得更接近最優點的解[118]。此外，對于現有模型的預測，“集成學習”集成了模型的不同形式的預測，以獲得更好的結果。具體來說，這四個類別如下：

模式連接性

模式連接性指的是通過基于梯度的優化得到的解可以在權重空間中通過一條無障礙的路徑（連接器）進行連接。我們可以沿著低損失路徑獲得更適合模型融合的其他模型。根據路徑的數學形式和連接器所在的空間，我們將此部分劃分為“線性模式連接性”，“非線性模式連接性”和“子空間中的模式連接性”。模式連接性可以在訓練過程中解決局部優化問題。模式連接性的路徑的幾何關系也可以用來加速優化過程，如隨機梯度下降（SGD）的收斂、穩定性和準確性。簡而言之，模式連接性為解釋和理解模型融合的行為提供了一個新的視角。但是，特別是在大數據集上訓練模型時，應解決計算復雜性和參數調整的困難。

對齊

對齊是將多個模型的單元進行匹配，并對模型進行平均以獲得最終模型。對齊后，不同模型之間的特定數學度量（例如，歐幾里得距離）可以更為接近，從而減小模型之間的差異，進而增強深度模型融合的效果。對齊可分為“激活匹配”和“權重匹配”，取決于是否需要考慮數據分布。此外，Re-basin基于對齊引入，探討解決方案可以通過排列不變性被傳輸到一個單一的盆地（即，參數空間中相對低損失的區域）。然而，對齊通常面臨著計算量大、組合優化速度慢和架構差異的障礙，使得它不易擴展到具有不同目標的其他場景。例如，伴隨圖匹配而來的記憶負擔限制了深度模型融合的應用。

權重平均

權重平均是將幾個母網絡融合成一個單一網絡的最直接和高效的方式。與模式連接性和對齊相比，權重平均不需要額外的計算復雜性或訓練來找到一個優越的起點，在模型包含一定程度的相似性時表現良好。根據聚合空間，權重平均可分為“權重平均”和“子空間中的平均”。此外，典型的方法“模型湯”，“模型算術”和“隨機權重平均”也對現有方法進行了顯著改進。然而，當參數被規范化和合并時，可能會在模型結構或參數數量存在較大差異的情況下引入一些偏差。盡管如此，權重平均仍然是深度模型融合的主流方法，因為它簡單且高效。

集成學習

集成學習結合了幾種不同模型的輸出，以改善預測性能和魯棒性。我們專注于深度學習中的集成學習。基于集成學習，“模型重用”為每個模型提供了規格，這樣在給定新的學習任務時，有用的模型可以從模型池中被識別和合并。集成學習具有各種框架和便捷的界面，經常用于實際領域，例如物體檢測等。盡管集成學習需要維護多個訓練過的模型并在測試時運行每個模型，但它仍然是在深度學習中被廣泛采用的強大技術之一。

模型融合的應用

作為一項提高深度模型的準確性和魯棒性的技術，模型融合促進了許多應用領域的改進。聯邦學習，一種在中央服務器上聚合客戶端模型的應用，使得各方可以貢獻數據到功能的計算中（例如，各種統計、分類器），而無需泄露隱私。微調對預訓練模型進行小的調整，結合模型融合以減少訓練成本并適應特定任務或領域的需求。模型融合還涉及到“蒸餾”。即，將來自多個復雜模型的軟目標知識結合起來，為特定要求訓練一個小模型。模型融合在foundation/LLMs上的應用包括在大型基礎模型或大型語言模型（LLMs）上的工作，例如視覺變壓器（ViT）和GPT等。模型融合的應用幫助開發人員適應各種任務和領域的需求，并促進深度學習的發展。簡而言之，我們的調查回顧了深度模型融合技術。在前三節“模式連接性”，“對齊”和“權重平均”中，我們主要從模型參數融合的角度進行全面研究。在“集成學習”中，我們主要從模型輸出聚合的角度探討了這個問題。

本工作的主要貢獻總結如下：

? 我們從“模式連接性”，“對齊”，“權重平均”和“集成學習”的角度提出了一種新的深度模型融合分類方法，該方法涵蓋了模型融合的理論綜合方法，并為實現DNNs的高泛化和準確訓練提供了指導。

? 我們比較了融合方法的優缺點，并解釋了它們之間的機制和關系，為未來設計先進的模型融合方法提供了靈感。

? 我們總結了深度模型融合的廣泛應用。我們還討論了當前的研究趨勢，以便在未來引起更多的關注和反思。此外，本文的其余部分組織如下：在第2節到第5節，我們根據“模式連接性”、“對齊”、“權重平均”和“集成學習”的四個角度介紹深度模型融合的方法。第6節介紹了深度模型融合的應用：“聯邦學習”、“微調”、“蒸餾”和“在foundation/LLMs上的模型融合”。最后，在第7節中，我們總結了深度模型融合，并討論了未來的挑戰和潛在方向。另外，我們在全文中說明了符號及其相應的定義。Wi是第i個具有權重Wi ∈ R^d（i = 1, 2, ...k）和偏置項b的神經網絡。λ表示加權參數。σ表示非線性神經元激活函數。L是損失函數，用于量化預測值和實際值之間的差異。

Transformer架構促進了大規模和通用序列模型的發展，這些模型用于自然語言處理和計算機視覺中的預測任務，例如GPT-3和Swin Transformer。雖然最初是為預測問題而設計的，但自然會詢問它們是否適用于順序決策和強化學習問題，這些問題通常受到涉及樣本效率、信用分配和部分可觀察性的長期問題的困擾。近年來，序列模型，特別是Transformer，在強化學習社區引起了越來越多的關注，催生了眾多以顯著的有效性和泛化性為特點的方法。本文綜述提供了一個全面的概述，介紹了近期致力于使用諸如Transformer之類的序列模型解決順序決策任務的工作，通過討論順序決策與序列建模之間的聯系，并根據它們使用Transformer的方式對其進行分類。此外，本文提出了未來研究的各種潛在途徑，旨在提高大型序列模型在順序決策制定中的有效性，包括理論基礎、網絡架構、算法和高效的訓練系統。

1.引言

具有大量參數和自回歸數據處理特性的大型序列模型，近期在自然語言處理（NLP）[2]和計算機視覺（CV）[3]的預測任務和（自）監督學習[1]中發揮了重要作用，例如ChatGPT [4] 和Swin Transformer [5]。此外，這些模型，特別是Transformer [6]，在過去兩年中在強化學習社區引起了極大的關注，催生了眾多在第5節中概述的方法。另外，大型序列模型在順序決策和強化學習（RL）[7]領域也已經出現，其有效性和泛化性顯著，如Gato [8]和視頻預訓練（VPT）[9]所證實。這些方法暗示著構建通用的大型決策模型的可能性，即能夠利用大量參數來執行數百個或更多順序決策任務的大型序列模型，這與大型序列模型在NLP和CV中的應用方式類似。

這份調研關注了大部分利用（大型）序列模型，主要是Transformer，進行順序決策任務的當前工作，而Sherry等人[10]的報告中可以找到各種其他類型的基礎模型在實際決策環境中的應用。我們對序列模型在順序決策問題中的作用進行了深入的調查，討論了它們的重要性以及像Transformer這樣的序列模型與解決此類問題的關系。在調查當前的工作如何利用序列模型促進順序決策的同時，我們還分析了目前在模型大小、數據和計算方面對大型決策模型的主要瓶頸，并探討了未來在算法和訓練系統方面進行研究以提高性能的潛在途徑。

在這份調研的其余部分，第2節介紹了預測和順序決策問題的構建。第3節將深度強化學習（DRL）介紹為順序決策任務的經典解決方案，并檢查DRL中三個長期存在的挑戰：樣本效率問題、信用分配問題和部分可觀察性問題。第4節建立了序列模型與順序決策之間的聯系，強調了序列建模在第3節提出的三個挑戰方面的促進作用。第5節調查了大部分利用Transformer架構進行順序決策任務的當前工作，并討論了Transformer如何在不同的設置中增強順序決策以及構建大型決策模型的潛力。第6節討論了關于支持訓練大型決策模型的系統支持方面的當前進展和潛在挑戰。第7節從理論基礎、模型架構、算法和訓練系統的角度討論當前的挑戰和潛在研究方向。最后，第8節總結了本次調研的結論，并期望對大型決策模型這一新興主題進行更多的探討。

2. 基于深度RL的序列決策

作為深度神經網絡和強化學習（RL）的結合，深度強化學習（DRL）受到了廣泛關注，并成為解決順序決策任務的熱門范式[7]。近年來，通過一系列值得注意的成就，例如AlphaGo [20]和AlphaStar [21]在圍棋和星際爭霸II游戲中擊敗人類專家，它的高潛力得到了展示。

3. 序列決策視為序列建模問題

幸運的是，第3節提到的挑戰可以通過將順序決策問題視為序列建模問題來解決，然后由序列模型來解決。為了克服這些挑戰，一些研究人員嘗試通過將它們轉化為監督學習問題，特別是序列建模問題，來簡化順序決策任務。模仿學習（IL），如行為克隆（BC）[38]和生成對抗模仿學習（GAIL）[39]，通過專家演示的監督來訓練代理，整合了表示學習和轉移學習的進步，例如BC-Z [40]或多模態交互代理（MIA）[41]。然而，IL的性能嚴重依賴于高質量的專家數據，這些數據的獲取成本很高，并且隨著模型大小的增加，與增加的數據需求相沖突。上下顛倒的強化學習（UDRL）[42]是一種新穎的方法，將傳統的強化學習（RL）轉化為純粹的監督學習范式。與基于價值的RL相比，它在學習過程中顛倒了動作和回報的角色。具體來說，它使用未折扣的期望回報作為網絡輸入，作為指令來指導代理的行為。因此，與傳統的基于價值的RL不同，后者學習一個價值模型來評估每個動作的質量并選擇最優的動作，UDRL學習尋找一系列滿足特定期望回報的動作。通過在所有過去的軌跡上對代理進行純粹的SL訓練，UDRL規避了傳統RL中由于函數逼近、自舉和離策略訓練的結合而產生的敏感折扣因子和致命試驗的問題[7,42]。此外，盡管在具有完美馬爾可夫性質的環境中，經典方法仍然更有效，但實驗結果顯示UDRL在非馬爾可夫環境中出人意料地超過了諸如DQN和A2C之類的傳統基線[42]。這些結果表明，UDRL的一般原則不僅限于馬爾可夫環境，表明在更廣泛的背景下解決順序決策問題是一個有前途的方向。

作為一項代表性的工作，決策變換器（Decision Transformer，簡稱DT）[43]將RL問題構建為序列建模問題，這使其能夠利用變換器的簡單性和可擴展性。基于UDRL的概念，DT將一系列狀態、先前的動作和期望的回報輸入到類似GPT的網絡中，并推斷出達到期望回報的動作，其中變換器用作策略模型。與DT和UDRL不同，軌跡變換器（Trajectory Transformer，簡稱TT）[44]將轉換序列完全映射到平移的轉換序列中，包括狀態、動作和即時獎勵，其中變換器作為捕獲環境完整動態的世界模型。盡管DT是一種無模型方法，而TT是一種基于模型的方法，但兩種方法都有一個共同的基礎：將每個時間軌跡視為轉換的連續序列，并使用變換器對其進行建模。基于這個基礎，變換器可以用來推斷未來的狀態、動作和獎勵，從而統一了通常需要在IL、基于模型的RL、無模型的RL或目標條件的RL [44]中的許多組件，例如基于模型方法中的預測動力學模型，演員-評論家（AC）算法[25]中的演員和評論家，以及IL中的行為策略近似。圖2比較了傳統RL、IL、UDRL、DT和TT之間的范式。

**4 結論 **

在這篇綜述中，我們探討了利用序列建模方法解決順序決策任務的當前進展。通過序列建模來解決順序決策問題可以是解決傳統強化學習方法中一些長期存在的問題的有前景的解決方案，包括樣本效率、信用分配和部分可觀察性。此外，序列模型可以在數據效率和可轉移性方面彌合強化學習和離線自我監督學習之間的差距。我們得出結論，大型決策模型的模型架構應在支持多模態、多任務可轉移性和稀疏激活的意識下進行設計，而算法應解決關于數據質量和數量的問題。并且，整體訓練效率應通過并行化進行系統優化。在一系列關于理論基礎、網絡架構、算法設計和訓練系統支持的討論之后，這篇綜述提供了構建大型決策模型的潛在研究方向。我們希望這篇綜述能激發對這個熱門話題的更多研究，并最終賦予更多實際應用更多的能力，如機器人技術、自動駕駛車輛和自動化工業。

圖像融合技術旨在將不同源圖像中的互補信息整合到單幅融合圖像中以全面表征成像場景，并促進后續的視覺任務。隨著深度學習的興起，基于深度學習的圖像融合算法如雨后春筍般涌現，特別是自編碼器、生成對抗網絡以及Transformer等技術的出現使圖像融合性能產生了質的飛躍。本文對不同融合任務場景下的前沿深度融合算法進行全面論述和分析。首先，介紹圖像融合的基本概念以及不同融合場景的定義。針對多模圖像融合、數字攝影圖像融合以及遙感影像融合等不同的融合場景，從網絡架構和監督范式等角度全面闡述各類方法的基本思想，并討論各類方法的特點。其次，總結各類算法的局限性，并給出進一步的改進方向。再次，簡要介紹不同融合場景中常用的數據集，并給出各種評估指標的具體定義。對于每一種融合任務，從定性評估、定量評估和運行效率等多角度全面比較其中代表性算法的性能。本文提及的算法、數據集和評估指標已匯總至//github.com/Linfeng-Tang/Image-Fusion。最后，給出了本文結論以及圖像融合研究中存在的一些嚴峻挑戰，并對未來可能的研究方向進行了展望。

目標檢測的任務是從圖像中精確且高效地識別、定位出大量預定義類別的物體實例。隨著深度學習的廣泛應用，目標檢測的精確度和效率都得到了較大提升，但基于深度學習的目標檢測仍面臨改進與優化主流目標檢測算法的性能、提高小目標物體檢測精度、實現多類別物體檢測、輕量化檢測模型等關鍵技術的挑戰。針對上述挑戰，本文在廣泛文獻調研的基礎上，從雙階段、單階段目標檢測算法的改進與結合的角度分析了改進與優化主流目標檢測算法的方法，從骨干網絡、增加視覺感受野、特征融合、級聯卷積神經網絡和模型的訓練方式的角度分析了提升小目標檢測精度的方法，從訓練方式和網絡結構的角度分析了用于多類別物體檢測的方法，從網絡結構的角度分析了用于輕量化檢測模型的方法。此外，對目標檢測的通用數據集進行了詳細介紹，從4個方面對該領域代表性算法的性能表現進行了對比分析，對目標檢測中待解決的問題與未來研究方向做出預測和展望。目標檢測研究是計算機視覺和模式識別中備受青睞的熱點，仍然有更多高精度和高效的算法相繼提出，未來將朝著更多的研究方向發展。