亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Transformer模型在各類人工智能領域取得了顯著進展，包括自然語言處理、計算機視覺和音頻處理。這一成功自然引起了學術界和工業界研究人員的廣泛關注。因此，許多Transformer變體（通常稱為X-former）被開發用于這些領域。然而，針對這些特定模態轉換的全面而系統的審查仍然缺乏。模態轉換涉及將數據從一種表示形式轉化為另一種形式，模仿人類整合和解釋感官信息的方式。本文對應用于文本、視覺和語音等主要模態的基于Transformer模型進行了全面回顧，討論了它們的架構、轉換方法和應用。通過綜合模態轉換領域的文獻，這篇綜述旨在強調Transformer在推動AI驅動的內容生成和理解中的多樣性和可擴展性。

人工智能（AI）受人類感知能力的啟發，例如視覺、聽覺和閱讀，并試圖復制這些能力。通常，模態與特定的傳感器相關聯，形成一個獨特的通信通道，如視力、語音和書面語言。人類在感官感知中具有一種基本過程，能夠通過整合來自多個感官模態的數據，在動態和不受約束的情況下高效地與世界互動。每個模態作為信息的獨立來源，具有其獨特的統計特征。例如，一張描繪“大象在水中嬉戲”的照片通過無數像素傳遞視覺信息，而類似的文字描述則使用不同的詞語來傳達這一場景。同樣，聲音可以通過頻譜圖或語音特征來傳達相同的事件。數據轉換AI系統必須接收來自特定模態的輸入，處理、理解并以不同的模態再現其內容，模仿人類的感知方式。模態轉換（MC）是一種廣泛的方法，用于構建能夠從一種表示模態中提取并轉換信息到另一種模態的人工智能模型。

基于Transformer的（TB）技術通過利用其先進的注意力機制，準確地表示和轉換各種形式的輸入，極大地改變了數據從一種模態轉換到另一種模態的過程。這些模型在將文本轉換為語音、語音轉換為文本、語音轉換為圖像、圖像轉換為文本，甚至跨模態翻譯（如從文本生成圖像）等任務中表現出色。Transformer通過捕捉各種數據模態間的復雜依賴關系和上下文交互，促進了順暢且高度精確的轉換。由于其適應性和可擴展性，它們在擴展自然語言處理、計算機視覺和多模態數據集成的應用中起到了關鍵作用，推動了AI驅動的內容生產和理解的進步。

? 相關綜述：許多綜述已經探討了基于Transformer（TB）模型在文本處理、計算機視覺和語音處理領域的應用。這些綜述通常回顧了專注于單一模態的研究論文，處理輸入數據以生成特定應用所需的輸出。同時，還有一些關于數據融合的綜述，旨在整合來自不同模態的數據。這些論文通常回顧了各種類型的融合模型和輸入類型，如文本、視覺和語音。例如，Davis等人關于使用Transformer進行多模態學習的綜述探討了多種模態協同使用的情況，展示了在需要從多種數據源中獲得全面理解的任務中所取得的顯著改進。總的來說，目前還沒有一篇綜述全面回顧不同模態（文本、視覺和語音）間的數據轉換相關的文獻。

?** 論文貢獻**：在本文中，我們對用于數據模態轉換的基于Transformer的模型進行了全面回顧。我們重點關注三個主要模態：文本、視覺和語音。對于每個Transformer模型，輸入可以是這些模態中的任何一種，而輸出可以是相同或不同的模態。例如，給定文本輸入，輸出可以是翻譯后的文本（機器翻譯）、圖像（故事可視化）或語音。同樣，對于視覺和語音輸入，輸出也可以轉換為其他任一模態。我們系統地回顧了所有使用基于Transformer模型進行模態轉換的相關文獻（見圖1）。

?** 范圍**：我們的綜述限制在2017年至2024年間發表的論文，因為Transformer技術是Vaswani等人在2017年提出的，相對較新。聚焦于這一時期使我們能夠包含與模態表示和轉換相關的最新和最相關的Transformer進展。引用分析顯示，從2017年到2024年，共有95種方法，其中在2020年至2024年間的興趣達到了高峰。本綜述旨在通過整合這些領域中最先進的Transformer模型，為研究人員和實踐者提供服務。 本綜述的其余部分結構如下：第二部分匯集了所有關于TB模型的相關綜述。第三部分介紹了Transformer的架構和關鍵組件。第四、五、六部分分別回顧了以文本、視覺和語音為輸入的TB模型，其輸出可以是這三種模態中的任何一種。第七部分討論了Transformer的其他可能引起研究人員興趣的方面，并總結了本文的內容。

隨著大規模預訓練模型的廣泛應用，自然語言處理的各領域（如文本分類和機器翻譯）均取得了長足的發展.然 而，受限于預訓練模型的“黑盒”特性，其內部的決策模式以及編碼的知識信息被認為是不透明的.以 OpenAI 發布的 ChatGPT 和 GPT-4 為代表的先進預訓練模型為例，它們在各領域取得重大性能突破的同時，由于無法獲知其內部是否真正 編碼了人們期望的世界知識或語言屬性，以及是否潛藏一些不期望的歧視或偏見現象，因此仍然無法應用于重視安全性和 公平性的領域.近年來，一種新穎的可解釋性方案“探針任務”有望提升人們對預訓練模型各層編碼的語言屬性的理解.探針 任務通過在模型的某一區域訓練輔助語言任務，來檢驗該區域是否編碼了感興趣的語言屬性.例如，現有研究通過凍結模型 參數并在不同層訓練探針任務，已經證明預訓練模型在低層編碼了更多詞性屬性而在高層編碼了更多語義屬性，但由于預 訓練數據的毒性，很有可能在參數中編碼了大量有害內容.本篇綜述中，我們首先介紹了探針任務的基本范式，包括任務的 定義和基本流程；然后對自然語言處理中現有的探針任務方案進行了系統性的歸納與總結，包括最常用的診斷分類器以及 由此衍生出的其他探針方法，為讀者提供設計合理探針任務的思路；接著從對比和控制的角度介紹如何解釋探針任務的實 驗結果，以說明探測位置編碼感興趣屬性的程度；最后對探針任務的主要應用和未來的關鍵研究方向進行展望，討論了當 前探針任務亟待解決的問題與挑戰.

大型語言模型（LLMs）在各個領域展示了卓越的能力，吸引了學術界和工業界的廣泛關注。盡管它們表現出色，但LLMs的巨大規模和計算需求對實際部署帶來了相當大的挑戰，特別是在資源有限的環境中。壓縮語言模型同時保持其精度的努力已成為研究的重點。在各種方法中，知識蒸餾已成為一種有效的技術，可以在不大幅降低性能的情況下提高推理速度。本文從方法、評估和應用三個方面進行了詳細的調查，探討了專門為LLMs量身定制的知識蒸餾技術。具體來說，我們將方法分為白盒KD和黑盒KD，以更好地說明它們的差異。此外，我們還探討了不同蒸餾方法之間的評估任務和蒸餾效果，并提出了未來研究的方向。通過深入理解最新進展和實際應用，這項調查為研究人員提供了寶貴的資源，為該領域的持續進步鋪平了道路。

** 簡介**

大型語言模型（LLMs）[2, 17, 130, 146, 166] 的出現顯著提高了各種生成任務中的文本生成質量，成為人工智能領域一個關鍵且廣受討論的話題。與之前的模型相比，這些模型對未見數據的泛化能力更強。此外，它們還展示了小型模型所不具備的能力，如多步推理[47, 69, 83] 和指令執行[103, 144, 154]。LLMs的成功通常歸因于訓練數據的增加和模型參數數量的增加（例如，具有1750億參數的GPT-3[12]）。然而，參數規模的擴展帶來了顯著的缺點，尤其是在高推理成本和大量內存需求方面，使得實際部署變得具有挑戰性。例如，GPT-3需要大約350GB的模型存儲（float16），并且推理至少需要5個每個80GB內存的A100 GPU，這對碳排放的影響顯著。為了解決這些挑戰，模型壓縮[30, 40] 已成為一種可行的解決方案。模型壓縮旨在將大型、資源密集型模型轉化為適合在受限移動設備上存儲的更緊湊版本。這一過程可能涉及優化以減少延遲以實現更快的執行，或在最小延遲和模型性能之間取得平衡。因此，在現實場景中應用這些高容量模型的一個關鍵目標是壓縮它們，減少參數數量，同時保持最大性能。

隨著減少計算資源需求的必要性日益重要，知識蒸餾（Knowledge Distillation, KD）[43] 作為一種有前景的技術出現。KD是一種機器學習方法，專注于通過從大型復雜模型向更小、更高效的模型傳遞知識來壓縮和加速模型。這種技術經常被用來將存儲在大型深度神經網絡模型中的知識濃縮到更小的模型中，從而減少計算資源需求并提高推理速度而不會大幅犧牲性能。從根本上講，知識蒸餾利用大型模型在大量數據集上獲得的廣泛知識來指導較小模型的訓練。這些知識通常包括輸出概率分布、中間層表示和大型模型的損失函數。在訓練過程中，較小的模型不僅要匹配原始數據標簽，還要模仿較大模型的行為。對于像GPT-4[2]這樣只能通過API訪問的高級模型，生成的指令和解釋可以幫助訓練學生模型[54]。隨著知識蒸餾的最新進展，許多研究綜合了各種蒸餾技術的最新進展。具體來說，Gou等[37] 對知識蒸餾進行了廣泛的綜述，涉及六個關鍵方面：知識類別、訓練方案、師生架構、蒸餾算法、性能比較和應用。同樣，Wang等[141] 詳細總結了與視覺任務相關的知識蒸餾技術的研究進展和技術細節。Alkhulaifi等[4] 介紹了一種創新的度量標準，稱為蒸餾度量標準，他們用它來評估不同的知識壓縮方法。此外，Hu等[48] 探討了跨多個蒸餾目標的各種師生架構，提出了不同的知識表示及其相應的優化目標，并系統地概述了師生架構，結合了代表性的學習算法和有效的蒸餾方案。

現有關于知識蒸餾的綜述為模型壓縮奠定了重要基礎并提供了寶貴的見解[13, 51, 64]。然而，LLMs的出現給KD帶來了若干新挑戰：1）大型語言模型設計并非僅用于單一任務如文本生成，而是廣泛應用于各種任務和未見數據，包括新興能力。因此，評估壓縮LLMs的泛化能力需要仔細和全面的評估。2）現有綜述僅是對現有工作的總結，未提供將KD技術應用于壓縮和部署LLMs的具體示例。這種案例研究可以幫助讀者為不同規模的LLMs選擇最佳的KD方案。

為應對這些挑戰，已經開發出各種專為LLMs設計的知識蒸餾算法。本文旨在提供這些方法的全面而有見地的指南。我們的調查的總體分類框架如圖1所示，從方法、評估和應用三個方面審視LLMs的蒸餾算法。為了清楚解釋這些方法，我們將其分為白盒KD和黑盒KD。白盒KD包括兩種不同類型：基于Logits的方法[43]，在Logits層面傳遞知識，以及基于Hint的方法[109]，通過中間特征傳遞知識。黑盒KD涉及一種基于API的方法，其中僅能訪問教師模型的輸出。此類別通常包括三種方法：上下文學習[52]、鏈式思維[69] 和指令執行[144]。此外，我們同時評估了上述兩種蒸餾算法在魯棒性基準上的有效性[94, 128, 138]。最后，我們討論了不同蒸餾方法之間的關系和應用場景，并提出了未來研究方向。

本文其余部分安排如下：第2節簡要回顧了知識蒸餾方法的定義。接下來，第3節深入探討了LLMs領域的蒸餾和評估方法。第4節展示了應用場景，第5節總結了知識蒸餾的挑戰并探討了未來研究方向。最后，第6節對本文進行了總結。

隨著大型語言模型（LLMs）在文本交互中表現得越來越像人類，越來越多的研究人員開始對LLMs中的人格進行研究。然而，心理學人格研究的多樣性以及LLMs的快速發展導致了這一跨學科領域的研究呈現出廣泛而零散的局面。在不同研究焦點、不同人格心理測量學和不同LLMs之間的大量研究，使得全面了解這一領域變得具有挑戰性，并進一步增加了將研究成果應用于現實世界的難度。**在本文中，我們通過根據LLMs中人格的內在特征和外在表現將當前研究分類為三個研究問題：自我評估、表現和識別，來呈現一個全面的綜述。**對于每個問題，我們提供了詳細的分析，并對其相應的解決方案進行了深入的比較。此外，我們總結了當前研究的發現和未解決的挑戰，并進一步討論了其潛在原因。我們還收集了大量公開可用的資源，以便感興趣的研究人員和開發者使用。最后，我們討論了潛在的未來研究方向和應用場景。我們的論文是關于LLMs人格的最新文獻的首個全面綜述。通過呈現明確的分類法、深入的分析、充滿希望的未來方向和豐富的資源集合，我們旨在提供更好的理解并促進這一新興領域的進一步發展。

大型語言模型（LLMs）展現出了令人印象深刻的語言理解和生成能力，使其能夠與用戶進行連貫、類人對話。這些顯著進展引發了廣泛的應用（Chen et al., 2023; Zheng et al., 2023; He et al., 2023），并激發了越來越多的研究人員對LLMs中人格的探索興趣。 人格被描述為塑造個體思想、情感和行為的持久特征（Mischel et al., 2007）。在LLMs的背景下，研究人員對LLMs是否具有內在的人格特質或LLMs在交互中處理與人格相關任務的能力感到好奇。這些研究有助于理解LLMs的心理描繪（Huang et al., 2023b），并進一步構建更加透明、安全和可信的AI系統（Safdari et al., 2023）。 鑒于此，過去兩年中在這個跨學科領域涌現了大量研究，如附錄A所示。然而，心理學人格研究的多樣性（Hodo, 2006）和LLMs的快速發展使得不僅難以全面了解這一研究領域，還難以比較不同方法、得出一般性結論并將研究成果應用于實際應用。具體而言，當前研究在以下方面表現出混亂：

研究焦點：LLMs中的人格主題涵蓋了各種方面，如LLMs的人格評估或LLMs對用戶人格的認知。盡管范圍廣泛，但大多數研究僅關注某些特定方面。

心理測量學：不同研究集中于不同的人格模型（如五大人格特質模型（Digman, 1990）和邁爾斯-布里格斯類型指標（MBTI; Myers, 1962））。即使對于相同的人格模型，研究人員在其工作中也可能采用不同的心理測量方法。

研究的LLMs：在過去兩年中，發布了大量的LLMs。盡管研究人員共同關注LLMs中的人格，但他們研究的LLMs卻各不相同。

為填補這一研究空白，我們對關于LLMs人格的最新研究進行了全面綜述。我們首先提出了一個分層分類法（在研究問題層面和方法層面）來清晰地組織現有研究，如圖1所示。具體而言，我們根據內在特征和外在表現將LLMs中的人格分為三個研究問題：（1）自我評估，衡量LLMs的內在人格，（2）表現，控制LLMs展現指定人格，以及（3）識別，從文本內容中識別人格特質。對于每個研究問題，我們進一步根據其提出的方法對現有解決方案進行細分。 在具體章節中，我們對每個問題進行了詳細分析，包括問題陳述、動機和意義。然后，我們對相應方法進行了深入調查和比較。此外，我們整合了研究發現并確定了當前研究中揭示的未解決的挑戰。為方便研究人員和開發者，我們還收集了公開可用的資源，包括人格量表、代碼庫和數據集。最后，我們討論了LLMs人格的潛在未來研究方向和實際應用場景。 總結而言，我們工作的主要貢獻如下：

首個全面綜述：據我們所知，這是首個關于LLMs人格最新研究的全面綜述。

清晰的分層分類法：我們提出了一個分層分類法，以清晰地在研究問題層面和方法層面組織文獻。

廣泛的資源收集：我們收集并總結了大量公開可用的資源，以方便研究人員和開發者，包括人格量表、代碼庫和數據集，如附錄B所示。

有前景的未來趨勢：我們總結了當前研究中的研究發現和未解決的挑戰，并進一步討論了LLMs人格的有前景的未來研究趨勢和潛在應用場景。

近期，多功能大規模語言模型（LLMs）的激增在很大程度上依賴于通過偏好學習將越來越強大的基礎模型與人類意圖對齊，從而在廣泛的背景下增強LLMs的適用性和有效性。盡管已經進行了眾多相關研究，但關于如何將人類偏好引入LLMs的視角仍然有限，這可能阻礙了對人類偏好與LLMs之間關系的深入理解以及其局限性的實現。在這篇綜述中，我們從偏好中心的角度回顧了在人類偏好學習領域針對LLMs的探索進展，涵蓋了偏好反饋的來源和形式、偏好信號的建模和使用以及對齊LLMs的評估。

我們首先根據數據來源和形式對人類反饋進行分類。然后總結了人類偏好建模的技術，并比較了不同模型派別的優缺點。此外，我們根據利用人類偏好信號的目標展示了各種偏好使用方法。最后，我們總結了評估LLMs在人類意圖對齊方面的一些流行方法，并討論了我們對LLMs人類意圖對齊的展望。

大規模語言模型（LLMs）[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]對人工智能（AI）產生了突破性的影響，改變了人們對AI系統理解和應用人類語言潛力的看法。這些具有大規模參數（主要超過100億）的神經網絡語言模型最初在從各種來源收集的大規模語料庫上進行了預訓練，其中相當一部分來源于互聯網[11]。通過模仿人類在文本數據中使用自然語言的方式進行預訓練，基礎LLMs獲得了強大而通用的語言技能[1, 12]。另一方面，觀察發現基礎LLMs在理解或恰當地回應多樣化的人類指令方面存在困難[13]，因為預訓練中的模仿過程并未強制基礎LLMs按照人類意圖來執行指令[13, 14]。來自互聯網的預訓練語料庫中殘留的一些有毒、有偏見或事實錯誤的內容甚至會導致基礎LLMs的不當模仿，產生不理想的生成結果[15, 16, 17, 18, 19, 20]。在現實生活中的實際應用中，基礎LLMs必須進化得更加符合人類意圖，而不是模仿預訓練語料庫中可能存在噪聲的行為。

人類偏好學習[21]可以通過根據輸出結果中反映人類偏好的反饋信息優化LLMs，有效地使LLMs與人類意圖對齊，從而指定人類的意圖[22]。最近涌現的大量進化后的LLMs能夠生成適當的響應以應對各種人類指令，驗證了這一方法的有效性[2, 6, 8, 9, 13]。目前，關于人類偏好學習的綜述大多集中于狹義的人類偏好學習方法或廣義的語言模型（LM）對齊方法。關于人類偏好學習的綜述主要集中于強化學習（RL），這可能不適用于LLMs，也不包含與非RL偏好學習方法相關的見解[23, 24]。關于LM對齊[25, 26, 27, 28]以及一般AI系統對齊[22]或超越語言的大模型[29]的綜述，主要將人類偏好學習視為解決對齊問題的工具。這些綜述缺乏對偏好學習，特別是偏好建模方法的系統回顧和討論，而偏好建模方法對于捕捉人類意圖以實現LM對齊至關重要[13]。為了進一步探索更有效的偏好學習方法以實現更好的LLM對齊，我們對適用于語言模型的人類偏好學習方法進行了全面綜述，從偏好學習的角度審視LLM對齊方法。通過分析偏好學習框架內的各種對齊方法，我們勾勒出將人類偏好引入LLMs的全貌，從各個方面提供關于人類偏好學習的見解，適用于各個領域。 具體而言，如圖1所示，我們引入了人類偏好學習在LLMs中的各個方面，包括偏好反饋的來源和形式、偏好建模、偏好信號的使用以及整合人類偏好的LLMs的評估：

• 反饋來源：偏好反饋的質量和規模對于人類偏好學習至關重要，而反饋收集的來源可以極大地影響它們。最近的人類偏好學習方法不僅從人類那里收集偏好反饋，還從模擬人類的方式中收集，探索高質量和大規模之間的平衡。
• 反饋形式：偏好反饋的形式決定了其信息密度和收集難度，從而也影響了偏好反饋的質量和規模。人類偏好學習工作中采用的反饋形式大致包括自然適合偏好表達但信息量較少的相對關系，以及更能反映人類偏好的絕對屬性，但更難收集。不同形式的結合可以進一步增加偏好反饋的信息密度。
• 偏好建模：偏好建模旨在從偏好反饋中獲得偏好模型，提供可推廣和直接可用的人類偏好信號以對齊LLMs。各種偏好建模方法專注于獲取具有數值輸出的偏好模型。一些工作還探索了具有自然語言輸出的偏好建模方法。除了明確獲得任何偏好模型外，另一類研究通過直接使用反饋數據作為偏好信號來隱式建模人類偏好，以間接偏好建模目標對齊LLMs或利用對齊的LLMs提供偏好信號。
• 偏好使用：偏好使用是根據偏好信號的指導調整基礎LLMs的階段，使LLMs與人類意圖對齊。根據偏好信號使用的具體目標，最近的方法可以分為四大類：基于人類反饋的強化學習（RLHF），最大化LLM輸出的總體預期獎勵分數；在首選輸出上的監督微調（SFT），最大化人類偏好輸出樣本的生成概率；偏好引導的對比學習，增加更偏好的輸出的生成概率，同時減少不太偏好的輸出的生成概率；以及偏好條件的微調和生成，最大化由相應偏好信號條件生成的輸出的生成概率。
• 評估：最后，全面評估LLMs的遵循人類意圖的能力對于驗證人類偏好學習的有效性至關重要。現行的評估協議分為三類：開放形式基準，評估LLMs對多樣化指令響應的人類偏好而不提供標準答案；自動評估，在具有標準標簽的一組任務上使用自動指標評估LLMs；以及定性分析，直接檢查對一些代表性指令的每個響應。 值得注意的是，本綜述涵蓋了雖然不是特定于LLMs但可用于對齊LLMs的人類偏好學習研究工作，從經典強化學習等領域提供見解。我們進一步總結了近期在對齊LLMs與人類意圖方面取得的關鍵進展，并討論了當前未解決的挑戰和未來研究的可能前景，包括多元化人類偏好學習、可擴展的LLMs對齊監督、語言無關的LLM對齊、多模態互補對齊、LLM對齊進展的全面評估以及對欺騙性對齊的實證研究。我們希望這篇綜述能幫助研究人員發現人類偏好在LLM對齊中的運作機制，通過對前沿研究工作的回顧，啟發他們在對齊LLMs和其他AI系統方面實現與人類意圖的對齊。

本綜述的其余部分組織如下。我們在第二部分開始介紹本綜述的背景，介紹人類偏好學習在LLMs中的發展歷程。然后，我們從第三部分到第七部分介紹人類偏好學習在LLMs中的各個方面，包括反饋來源（第三部分）、反饋形式（第四部分）、偏好建模（第五部分）、偏好使用（第六部分）和評估（第七部分）。最后但同樣重要的是，我們在第八部分總結了人類偏好學習，并討論了我們對未來的展望。

近年來，以ChatGPT為代表的能夠適應復雜場景、并能滿足人類的各種應用需求為目標的文本生成算 法模型成為學術界與產業界共同關注的焦點 . 然而，ChatGPT等大規模語言模型（Large Language Model，LLM）高度忠 實于用戶意圖的優勢隱含了部分的事實性錯誤，而且也需要依靠提示內容來控制細致的生成質量和領域適應性，因 此，研究以內在質量約束為核心的文本生成方法仍具有重要意義. 本文在近年來關鍵的內容生成模型和技術對比研 究的基礎上，定義了基于內在質量約束的文本生成的基本形式，以及基于“信、達、雅”的6種質量特征；針對這6種質量 特征，分析并總結了生成器模型的設計和相關算法；同時，圍繞不同的內在質量特征總結了多種自動評價和人工評價 指標與方法. 最后，本文對文本內在質量約束技術的未來研究方向進行了展望.

 2022 年 11 月 30 日，由 OPENAI 實驗室推出的一款 基于 GPT3.5的內容生成工具 ChatGPT［1，2］ ，通過進一步 提升模型的記憶能力與文本理解能力，使其自動生成 的問題解答、軟件代碼、數學計算和信件內容等結果， 不僅具備優秀的內容完整性和邏輯性，而且能夠符合 用戶偏好并實現場景的自適應性，從而引起了學術界 和工業界的廣泛關注，并使基于人工智能的內容生成 技術（AI Generate Content，AIGC）成為目前 AI 技術領 域中熱議的焦點之一［3，4］ . AIGC 技術的核心是通過 AI 算法自動化地生成滿足特定目標和質量要求的文本 內容，生成文本不僅需要符合圖靈假設［5］ ，而且應當滿 足人們在瀏覽信息時所需要的“信（Credible）、達（Ex? pressiveness）、雅（Elegance）”的質量需求［6］ . 目前，以 GPT-3 ［3］ ，T5 ［7］ 和 GPT-4 ［8］ 為核心的大規模預訓練語言 模 型（Large Language Model，LLM）不 僅 具 有 的 層 數 多、參數量大的結構特點，而且通過海量語料的訓 練，具有很強的理解能力和泛化能力，逐漸成為 AIGC 技術的主流 . 但是，相比 LLM 聚焦不同外在環境和任 務的普適性，如何提升語言模型所生成文本的內在 質量以符合特定領域的質量需求，迫切需要開展深入 的研究. 近年來語言生成模型的技術演化路線如圖1所示. 其中，Google 和 OpenAI 的研究者在早期基于多頭注意 力機制的Transformer［9］ 模型基礎上，通過增加預訓練子 任務或改進解碼器結構，分別提出了用于自然語言理 解任務的 BERT 模型［10］ 和適應多種任務的自回歸模型 GPT［11］ . 此后預訓練語言模型出現了兩個重要分支： 一是以 GPT-2 ［12］ ，GPT-3 ［3］ ，T5 ［7］ 和 GPT-4 ［8］ 為代表的自 回歸模型采用了更加豐富的訓練語料和更加龐大的 參數，進一步增強了 LLM 在多種不同生成任務中的性 能 與 泛 化 性 ；二 是 以 RoBERTa［13］，SpanBERT［14］和 SBERT［15］為代表的改進模型通過改進掩碼機制和預 訓練子任務，進一步提升了 BERT 模型的編碼性能和 應用領域 . 同一時期，基于循環機制和雙流自注意力 的 TransformerXL［16］和 XLNet［17］等預訓練模型在生成 長文本的同時，通過生成質量控制保持了上下文語義 的流暢性；而融合了 BERT 編碼能力和 GPT-2 生成優 勢的 BART 模型［4］ 能夠通過輸入不同的關鍵字來控制 生成文本的內容語義 . 為了生成更加連貫的長文本內 容，Tan 等人［18］ 基于 BART 構建了多步驟生成模型 Pro? Gen，通過在多步生成過程中采用不同的觸發詞，有效 控制了長文本生成中內容語義的連貫性，并在基于 CNN新聞數據集的實驗結果表明，相對于BART模型的 BLEU 值 30.1%，ProGen模型提升到了 31.2%. 而 Hua等 人［19］ 從語義連貫性與動態語義的演化特征出發，提出 了連貫性生成模型 PAIR，它將文本計劃作為生成模型 的輸入以控制輸出文本的整體脈絡，從而保證了輸出 內容具有更加平滑的語義變化和連貫性，在針對 Red? dit 數據集的測試中發現，相比 BART 模型的 BLEU 值 6.78%，PAIR 的 BLEU 值提升至 36.09%. Jang 等人［20］ 為了增強對話任務中回復內容的角色一致性，提出 的模型將 BART 模型作為生成器的主體結構，采用 角色和知識的獨立編碼以增強回復文本中的屬性表 達，該模型在 FoCus 數據集上測試結果為 46.31%，比 BART 模型的 BLEU 值 13.18% 大幅提升 . 上述工作 表明，從不同的質量特征上來優化內容生成模型的 結構，均可獲得較 BART 模型更優的結果，因此，在 各種大語言模型不斷推新的場景下，從質量特征的 視角來進行模型優化，仍然具有的重要的研究價值 和意義. 圍繞著生成更準確［21，22］ 、更真實［23，24］ 、更細致［25~27］ 、 更可靠［28，29］ 的高質量文本內容，大量學者從不同的視 角對AIGC領域中的關鍵技術問題進行了綜述研究. 其 中，Iqbal 等人［30］在 CNN，RNN，LSTM 等經典模型的基 礎上，深入分析和對比了基于 VAE和 GAN等生成模型 的差異，發現傳統語言模型無法控制不同文本質量中 的細微差別 . Li 等人［31］ 則從預訓練語言模型和微調機 制出發，從“相關性、忠實度、保序性”等質量維度來分 析不同類型的輸入數據如何自適應地生成滿足特定質 量要求的文本，但是這些工作缺少探索所選特性的可 泛化能力，導致一些質量特征僅限于特定的任務. 在生 成文本的可靠評價角度上，Celikyilmaz 等人［32］ 從人工 評價方法、非訓練的自動評價算法和機器學習的評價 模型等方向出發，系統討論了生成文本的評價方法與 指標體系 . 而 Jin 等人［33］ 關注文本風格遷移任務，特別 是圍繞著風格遷移強度、語義保存性和流暢度等特征 深入研究了自動評價和人工評價方法. 然而，現有的評 價方法依然偏向于特定的生成任務，缺乏一個以質量 特征為核心主線的內容評價框架. 綜上所述，在考慮到不同研究工作之間關注焦點 存在的差異性，本文在梳理和對比與已有研究綜述 在 AIGC 核心問題與工作挑戰的基礎上（表 1），從質 量約束與控制的視角出發，對 AIGC 中高質量文本內 容生成進行形式化定義，進而圍繞不同的質量特征 與任務分析相關技術、模型的研究進展，對未來的發 展趨勢進行分析和總結，為未來的研究奠定基礎和 指引.

大型語言模型（LLMs）已在自然語言處理（NLP）領域催生了重大進展，然而它們面臨著諸如幻覺錯誤和對特定領域知識需求等挑戰。為了緩解這些問題，最近的方法學已將從外部資源檢索到的信息與LLMs整合，顯著提升了它們在NLP任務中的表現。這篇綜述論文針對缺乏對檢索增強語言模型（RALMs）、包括檢索增強生成（RAG）和檢索增強理解（RAU）的全面概述，提供了它們的范式、演變、分類和應用的深入考察。文章討論了RALMs的基本組件，包括檢索器、語言模型和增強組件，以及它們的互動如何導致多樣化的模型結構和應用。RALMs在從翻譯和對話系統到知識密集型應用的廣泛任務中顯示出其實用性。綜述還包括了幾種評估RALMs的方法，強調在評估中穩健性、準確性和相關性的重要性。同時也指出了RALMs的限制，特別是在檢索質量和計算效率方面，提供了未來研究的方向。總之，這篇綜述旨在提供對RALMs的結構化洞見、其潛力以及NLP未來發展的途徑。論文還附帶了一個包含已調研工作和進一步研究資源的Github倉庫：//github.com/2471023025/RALM_Survey。

自然語言處理（NLP）是計算機科學和人工智能領域內的一個重要研究方向，致力于研究使人與計算機之間能夠使用自然語言有效溝通的理論和方法學框架。作為一個多學科領域，NLP整合了語言學、計算機科學和數學，旨在實現人類語言與計算機數據之間的相互轉換。其最終目標是賦予計算機處理和“理解”自然語言的能力，從而便于執行自動翻譯、文本分類和情感分析等任務。NLP的復雜性體現在它包括的眾多步驟上，如詞匯分割、詞性標注、解析、詞干提取、命名實體識別等，這些都增加了在人工智能系統中復制人類語言理解的難度。

傳統的自然語言處理任務通常使用基于統計的算法（Hogenboom et al., 2010）（Serra et al., 2013）（Aussenac-Gilles and S?rgel, 2005）和深度學習算法，如卷積神經網絡（CNN）（Yin et al., 2017）、遞歸神經網絡（RNN）（Banerjee et al., 2019）、長短時記憶網絡（LSTM）（Yao and Guan, 2018）等。最近，隨著變壓器架構（Vaswani et al., 2017）作為自然語言處理的代表性技術的出現，其受歡迎程度顯著提高。變壓器架構作為一個突出的大語言模型（Lewis et al., 2019）（Raffel et al., 2020）在自然語言處理領域已經持續展示出優越的性能，吸引了越來越多研究者的關注，他們致力于研究其能力。

當前最流行的語言模型是GPT系列（Radford et al., 2019）（Brown et al., 2020）（Achiam et al., 2023）和Bert系列（Liu et al., 2019）（Devlin et al., 2018）（Sanh et al., 2019），這些模型已經在多種自然語言處理任務中表現出色。其中，自編碼語言模型特別擅長于自然語言理解任務，而自回歸語言模型更適合于自然語言生成任務。雖然增加參數（Touvron et al., 2023b）和模型調優（Han et al., 2023）可以提升LLMs的性能，但“幻覺”現象（Ji et al., 2023）仍然存在。此外，語言模型在有效處理知識密集型工作（Feng et al., 2023）和更新其知識的能力不足（Mousavi et al., 2024）方面的限制也一直很明顯。因此，許多研究者（Lewis et al., 2020）（Izacard and Grave, 2020b）（Khandelwal et al., 2019）采用了檢索技術來獲取外部知識，這可以幫助語言模型在多種任務中獲得更好的性能。

當前關于使用檢索增強來提升LLMs性能的綜述還很少。Zhao et al.（2023）提供了關于多模態RAG的全面概述。Zhao et al.（2024a）專注于人工智能生成內容（AIGC）領域的檢索增強生成技術的利用。這篇文章提供了最近RAG工作的全面概述，但它沒有覆蓋所有相關領域。此外，文章缺乏足夠的細節來提供整體發展的全面時間線。Gao et al.（2023）研究了對大模型的RAG的增強。這篇文章總結了一些最近的RAG工作，但它獨立地介紹了檢索器和生成器，這不利于后續工作的組件升級和互動。Li et al.（2022b）專注于文本生成。文章中的圖表較少，內容更抽象，不利于讀者的理解。

關于NLP中的檢索增強方法，僅有關于RAG的綜述只講述了部分故事。不僅與自然語言生成（NLG）相關的任務需要檢索增強技術，自然語言理解（NLU）任務也需要外部信息。迄今為止，全面綜述NLP全譜系中應用增強檢索技術的文章還很少。為了改善當前狀況，本文提出以下貢獻： (1) 本文不僅關注與RAG相關的工作，還重點強調了RALM，并與NLP的概念保持一致。與生成相關的工作與NLG對齊，而其余的工作與NLU對齊。 (2) RALM的兩個組成部分，檢索器和語言模型，都進行了詳細描述，這兩個組件的不同交互模式也首次被準確定義。 (3) 提供了RALM工作計劃的全面概述，總結了當前RALM的常見和新穎應用，并分析了相關限制。提出了這些限制的潛在解決方案，并推薦了未來研究方向。

圖1提供了RALM方法框架的總體概述。以下是本文的摘要：第2節定義RALM。第3節提供了RALM中檢索器的詳細分類和總結。第4節提供了RALM中語言模型的詳細分類和總結。第5節對RALM的特定增強進行了分類和總結。第6節是RALM檢索數據來源的分類和總結。第7節是RALM應用的總結。第8節是RALM評估和基準的總結。最后，第9節討論了現有RALM的限制和未來工作的方向。

RALMs的整合代表了NLP系統能力的重大進步。本綜述提供了對RALMs的廣泛回顧，突出了它們的架構、應用和所面臨的挑戰。通過檢索和整合外部知識，RALMs增強了語言模型，從而在包括翻譯、對話生成和知識圖譜補全等多種NLP任務中提升了性能。

盡管取得了成功，RALMs仍面臨幾個限制。值得注意的是，它們對對抗性輸入的魯棒性、檢索結果的質量、部署相關的計算成本以及應用領域多樣性的缺乏被認為是需要進一步關注的領域。為了解決這些問題，研究社區提出了幾種策略，例如改進評估方法、完善檢索技術和探索在性能與效率之間保持平衡的成本效益解決方案。 未來，RALMs的進步將依賴于增強其魯棒性、提高檢索質量和擴展其應用范圍。通過采用更復雜的技術并將RALMs與其他AI技術整合，這些模型可以被用來應對更廣泛的挑戰。在這一領域持續的研究和開發預計將帶來更具韌性、效率和多功能性的RALMs，從而推動NLP及其它領域所能達到的界限。隨著RALMs的不斷演進，它們有望賦予AI系統更深入的理解力和更接近人類的語言能力，從而在廣泛的領域中開辟新的可能性。

高效的分子建模和設計對于新分子的發現和探索至關重要，深度學習方法的引入已經徹底改革了這一領域。特別是，大型語言模型（LLMs）提供了一種全新的方法來從自然語言處理（NLP）的角度解決科學問題，引入了一種稱為科學語言建模（SLM）的研究范式。然而，仍有兩個關鍵問題：如何量化模型與數據模態之間的匹配度以及如何識別模型的知識學習偏好。為了應對這些挑戰，我們提出了一個多模態基準，命名為ChEBI-20-MM，并進行了1263次實驗來評估模型與數據模態和知識獲取的兼容性。通過模態轉換概率矩陣，我們提供了關于任務最適合的模態的見解。此外，我們引入了一種統計上可解釋的方法，通過局部特征過濾發現特定上下文的知識映射。我們的先驅性分析提供了對學習機制的探索，并為推進分子科學中的SLM鋪平了道路。 Transformers[8]以其強大的文本編碼和生成能力提供了優勢。這些模型可以通過最小的任務特定調整進行微調，使它們在分子建模和設計中更加多才多藝和高效。此外，自從ChatGPT[9]和GPT-4[10]的出現以來，大型語言模型（LLMs）已成為尤其在分子科學中的一種突破性趨勢。LLMs憑借其在處理和生成類人文本的先進能力，提出了一個理解和設計分子結構的新范式。它們吸收和分析大量文本數據的能力可以提供前所未有的洞察，克服了傳統AI方法的一些限制。這種新能力結合了準確性和新穎性，以改善結果，被稱為化學知識。其有效性取決于輸入數據、模型架構和訓練策略等因素。然而，對這一能力的當前綜述和基準評估并不全面。 分子科學中現有的綜述，如分子生成綜述[11]，通常缺乏全面的模型比較，并且任務范圍有限。知識驅動的綜述[12]對分子學習進行了分類，但缺少詳細的方法比較和數據集討論。而最近的基準測試，如測試ChatGPT的[13]，涵蓋了八個化學任務，每個任務都提供了獨特的化學洞察。Mol-Instructions[14]提供了一個用于微調的數據集，包含各種分子和蛋白質指令，增強了LLMs中的生物分子理解。然而，這些綜述和基準測試缺乏多模態內容，也沒有充分探索模型的化學知識。 總結來說，本研究全面回顧了Transformers和LLMs在分子建模與設計中的應用。我們將六個常見的分子任務分類為三個不同的目標：描述、嵌入和生成，如圖1所生動描繪。此外，我們建立了一個統一的多模態基準ChEBI-20-MM，并進行實驗評估數據模態、模型架構和不同任務類型的兼容性，考察它們對任務性能的影響。此外，我們的端到端可視化方法展示了嵌入化學知識的建模洞察的發現。總體來說，我們的主要貢獻包括： ? 本工作分析了LLMs在分子建模中的應用，分類現有模型，并提出了一個多模態基準（ChEBI-20-MM）進行性能評估，支持1263次實驗。 ? 我們分析了模態轉換概率矩陣，并確定了不同數據模態和模型架構之間的最佳匹配。 ? 我們引入了一種統計上可解釋的方法，通過局部特征過濾展示了知識獲取。 本文的其余部分如下組織。第2節介紹相關定義和背景。然后，我們探討分子建模和設計中的六個關鍵任務。第3節展示了我們的基準測試和洞察。第4節討論了關鍵結果和限制，第5節總結了我們的貢獻和未來研究方向。

近年來，大型語言模型（LLMs）已取得了顯著的進展。這些進展，雖然引起了極大的關注，同時也引發了各種擔憂。這些模型的潛力無疑是巨大的；然而，它們可能會產生不準確、誤導性或甚至有害的文本。因此，采用對齊技術來確保這些模型表現出與人類價值觀一致的行為變得至關重要。 本調查旨在為大型語言模型的對齊方法提供廣泛的探討，結合現有的能力研究。通過AI對齊的視角，我們將現行的方法和新出現的大型語言模型的對齊提案分類為外部和內部對齊。我們還探討了一些顯著問題，包括模型的可解釋性和潛在的對抗攻擊的脆弱性。為了評估大型語言模型的對齊，我們提出了各種基準和評估方法。在討論了大型語言模型的對齊研究狀況之后，我們最終展望未來，思考了未來有前途的研究方向。 我們對本次調查的愿景不僅僅是激發在這一領域的研究興趣。我們還希望彌合AI對齊研究社群和致力于探索大型語言模型能力的研究人員之間的差距，為能力強大且安全的大型語言模型牽線搭橋。

1 引言

以OpenAI的ChatGPT（OpenAI，2022年）和GPT-4（OpenAI，2023a年）為例的大型語言模型（LLMs）已經迅速發展，重新點燃了對人工通用智能（AGI）的熱忱和期望。雖然LLMs作為通向AGI的路徑仍是一個討論的話題，但這些模型，憑借著擴展規律（Kaplan等，2020年；Hoffmann等，2022年），越來越展現出類似AGI的特征（Bubeck等，2023年）。在大量數據的訓練下，LLMs不僅展示出了強大的語言能力，而且在數學、推理、醫學、法律和編程等多個領域迅速接近人類水平的熟練度（Bubeck等，2023年）。 伴隨著LLMs在技術上的突破，人們越來越關注它們可能對人類構成的潛在威脅和倫理風險。有明確的倫理風險已被發現。研究表明，LLMs可能會無意中傳播它們訓練數據中的有害信息，例如偏見、歧視和有毒內容（Weidinger等，2021年）。它們可能會泄露訓練數據中的私人和敏感信息，或生成誤導性、虛假或低質量的信息。此外，部署LLMs也引入了社會和倫理挑戰，例如LLMs的潛在濫用和對嚴重依賴LLM代理的用戶的負面影響，以及對環境、信息傳播和就業的更廣泛影響（Bubeck等，2023年）。

對于長期影響，人們普遍擔憂未對齊的AGI構成存在風險。超越人類智力和知識的AI代理可能會發展出自己的目標，與人類設定的目標產生分歧。在追求其目標的過程中，這樣的代理可能會壟斷資源，確保其保存和自我增強。這一軌跡可能導致人類完全失權，不可避免地導致人類存在的災難性后果（Carlsmith，2022年）。

作為解決這些問題的技術解決方案，AI對齊，即確保AI系統產生與人類價值觀一致的輸出，越來越受到關注。在LLMs的背景下，對齊確保模型的響應不僅準確和連貫，而且從開發人員和用戶的角度來看是安全、道德和可取的。隨著語言代理越來越融入我們日常生活的各個方面，從內容創建到決策支持，任何未對齊都可能導致意想不到的后果。正確地將大型語言模型與人類價值觀對齊，確保了這些模型的巨大潛力得到可信賴和負責任的利用。

響應這一領域日益增長的興趣，最近有一些文章回顧了（或偶然討論了）LLMs的對齊方法（Pan等，2023年；Zhao等，2023b年；Fernandes等，2023年；Liu等，2023d年；Wang等，2023d年）。然而，一個值得注意的觀察是，這些評論主要集中在外部對齊上，常常忽略了AI對齊中的其他重要主題，如內部對齊和機械解釋性。雖然無可否認，外部對齊在LLM對齊中占據了關鍵地位，并且一直是深入和深刻研究的主題，但從更廣泛的AI對齊角度來看，它只是整個對齊景觀的一部分。

為了彌補這一差距，我們從AI對齊的角度提供了LLM對齊的全面概述。我們認為，對齊的全面理解不僅應該包括廣泛研究的外部對齊，還應該深入探討目前還處于起步階段的領域。諸如內部對齊和機械解釋性這樣的主題，雖然目前還處于研究的初級階段，但卻擁有巨大的潛力。在這個階段，這些領域的許多提案仍然是理論性的，或者僅僅是思考實驗。然而，我們認為，它們對LLM對齊研究的未來軌跡是不可或缺的。通過揭示這些被忽視的領域，我們希望呈現出一個更為全面的對齊視角。因此，除了現有的LLM對齊方法，我們還將介紹幾個對齊主題，盡管這些主題尚未應用于LLMs，但顯示出前景，并可能在可預見的未來成為LLM對齊的組成部分。通過這樣做，我們致力于豐富AI對齊及其在大型語言模型領域的多方面應用的論述。

總結所有這些因素，我們在圖1中提出了一個LLM對齊的分類法。具體來說，本調查將首先討論LLM對齊研究的必要性（第2節）。為了提供AI/LLM對齊的歷史和鳥瞰視圖，我們介紹了AI對齊的起源和相關概念（第3節）。根據我們提出的分類法，將對齊LLMs的理論和技術方法分為外部對齊（第4節）、內部對齊（第5節）和機械解釋性（第6節），遵循AI對齊的哲學（Krakovna，2022年）。除了這些理論和實證方法外，我們還進一步討論了LLMs當前對齊方法的潛在副作用和脆弱性，包括對抗攻擊（第7節），以及LLM對齊評估的方法和基準（第8節）。最后，我們提出了我們對LLM對齊研究未來趨勢的有限觀點（第9節）。

為什么LLM對齊？

LLMs不僅在文本生成方面變得越來越有能力，還在許多其他任務中展現出能力，例如，文本到代碼生成（Poesia等，2022年），計劃（Huang等，2022年；Song等，2022年），工具學習（Qin等，2023年），推理（Mialon等，2023年）。然而，LLMs的訓練目標（Radford等，2019年；Devlin等，2019年），例如，下一個單詞預測（Radford等，2019年）或確定兩個句子在上下文中是否相關（Devlin等，2019年），并不一定符合人類價值觀。因此，LLMs可能會生成人類希望避免的不良內容或冒險行為。LLM風險通常可以從兩個方面來看：已建立的風險和預期的風險（Weidinger等，2021年）。前者主要是觀察到的社會和倫理風險（Weidinger等，2021年），而后者是與高級LLM相關的未來潛在風險（Hendrycks等，2023年）。 什么是LLM對齊？

為了深入理解大型語言模型（LLMs）中的技術對齊，我們需要討論更廣泛的概念，即AI對齊。盡管這是一個新興領域，但在LLMs出現之前就已經進行了研究。我們簡要介紹AI對齊的起源、研究格局和要點，以及與AI對齊相關的概念，這些都為LLM對齊及其最近出現的子領域提供了背景。

AI對齊的起源

AI對齊的起源可以追溯到激發AI革命的最初愿望：創建能夠像人類一樣思考和行動，甚至超越人類的機器。如果我們成功創建了這樣強大的機器，我們如何確保它們按照我們的最佳利益行事，而不是反對我們呢？這個未解之謎不僅引發了好奇心，而且強調了我們在塑造AI未來時所承擔的深遠責任。

賽博格學之父Norbert Wiener在一篇發表在《科學》雜志上的論文中提出了這樣的擔憂（Wiener, 1960）： “如果我們為了實現我們的目的，使用了一個我們一旦啟動就無法有效干預其操作的機械機構，因為這個行動如此迅速和不可逆，以至于我們在行動完成之前沒有數據進行干預，那么我們最好確保放入機器的目的是我們真正的愿望，而不僅僅是它的多彩模仿。”

這個聲明強調了確保“機械機構”的目標與我們為它設定的真正目標一致的重要性，強調了機器和人類目標之間的對齊。

2014年，人工智能：一種現代的方法（Russell和Norvig，2010）的作者之一Stuart Russell在一次采訪中表示：要深入了解LLMs中的技術對齊，我們需要討論AI對齊這一更為廣泛的概念。即便這是一個新興領域，但AI對齊的研究在LLMs出現之前就已經開始。我們簡要介紹了AI對齊的起源、研究景觀和成分以及相關概念，為LLM對齊及其新興的子領域提供背景。

“正確的響應似乎應該是改變該領域本身的目標；我們需要構建的不是純粹的智能，而是可以證明與人類價值觀相一致的智能。由于實際原因，我們需要解決即便是在人類環境中操作的相對不那么智能的AI系統的價值對齊問題。如果我們理解這個問題是AI固有的一部分，就像容納是現代核聚變研究的固有部分一樣，那么我們有理由保持樂觀。世界不需要走向悲傷。” —— Stuart Russell, 2014。 他定義了“價值對齊問題”（VAP），強調了建造不僅聰明而且與人類價值觀一致的AI系統的需要。盡管AI對齊的概念在AI誕生之初就已經種下，但過去幾十年基本上沒有進行研究。長時間以來，AI在各種能力方面都沒有達到人類水平，甚至被嘲笑稱為“人工白癡”。

然而，最近的進展，尤其是大型語言模型的崛起，已經將AI能力推向了接近甚至超過人類在許多任務上的表現的水平。這種復蘇使得AI對齊的重要性和緊迫性浮出水面。從2012年開始，在相關論壇和arXiv上已經開始出現了關于AI對齊的討論和研究文章。到2017年，關于AI對齊的出版物已經爆炸性地增長，論文數量從每年不到20篇增加到了超過400篇（Kirchner等，2022），與Transformer（Vaswani等，2017）和GPT（Radford等，2018）的發明相吻合。

相較于其他AI研究領域，如自然語言處理，AI對齊還處于前范例階段（Kirchner等，2022）。這個新興領域中的許多關鍵概念和術語還沒有達成共識。術語如“對齊”，“AI對齊”，和“價值對齊”在討論中經常可以互換使用。在某些上下文中，“人機對齊”作為“AI對齊”的替代詞出現。而“對齊”一詞在AI對齊的上下文中是合適的，但在更廣泛的上下文中可能會產生歧義，可能與機器翻譯中的雙語對齊等其他對齊概念混淆。 此外，對AI對齊的定義還沒有達成共識。Paul Christiano將AI對齊定義為“如果A在嘗試做H希望它做的事，那么A就與H一致。”這個定義過于泛泛了然，因為幾乎所有的AI模型都在盡力做其創建者希望它們做的事。

在此調查中，我們從其內在的角度定義AI對齊：AI對齊確保AI代理的內外目標都與人類價值觀一致。外部目標是基于人類價值觀由AI設計師定義的，而內部目標則是AI代理內部優化的。這一定義雖然區分了AI代理的內外目標，但并未準確定義人類價值觀，因此略顯不精確。將AI系統的目標分類為外部目標和內部目標的原因在于AI對齊的技術性質（Hubinger等，2019c）。在這個定義中沒有指定人類價值觀，是因為AI對齊固有的社會和技術挑戰（Hendrycks等，2021）。

AI對齊的研究格局和成分

眾所周知，從廣泛的角度來看，AI對齊的關鍵研究議程包括外部對齊、內部對齊和可解釋性（Hubinger, 2020b; Ngo, 2022; Krakovna, 2022）。

外部對齊

這是選擇正確的損失函數或獎勵函數，并確保AI系統的訓練目標符合人類價值觀。換句話說，外部對齊試圖將指定的訓練目標與其設計者的目標對齊。至少出于以下原因，這在實踐中非常困難： ? 通常很難理解和定義人類價值觀或意圖。 ? 人類價值觀有很多不同的細粒度維度。我們需要將指定的目標與所有這些維度對齊嗎？ ? 人類價值觀通常受社會和文化限制。我們需要將指定的目標與所有不同的文化和社會對齊，還是只對其中的一部分對齊？考慮到文化和社會的多樣性，我們如何確保價值對齊的公平性？ ? 由于人類價值觀/意圖通常是定性的，而要優化的損失或獎勵必須是可衡量和可計算的，我們如何彌合它們之間的差距？這被稱為目標規范問題。 ? 外部對齊可能會遭受規范游戲的困擾，其中由于古德哈特定律，可能會出現無法預見的目標或后果。古德哈特定律起源于經濟學，其內容是“當一項衡量變成一個目標時，它就不再是一個好的衡量”。這與外部對齊有關，因為某個價值的代理是要被優化的目標，它可能不再是一個好的代理。

**內部對齊

這是為了確保AI系統實際上經過培訓以實現設計師設定的目標。一旦我們指定了培訓目標，我們需要確保AI系統的行為實際上符合這些規范。由于AI系統，尤其是深度學習模型，可以開發出難以從其訓練數據或目標中預測的行為，這是具有挑戰性的。例如，一個經過訓練來贏得游戲的AI系統可能會找到一個意想不到的漏洞或者逃避通道，這在技術上滿足了它的目標，但違反了游戲的精神。目標錯誤泛化問題（Shah等人，2022）是另一個例子，即使我們有正確的目標規范，由于在未見情況下的魯棒性失敗，仍然可能產生無意的目標。內部對齊確保AI的“內部”目標（它在學習過程中推導或優化的目標）符合設計師設定的“外部”目標。 外部和內部對齊對于構建安全可靠的AI至關重要。如果失敗，我們冒著創造的系統的行為與人類價值觀或意圖不一致的風險。隨著LLMs變得更加有能力，這些對齊問題的重要性增加，使得LLM對齊的研究與LLM能力的研究一樣關鍵。

**可解釋性

在AI對齊的背景下，可解釋性廣泛地指的是促使人們理解AI系統的內部運作、決定和行為的方法、模型和工具。它可以進一步分為： ? 透明性：這是通過追蹤AI系統的內部狀態來理解黑盒中的AI系統的內部運作，從而引導其行為和決定。透明性的一個新興而有趣的方法是機械可解釋性，它尋求將機器學習系統（特別是神經網絡）的輸出和行為逆向工程到其內部狀態、權重和組件（Nanda等人，2023）。由于LLMs中參數的巨大數量以及LLMs作為大型神經網絡的系統復雜性，逆向工程LLMs是非常困難的。當前的機械可解釋性通常在LLMs的小型和簡化模型上進行（例如，去除了FFN子層的兩個神經層）（Elhage等人，2021; 2022a）。然而，這是一個相當有前途的方向，為神經網絡的對齊提供了深刻的見解，并有望在未來取得突破。 ? 可解釋性：這涉及AI系統為其決定提供人類可理解的解釋的能力。在許多關鍵領域，例如醫療保健、金融和執法，AI做出的決定對許多方面都有深遠的影響。例如，考慮一個醫療診斷AI。如果這個系統預測一個患者患有特定的醫療病癥，僅僅輸出這樣的預測結果是不夠的。醫療專業人員、患者和其他利益相關者會想要知道這個預測是如何做出的。它是否考慮了患者的病史、最近的實驗室結果或特定的癥狀來做出全面的決定？ 解釋通常被視為模型輸出的事后分析，該模型允許模型更多地了解其預測。透明度是查看模型內部以揭示模型的運作方式。盡管這種劃分不是絕對的（Lipton，2017），透明度更多地與對齊相關，因為透明度工具不僅使我們了解模型的內部結構，還提供了模型在培訓過程中變化的見解（Hubinger，2022a）。

**外部對齊、內部對齊和可解釋性之間的關系

外部和內部對齊共同確保模型的行為與人類的價值觀和意圖一致。外部對齊專注于從人類目標到模型的規范，而內部對齊深入研究模型的內部優化過程，以保證模型本質上試圖做設計師希望它做的事情。盡管存在這種差異，他們的二元和形式主義二分法并不建議，因為對齊失敗的分類有時是模糊的，構建安全和可信賴的系統時，整體對齊觀點是重要的。8雖然可解釋性不直接針對對齊，但其工具和技術可以幫助外部和內部對齊。通過了解模型如何演化和做出決定，我們可以更好地識別何時以及在哪里發生不對齊。例如，如果模型采取意想不到的捷徑來實現其目標，可解釋性可能會幫助我們了解這何時以及如何發生。此外，可解釋性可以向我們提供模型的內部推理過程的見解。

近年來，LLM（大型語言模型）的快速發展無疑揭開了新技術力量的新紀元。然而，隨著這一力量的出現，我們也承擔著確保這些模型在人類倫理和期望的范圍內運作的責任。本文提供了針對LLM的對齊方法的全面概述，強調了將能力研究與倫理考慮相結合的重要性。我們通過將對齊技術分類為外部對齊和內部對齊，揭示了研究社區目前所采用的多方面方法。同時，我們也討論了新興的主題，如模型的可解釋性和對抗性攻擊的脆弱性，突出了對齊過程中的復雜性。此外，本文不僅記錄了當前對齊研究的現狀，還展望了未來，確定了有望進一步完善和提高LLM對齊的潛在研究軌跡。我們真誠希望這份調查能作為催化劑，促進AI對齊社區與LLM研究人員之間的合作。這樣的合作方法是實現LLM全部潛力的必要條件，確保它們以道德合規和有益的方式服務于人類。總之，當我們繼續推動LLM的可能性邊界時，我們必須始終堅守對其負責任和有原則的部署的承諾。

最先進的神經網絡架構設計的最新進展正在向Transformer模型發展。這些模型在計算機視覺、自然語言處理和語音識別的廣泛應用中取得了卓越的準確性。自從Transformer模型最初被引入以來，這種趨勢在過去幾年中一直是一致的。然而，最近Transformer模型推理所需的計算量和帶寬正在以顯著的速度增長，這使得它們在延遲敏感的應用程序中的部署具有挑戰性。因此，人們越來越關注提高Transformer模型的效率，方法從更改架構設計，一直到開發專用的特定領域加速器。**本文調研了高效Transformer推理的不同方法，包括:(i)分析和剖析現有Transformer架構中的瓶頸及其與之前卷積模型的異同;(ii) Transformer架構對硬件的影響，包括層歸一化、Softmax和GELU等非線性操作以及線性操作對硬件設計的影響;(iii)優化固定Transformer架構的方法;(iv)為Transformer模型找到正確的映射和操作調度的挑戰;(v)通過使用神經架構搜索調整架構來優化Transformer模型的方法。**最后，在開源的全棧深度神經網絡加速器生成器Gemmini上進行了案例研究，并與之前的基準測試結果相比，展示了這些方法是如何產生改進的。發現與上述方法相結合的全棧協同設計方法可以導致高達88.7倍的加速比。

1. 引言

深度學習模型在訓練和推理過程中已經擴展到數十億個參數和數十億個乘累加(MAC)操作。因此，人們對高效計算這些模型以及在資源受限的邊緣設備上部署這些計算和內存密集型工作負載的興趣越來越濃厚。這些邊緣設備有嚴格的能量和內存限制，相應的利用深度學習模型的應用程序通常也有實時延遲限制。CPU和GPU在通用性能計算平臺中都是常用的，它們的優勢是無處不在且能夠支持各種工作負載和操作。然而，這種靈活性是以降低效率為代價的。深度學習模型由少量不同的操作組成，這些操作會重復數百萬或數十億次，因此通常不需要很高的靈活性。此外，雖然現代CPU和GPU可以并行執行多個操作，但它們缺乏利用深度學習模型中的海量數據重用機會的能力。 對快速、高效計算的需求，使用少量不同的操作，以及數據重用的機會，這些結合在一起，導致了深度學習使用硬件加速器。這與學術界開發的許多研究加速器相似[34,37,39,40,59,69,70,81,169]。隨著硬件加速器的發展，用于部署各種深度學習算法的軟件框架[3,32,98,167]和編譯器[33,161,185]也得到了增強和成熟。這些工具使深度學習算法能夠在加速器上執行，并執行映射優化，以提高整個深度學習流水線的性能和效率。然而，快速發展的深度學習算法仍在不斷引入對軟硬件支持及其協同優化的新需求，以滿足各種部署約束。 **最近，transformer和大型語言模型[22,44,52,58,86,173-175,177,190,198]在解決各種自然語言處理(NLP)任務方面的流行，在加速器和框架的設計方面提出了一套全新的挑戰。**人們也越來越關注提高Transformer推理的效率，特別是由于它們的規模和運行時復雜性不斷增長。然而，與更知名的卷積神經網絡(CNN)架構相比，人們仍然缺乏對Transformer架構的工作負載特征的了解，從而缺乏有效運行這些模型所需的設計原則。例如，與傳統的以CNN為重點的設計相比，transformer主要由矩陣乘法(matmuls)和內存密集型的非線性操作組成。此外，Transformer模型的計算圖和數據流比CNN更復雜，具有更多類型的操作節點，以及更多的數據流拆分和連接。所有這些挑戰都要求我們對當前的硬件和軟件解決方案進行全面的分析，以及Transformer推理的各種設計權衡。進行這樣的分析將使我們能夠對高效運行transformer的需求建立全面和全面的理解。

本文工作有兩個方面的貢獻:(1)分析Transformer的運行時特性，并調查高效Transformer推理的不同方法;(2)在全棧深度神經網絡(DNN)加速器生成器Gemmini[70]上應用所調查的方法進行案例研究。本文工作的長期目標是描述硬件和軟件堆棧中的不同因素，以優化Transformer推理。關于我們的第一個貢獻，本文涵蓋了端到端深度學習推理的不同層次，特別關注transformer。這包括:Transformer架構的運行時特征和瓶頸的分析和profiling(第2節)。包括Transformer架構的非線性操作對其設計的影響(第3節)?優化策略，如修剪和量化，以進一步提高固定Transformer架構的性能(第4節)?Transformer架構中操作的映射和調度及其相關挑戰(第5節)?通過自動化神經架構搜索過程設計和適應Transformer架構，以提高硬件效率(秒。6)。

Transformer模型架構和性能瓶頸

在本節中，我們將從高層次地介紹Transformer架構的各個組成部分。首先討論了多頭注意力和前饋模塊、transformer中使用的非線性操作，以及編碼器/解碼器模型之間的差異，在2.1節中。在2.2節中，我們使用算法分析這些不同塊對硬件性能的影響，并對每個組件進行分析建模和直接profiling。

**硬件設計

**到目前為止，在第2節中，我們已經對Transformer架構的運行時特性和瓶頸進行了分析。現在將重點轉移到高效Transformer推理的全棧解決方案，從設計高效的硬件開始。第3.1節概述了為DNN使用特定領域加速器的基本原理，以及在大多數DNN加速器中使用的基本架構和數據流。第3.2節重點介紹了加速transformer的現有工作。第3.3節隨后提供了使用分析模型的分析，以評估transformer在典型加速器上的運行情況。最后，第3.4節提供了一個案例研究，說明了為transformer構建典型加速器的過程。總的來說，本節會給出相關的性能分析，并從全棧的角度為選定的硬件決策提供依據。請注意，我們這里只關心如何有效地推斷DNN。特別是，為高效的模型訓練設計硬件超出了本文的范圍。

** 模型優化**

給定一個已經設計和訓練好的DNN模型，一個重要的問題是，是否仍然有可能通過算法來提高模型在目標硬件平臺上的效率，通過將模型改編為更友好的硬件格式。在本節中，我們將分別在第4.1節和4.2節中討論流行的現成模型優化方法，量化和稀疏性(即剪枝)。然后，在第4.3節中，我們概述了特定于transformer的優化方法，以提高特定于transformer的特征(如注意和非線性操作)的性能。

將transformer映射到硬件

為了在目標硬件架構上執行Transformer塊，必須將其映射到執行所需的計算和通信的硬件指令中。在映射過程中所做的選擇對性能有很大影響。然而，可能映射空間的大小使找到最優映射變得困難，這需要使用仔細考慮的探索、啟發式或基于學習的方法。在本節中，我們將介紹5.1節中的映射問題。我們將在第5.2節討論高效執行transformer所需的關鍵映射決策。我們在第5.3節中概述了現有映射技術的分類，在第5.4節中概述了對不同映射的性能進行建模的技術。最后，在5.5節中，我們將介紹mapper在使用transformer時需要注意的問題。