亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近期發布的 ChatGPT 和 GPT-4 等大型語言模型, 不僅能高質量完成自然語言生成任務, 生 成流暢通順, 貼合人類需求的語言, 而且具備以生成式框架完成各種開放域自然語言理解任務的能 力. 在少樣本, 零樣本場景下, 大模型可取得接近乃至達到傳統監督學習方法的性能, 且具有較強的 領域泛化性, 從而對傳統自然語言核心任務產生了巨大的沖擊和影響. 本文就大模型對自然語言處理的影響進行了詳細的調研和分析, 試圖探究大模型對自然語言處理核心任務帶來哪些挑戰和機遇, 探討大模型將加強哪些自然語言處理共性問題的研究熱度, 展望大模型和自然語言處理技術的未來 發展趨勢和應用. 分析結果表明, 大模型時代的自然語言處理依然大有可為. 我們不僅可以將大模 型作為研究方法和手段, 學習, 借鑒大型語言模型的特點和優勢, 變革自然語言處理的主流研究范式, 對分散獨立的自然語言處理任務進行整合, 進一步提升自然語言核心任務的能力; 還可就可解釋性, 公平性, 安全性, 信息準確性等共性問題開展深入研究, 促進大模型能力和服務質量的提升. 未來, 以 大模型作為基座, 拓展其感知, 計算, 推理, 交互和控制能力, 自然語言處理技術將進一步助力通用人 工智能的發展, 促進各行各業的生產力進步, 更好地為人類社會服務。

1 引言

2022 年 11 月 30 日, OpenAI 發布了對話式語言大模型 (ChatGPT1), Chat Generative Pretrained Transformer). 該模型允許用戶使用自然語言對話形式進行交互, 可實現包括自動問答, 文本 分類, 自動文摘, 機器翻譯, 聊天對話等各種自然語言理解和自然語言生成任務. ChatGPT 在開放域 自然語言理解上展現了出色的性能, 甚至無需調整模型參數, 僅使用極少數示例數據即可在某些任務 上超過了針對特定任務設計并且使用監督數據進行訓練的模型. 當面對用戶所提出的各種文本生成 任務時, ChatGPT 在多數情況下可以生成出通暢通順, 有邏輯性且多樣化的長文本.

ChatGPT 自發布以來引起了廣泛的關注, 僅在 5 天內注冊用戶就超過了 100 萬. 據雅虎財 經2)統計, 在 ChatGPT 推出僅兩個月后, 月活躍用戶已達 1 億, 相比之下, 之前一直被認為是用戶增 長速度最快的消費級應用程序 Tiktok 則花費了 9 個月的時間. 稍后不久, 微軟于 2023 年 2 月 8 日 推出了新一代 AI 驅動搜索引擎 New Bing3) , 該引擎將基于 ChatGPT 技術的生成模型與 Bing 搜 索深度集成, 創造了對話式搜索的新范式. 2023 年 3 月 14 日, OpenAI 發布了下一代生成式多模態 預訓練大模型 GPT-44) , 它不僅能夠理解自然語言文本, 還能夠對圖片內容進行深度理解, 并且具備 比 ChatGPT 更強的問題求解和推理能力, 在多種人類考試和自然語言理解任務中取得了更加優秀 的成績 [1].

長期以來, 自然語言處理任務主要采用監督學習范式, 即針對特定任務, 給定監督數據, 設計統 計學習模型, 通過最小化損失函數來學習模型參數, 并在新數據上進行模型推斷. 隨著深度神經網絡 的興起, 傳統的統計機器學習模型逐漸被神經網絡模型所替代, 但仍然遵循監督學習的范式. 2020 年 5 月 Open AI 發布的首個千億參數 GPT-3 模型初步展示了生成式模型的強大功能, 其具備流暢的 文本生成能力, 能夠撰寫新聞稿, 模仿人類敘事, 創作詩歌, 初步驗證了通過海量數據和大量參數訓 練出來的大模型能夠遷移到其他類型的任務 [2]. 然而, 直到 ChatGPT 的出現, 學術界才意識到大模 型對于傳統自然語言處理任務范式的潛在顛覆性.

以 ChatGPT 為代表的大型語言模型, 給自然語言處理帶來的是威脅, 挑戰還是新的機遇? 今后 的自然語言處理核心任務將采用何種主流范式實現語言理解和生成? 自然語言處理的研究領域將如 何延伸? 以大模型為代表的自然語言處理技術將如何引領通用人工智能的發展? 我們就大模型對自 然語言處理的影響進行了詳細的調研和思考, 試圖分析大模型對自然語言處理核心任務帶來的沖擊 和啟發, 探討大模型將加強哪些自然語言處理共性問題的研究熱度, 展望大模型和自然語言處理技術 的未來發展和應用, 以期回答上述問題.

2. 背景知識

在探討大模型給自然語言處理帶來的挑戰和機遇之前, 我們首先需要介紹相關的背景知識, 包括 自然語言處理的概念和研究歷史, 大規模預訓練語言模型從語言模型, 預訓練模型到大模型的技術發展歷程, 以及 ChatGPT 和 GPT-4 的基本技術與能力。

**3 大模型時代的自然語言處理核心任務 **

自然語言處理包含自然語言理解和自然語言生成兩個方面, 常見任務包括文本分類, 結構分析 (詞法分析, 分詞, 詞性標注, 句法分析, 篇章分析), 語義分析, 知識圖譜, 信息提取, 情感計算, 文本生 成, 自動文摘, 機器翻譯, 對話系統, 信息檢索和自動問答等. 在神經網絡方法出現之前, 因為缺乏行 之有效的語義建模和語言生成手段, 自然語言處理的主流方法是基于機器學習的方法, 采用有監督分 類, 將自然語言處理任務轉化為某種分類任務. 在神經網絡時代, Word2Vec 詞嵌入模型, BERT 等 上下文相關語言模型為詞語, 句子乃至篇章的分布式語義提供了有效的建模手段; 編碼器-解碼器架 構和注意力機制提升了文本生成的能力; 相比傳統自然語言處理所遵循的詞法-句法-語義-語篇-語用 分析級聯式處理架構, 端到端的神經網絡訓練方法減少了錯誤傳播, 極大提升了下游任務的性能. 不 過, 神經網絡方法仍然遵循監督學習范式, 需要針對特定任務, 給定監督數據, 設計深度學習模型, 通 過最小化損失函數來學習模型參數. 由于深度學習也是一種機器學習方法, 因此從某種程度上, 基于 神經網絡的方法和基于機器學習的方法并無本質區別. 然而, 不同于通常的深度學習方法, 以 ChatGPT 為代表的生成式大模型, 除了能高質量完成自 然語言生成類任務之外, 還具備以生成式框架完成各種開放域自然語言理解任務的能力. 只需要將 模型輸出轉換為任務特定的輸出格式, 無需針對特定任務標注大量的訓練數據, ChatGPT 即可在少 樣本乃至零樣本上, 達到令人滿意的性能, 甚至可在某些任務上超過了特別設計并使用監督數據進行 訓練的模型. 因此, ChatGPT 對各種自然語言處理核心任務帶來了巨大的, 不可避免的沖擊和影響, 也醞釀著新的研究機遇. 接下來, 針對各種自然語言處理核心任務, 我們將首先介紹其任務需求和主 流方法, 然后分析大模型對其主流研究范式所帶來的影響, 并探討未來研究趨勢.

-本分類 * 結構化預測 * 語義分析 * 知識圖譜與文本信息抽取 * 情感計算 * 文本生成 * 自動文摘 * 機器翻譯 * 對話系統 * 信息檢索 * 自動問答

ChatGPT 等大型語言模型, 對文本分類, 結構分析, 語義分析, 信 息提取, 知識圖譜, 情感計算, 文本生成, 自動文摘, 機器翻譯, 對話系統, 信息檢索和自動問答各種核 心的自然語言理解和生成任務均產生了巨大的沖擊和影響. ChatGPT 在大規模預訓練過程中習得廣泛的語言和世界知識, 處理自然語言任務時不僅能在少 樣本, 零樣本場景下接近乃至達到傳統監督學習方法的性能指標, 且具有較強的領域泛化性. 這將激 勵, 促進研究者們打破固有思維方式的樊籬, 學習, 借鑒 ChatGPT 等大模型的特點和優勢, 對自然 語言處理的主流研究范式進行變革, 進一步提升自然語言核心任務的能力, 例如以生成式框架完成各 種開放域自然語言處理任務并減少級聯損失, 通過多任務學習促進知識共享, 通過擴展上下文窗口提 升理解能力, 通過指令遵循和上下文學習從大模型有效提取信息, 通過思維鏈提升問題拆解和推理能 力, 通過基于人類反饋的強化學習實現和人類意圖對齊等. 長期以來, 自然語言處理分為自然語言理解和自然語言生成兩個領域, 每個領域各有多種核心任 務, 每種任務又可根據任務形式, 目標, 數據等進一步細分, 今后在各種應用任務的主流架構和范式 逐漸統一的情況下, 有望進一步得到整合, 以增強自然語言處理模型的通用性, 減少重復性工作. 另一方面, 基于大模型的強大基座能力, 針對具體任務進行按需適配, 數據增強, 個性化, 擬人交互, 可 進一步拓展自然語言處理的應用場景, 為各行各業提供更好的服務.

**4 大模型時代的自然語言處理共性問題 **

在自然語言處理研究領域中, 除了各種核心任務之外, 還有可解釋性, 公平性, 安全性, 可靠性, 能耗, 數據質量和評價等一些共性問題. 這些問題不是某種任務所特有的, 而是廣泛存在于各種自然 語言理解和生成任務中. 圍繞這些共性問題進行針對性研究, 分析其成因和機理, 設計應對措施, 對 確保自然語言處理任務的性能, 效率, 穩定性和領域適用性至關重要. 大模型自身同樣存在著自然語言處理的共性問題, 如模型可控性, 多樣性, 魯棒性和可解釋性仍 需提升, 訓練和使用成本過高, 語言數據質量缺乏保障, 評價方法單一等. ChatGPT 的一項亮點技 術是 “與人類意圖對齊”, 其目的除了理解用戶意圖之外, 還需要拒絕不合理的請求, 給出負責的, 合 乎人類道德準則和倫理規范的答案. 由于大模型的結構復雜, 參數龐大, 生成過程難以解釋, 生成文 本時經常面臨幻覺生成, 錯誤知識, 前后不一致等問題, 人們對于從系統獲取信息的準確性無從感知, 給系統的廣泛實際應用帶來了極大的潛在風險. 因此, 如何提升模型的公平性, 無害性, 有益性和魯 棒性, 確保大模型擁有正確的價值觀, 保障大模型生成內容的信息準確性變得愈發重要. 隨著以 GPT-3 為代表的大模型技術逐漸發展, 模型的參數數量, 計算時延, 訓練所需的資源等 都在顯著增加. 在語言建模能力不斷增長的同時, 模型的計算成本與能耗指標也成為當前大模型成 功應用的一大門檻. 大規模高質量文本數據資源在模型的構建過程中扮演了極其重要的作用, 訓練數據規模越大, 種 類越豐富, 質量越高, 所得到的大規模語言模型的性能越好, 而訓練數據中的瑕疵數據, 可能會對模 型的表現產生負面影響; 相較于以前的單一類型或少數任務驅動的基準評測, 針對大規模語言模型的 評測需覆蓋的問題場景范圍更廣, 復雜度更高, 難度也更大, 需要探索更有效合理的任務評價指標. 總之, 這些由大模型所強化的真實需求, 將極大地加強模型分析和可解釋性, 倫理問題與安全性, 信息準確性, 計算成本與能源消耗, 數據資源和模型評價等各種共性問題的研究熱度.

**5 討論 **

**

**

前兩節我們探討了大模型對各種自然語言理解和生成核心任務將帶來哪些沖擊和影響, 分析了 大模型將如何加強自然語言處理共性問題的研究. 本節首先將聚焦大模型自身, 探究如何從模型規 模, 學習方法, 個性化等角度進一步提升大模型的內在能力; 其次, 從工具學習, 多模態, 具身智能的 角度, 討論如何進一步延伸和擴展大模型的感知, 計算, 推理, 交互和控制能力, 使大模型成為通用人 工智能的基座; 最后, 介紹 ChatGPT 等大型語言模型將催生哪些應用場景, 為各行各業帶來哪些自 然語言處理新應用.

**6 總結與展望 **

綜上所述, ChatGPT 等大型語言模型, 對傳統自然語言處理核心任務產生了巨大的沖擊和影響. 這些核心任務普遍遵循監督學習范式, 需要針對特定任務, 給定監督數據, 設計和定制機器學習和深 度學習模型. 相比之下, 利用 ChatGPT 完成自然語言處理任務, 不僅能在少樣本, 零樣本場景下接 近乃至達到傳統監督學習方法的性能指標, 且具有較強的領域泛化性. 雖然如此, 面對大型語言模型所帶來的沖擊, 研究者們完全無需產生 “自然語言處理已經不存在 了” 等悲觀情緒. 首先, ChatGPT 等對話式大模型, 并非橫空出世, 而是沿著神經語言模型的發展路 線, 利用海量算力, 基于大規模高質量文本數據所實現的大型全注意力模型. 未來研究者們能夠將大 模型作為研究方法和手段, 更能夠學習, 借鑒生成式無監督預訓練, 多任務學習, 上下文學習, 指令遵 循, 思維鏈, 基于人類反饋的強化學習等大型語言模型的特點和優勢, 進一步提升自然語言核心任務 的能力.

大模型為自然語言處理帶來了架構通用化, 任務統一化, 能力按需化, 模型定制化等變化趨勢. 今后在各種自然語言理解和生成任務的主流架構和范式逐漸統一的情況下, 一方面，各種自然語言 處理任務有望進一步得到整合, 以增強自然語言處理模型的通用性, 減少重復性工作; 另一方面, 基 于大模型的強大基礎能力, 針對具體任務進行按需適配, 數據增強, 模型壓縮與輕量化, 跨模態和多 模態融合, 加強自然語言處理模型方法的可控性, 可配性, 領域適應性, 多樣性, 個性化和交互能力, 將進一步拓展自然語言處理的應用場景.

大模型時代的自然語言處理, 存在算法模型的可解釋性, 公平性, 安全性, 可靠性, 能耗, 數據質 量和評價等一些共性問題, 這些問題也是妨礙大模型能力提升和服務質量的主要因素. 未來, 針對模 型分析和可解釋性, 倫理問題與安全性, 信息準確性, 計算成本與能源消耗, 數據資源和模型評價等 各種自然語言處理共性問題的研究將越來越深入.

自然語言處理是人工智能的重要組成部分, 是人工智能從感知智能上升到認知智能的主要手段. ChatGPT 的出現, 已經打開了通向通用人工智能的大門. 未來, 以大模型作為基座, 利用工具學習, 多模態融合, 具身智能拓展其感知, 計算, 推理, 交互和控制能力, 自然語言處理技術將進一步助力通 用人工智能的發展, 促進各行各業的生產力進步, 更好地為人類社會服務.

如何讓模型適配專業領域？這篇文章夠了

大型語言模型（LLMs）顯著推進了自然語言處理（NLP）領域的發展，為廣泛應用提供了高度有用且任務不受限的基礎。LLMs作為通用任務解決器的巨大潛力激勵人們將其功能大幅度擴展，遠超“聊天機器人”，并將其用作特定領域如健康保健、金融和教育等領域的專家和工具的助手甚至替代品。然而，直接應用LLMs解決特定領域的復雜問題會遇到許多難題，這些難題由領域數據的異質性、領域知識的復雜性、領域目標的獨特性，以及領域應用中的各種限制（例如，各種社會規范、文化一致性、宗教信仰和道德標準）所引起。為了填補這種空白，在最近幾年中，對LLMs領域專化的研究和實踐已經爆炸式增長，然而，這需要一個全面和系統的審查來更好地總結和引導這個有前景的領域。在這篇綜述論文中，首先，我們提出了一個系統的分類法，該分類法根據對LLMs的可訪問性對LLMs領域專化技術進行分類，并總結了所有子類別的框架以及它們之間的關系和差異。我們還提出了一個全面的關鍵應用領域分類法，這些領域可以從專業化的LLMs中受益，討論了它們的實際意義和開放的挑戰。此外，我們還提供了關于該領域當前研究狀態和未來趨勢的見解。

//www.zhuanzhi.ai/paper/3279a4c93753550f0d2fbcd780b30414

1. 引言

自然語言處理（NLP）和人工智能（AI）模型的演變經歷了顯著的軌跡，始于1950年和1960年的基于規則的系統，轉變為1990年的統計模型，然后是2010年神經網絡的出現。由于自注意力和基于Transformer的神經網絡架構[240]的成功，預訓練語言模型（PLMs）在2010年后期出現并迅速流行，這得益于它們能以無監督的方式從大規模數據中學習通用語言表示，這對許多下游NLP任務如常識推理[270]，多選題回答[206]和故事生成[30]都有益處，同時避免了從頭開始訓練新模型。在過去的幾年中，隨著大規模語料庫和硬件容量的快速增長，研究人員發現，通過擴大模型和訓練數據可以持續提高模型的容量，遵循擴展規則[99]，最終導致了大型語言模型（LLMs）[259]的出現，如GPT-3[28]（175B參數），PaLM[39]（540B參數），和LLaMA[235]（65B參數）。LLMs在理解和生成類人文本方面明顯優于較小的模型，已經成為一個有前途的AI研究趨勢。他們通過高效的文獻分析、新穎的假設生成和復雜的數據解釋，對改變自然和社會科學的潛力，可能會加速研究、提高發現過程并促進跨學科合作。

大型語言模型（LLMs）作為通用任務解決器的巨大前景激勵人們將其功能大幅度擴展，遠超過僅作為“聊天機器人”[173]，而是將其用作特定領域如健康保健、金融和教育的助手，甚至替代人工或現有的事實上的工具。然而，直接應用LLMs進行領域特定的問題解決會遇到許多難題。首先，不同領域、角色和任務的對話和語言風格存在顯著差異，范圍從醫療處方，到法律句子，到在線聊天等。獲取這些能力和經驗甚至需要人類進行多年的訓練，其中很多都是實踐性的和專有的。此外，不同的領域、機構和團隊有自己的“商業模式”，關于哪種回應將最大化他們自己的效用函數以完成他們的任務，這是不能直接被一個沒有定制的通用LLMs解決器所替代的。更重要的是，專業級使用的領域知識要求也需要非常深入，實時且準確，這些都不是預訓練的LLMs能輕易達到的。許多領域知識資源是機構的專有資產和核心競爭力，絕不能泄露給通用的LLMs。最后但并非最不重要的一點，語言受到社會規范、文化一致性、宗教信仰、法律要求和道德實踐的約束，所有這些在不同的地方、國家、人口、種族、社區等都是變化的參數，這使得通用的LLMs不可能成為一個無需任何定制的一體適應所有的解決器。所有上述的難題都導致了“將LLMs專業化到領域”或“LLMs的領域專業化”的必要性，即將通用的LLMs定制到領域的上下文數據，增強領域知識，優化領域目標，并受到領域限制的調控。為了實現這個目標，這個主題目前正在經歷極其快速的增長。

LMs領域專業化是一個關鍵且具有挑戰性的問題，需要創新并集成有效的技術來解決其獨特特性引起的嚴重挑戰，包括：1) 知識差距和領域專業知識。LLMs的力量主要歸因于其大量的訓練語料。然而，這也意味著LLMs往往有一個知識斷層（即，LLMs無法獲取最新的信息、事件或發現）。在許多專業領域，新的發現、規定和最佳實踐不斷出現，這使得LLMs難以保持最新。例如，每天都有超過30,000篇主流新聞文章發布[247]。對于社交媒體分析和事實檢查，LLMs可能無法處理它們，因為從訓練語料中提取的知識是離線的。這表明需要定期重新訓練或持續學習機制來保持LLMs在這些動態領域的相關性和準確性。然而，確保模型的新鮮度可能需要大量的資源，因為它需要連續的高質量和最新的數據收集、處理，以及計算密集的模型重新訓練。2) 從LLMs中引出領域知識。默認情況下，LLMs具有廣泛主題的通用知識，并可能已經看到并獲得了大部分領域的特定知識。然而，更受歡迎或廣泛討論的話題可能被過度代表，而一些領域特定的話題可能被低估，這使得它們難以被有效地提取用于領域特定的任務。此外，領域特定的任務通常涉及復雜的概念、專業術語和不同實體之間的復雜關系。沒有適當的指導，LLMs可能會生成聽起來合理但對類似查詢（即，LLM的幻覺）或略微改寫的問題的答案不一致[15]。這個問題是因為LLMs被設計為基于輸入預測最可能的詞序列，而不是基于結構化知識庫提供確定的答案。研究人員發現，通過為LLMs提供一些任務特定的演示，用戶可以指導模型生成更相關、準確和任務特定的回應，從而提高AI系統在眾多領域的整體效用和效率[259]。使得理解預期含義或期望結果變得困難。更不用說LLMs通常具有有限的上下文窗口，通常由它們可以處理的最大令牌長度決定（例如，ChatGPT只能處理4097個令牌）。3) 模型復雜性和微調所需的大量計算資源。為了更好地適應特定領域應用，微調歷史上是專門化語言模型的常用做法。然而，與傳統的語言模型不同，微調LLM需要大量的高質量、領域特定數據進行有效的微調。獲取、清洗和預處理這樣的數據可能會耗費大量時間和資源。此外，LLM的復雜性使得確定最適當的微調策略變得具有挑戰性，因為超參數的選擇、學習率和訓練持續時間的選擇可以顯著影響模型的性能。Chen等人[34]還討論了微調LLM可能會導致嚴重的災難性遺忘，因為具有復雜架構的LLM在微調過程中更有可能忘記之前學到的知識，并過度適應目標領域。除了數據需求和復雜模型架構之外，LLM通常由數十億的參數組成，例如，生成預訓練Transformer 3（GPT-3）[28]和Pathways Language Model (PaLM)[39]都包含超過1000億的參數，這需要大量的計算能力進行訓練。微調或重新訓練這些模型需要訪問高性能GPU或專用硬件，如TPU，這可能會很昂貴，尤其是對于個人研究者或小型組織來說，獲取這些資源可能會非常困難。

在過去的幾年中，對LLMs領域專業化技術進行了大量的研究。許多方法側重于通用技術貢獻，只需進行少量修改并獲取領域特定信息，就可以適應特定領域。然而，將這些技術在不同應用領域間進行交叉引用仍然是一個挑戰，同樣的，缺乏對評估各種領域專業化技術的方法進行系統標準化和總結的挑戰也存在。這種缺乏清晰度為非AI專業人員制造了障礙，并使現有的瓶頸、陷阱、開放問題和潛在的未來研究方向變得模糊不清。為了克服這些障礙，更有效地利用人工智能完成各種領域的任務，這篇綜述文章提供了對當前最先進的LLM領域專業化的全面和系統的回顧。本文的主要貢獻包括：

? 對LLMs領域專業化技術的系統分類和分類法：我們基于對LLM的不同級別（即，黑箱、灰箱和白箱）的可訪問性，全面地分類了現有的方法，并將其對應的技術組織成一個分類法。我們討論了不同子類別之間的細節、關系、優點和缺點。這個提出的分類法旨在幫助領域專家確定最適合他們的目標問題設置的技術。

? 對主要應用領域的全面分類和總結：我們首次提出了代表性應用領域的分類法，LLMs的領域專業化可以增強這些領域。每個應用領域或子領域的實際意義和開放挑戰都被闡明，便于與提出的技術分類法進行易于映射。研究人員和各種領域的專家可以交叉引用額外的應用領域，以評估他們新提出的方法，同時擴大他們的先進技術以包含新的應用領域。

? 對這個領域當前研究狀況和未來趨勢的深入討論。我們已經概述并討論了LLM領域專業化的整體情況和趨勢。本文最后通過展示對瓶頸、開放問題的新見解，以及可能的未來方向的討論來結束。

2. 領域專業化的分類法

大型語言模型通常被稱為基于Transformer架構的大規模預訓練語言模型 (PLMs) [157, 193]。實證證據表明，擴展預訓練語言模型，如增加模型大小或數據大小，常常能提升模型在下游任務中的處理能力。在本節中，我們首先回顧了PLMs的基本概念，然后介紹了一套針對特定領域專門化大型語言模型的現有技術的全面分類法。

根據對大型語言模型（LLMs）的可訪問性級別，將專門化LLMs進入領域的方法分為三類，即無訪問權限（黑箱），部分訪問權限（灰箱）和全訪問權限（白箱）。黑箱通常表示我們只能訪問模型API（例如，ChatGPT和GPT4），而不知道除生成的輸出外的任何信息；灰箱表示我們有限的信息（例如，GPT-3 API中生成的令牌的概率），這樣的信息可以指導我們設計并微調適當的提示，以更好地引出領域知識；白箱則表示我們可以全面訪問LLM（例如，LLaMA及其變種），包括參數設置，訓練數據和完整的模型架構。我們在圖2中提供了每種方法的概述。具體來說，

1）外部增強（黑箱）并不需要訪問LLM的內部參數空間，使其對資源有限的用戶（例如，計算資源，特定領域的數據）最為可接觸。如圖2（b）所示，通過使用外部資源或工具，將領域特定知識融入輸入提示，生成的輸出，或兩者，有效地改進了LLM的性能，而無需修改其內部結構。

2）提示制作（灰箱）涉及訪問LLM的梯度或損失值來設計各種類型的提示，允許更精細地控制模型的行為。

3）模型微調（白箱）需要最多的訪問權限和資源，因為它涉及更新LLM的參數，將領域特定知識直接融入模型。（圖2（d））。

3 LLM領域專業化的應用

在這篇綜述性的論文中，我們探索了LLMs在一系列特定領域任務中的應用，這些領域包括社會科學（如教育，金融，法律），自然科學（如生物醫學，地球科學），以及應用科學（如人機交互，軟件工程和網絡安全）。為了在這些多元化領域實現LLMs的領域專業化，讀者可以采用各種技術，如外部增強，指示制作，和知識更新。這些方法可以幫助將LLMs定制到每個領域的特定任務和挑戰，從而使得應用更準確，相關和有效。雖然每個領域都有其獨特的挑戰和需求，但在這些領域中，專門化的LLMs有幾個共同的應用：

? 高級信息提取：它們可以從特定領域的文本中識別實體，關系和事件，如從生物醫學文獻中識別基因，或在合同中檢測法律條款。 ? 文本生成和摘要：它們可以生成高質量的，特定領域的內容，并創建復雜領域特定文本的準確摘要。 ? 數據驅動的預測和推薦：它們可以分析特定領域的數據進行預測和提供推薦，如預測金融趨勢或建議個性化的醫療治療方案。 ? 對話代理和專家系統：它們可以被融入到對話代理或專家系統中，提供特定領域的指導，如虛擬導師或法律聊天機器人。 ? 自動化代碼生成和分析：在軟件工程中，它們可以基于自然語言描述生成或分析代碼，識別錯誤，或提出改進建議。

4. 結論

總的來說，大型語言模型的快速發展引發了人們對利用它們的潛力來處理各種自然，社會和應用科學領域中的特定領域任務的極大興趣。然而，若干挑戰，如特定領域的專業知識有限，知識誘導和模型復雜性，阻礙了LLMs在這些領域的直接應用。本調查系統地對基于對LLM的訪問級別的現有領域專業化技術進行了分類和總結，并提供了一個全面的應用領域分類，這些領域可以從專門化的LLMs中受益。通過提供不同技術和領域之間的優點，缺點和關系的詳細分析，這份調查旨在幫助領域專家確定適合他們目標問題設置的技術，同時也為數據科學家提供了對各種應用領域中實踐意義和開放挑戰的清晰理解。此外，該文還強調了這一領域研究的當前狀態，揭示了未來的趨勢和跨學科合作的潛在途徑。隨著LLM領域專業化的領域繼續發展，這份調查為研究人員和從業人員提供了寶貴的資源，進一步推動了人工智能在多個領域應用的進步和創新。

轉載機器之心報道

機器之心編輯部

為什么仿佛一夜之間，自然語言處理（NLP）領域就突然突飛猛進，摸到了通用人工智能的門檻？如今的大語言模型（LLM）發展到了什么程度？未來短時間內，AGI 的發展路線又將如何？自 20 世紀 50 年代圖靈測試提出以來，人們始終在探索機器處理語言智能的能力。語言本質上是一個錯綜復雜的人類表達系統，受到語法規則的約束。因此，開發能夠理解和精通語言的強大 AI 算法面臨著巨大挑戰。過去二十年，語言建模方法被廣泛用于語言理解和生成，包括統計語言模型和神經語言模型。近些年，研究人員通過在大規模語料庫上預訓練 Transformer 模型產生了預訓練語言模型（PLMs），并在解決各類 NLP 任務上展現出了強大的能力。并且研究人員發現模型縮放可以帶來性能提升，因此他們通過將模型規模增大進一步研究縮放的效果。有趣的是，當參數規模超過一定水平時，這個更大的語言模型實現了顯著的性能提升，并出現了小模型中不存在的能力，比如上下文學習。為了區別于 PLM，這類模型被稱為大型語言模型（LLMs）。

從 2019 年的谷歌 T5 到 OpenAI GPT 系列，參數量爆炸的大模型不斷涌現。可以說，LLMs 的研究在學界和業界都得到了很大的推進，尤其去年 11 月底對話大模型 ChatGPT 的出現更是引起了社會各界的廣泛關注。LLMs 的技術進展對整個 AI 社區產生了重要影響，并將徹底改變人們開發和使用 AI 算法的方式。考慮到 LLMs 的快速技術進步，中國人民大學的二十幾位研究者通過背景知識、關鍵發現和主流技術等三方面回顧了 LLMs 的最新進展，尤其關注 LLMs 的預訓練、自適應調優、使用和能力評估。此外他們還總結和開發 LLMs 的可用資源，討論了未來發展方向等問題。對于領域內研究人員和工程師而言，這份綜述是一份極其有用的學習資源。

論文鏈接：//www.zhuanzhi.ai/paper/d571a453590ccfc2c2ac1a9effa896cb

在進入正文前，我們先來看 2019 年以來出現的各種大語言模型（百億參數以上）時間軸，其中標黃的大模型已開源。

LLMs 概覽

**在第一節中，研究者詳細介紹了 LLMs 的背景、能力和關鍵技術。LLMs 的背景通常，大型語言模型（LLM）是指包含數千億（或更多）參數的語言模型，這些參數是在大量文本數據上訓練的，例如模型 GPT-3、PaLM、Galactica 和 LLaMA。具體來說，LLM 建立在 Transformer 架構之上，其中多頭注意力層堆疊在一個非常深的神經網絡中。現有的 LLM 主要采用與小語言模型類似的模型架構（即 Transformer）和預訓練目標（即語言建模）。作為主要區別，LLM 在很大程度上擴展了模型大小、預訓練數據和總計算量（擴大倍數）。他們可以更好地理解自然語言，并根據給定的上下文（例如 prompt）生成高質量的文本。這種容量改進可以用標度律進行部分地描述，其中性能大致遵循模型大小的大幅增加而增加。然而根據標度律，某些能力（例如，上下文學習）是不可預測的，只有當模型大小超過某個水平時才能觀察到。

LLMs 的涌現能力LLM 的涌現能力被正式定義為「在小型模型中不存在但在大型模型中出現的能力」，這是 LLM 與以前的 PLM 區分開來的最顯著特征之一。當出現這種新的能力時，它還引入了一個顯著的特征：當規模達到一定水平時，性能顯著高于隨機的狀態。以此類推，這種新模式與物理學中的相變現象密切相關。原則上，這種能力也可以與一些復雜的任務有關，而人們更關心可以應用于解決多個任務的通用能力。這里簡要介紹了 LLM 的三種代表性的涌現能力：上下文學習。GPT-3 正式引入了上下文學習能力：假設語言模型已經提供了自然語言指令和多個任務描述，它可以通過完成輸入文本的詞序列來生成測試實例的預期輸出，而無需額外的訓練或梯度更新。指令遵循。通過對自然語言描述（即指令）格式化的多任務數據集的混合進行微調，LLM 在微小的任務上表現良好，這些任務也以指令的形式所描述。這種能力下，指令調優使 LLM 能夠在不使用顯式樣本的情況下通過理解任務指令來執行新任務，這可以大大提高泛化能力。循序漸進的推理。對于小語言模型，通常很難解決涉及多個推理步驟的復雜任務，例如數學學科單詞問題。同時，通過思維鏈推理策略，LLM 可以通過利用涉及中間推理步驟的 prompt 機制來解決此類任務得出最終答案。據推測，這種能力可能是通過代碼訓練獲得的。

關鍵技術接下來來看 LLMs 的關鍵技術，包括了縮放、訓練、能力激發、對齊調優、工具利用等。縮放。縮放是增加 LLMs 模型容量的關鍵因素，最開始 GPT-3 將模型參數增至 1750 億，隨后 PaLM 進一步將模型參數增至 5400 億。大規模參數對于涌現能力至關重要。縮放不僅針對模型大小，還與數據大小和總計算量有關。訓練。由于規模巨大，成功訓練一個具備強大能力的 LLMs 非常具有挑戰性。因此需要分布式訓練算法來學習 LLMs 的網絡參數，經常聯合使用各種并行策略。為了支持分布式訓練，DeepSpeed 和 Megatron-LM 等優化框架被用來促進并行算法的實現和部署。此外，優化技巧對訓練穩定性和模型性能也很重要，例如重新啟動訓練損失尖峰和混合精度訓練。最近的 GPT-4 開發了特殊的基礎設施和優化方法，從而利用小得多的模型來預測大模型的性能。能力激發。在大規模語料庫上經過預訓練后，LLMs 被賦予了解決一般任務的潛在能力。然而當 LLMs 執行某個特定任務時，這些能力可能不會顯式地表現出來。因此設計適合的任務指令或特定的上下文策略來激發這些能力非常有用，比如思維鏈 prompt 有助于通過中間推理步驟等解決復雜推理任務。此外還可以進一步對具有自然語言任務描述的 LLMs 進行指令調優，以提高對未見過任務的泛化能力。對齊調優。由于 LLMs 被訓練用來捕獲預訓練語料庫的數據特征（包括高質量和低質量的數據），它們很可能生成對有毒、有偏見和有害的文本內容。為了使 LLMs 與人類價值觀保持一致，InstructGPT 設計了一種利用強化學習和人類反饋的高效調優方法，使得 LLMs 能夠遵循預期指令。ChatGPT 是在類似 InstructGPT 的技術上開發的，在產生高質量、無害的響應方面表現出了強大的對齊能力。工具利用。LLMs 本質上是基于大規模純文本語料庫訓練的文本生成器，因此在數值計算等文本表達不佳的任務上表現沒那么好。此外 LLMs 的能力受限于預訓練數據，無法捕獲最新信息。針對這些問題，人們提出使用外部工具來彌補 LLMs 的不足，比如可以利用計算器進行精確計算，使用搜索引擎檢索未知信息。ChatGPT 更是利用外部插件來聯網學習新知識，這種機制可以廣泛擴展 LLMs 的能力范圍。 LLMs 資源考慮到具有挑戰性的技術問題和巨大的計算資源需求，開發或復制 LLMs 絕不是一件容易的事情。一個可行的方法是從現有的 LLMs 中學習經驗，并重新使用公開的資源來進行漸進式的開發或實驗研究。在第三節中，研究者主要總結了開源的模型檢查點或 API、可用的語料庫以及對 LLM 有用的庫。下表 1 為近年來百億參數以上大模型的統計數據。

下表 2 列出了常用的數據源。

**預訓練 **

預訓練建立了 LLMs 的能力基礎。通過對大規模語料庫的預訓練，LLMs 可以獲得基本的語言理解和生成技能。在這個過程中，預訓練語料庫的規模和質量是 LLMs 獲得強大能力的關鍵。此外，為了有效地預訓練 LLMs，模型架構、加速方法和優化技術都需要精心設計。在第四節中，研究者首先在第 4.1 節討論了數據的收集和處理，然后在第 4.2 節介紹了常用的模型架構，最后在第 4.3 節介紹了穩定和有效優化 LLMs 的訓練技術。數據收集要開發一個強大的 LLM，從各種數據源中收集大量的自然語言語料至關重要。現有 LLMs 主要利用各種公共文本數據集作為預訓練語料庫。下圖 2 列出了現有 LLMs 的預訓練數據源分布。

收集大量文本數據后，必須對它們進行預訓練以構建預訓練語料庫，包括去噪、去冗余、去除不相關和潛在有毒的數據。下圖 3 展示了為 LLMs 預訓練數據的預處理 pipeline。

架構在本節中，研究者回顧了 LLMs 的架構設計，即主流架構，預訓練目標和細節配置。下表 3 列出了幾個具有代表性的 LLMs 的模型卡片以及公開的詳細信息。

由于出色的并行化性和容量，Transformer 架構已成為開發各種 LLM 的 backbone，使得將語言模型擴展到數千億個參數成為可能。一般來說，現有 LLMs 的主流架構大致可以分為三大類，即編碼器 - 解碼器、臨時解碼器和前綴解碼器。自 Transformer 出現以來，各種改進被相繼提出以提高其訓練穩定性，性能和計算效率。在這一部分中，研究者討論了 Transformer 四個主要部分的相應配置，包括歸一化、位置編碼、激活函數、注意力機制和偏置。預訓練起著十分關鍵的作用，它將一般知識從大規模語料庫編碼到大規模模型參數中。對于訓練 LLMs，有語言建模和去噪自編碼兩個常用的預訓練任務。模型訓練在這一部分中，研究者回顧了訓練 LLMs 的重要設置，技術和訓練 LLMs 技巧。對于 LLMs 的參數優化，研究者提出了常用的批量訓練、學習率、優化器和訓練穩定性的設置。 隨著模型和數據規模的增加，在有限的計算資源下有效地訓練 LLMs 模型已經變得困難。特別是，需要解決兩個主要技術問題，例如通過輸入增加訓練和將更大的模型加載到 GPU 內存中。這一部分回顧了現有工作中幾種廣泛使用的方法，以解決上述兩個挑戰，即 3D 并行、ZeRO 和混合精度訓練，并就如何利用它們進行訓練給出了建議。

LLMs 的適應性調優經過預訓練，LLMs 可以獲得解決各種任務的通用能力。然而越來越多的研究表明，LLMs 的能力可以根據具體目標進一步調整。在第五節中，研究者詳細介紹了調整預訓練 LLMs 的兩個主要方法，即指令調優（instruction tuning）和對齊調優（alignment tuning）。前一種方法主要是為了提高或解鎖 LLMs 的能力，而后一種方法則是為了使 LLMs 的行為與人類的價值觀或偏好一致。指令調優本質上，指令調優是在自然語言形式的格式化實例集合上微調預訓練 LLMs 的方法，這與監督微調和多任務提示訓練高度相關。為了執行指令調優，我們首先需要收集或構建指令格式的實例。然后，我們通常使用這些格式化實例以監督學習方式微調 LLMs（例如，使用序列到序列損失進行訓練）。在指令調整后，LLMs 可以展示出卓越的能力，泛化出能解決未見任務的能力，即使在多語言環境中也是如此。最近的一項調查對指令調優研究進行了系統的概述。相比之下，本文主要關注指令調優對 LLMs 的影響，并提供實例收集和調優的詳細指南或策略。此外，本文還討論了使用指令調優來滿足用戶的實際需求，這已廣泛應用于現有的 LLMs，例如 InstructGPT 和 GPT-4。格式化實例構建：通常，指令格式的實例由任務描述（稱為指令）、輸入輸出對和少量演示（可選）組成。作為重要的公共資源，現有研究已經發布了大量以自然語言格式化的標記數據（參見表 5 中的可用資源列表）。接下來，本文將介紹構造格式化實例的兩種主要方法（參見圖 4 中的插圖），然后討論實例構造的幾個關鍵因素。指令調優策略：與預訓練不同，指令調優通常更有效，因為只有適度數量的實例用于訓練。雖然指令調優可以被認為是一個有監督的訓練過程，但它的優化在幾個方面與預訓練不同，例如訓練目標（即序列到序列損失）和優化配置（例如更小的批次） 大小和學習率），這在實踐中需要特別注意。除了這些優化配置之外，指令調優還需要考慮兩個重要方面：

• 平衡數據分布。
• 結合指令調優和預訓練。

對齊調優這部分首先介紹了對齊的背景及其定義和標準，然后重點介紹了用于對齊 LLMs 的人類反饋數據的收集，最后討論了用于對齊調整的人類反饋強化學習的關鍵技術。

使用在預訓練或適應性調整之后，使用 LLMs 的一個主要方法是為解決各種任務設計合適的 prompt 策略。一個典型的 prompt 方法是上下文學習（in-context learning），它以自然語言文本的形式制定了任務描述或演示。此外，思維鏈 prompting 方法可以通過將一系列中間推理步驟納入 prompt 中來加強上下文學習。在第六節中，研究者詳細介紹了這兩種技術的細節。上下文學習**

---

作為一種特殊的 prompt 形式，上下文學習（ICL）是 GPT-3 首次提出的，它已經成為利用 LLMs 的一種典型方法。思維鏈 prompt思維鏈（CoT）是一種改進的 prompt 策略，可以提高 LLM 在復雜推理任務中的表現，如算術推理、常識推理和符號推理。CoT 不是像 ICL 那樣簡單地用輸入 - 輸出對來構建 prompt，而是將能夠導致最終輸出的中間推理步驟納入 prompt。在第 6.2 節中，研究者詳細說明了 CoT 與 ICL 的用法，并討論 CoT 何時有效以及為何有效。 能力評估為了研究 LLMs 的有效性和優越性，研究者利用了大量的任務和基準來進行實證評估和分析。第七節首先介紹了三種用于語言生成和理解的 LLMs 的基本評估任務，然后介紹幾種具有更復雜設置或目標的 LLMs 的高級任務，最后討論了現有的基準和實證分析。基本評估任務

 圖 7：一個公開 LLM 的內在和外在幻覺的例子（訪問日期：2023 年 3 月 19 日）。作為內在幻覺的例子，LLM 對 Cindy 和 Amy 之間的關系給出了一個與輸入相矛盾的判斷。對于外在幻覺，在這個例子中，LLM 似乎對 RLHF（從人類反饋中強化學習）的含義有不正確的理解，盡管它能正確理解 LLM 的含義。

高級任務評估除了上述基本評估任務，LLMs 還表現出一些高級能力，需要特別評估。在第 7.2 節中，研究者討論了幾個有代表性的高級能力和相應的評價方法，包括人工對齊、與外部環境的交互以及工具的操作。

總結與未來方向

在最后一節中，研究者總結了這次調查的討論，并從以下幾個方面介紹了 LLMs 的挑戰和未來發展方向。理論和原理：為了理解 LLM 的基本工作機制，最大的謎團之一是信息如何通過非常大的深度神經網絡進行分配、組織和利用。揭示建立 LLMs 能力基礎的基本原則或元素是很重要的。特別是，縮放似乎在提高 LLMs 的能力方面發揮了重要作用。已有研究表明，當語言模型的參數規模增加到一個臨界點（如 10B）時，一些新興能力會以一種意想不到的方式出現（性能的突然飛躍），典型的包括上下文學習、指令跟隨和分步推理。這些「涌現」的能力令人著迷，但也令人困惑：LLMs 何時以及如何獲得這些能力？最近的一些研究要么是進行廣泛的體驗，調查新興能力的效果和這些能力的促成因素，要么是用現有的理論框架解釋一些特定的能力。一個有見地的技術帖子將 GPT 系列模型作為目標也專門討論了這個話題，然而仍然缺少更正式的理論和原則來理解、描述和解釋 LLM 的能力或行為。由于涌現能力與自然界中的相變有著密切的相似性，跨學科的理論或原則（例如 LLMs 是否可以被視為某種復雜系統）可能對解釋和理解 LLMs 的行為有幫助。這些基本問題值得研究界探索，對于開發下一代的 LLMs 很重要。模型架構：由于可擴展性和有效性，由堆疊的多頭自注意力層組成的 Transformer 已經成為構建 LLMs 的普遍架構。人們提出了各種策略來提高這個架構的性能，如神經網絡配置和可擴展的并行訓練（見 4.2.2 節討論）。為了進一步提高模型的容量（如多輪對話能力），現有的 LLMs 通常保持較長的上下文長度，例如，GPT-4-32k 具有 32768 個 token 的超大上下文長度。因此，一個實際的考慮是減少標準的自注意力機制所產生的時間復雜性（原始的二次成本）。此外，研究更高效的 Transformer 變體對構建 LLMs 的影響是很重要的，例如稀疏注意力已經被用于 GPT-3。災難性遺忘也一直是神經網絡的挑戰，這也對 LLMs 產生了負面影響。當用新的數據調整 LLMs 時，原先學到的知識很可能被破壞，例如根據一些特定的任務對 LLMs 進行微調會影響它們的通用能力。當 LLMs 與人類的價值觀相一致時，也會出現類似的情況，這被稱為對齊稅（alignment tax）。因此有必要考慮用更靈活的機制或模塊來擴展現有的架構，以有效支持數據更新和任務專業化。模型訓練：在實踐中，由于巨大的計算量以及對數據質量和訓練技巧的敏感性，預訓練可用的 LLMs 非常困難。因此，考慮到模型有效性、效率優化和訓練穩定性等因素，開發更系統、更經濟的預訓練方法來優化 LLMs 變得尤為重要。開發更多的模型檢查或性能診斷方法（例如 GPT-4 中的可預測縮放），便于在訓練中發現早期的異常問題。此外，它還要求有更靈活的硬件支持或資源調度機制，以便更好地組織和利用計算集群中的資源。由于從頭開始預訓練 LLMs 的成本很高，因此必須設計一個合適的機制，根據公開的模型檢查點（例如 LLaMA 和 Flan-T5）不斷地預訓練或微調 LLMs。為此，必須解決一些技術問題，包括數據不一致、災難性遺忘和任務專業化。到目前為止，仍然缺乏具有完整的預處理和訓練日志（例如準備預訓練數據的腳本）的開源模型檢查點以供重現的 LLM。為 LLMs 的研究提供更多的開源模型將是非常有價值的。此外，開發更多的改進調整策略和研究有效激發模型能力的機制也很重要。模型的使用：由于微調在實際應用中的成本很高，prompt 已經成為使用 LLMs 的突出方法。通過將任務描述和演示例子結合到 prompt 中，上下文學習（prompt 的一種特殊形式）賦予了 LLMs 在新任務上良好的表現，甚至在某些情況下超過了全數據微調模型。此外，為了提高復雜推理的能力，人們提出了先進的 prompt 技術，例如思維鏈（CoT）策略，它將中間的推理步驟納入 prompt。然而，現有的 prompt 方法仍然有以下幾個不足之處。首先，它在設計 prompt 時需要大量的人力，因此為解決各種任務而自動生成有效的 prompt 將非常有用；其次，一些復雜的任務（如形式證明和數字計算）需要特定的知識或邏輯規則，而這些知識或規則可能無法用自然語言描述或用例子來證明，因此開發信息量更大、更靈活的任務格式化的 prompt 方法很重要；第三，現有的 prompt 策略主要集中在單圈的表現上，因此開發用于解決復雜任務的交互式 prompt 機制（如通過自然語言對話）非常有用，ChatGPT 已經證明了這一點。安全和對齊：盡管 LLMs 具備相當的能力，但它的安全問題與小型語言模型相似。例如，LLMs 表現出產生幻覺文本的傾向，比如那些看似合理但可能與事實不符的文本。更糟糕的是，LLMs 可能被有意的指令激發，為惡意的系統產生有害的、有偏見的或有毒的文本，導致濫用的潛在風險。要詳細討論 LLMs 的其他安全問題（如隱私、過度依賴、虛假信息和影響操作），讀者可以參考 GPT-3/4 技術報告。作為避免這些問題的主要方法，來自人類反饋的強化學習（RLHF）已被廣泛使用，它將人類納入訓練循環，以發展良好的 LLMs。為了提高模型的安全性，在 RLHF 過程中加入安全相關的 prompt 也很重要，如 GPT-4 所示。然而，RLHF 在很大程度上依賴于專業標簽人員的高質量的人類反饋數據，使得它很難在實踐中得到正確的實施。因此，有必要改進 RLHF 框架，以減少人類標簽員的工作，并尋求一種更有效的注釋方法，保證數據質量，例如可以采用 LLMs 來協助標注工作。最近，紅色團隊被采用來提高 LLMs 的模型安全性，它利用收集的對抗性 prompt 來完善 LLMs（即避免紅色團隊的攻擊）。此外，通過與人類交流建立 LLMs 的學習機制也很有意義，人類通過聊天給出的反饋可以直接被 LLMs 利用來進行自我完善。應用和生態系統：由于 LLMs 在解決各種任務方面表現出強大的能力，它們可以被應用于廣泛的現實世界的應用（例如，遵循特定的自然語言指令）。作為一個顯著的進步，ChatGPT 已經潛在地改變了人類獲取信息的方式，這帶來了新必應的發布。在不久的將來，可以預見，LLMs 將對信息搜索技術產生重大影響，包括搜索引擎和識別系統。此外，隨著 LLMs 的技術升級，智能信息助理的發展和使用將得到極大的促進。在更廣泛的范圍內，這一波技術創新傾向于建立一個由 LLMs 授權的應用程序的生態系統（例如，ChatGPT 對插件的支持），這將與人類生活密切相關。最后，LLMs 的崛起為通用人工智能（AGI）的探索提供了啟示。它有希望開發出比以往更多的智能系統（可能有多模態信號）。同時，在這個發展過程中，人工智能的安全性應該是首要關注的問題之一，也就是說，讓人工智能為人類帶來好處而不是壞處。

自20世紀50年代圖靈測試被提出以來，人類一直在探索機器對語言智能的掌握。語言本質上是一個受語法規則支配的復雜的人類表達系統。這對開發有能力的人工智能(AI)算法來理解和掌握語言提出了重大挑戰。作為一種主要的語言建模方法，在過去的二十年中，語言建模在語言理解和生成方面得到了廣泛的研究，從統計語言模型發展到神經語言模型。最近，通過在大規模語料庫上預訓練Transformer模型，人們提出了預訓練語言模型(PLM)，在解決各種自然語言處理(NLP)任務方面顯示出強大的能力。由于研究人員發現模型縮放可以導致性能提高，他們通過將模型大小增加到更大的尺寸來進一步研究縮放效應。有趣的是，當參數規模超過一定水平時，這些放大的語言模型不僅實現了顯著的性能提升，而且顯示出一些在小規模語言模型(如BERT)中不存在的特殊能力(如上下文學習)。為了區別參數規模的差異，研究界創造了大型語言模型(LLM)這個術語，用于表示規模巨大的PLM(例如，包含數百億或千億參數)。近年來，學術界和工業界對LLMs的研究取得了很大進展，其中最顯著的進展是基于LLMs開發的ChatGPT(一個功能強大的人工智能聊天機器人)的推出，引起了社會的廣泛關注。LLM的技術發展對整個AI社區產生了重要影響，這將徹底改變我們開發和使用AI算法的方式。鑒于這種快速的技術進步，本綜述通過介紹背景、關鍵發現和主流技術，回顧了LLM的最新進展。重點關注LLM的四個主要方面，即預訓練、自適應調優、利用率和能力評估。此外，還總結了開發LLM的可用資源，并討論了剩余問題，以供未來發展方向。本綜述提供了關于LLM的文獻的最新綜述，對于研究人員和工程師來說，這可以是一個有用的資源。

本文從概念上和實踐上對自然語言處理(NLP)領域的自然語言推理進行了更清晰的認識。從概念上講，本文為NLP中的自然語言推理提供了一個明確的定義，基于哲學和NLP場景，討論了哪些類型的任務需要推理，并介紹了推理的分類。**對自然語言推理進行了全面的文獻綜述，主要涵蓋經典邏輯推理、自然語言推理、多跳問答和常識推理。**該文還指出了逆向推理這一多步推理的強大范式，并介紹了可廢止推理是自然語言推理研究的一個重要方向。本文專注于單模態非結構化自然語言文本，不包括神經符號技術和數學推理。

1. 引言

近年來，自然語言處理(NLP)取得了重大進展，特別是transformer和預訓練語言模型(PLM)的引入。然而，它們執行自然語言推理(NLR)的能力仍然遠遠不能令人滿意。推理是基于現有知識進行推理的過程，是人類智能的一個基本方面，對于決策等復雜任務至關重要。構建具有推理能力的人工智能系統既是研究界的最終目標，也是提升復雜應用性能的必要途徑。與使用形式語言進行推理相比，使用自然語言表達進行推理提供了更加自然的人機交互界面，并為研究基于形式化的符號方法所無法實現的誘導、歸納法等可廢止推理打開了大門。

諸如BERT[33]和GPT[113]等PLMs自出現以來一直是NLP研究中的重要組成部分。在大規模文本語料庫上進行了預訓練，PLM能夠進行自然語言理解。最近的進展表明，PLMs也有解決推理問題的潛力[24,137,141,154]。具體來說，PLM可以對自然語言語句[24]進行軟演繹推理，利用其參數中記憶的隱性知識進行推理[141]，并在模型規模足夠大時通過思維鏈提示[76,154]，僅使用少量演示或指令就可以逐步執行多步推理。最近，ChatGPT和GPT-4也為社區提供了令人印象深刻的推理能力[4,15]。

**然而，盡管推理最近引起了越來越多的關注[24,26,27,76,106,139,154]，但仍然缺乏對推理的明確定義，并且“推理”一詞有時會被錯誤使用，這可能會影響NLP社區對推理的交流和發展。**例如，雖然它屬于“常識推理”，但很少有人會認為講述一個共同的生活經歷[9]，例如“說出你在酒店房間里可能忘記的東西”是推理。另一個例子是，有時“自然語言推理”被引入為自然語言理解的任務[11]，但其他時候的推理為[24]。到目前為止，沒有任何一個命名為"推理"的任務被認為是推理(例如常識推理)，也沒有所有命名為"無推理"的任務被認為是非推理(例如自然語言推理和多跳問答)。這就產生了一個問題:推理實際上是什么?如果它們的名稱沒有太多指示性，我們如何識別推理任務?盡管許多研究[24,57,163,169]從哲學和邏輯上給出了推理的定義，但該定義并不能很好地捕捉NLP中的推理。例如，雖然推理在哲學上被定義為“使用證據和邏輯得出結論”[57]，但它未能明確隱含常識是否可以作為證據以及推理的結論類型，如命名實體消歧。

為了促進自然語言處理中推理的研究，本文試圖從概念上和實踐上對自然語言處理推理提出一個更清晰的認識。從概念上講，本文從哲學和NLP場景出發，提出了NLP推理的定義，討論了哪些類型的任務需要推理，并介紹了推理的分類。在實踐中，基于明確的定義，對自然語言處理中的自然語言推理進行了全面的文獻綜述，主要涵蓋經典邏輯推理、自然語言推理、多跳問答和常識推理。**本文回顧各種規模的PLMs論文，我們捕捉到可以應用于不同模型規模的一般方法:端到端推理、正向推理和反向推理。**最后，討論了推理的局限性和未來的發展方向。除了推理的定義之外，該調查與其他調查有兩個重要區別[57,108]3。識別并看待反向推理，這是除正向推理外的另一種強大的多步推理范式。雖然正向推理，如思維鏈提示，最近在LLM中很流行，但反向推理值得進行更多的探索。由于搜索空間更小[71]，向后推理在概念和經驗上都比前向推理更有效，因此有可能推廣到步驟更長的復雜推理。其次，介紹了可廢止推理(即非演繹推理)，認為這是最重要的未來方向之一。哲學認為，人類日常生活中的推理大多是非演繹的。然而，這在NLP研究中仍然存在很大的差距，而ChatGPT[4]也更具挑戰性。更重要的是，當演繹推理可以用符號推理機(如Prolog編程)精確求解時，可廢止推理仍然缺乏有效的解決方案。

本文主要關注單模態非結構化自然語言文本(沒有知識三元組、表格和中間形式語言)和自然語言推理(而不是符號推理和數學推理)。本文對利用基于transformer的PLM的相關工作進行了回顧，故意排除了神經符號技術。對收集到的論文進行了整理，對自然語言推理方法進行了分類。總結了近年來該領域的研究進展和趨勢。論文分為五個部分(如圖1所示)。我們收集了近年來與推理或PLMs相關的200多篇論文。從2019年到2022年，我們在頂級會議上搜索了inference、reasoning、infer、reason、multi-step和multi-hop等關鍵字，包括ACL、EMNLP、NAACL、ICML、ICLR和NeurIPS。我們還從收集的論文中找到了一些相關的工作。

**總而言之，本綜述的主要貢獻是: **

(1)首次為NLP中的自然語言推理提供了一個明確的定義，并討論了一些流行的基準與推理的關系程度。 (2)首次對基于PLM的自然語言推理進行了全面的綜述，涵蓋了不同的NLR基準，并提供了一個全面的方法分類。我們還介紹了向后推理，它被忽略了，但有潛力。 (3)介紹了可廢止推理，比較了演繹推理和可廢止推理的差異，討論了它們對NLP解決方案的影響，并回顧了現有的方法。

2. 什么是自然語言推理

目前，自然語言推理在自然語言處理領域仍缺乏明確的定義，影響了自然語言處理領域的發展和交流。為促進理解、分析和交流，本文旨在對NLP中的自然語言推理的術語和概念提出不同的定義。為了實現這一目標，我們對長期以來研究推理的兩個相關領域:哲學和邏輯學進行了研究，并將相關的推理理論轉化為自然語言處理。提出了一種NLP中的NLR定義，以滿足NLP社區的關注(第2.1節)。然后，提供了NLR的類別，并介紹了它們之間的差異如何影響NLP解決方案(第2.2節)。最后，介紹實現NLR的潛力、挑戰和要求(第2.3節)。

NLP中的推理近年來一直受到關注，而哲學從幾千年前就開始研究推理，邏輯被視為正確推理的藝術，它研究推理的概念，使其類別系統化，并發展良好推理的原則，包括形式邏輯和非形式邏輯[8,45,62]。在本節中，我們首先包括來自哲學和邏輯學的推理理論，并將其導出為NLP推理。然后，回顧了自然語言處理中的一些自然語言推理問題;最后，本文提出了一種NLP中推理的定義，該定義結合了哲學和邏輯學中的定義以及NLP社區的關注。自然語言推理是一個整合多種知識(如百科知識和常識知識)以得出關于(現實或假設)世界的一些新結論的過程。知識可以來自顯性來源，也可以來自隱性來源。結論是斷言或在世界上被假定為真實的事件，或實際行動。

3. 為什么要用PLMs進行自然語言推理

預訓練語言模型(PLM)基于transformer架構[149]，該架構由許多注意力模塊構建，并通過無監督學習技術(如預測掩碼標記[33]或生成下一個標記)在大量文本數據上進行預訓練[113]。自BERT[33]出現以來，預訓練-再微調成為一種常見的范式，它將在預訓練階段學習到的PLMs的通用能力轉移到下游任務，并進行進一步的特定任務微調。由于大型語言模型已經被發現是少樣本學習[14]，上下文學習已經成為一種新的流行范式，它可以在只有少量演示的情況下預測新樣本，而無需微調參數。最近，零樣本提示范式在LLM中也變得更加流行[76]。

4. 自然語言推理方法

在本節中，我們介紹三種類型的自然語言推理方法:端到端推理(第4.1節)，正向推理和反向推理。整個分類法如圖5所示。這三類的關鍵區別在于推理路徑。具體來說，“端到端推理”只預測最終答案，沒有任何中間文本，而后兩種方法可以產生推理路徑，包含一個或多個帶有中間結論的步驟，展示了將前提與結論聯系起來的(可能是多步)推理過程。

給出每個預測的推理路徑可以提高系統的可解釋性。特別地，嚴格的推理路徑還可以顯式地暴露每個步驟的支持知識。此外，生成推理路徑已被證明有利于多步驟推理的最終性能[76,101,106,137,154]。推理有兩個方向。推理的兩個方向。多步推理可以通過正向[27,126,138,154]或逆向[73,82,96,106,139]進行。正向推理是一個自底向上的過程，它從已有的知識出發，反復推理以獲得新的知識，直到問題被解決。反向推理是一種自上而下的過程，它從問題出發，不斷地分解為子問題，直到所有子問題都可以被現有的知識所解決。逆向推理針對的是指定的問題，而正向推理可以自由地發現由現有知識所蘊含的新知識，而不需要預先指定問題。因此，在求解特定問題時，前向推理的搜索空間要比后向推理的搜索空間大得多，隨著推理的進行面臨組合爆炸的問題。定理證明是一個驗證問題，其推理路徑稱為“證明”，正向推理和反向推理通常分別稱為“前向鏈”和“后向鏈”。我們在表6中比較了這三種方法，并在圖6中演示了一個示例。下面的小節將進一步介紹和討論這種比較。

5. 結論

在本節中，我們提出了一些開放問題，介紹了一些局限性，并提出了一些推理的未來方向。文中還討論了ChatGPT和GPT4的局限性。 我們對LLMs的推理能力提出了一些開放性問題。在他們的出現推理能力中有許多未解之謎。

為什么CoT提示是有效的?為什么在最終答案帶來如此顯著的改進之前，只需要產生推理路徑，甚至可能是錯誤的?為什么CoT提示只對LLMs有效?當LLM被提示使用CoT但在中型PLM中失敗時，LLM會發生什么? * LLM的推理能力從何而來?為什么LLM可以隨著模型大小的增加而出現推理能力?“讓我們一步一步思考”的魔力從何而來?他們如何學習這些能力?雖然已經研究了另一種LLM魔法——上下文學習的機制[2,29,159]，但推理能力仍然更加神秘。 * 更大的模型推理能力更好嗎?如果LLM可以出現可由提示引出的推理能力，那么它們是否可以在模型大小增加時學習到具有競爭力的推理能力?或者，構建更多的數據集和設計推理算法是否仍然有益?

在大規模不同數據上預訓練的基礎模型在廣泛的視覺和語言任務中表現出了非凡的能力。當這樣的模型部署到現實世界環境中時，它們不可避免地要與其他實體和智能體進行交互。例如，語言模型通常用于與人類通過對話進行交互，視覺感知模型用于自主導航鄰域街道。為了響應這些發展，新的范式正在出現，用于訓練基礎模型與其他智能體交互并進行長期推理。這些范式利用了為多模態、多任務和通用交互策劃的越來越大的數據集的存在。在基礎模型和決策的交叉點進行研究，為創建強大的新系統提供了巨大的希望，這些系統可以在對話、自動駕駛、醫療健康、教育和機器人等各種應用中有效交互。本文研究了基礎模型決策的范圍，并為理解問題空間和探索新的研究方向提供了概念工具和技術背景。通過提示、條件生成建模、規劃、最優控制和強化學習等各種方法，回顧了地基模型在實際決策應用中的最新方法，并討論了該領域中常見的挑戰和開放問題。

//www.zhuanzhi.ai/paper/2061942c130806abb07d97214c5a7506

1. 引言

**通過自監督學習在廣泛的數據集上預訓練的基礎模型在向不同的下游任務遷移知識方面表現出了卓越的能力[Bommasani等人，2021]。**由于此類模型繼續應用于涉及長期推理[Wei等人2022a]、控制[Brohan等人2022]、搜索[Strohman等人2005]和規劃[Huang等人2022b]的更復雜問題，或部署在對話、自動駕駛、醫療保健和機器人等應用程序中，因此預計它們將與外部實體和代理接口。例如，在對話中，語言模型與人類進行多輪對話;在機器人技術中，感知-控制模型在現實世界環境中執行動作。這些場景為基礎模型提出了新的挑戰，包括(1)如何從外部實體給出的反饋中學習(如人類對對話質量的評級)，(2)如何適應大型語言或視覺數據集通常不涵蓋的模態(如機器人動作)，以及(3)如何對未來進行長期推理和規劃。

**傳統上，這些問題一直是序列決策的核心[Sutton和Barto 2018]，包括強化學習、模仿學習、規劃、搜索和最優控制等領域。**與基礎模型的范式相反，在預訓練中使用了具有數十億圖像和文本標記的廣泛數據集，之前關于序列決策的工作主要集中在特定任務或tabula rasa設置，先驗知識有限[Silver等人，2017]。盡管看似不利的設置，序列決策的研究已經取得了重大進展，在諸如玩棋盤游戲[Tesauro 1994]和雅達利電子游戲[Mnih等人2013]，以及操作機器人完成導航[Pomerleau 1988]和操作任務[Kalashnikov等人2018;Akkaya等。2019]。然而，由于這些方法在沒有視覺、語言或其他數據集的廣泛知識的情況下從頭開始學習解決任務，它們通常在泛化和樣本效率方面存在困難，例如，需要7個GPU天的交互式游戲才能解決一個Atari游戲[Agarwal等人2022]。直觀地說，類似于用于基礎模型的廣泛數據集也應該有利于序列決策模型。例如，互聯網上有無數關于如何玩雅達利游戲的文章和視頻。類似地，有大量關于物體和場景屬性的知識，這些知識對機器人很有用，或者關于人類需求和情感的知識，可以改進對話模型。

**雖然基礎模型和序列決策的研究在很大程度上由于不同的應用和焦點而脫節，但在這些社區的交叉點上的活動越來越多。**在基礎模型方面，隨著發現大型語言模型的涌現特性，目標應用程序已經從簡單的零次或少次視覺和語言任務過渡到現在涉及長期推理的問題[Srivastava等人，2022;Wei等。2022b;Lewkowycz et al. 2022]或多重交互[OpenAI 2022]。相反，在序列決策社區，受大規模視覺和語言模型成功的啟發，研究人員已經開始策劃越來越大的數據集，用于學習多模型、多任務和通用交互式智能體[Agarwal等人2020b;Szot等人，2021;Fan等，2022;Brohan等人，2022;Reed等，2022;Lee et al. 2022]。為了進一步模糊兩個領域之間的界限，最近的一些工作研究了使用預訓練基礎模型，如CLIP [Radford等人2021]和ViT [Dosovitskiy等人2020]來引導視覺環境的交互式智能體的訓練[Khandelwal等人2022;Tao等人2022]，而其他工作將基礎模型作為通過人工反饋強化學習優化的對話代理進行了研究[Ouyang等人2022]，以及其他工作使大型語言模型與搜索引擎等外部工具交互[Komeili等人2021;Thoppilan等人，2022;Lazaridou等人，2022;Shuster等人]。計算器[Cobbe等人，2021;Thoppilan等人2022]、翻譯器[Thoppilan等人2022]、MuJoCo模擬器[Liu等人2022d]和程序解釋器[Gao等人2022]。

**我們在本報告中的前提是，如果聯合考慮，基礎模型和交互式決策的研究可以是互利的。**一方面，基礎模型適應涉及外部實體的任務，可以從交互式地合并反饋和執行長期規劃中受益。另一方面，序列決策可以利用基礎模型的世界知識，更快地解決任務，泛化能力更好。為了推動這兩個領域的交叉研究，我們對決策基礎模型的問題空間進行了范圍界定。本文提供了技術工具來了解該領域當前的研究，回顧了仍然存在的挑戰和開放問題，并推測了克服這些挑戰的潛在解決方案和有希望的方法。

**本報告分為5個主要部分。**在第2節中，我們回顧了序列決策的相關背景和符號，并提供了幾個示例場景，其中基礎模型和決策可以更好地聯合考慮。接下來的三個部分將圍繞基礎模型如何描述決策系統的不同組件進行組織。在第3節中，我們討論了基礎模型如何作為行為的生成模型(例如，技能發現)和環境的生成模型(例如，進行基于模型的推出)。在第4節中，我們討論了基礎模型如何作為狀態、動作、獎勵和遷移動態的表示學習者(例如即插即用的視覺語言模型、基于模型的表示學習)。在第5節中，我們討論了語言基礎模型如何作為交互式智能體和環境，使我們能夠在順序決策框架(語言模型推理、對話、工具使用)下考慮新問題和應用。最后，在第6節中，我們概述了開放的問題和挑戰，并提出了潛在的解決方案(例如，如何利用廣泛的數據，如何構造環境，以及基礎模型和決策的哪些方面可以改進)。

介紹使用spaCy使用Python進行自然語言處理，spaCy是一個領先的Python自然語言處理庫。

使用Python和spaCy進行自然語言處理將向您展示如何快速輕松地創建聊天機器人、文本壓縮腳本和訂單處理工具等NLP應用程序。您將了解如何利用spaCy庫智能地從文本中提取含義;如何確定句子中詞語之間的關系(句法依賴分析);識別名詞、動詞和其他詞類(詞性標注);并將專有名詞分類，如人員、組織和地點(識別命名實體)。你甚至會學到如何將陳述轉換成問題來保持對話的進行。您還將學習如何:

• 使用單詞向量進行數學運算，找到含義相似的單詞(第5章)
• 使用spaCy內置的displaCy visualizer識別數據中的模式(第7章)
• 自動從用戶輸入中提取關鍵字并將其存儲在關系數據庫中(第9章)
• 部署聊天機器人應用程序，在互聯網上與用戶互動(第11章)

每一章的“嘗試這個”部分鼓勵您通過擴展該書的示例腳本來處理更廣泛的輸入、添加錯誤處理和構建專業質量的應用程序，從而實踐您所學到的知識。在本書的最后，您將使用Python和spaCy創建自己的NLP應用程序。

//nostarch.com/NLPPython

Yuli Vasiliev是一名程序員、自由撰稿人和顧問，專門從事開源開發、Oracle數據庫技術和自然語言處理。

Introduction

Chapter 1: How Natural Language Processing Works Chapter 2: The Text-Processing Pipeline Chapter 3: Working with Container Objects and Customizing spaCy Chapter 4: Extracting and Using Linguistic Features Chapter 5: Working with Word Vectors Chapter 6: Finding Patterns and Walking Dependency Trees Chapter 7: Visualizations Chapter 8: Intent Recognition Chapter 9: Storing User Input in a Database Chapter 10: Training Models Chapter 11: Deploying Your Own Chatbot Chapter 12: Implementing Web Data and Processing Images Linguistic Primer