亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

ChatGPT 持續成為大家關注的焦點，開啟通用人工智能(AGI)之門。北京交通大學桑基韜教授和于劍教授撰寫的《從ChatGPT看AI未來趨勢和挑戰》，詳述了ChatGPT 的“能”與“不能”，AI中什么是“真”以及AI的未來趨勢，非常值得關注！

在人工智能領域，ChatGPT 作為一種重要的技術突破，引起了廣泛的關注．本文將探討 ChatGPT 在人 工智能發展中的地位及其對未來 AI 的影響．首先，介紹了 ChatGPT 所展現出的優秀對話生成能力，使其幾 乎可以勝任所有自然語言處理任務，并將作為數據生成器、知識挖掘工具、模型調度員、自然交互界面在各 種場景得到應用．接著，分析了其在事實錯誤、毒害內容生成、安全性、公平性、可解釋性、數據隱私等方 面的局限，并討論了作為輔助人類工具的 ChatGPT 明確能力邊界和提高能力范圍的重要性．然后，從概念經 典表示對真定義進行了分析，并從概念三指不等價的角度闡釋性了 ChatGPT 無法區分真假的原因. 在論述 AI 未來時，從拓展應用、克服局限、探索理論分析了中短期技術趨勢，并從感知、認知、情感、行為智能四個 層面的關系討論了長期發展路徑. 最后，探討了 ChatGPT 作為認知智能的代表，對包括認知成本、教育要求、 圖靈測試認識、學術界的機遇與挑戰、信息繭房、能源環境問題和生產力提升等方面可能產生的影響.目錄：

1 ChatGPT的“能”：生成

2 ChatGPT的“不能”：負責

3 什么是“真”？

4 AI的未來

5 ChatGPT的影響

[1]桑基韜,于劍.從ChatGPT看AI未來趨勢和挑戰[J/OL].計算機研究與發展:1-10[2023-04-18].//kns.cnki.net/kcms/detail/11.1777.TP.20230414.1444.003.html.

引言

2022 年 11 月 30 日，OpenAI 公司發布了一款名 為 ChatGPT 的軟件.該軟件在發布后的 5 天內，用戶 數量就超過了 100 萬，2 個月內活躍用戶數更是突破 了 1 億，成為了迄今為止增長速度最快的應用軟件. 該軟件幾乎可以完成自然語言處理的所有任務，因 此在營銷、客服、教育、娛樂、咨詢、翻譯等行業 有著廣闊的應用前景.這一成功也激勵了OpenAI首席 執行官 Sam Altman，他于 2023 年 2 月 24 日發表了 一篇名為“Planning for AGI and Beyond”的文章， 認為 AGI（Artificial General Intelligence，通用人工 智能）是 AI systems that are generally smarter than humans，需要開始為 AGI 的到來做準備.AGI 會是 AI 的未來嗎？本文將對此進行討論.

1 ChatGPT 的“能”：生成

比爾蓋茨將 ChatGPT 譽為自 1980 年現代圖形桌 面環境 GUI 問世以來最具革命性的科技進步.如果說 上一次讓 AI 火出圈的 AlphaGo 所展現出的是在特定 領域的“專”，這一次 ChatGPT 展現出的則是 AI 在 廣泛應用場景的“通”：這個“通”以正常人都會、 都懂、都能體驗的對話形式呈現，讓 AI—特別是自 然語言處理技術進入主流用戶群，孕育出了這一現 象級產品.具體而言，ChatGPT 在對話過程中展現出了自然對話、多輪交互、上下文學習、思維鏈推理、 實時反饋在線糾錯、涌現出適應未訓練任務以及 GPT-4 中新出現的理解弦外之音的能力.

ChatGPT 背后的思想其實很簡單：將所有語言任務歸為對話任務，將對話任務歸為文字接龍的生成問題 . 自 然 語 言 處 理 領 域 的 學 者 普 遍 認 為 ， ChatGPT 展現出的優秀對話生成能力對傳統研究方 法產生了巨大挑戰. 1）從目標上看，自然語言處理 旨在讓計算機能夠以文字或語音的方式與人類進行 有效交流；而對話是人類日常生活中最基本的交流 方式，實現了人機自然對話在一定程度上便達到了 自然語言處理的核心目標.2）從任務類型上，自然 語言處理可分為自然語言理解和自然語言生成兩大 類.在谷歌的 T5 模型[1]推出之后，兩類任務統一為單 項語言生成的文字接龍形式.自 GPT-1 起，OpenAI 就 一直堅持采用基于解碼器結構的自回歸語言模型， 這種模型在處理單向語言生成問題方面具有天然的 優勢.所以 ChatGPT 可以處理以前不同賽道的語言處 理任務，比如翻譯、問答、摘要、擴寫、寫作、潤 色、代碼生成、語句分析、段落理解等.

當然，ChatGPT 能夠實現如今順暢自然的人機 對話，不僅源于其對 GPT 單向語言生成技術路線的 持續發展，還依賴于算法、算力和數據等多方面的 支持. 由于 ChatGPT 并未對模型進行開源，也沒有發 布論文透露具體細節，我們只能基于 OpenAI 已公開 的 GPT 系列技術發展路線來推測這些能力背后的潛在原因. 圖1展示了部分 ChatGPT 已展現出的能力及 其背后主要技術原因的對應關系. 值得關注的是， ChatGPT 許多能力背后的原因仍在探索過程中. 關于上下文學習的能力，有學者認為模型從提示詞 (prompt)提供的示例中確定了待解決任務的自然語言 指令(instruct)，從而在無需微調模型的情況下提升了 問題回答的質量[2] .關于任務涌現和多任務遷移能力， 一方面，有學者認為指令學習、大規模預訓練和數 據集多樣性共同促進了模型在新任務的泛化能力[3] . 例如，通過在大量不同類型和指令任務上進行微調， 模型學習到了一定程度的通用能力，從而能夠泛化 到未見過的指令和場景.另一方面，不同任務的劃分 具有一定的主觀性，其本質上都可以建模為統一的 自然語言生成任務.大型預訓練語言模型通過學習大 量訓練數據，掌握了豐富的語言知識和多種任務之 間的共性，進而利用這些共性來提高不同任務的性 能.然而，一些問題仍然沒有明確答案，例如：何種模型規模和訓練數據量閾值可以產生任務涌現能力？涌現能力與模型規模和訓練數據量之間的量化關系 如何？同時，其他一些能力，如在線糾錯、理解弦 外之音等，其背后的原因仍然是個謎.

OpenAI 首席科學家 llya Sutskeve 最近在與英偉 達 CEO 黃仁勛的訪談中對 ChatGPT 能力學習進行了 解釋：“ChatGPT 通過學習文本中的統計相關性，獲 得了這個世界的一個壓縮、抽象、可用的映射表 達”.這讓我們不禁思考：ChatGPT 是否學到了人類 文字符號世界的暗知識（tacit knowledge[4]）.Michael Polanyi 在他的這本認識論著作中曾提到：“We can know more than we can say（我們所知者，遠多于所 能說者）”.可以確定的是：機器學習模型通過統計海量符號語料中的規律，能夠學習到詞匯、語法、 乃至一定程度的上下文和常識知識.問題是：隨著語 料規模的不斷增加和統計規律的持續積累，模型所 建立的世界表達分辨率越來越高、維度越來越豐富 時，是否真的有可能學習到人類情感、道德觀念等 支撐整個世界運行的更復雜的暗知識？ 在學術界積極探索 ChatGPT 能力背后的技術原 因的同時，工業界已在歡迎這項新技術，并將其優 秀的對話生成能力融入各種應用場景.根據 ChatGPT 對話的對象和本身的定位，我們將這些應用分成 4 個層次（如下表 1 所示）：

1) 數據生成器，根據需求直接生成數據.此類應用 僅輸入用戶需求，利用 ChatGPT 的生成能力返回特 定類型的數據.由于思路簡潔且實現容易，數據生成 類應用在 ChatGPT 發布之初就大量出現.主要應用場 景包括對話生成（客服、虛擬數字人）、文案生成 （法律文書、營銷策劃廣告）和代碼生成等.典型的 成功案例包括寫作助手 Notion AI、營銷文案生成工 具 Jasper.ai.

2) 知識挖掘工具，對數據進行再加工或分析挖掘. 此類應用同時輸入用戶需求和待處理的原始數據， 利用 ChatGPT 強大的自然語言處理能力返回經過加 工的數據或挖掘出的新信息.知識挖掘類應用可以分 為 離 線 和 在 線 兩 種 形 式 . 離 線 應 用 通 過 調 用 類 ChatGPT API 分析和挖掘私有數據等專業領域語料構 建知識庫，為進一步應用提供知識支持.在線應用的 主要場景包括翻譯、潤色、摘要生成、文檔管理等. 一些典型案例包括搜索引擎摘要插件WebChatGPT、 文檔分析工具 ChatPDF 以及 OpenAI 官方隨 GPT-4 發 布的摩根士丹利策略分析師.

3) 模型調度員，調用其他機器學習模型共同解決 用戶需求.此類應用同時輸入用戶需求、待處理數據 以及多個可調用的機器學習模型，通過 ChatGPT 作 為人類與其他模型間的連接，設計解決方案、調用 并管理其他機器學習模型，共同完成用戶需求并輸出結果.這方面的典型案例是微軟近期發布的系列多 模態解決方案 Visual ChatGPT[5]、MM-ReAct[6]和 HuggingGPT[7]，其通過調度其他視覺基礎模型來協 同完成視覺和語音任務.此外，AI 賦能一直以來的一 個痛點問題是，智能中臺需要整合不同模型和技術， 并根據業務需求擴展新的模型.ChatGPT 有望實現智 能中臺的升級：提供友好的開發/業務人員界面、實 現模塊化模型管理、簡化技術集成和部署，從而提 高 AI 賦能效率.隨著 ChatGPT 應用探索的深入，相 信模型調度員類型的應用將越來越受到關注.

4) 人機交互界面，調用更廣泛的應用程序幫助人 類解決實際問題. 第一種形式是將 ChatGPT 嵌入到特 定應用中，從而極大地提升自然交互體驗，如微軟 的 365 Copilot 和 Copilot X 分別將 ChatGPT 融入 Office 和 Github.第二種形式是在 ChatGPT 搭建的自 然語言交互框架上開發各類信息服務應用，去年 10 月推出的開源庫 LangChain 和 OpenAI 最近發布的插 件集 Plugins 都是大型語言模型應用開發框架的典型 嘗試.正如 Windows 和 Android 分別是桌面和移動時 代的操作系統，ChatGPT 有望成為智能時代的操作 系統接口.進一步暢想，如果把語言分為人類之間溝 通的自然語言和人與計算機之間溝通的計算機語言， ChatGPT 在一定程度上統一了二者：用自然語言實 現了人和計算機之間的溝通，不得不說“自然語言 編程(Natural Language Programming)”這一新詞非常 貼切.從這個角度看，我們甚至可以大膽預測：人機 交互界面將從磁帶、鍵盤字符、鼠標圖形全面進化 到自然語言時代.

以上圍繞對話生成討論了 ChatGPT 的具體能力、 背后的技術原因以及在不同定位下的應用形式.盡管 “對話生成”提供了無限的想象，但 OpenAI 的野心 顯 然 并 不 止 于 此 . 從 名 稱 和 發 布 時 間 點 來 看 ， ChatGPT 似乎只是一種過渡性技術的產品形式.在以 對話這種產品形式向主流用戶群展示了強大的技術 實力之后，OpenAI 新發布的 GPT-4 并未繼續在對話 生成功能上炫技，而是悄然接入了各類官方應用.

從生物學角度，語言和智能的演化過程相互促 進.人類智能在很大程度上依賴于高度復雜的語言系 統.語言作為思維的載體和智慧的外在表現，其運用 能力很大程度上反映了認知能力和智能水平.語言習 得是認知發展的重要組成部分.兒童在成長過程中通 過習得語言來理解世界，并逐漸掌握其他認知技 能.ChatGPT 等技術在語言生成能力的持續提升能將 人工智能帶到什么高度，讓人非常期待.

2 ChatGPT 的“不能”：負責

能力越大，責任越大. ChatGPT 展現出的強大能 力讓主流用戶群欣喜、學術界驚訝、工業界狂熱.這 些能力讓我們在使用它時感受到了與以往技術不同 的體驗.回顧人類歷史上的幾次技術革命，從早期的 石器、金屬器具、機械設備、電氣設備到近幾十年 的計算機、互聯網和智能手機，每一個階段所發明 的工具都對人類生活產生了深遠影響.在使用這些工 具時，我們可以清楚地意識到它們作為工具的定位， 即輔助人類來完成任務.然而，在使用 ChatGPT 的過 程中，我們經常會產生一種與另一個人對話的錯覺， 尤其是當類似 Plugins 這類功能使其能夠像人類一樣 利用其他工具進行自我增強的時候.埃隆-馬斯克在使 用 ChatGPT 后的感受是“好到嚇人”.這種獨特的體 驗無疑將加速技術融入人類社會的進程.正如 OpenAI 自己對 ChatGPT 的評價：“盡管 ChatGPT 還沒有實 現真正的智能，但它讓人體驗到了真正的智能實現 后，每個人都能用它做各種他們想做的事情的滋味.”

整個 2023 年 3 月被各種生成式 AI 技術和產品 的發布充斥：Meta Alpaca、GPT-4、PaLM-E、文心 一言、Office Copilot、Midjourney V5、英偉達新顯 卡 、 Github CopilotX 、 ChatGPT 插件、 Security Copilot 等.我們可以預見相關技術的應用領域將迅速 拓展、應用程度將大幅度加深.人們在享受技術帶來 的便捷和生產力提升的過程中，對技術的態度將從 習慣逐漸轉變為依賴.而當人們開始依賴這些技術代 替自己學習、思考、甚至決策時，有兩個問題擺在 我們面前：技術是否已經做好準備承擔責任？人類對技術的信賴是否超出了它的能力？實際上，ChatGPT 在使用過程中已被發現存在 諸多問題：如數學計算、未來預測、時空物理現實 推理等方面能力的局限，以及事實錯誤(幻覺)、生成 毒害內容等方面的不可控[8] .下面從可信 AI 的 4 個維 度對 ChatGPT 存在的問題展開討論.

1) 安全性. OpenAI 在官網上將“安全”列為五個目 錄之一，在隨 GPT-4 發布的報告中批露了其在技術 和評估兩方面都設立了專門的安全小組，足見對安 全性的重視.然而，和所有機器學習模型一樣， ChatGPT 仍存在著被對抗攻擊的風險.一種典型方式 是提示語注入攻擊（prompt injection attack）：在提示 語中混入惡意指令，可能繞過 ChatGPT 的安全機制， 迫使其執行意外動作，如泄露敏感信息、輸出有害 內容等.例如，ChatGPT 驅動的新 Bing 在受到攻擊后 泄露了其內部代號“Sydney”；ChatGPT 被誘導規劃 搶劫方案，甚至提供了購買搶劫道具的鏈接等.

2) 公平性.在 ChatGPT 之前，OpenAI 的文生圖DALL-E系列曾被發現存在輸出性別和種族歧視內容 的問題.類似地，GPT-2、Bert、RoBERTa 等語言模 型在一個測試項目中也被發現具有嚴重的性別偏見 傾向[9] .盡管目前尚無系統性研究分析 ChatGPT 在性 別和種族偏見方面的表現，但已有研究發現它存在 明顯的語言敏感性：例如，當用日語和俄語分別詢 問一個日俄爭議島嶼的歸屬問題時，ChatGPT 給出 了截然不同的答案[10].

3) 可解釋性. ChatGPT 的思維鏈能力可以在答案中 同時呈現推理過程，這在部分程度上解決了實驗室 環境下模型可解釋性的問題.然而，需要注意的是， 這種推理過程的解釋是面向用戶的，并不一定與模 型的實際運行機制準確對應.此外，ChatGPT 仍存在 很多尚未解釋的行為，包括自我在線糾錯、理解弦 外之音等能力，以及出現事實錯誤(幻覺)等問題.由 于大模型本身的復雜性以及僅通過 API 提供服務的 現實限制，ChatGPT 對于用戶和開發者都是完全的 黑箱.隨著應用場景的拓寬和加深，現有的解釋性水 平可能難以滿足透明度和回溯性等的要求.

4) 數據隱私. 涉及 2 個方面：訓練階段的數據侵權 和推理階段的隱私泄露.大模型訓練需要的海量數據 多來自網絡，其中難免包括未經授權的版權保護內 容.ChatGPT 雖然可能避免語句層面的抄襲，但難以 避免語義上的深度抄襲.2023 年，大模型領域發生了 多起版權侵權案.例如，三名藝術家指控 Stable Diffusion 使用其版權作品作為訓練數據，而微軟和 OpenAI 因其開發被指控其開發的編程助手 Copilot 涉 嫌復制 Github 上的開源代碼而受到指控.在推理階段， 攻擊者有可能通過逆向攻擊等手段，利用模型輸出 的結果來反向推導出訓練數據中的隱私信息.GPT-2、 BERT、RoBERTa 等語言模型均被發現存在數據隱私 泄露的風險[11] .隨著模型規模和功能多樣性的增加， 這種風險可能進一步加大：模型規模越大，其記憶 能力越強；功能越多樣化，可被利用的信息和攻擊 方式也越豐富.ChatGPT 自身代號的泄露便證實了這 一點.

從生成式 AI 模型選擇的技術路線和當前發展水平看，這些問題既可以歸結為大型語言模型固有的結構局限，也可以歸結為將符號任務統一建模為對 話問題的過度簡化.關于這條技術路線的未來發展， 同時存在著樂觀和悲觀的觀點.樂觀派認為，人腦神 經元突觸連接總數約為一百萬億，隨著語言模型參 數量的不斷增加，模型可能在某個時刻實現量變到 質變的躍遷，這些問題也會自然消失.然而，包括喬 姆斯基、Stuart Russell 等大佬在內的悲觀派則持相反 觀點，他們認為端到端的深度學習與人類進行推理和使用語言的方式有著巨大差異，依靠更多數據和 算力無法消除這些缺陷或實現真正的智能.

不討論技術路線的選擇或者觀點的對錯，不管 生成式 AI 模型的能力演進到何種程度，其定位始終 是幫助人類更好地完成任務的工具.作為工具，首先 應該明確能力邊界，即“做自己能做的事”.在認知 心理學中，約瑟利窗口（Johari Window）將人際關 系劃分為公開區、盲區、隱藏區、未知區四個象限 [12] .參照這種方法，如圖 2 所示，我們可以沿“自知” 和“能力”兩個維度繪制一個坐標系，智能工具處 理的任務將落在其中一個象限內.當任務落在“自知” 負半軸的兩個象限時，可能會出現不可預知的問題：在隱藏區時，模型“不知道自己能”，可能在收到用 戶反饋后將原本正確的答案改為錯誤，或接受用戶 錯誤反饋的引導；在未知區時，模型“不知道自己 不能”，可能會產生事實錯誤幻覺，一本正經地胡說 八道.

根據“自知”-“能力”坐標系，首先需要明確 能力邊界，即擴大“自知”正半軸兩個象限的覆蓋 范圍，使更多任務落入公開區和盲區.在公開區時， 模型可以自信地回答用戶的問題；而在盲區時，模 型應該承認能力缺陷，避免回答不知道的問題，或 者虛心接受用戶的反饋引導.PAL[13]是開發隱藏區的 一個例子，通過在提示詞中注入包含推理過程的程 序示例，成功挖掘了模型在原本容易回答錯誤的數 學推理類任務的解決能力.在明確能力邊界后，需要 進一步提升模型的能力，即擴大“能力”正半軸、 尤其是第一象限的面積，使更多的任務從盲區轉移 到公開區.縮小盲區的一個例子是 ReAct[14]，它將推 理和行動結合，通過調用搜索等插件從網絡等外部 資源中逐步、有選擇性地收集和處理新信息，從而 提高了模型在各種復雜場景下的解決能力.另一個最 新提出的框架 Reflexion[15]，它在 ReAct 基礎上加入 了自省 Reflect 功能，通過試錯的方式，在尋找自身 能力邊界的同時，探索新任務的解決方案.這是一個 在同時確定能力邊界和提高能力范圍方面很有意思的嘗試.

當然，“自知”-“能力”坐標系只是一個理想 和簡化的框架.人類在執行任務時，通常會考慮諸如 道德、倫理、公平等價值觀.而 ChatGPT 并不具備人 類的價值觀和判斷力，可能會生成與事實相悖的錯 誤信息和誤導性的建議.比如，當用戶詢問“林黛玉 是如何倒拔垂楊柳的”，ChatGPT 會一本正經地介紹 相關具體細節.事實上，《林黛玉倒拔垂楊柳》是一 部網絡小說，中文論壇上也有許多對這一虛構情節 的討論.模型在學習這些語料時無法區分虛構和現實， 因此產生了這個尷尬的回答.隨著 GPT-4 的發布，可 以預見 ChatGPT 將有能力在符號世界中實現自動化 生成.然而，它依然不能確保所生成內容的真實性， 自然更無法對生成結果承擔責任.

3 什么是“真”？

為了解釋為何 ChatGPT 無法保證結果為真，首 先需要探討什么是“真”.“真”的定義有很多，本 文采用亞里士多德的經典定義[16]：說是者為非，非 者為是，即為假；而說是者為是，非者為非，即為 真. 基于此，Tarski 提出一個更形式化的“真”的定 義[17]：

X 是真語句當且僅當 p， 其中 p 代表任意語句，X 是語句 p 的名稱. 即，一個語句是真的，當且僅當它描述的情況確實 發生了.比如：“樹在長芽”是真語句當且僅當樹在 長芽，即“樹在長芽”是真語句當且僅當樹在長芽 確實發生了. 但是，這個看似合理的“真”的定義卻隱含矛 盾.Tarski 轉述了烏卡謝維茨的加強版說謊者悖論： 令 C 是“C 不是一個真語句”的名稱，因此， 有如下兩個假設： 1）α假設：C=“C 不是真語句”; 2）β假設：“C 不是真語句”是真語句當且僅 當“C 不是真語句”. 綜合α假設與β假設，即可以得到：C 是真語 句當且僅當“C 不是真語句”，悖論. Tarski 關于“真”的定義和上面的推理似乎都沒 有問題，那問題出在哪里呢？我們認為問題出在概 念的定義上，因此需要仔細考察概念的定義. 眾所周知，概念的經典表示由三部分組成：符 號表示、內涵表示和外延表示.其中，概念的符號表 示由概念名稱表示，概念的內涵表示由描述概念特 性的命題表示，概念的外延表示由概念所包含的實 例的經典集合表示.比如，“偶數”這個概念，其中文符號表示是“偶數”這個詞；內涵表示是 “能被 2 整除的整數”這個命題；外延表示是包含所有偶數 的集合：{...,-6,-4,-2,0,2,4,6,...}.

如圖 3 所示，根據經典表示，每個概念具備 3 種 功能：指名、指心和指物，同時對應著波普爾的 3 個世界：符號世界、心理世界和物理世界[18] .概念的 指名功能，是指每個概念都指向認知世界或符號世 界中的一個實體，用所指對象的特定符號名稱來表 示.這些符號名稱可以組成各種不同的語言.概念的指 心功能，是指每個概念也指向人類心理世界中的實 體，代表這個概念在心理世界里的對象表示.概念的 指物功能，強調概念與物理世界中的實體之間的對 應，這些實體遵循物理世界的規律，可以獨立于人 的主觀感受. 如果從概念的表示來實現人工智能，指名指物 指心對應了 3 條路徑：符號主義、連接主義和行為 主義.如果從概念的功能角度來對人工智能分類，可 以分為認知智能、情感智能和行為智能.認知智能實 現了概念的指名功能，即處理和理解符號世界的問 題.情感智能則實現了概念的指心功能，主要關注心 理世界中的問題.而行為智能則體現了概念的指物功 能，主要解決物理世界中的問題.然而，如果要實現 概念的三指功能，必須首先解決機器的感知問題.解 決機器感知問題是最基本的人工智能，通常被稱為 感知智能.感知智能主要關注機器的輸入輸出處理， 是實現認知智能、情感智能和行為智能的基礎.

在概念的經典表示下，概念的指名、指心與指 物功能是等價的，其符號表示、內涵表示和外延表 示在功能上也是可以互換的.這是因為概念的經典表 示存在 6 條預設：1） 概念的外延表示可以由集合{x1,x2,? ,}表示； 2） 概念的內涵表示存在且用命題?xP(x)表示； 3） 概念的名稱存在,且用符號表示 A；4） 概念的外延表示與內涵表示同名：A={x1,x2, ? ,}=“?xP(x)”；5） 概念的表示唯一，即同一個概念的表示與個體無關：?α(A α=A), α 代表一個人；6） 概念的指稱等價，即其內涵表示與外延表 示在指稱對象的時候功能等價?x(x∈A?P(x))，其中， A={x1,x2,? ,}.

根據上述概念的經典表示，可以知道概念的指 名、指心與指物功能是等價的.在日常生活中，這種 情況非常普遍，因此說真話是通常的情形.羅素曾給 出一個清晰的論證[19]：“除非假定說真話是一種通常 的情況，否則沒有人能夠學會說話：假設當你的孩 子看到一條狗時，你隨意地說出‘貓’、‘馬’或者‘鱷 魚’，那么當他看到的不是一條狗時，你無法通過能 通過說‘狗’來欺騙他.因此，說謊是一種派生的行為， 它預設了說真話是通常的規則.”在上述羅素的論證 里，可以清楚地看到，其預設了概念的指名與指物 等價，即假設概念的三指等價是真的必要條件.如果概念的指名、指心與指物功能等價，則可 以認為：認知智能、情感智能與行為智能等價.這意 味著一旦實現了認知智能，也就同時實現了情感智 能和行為智能.同時，人工智能的三條實現路徑—符 號 主 義 、 連 接 主 義 和 行 為 主 義 一 也 是 等 價 的.ChatGPT 和 GPT4 的出現，表明認知智能已經取 得了巨大的進步. 如果概念的三指等價，那么認知 智能的巨大進步預示著情感智能和行為智能將取得 同樣的巨大進步.從這個角度看，實現 AGI 似乎也有 可能性.然而，烏卡謝維茨悖論告訴我們概念三指等價 在邏輯上并不永遠成立：它內蘊矛盾.Tarski 的真定 義實際上等價于如下命題：概念的指名功能為真當 且僅當概念的指物功能為真.顯然，概念的經典表示 也預設了 Tarski 的真定義. 仔細分析烏卡謝維茨悖論 的邏輯推理，可以發現 α 假設與 β 假設都預設了概 念的指名功能為真與概念的指物功能為真等價，這 必然導致悖論.實際上，在概念的三指等價條件下， 針對包含算術系統的邏輯系統，哥德爾證明了不完 全性定理，而Tarski得到了著名的真之不可定義定理. 這些都說明在復雜一點的符號系統內部，不可能解 決 何 為 真 何 為 假 的 問 題 . 因 此 ， 從 理 論 上 講 ， ChatGPT 和 GPT4 同樣無法解決真假問題.因此，我 們必須放棄概念的三指等價假設.一旦放棄了這個假 設，就會發現認知智能、情感智能與行為智能是不 可能等價的.實際上，現實生活中，這三種智能從未 等價過.

4 AI 的未來

很多人認為 ChatGPT 已經開啟了第四次技術革 命.面對這種尺度的變革，我們很難在早期準確預測未來的發展.在這里，我們僅從中短期技術趨勢和長 期發展路徑兩個方面，來探討在當前階段我們對這 一技術的理解.

4.1 中短期技術趨勢

OpenAI 發明 ChatGPT 對于人工智能領域的影響， 可以類比哥倫布發現了美洲大陸.在哥倫布發現美洲 之前，探險家們一直渴望著探索新大陸，并嘗試使 用各種方法去尋找它.然而，即使是經驗非常豐富的 探險家，也并不確定新大陸是否真實存在，以及哪 種航海方法更為有效.哥倫布的成功不僅堅定了后來 探險家們的信心，更在一定階段內統一了尋找新大 陸的方法：在新的突破性技術出現以前，看似簡陋 的帆船和羅盤已經足以帶領人們到達目的地. 同樣地，ChatGPT 的誕生為人工智能領域注入 了信心并指明了發展方向，展示了“大力出奇跡” 的可能：通過不斷擴大神經網絡的模型規模和增加 數據量，可以在 AI 的道路上取得實質性的進展.在這 一目標和技術路線的共識下，我們從拓展應用、克 服局限和探索理論 3 個方面探討人工智能領域中短 期的可能技術趨勢.

4.1.1 拓展應用

**1) 垂直化. **ChatGPT 發布初期，人們嘗試在提示 詞中注入角色信息以增強垂直領域對話質量.為克服 提示詞 token 數量限制以融合領域語料，有工作提出 基于LangChain框架，將領域文檔切片后分布式輸入. 但這種做法存在私域數據泄露風險，解決思路之一 是利用 ChatGPT 控制和調用其他領域模型來提高垂 直化能力.此外，MIT 最近提出保護隱私的遷移學習 框架 Offsite-Tuning[20]，可在不訪問完整模型的前提 下，在下游領域數據上微調數十億級參數的基礎模 型.對于需要構建領域模型的場景，在不泄露基礎模 型和領域數據的情況下，實現對通用基礎模型的領 域微調非常重要.

2) 個性化. 個性化可視為垂直化的極致，針對個 人需求和偏好的個性化微調模型能夠提供更精確的 服務.典型的應用場景包括個性化推薦系統、個性化 教育輔導、個人 AI 助理等.微軟于 2023 年 4 月 4 日 開源了大模型協作項目 JARVIS，旨在大型語言模型 與機器學習社區的其他模型之間建立連接.JARVIS 這 個名字讓我們對鋼鐵俠中同名的 AI 助理產生更多聯 想.如果未來個性化模型可以通過多模的人機交互來 增強，實現與人類對世界的同步感知、學習和成長， 這樣的 AI 助手能夠更好地理解個性化需求、情感和 行為，協助我們實現更高效的工作、學習和生活方 式.在這個過程中，我們需要解決諸如中心平臺式 AI 如何保護個人數據以及在個體層面部署模型等問題.

3) 工程化. ChatGPT 的誕生某種程度上是工程 化的勝利，而它的成功無疑將進一步加速 AI 技術從 實驗室研究走向工程化和產業化.從必要性上看，隨 著數據量和計算資源需求的增加，工業界擁有更好 的條件主導大模型研發，相關實驗室研究也需調整 研究范式和目標以適應工程化需求.從可行性上看， ChatGPT 的成功讓工業界看到了 AI 技術在各行業落 地和價值實現的可能，眾多開源項目和成熟技術框 架的出現則為 AI 技術工程化提供了支持.從重要性上 看，工程化是一個學科發展和成熟的標志，AI 技術 的工程化有助于進一步優化和完善相關技術，激發 學術創新活力，推動 AI 領域的整體發展.

4.1.2 克服局限

1) 多模態增強. 多模態大模型的發展逐漸以語 言模型為主，將視覺、語音等多模態信息映射到語 義符號空間進行處理.近來的多模態解決方案更是提 出直接以大型語言模型為基座來拓展多模態能力， 如 Visual ChatGPT 和 MM-ReAct 以 ChatGPT 為中心 調度其他視覺模型、PaLM-E 固定語言模型訓練額外 的視覺編碼器等.然而，人類在進行多模態學習時并 不完全依賴于符號空間，大腦神經網絡在不同感官 區域間傳遞、整合信息，同時結合視覺形象、空間 關系等非符號性表示.由于多模態世界建模更為復雜， 以語言模型為主或是現有條件下的折衷.隨著多模態 數據量與模型參數繼續增加，期望在視覺、語音等 空間實現真正的多模態生成能力.如被細線系著的氣 球照片，無需映射至語義空間，模型即可預測線剪 斷后的情景.

2)人機交互增強. 有人將現在的 ChatGPT 比作 一個博覽群書的神童，卻從未親身體驗過這個世界. 經典的認知實驗發現，與被動旁觀的貓相比，具有 自由活動能力的貓可以通過主動與環境互動并獲得 反饋，從而更好地學習行為能力[21] .在一項微軟的最 近研究中，ChatGPT 已經能夠根據人類的要求自動 編寫代碼并指揮無人機協助完成任務[22] .通過進一步 考慮生物學特性、身體感知和行動的影響，有望實 現與真實物理世界的雙向交互，在自主行為反饋中 不斷提升自身智能水平.

3) 可信增強. 之前的討論已概括了 ChatGPT 當 前的局限和進行可信研究的必要性.可以預見，每個 大模型公司都將需要一個專注于可信的安全和倫理 團隊.這就不難理解 OpenAI 的系列舉措：GPT-4 在訓 練完成后經過半年的評估和修正才發布、用 30 余頁 技術報告介紹安全補丁 System Card，以及對模型評 估框架Evals的開源.即便如此，ChatGPT還是因隱私問題在意大利遭禁，并遭到包括馬斯克和沃茲尼亞 克等上千名知名人士的聯名叫停.值得注意的是，除 了安全、公平、可解釋、數據隱私等經典可信問題 外，ChatGPT 還會帶來模型回音壁等新問題.目前， 使用 ChatGPT 生成的對話數據進行訓練已經成為公 開的秘密，甚至出現了專門收集 ChatGPT 對話的網 站 ShareGPT.其實，在人類反饋強化 RLHF 后，就有 學者提出了基于智能模型反饋強的 RLAIF 框架[23] .隨 著模型規模繼續增加，可供訓練的自然數據面臨枯 竭，模型生成標注和反饋數據在模型間的回音壁效 應將加劇可信問題.此外，垂直化、個性化、多模態 等技術趨勢也會帶來新的可信挑戰.關于可信增強的 方案，考慮到傳統 AI 測試基準已不足以評估模型能 力，我們需要盡快構建新的可信測試基準：包括可 信 benchmark 數據集和可信測試框架.此外，為了準 確評估模型的應用成熟度，我們應該研制面向大型 語言模型的可信標準，以規范不同可信等級的模型 在相應的應用場景中使用.同時，結合工程化的發展 趨勢，我們可以參考軟件開發周期中的測試-調試閉 環，在基礎模型和下游模型兩個層面進行迭代優化， 以確保模型在大規模應用場景中的可信性.

4.1.3 探索理論

1) 預訓練模型機理研究.近年來，計算機視覺和自 然語言處理領域的技術框架逐漸趨同.學習范式從特 征工程、深度監督學習轉向自監督預訓練，模型結 構從 CNN、RNN 發展為 Transformer.針對自監督預 訓練和 Transformer 結構，仍有很多基礎性問題等待 研究，如自監督學習泛化理論、預訓練與微調的動 態平衡分析、Transformer 結構的\定性和魯棒性分析 等.對于 ChatGPT，除了探究在線糾錯、理解弦外之 音等原因未知的能力外，還需進一步研究任務涌現 能力與模型規模以及訓練數據量等的關系，為未來 模型設計和實際應用提供指導.

2) 學科交叉融合研究. ChatGPT 作為催化劑，不僅 將推動人工智能學科內部計算機視覺和自然語言處 理領域的進一步整合，而且將激發學術界和工業界 更加深入地探討和實踐人工智能和其他學科交叉融 合以及跨學科應用的可能性.以腦科學為例，結合腦 結構和人工神經網絡研究，我們將更有可能揭示智 能產生的本質原因.實際上，OpenAI 的 CEO Sam Altman 早就投資了可控核聚變公司 Helion 和生物科 技公司 Retro Biosciences.科技部近期啟動的 AI for Science 專項部署工作更是明確指出了將人工智能與 數學、物理、化學、天文等基礎學科緊密結合，重 點攻關藥物研發、基因研究、生物育種研發、新材 料研發等領域的關鍵問題.

4.2 長期發展路徑

我們沿著概念經典表示和人工智能分類的討論 來看 AI 未來可能的發展路徑.《左傳》里有句名言， “太上有立德，其次有立功，其次有立言”.顯然， 立德屬于心理世界，是情感智能的范疇；立功屬于 物理世界，是行為智能的范疇；立言屬于符號世界， 是認知智能的范疇.應該指出，這三個世界既互相獨 立又相互依存.比如，符號世界也必須通過心理世界 表示才能為人所感知，同樣符號世界也必須通過物 理世界顯現展現才能傳播.對于人而言，認知的物理 世界本身也屬于符號世界的示例，沒有成為符號示 例的物理對象難以被符號世界記錄，同樣，物理世 界也是通過心理世界被人感知.

三個世界各自都足夠復雜.在符號世界中，有自 然符號、模擬符號和象征符號.其中自然符號直接用 物理世界中的對象作為符號，比如學生用書包或其 它個人物品占座.此時的書包或個人物品就有了符號 意義，屬于典型的自然符號.圖像、視頻等是典型的 模擬符號.文字是最常見的象征符號.至于心理世界、 物理世界的復雜性，更是眾所周知.

為了計算方便，通常假定概念的三指等價，即 符號世界、心理世界、物理世界三界同構.比如，符 號主義的物理符號系統假設認定物理符號系統具有 產生智能行為的充要條件，這暗示了符號世界與物 理世界等價.連接主義認為只要能模擬大腦的思考功 能就足夠了，實際上它假設了心理世界（或其子集） 與物理世界等價.行為主義則認為只要能在物理世界 實現智能，不需要知識、表示和推理，只需要感知 和行動，這意味著符號世界、心理世界是物理世界 或其子集.但是，3 個世界并不同構.比如，喬姆斯基 曾經寫過一個著名的句子：“Colorless green ideas sleep furiously.”這個句子在符號世界可行，但在心 理世界和物理世界就失去了可行性.因此，3 個世界 同構假設僅是一種有用的簡化，并不總是成立。

由于 3 個世界并不同構，它們之間的關系相當復雜.這導致在 3 個世界中實現智能的難度也大為不 同.從共性上講，無論在哪個世界實現智能，首先必 須解決最基礎的感知問題，即輸入輸出問題.從難度 上看，感知智能、認知智能、情感智能、行為智能 依次增加.原因很簡單：感知智能保持了 3 個世界同 構假設.從認知智能開始，我們必須放棄 3 個世界同 構的假設，只能假設 3 個世界的某些受限子集同構. 認知智能旨在解決符號世界的智能問題，其實現主 要受制于符號世界的規律，這些規律可能是顯知識， 也可能是暗知識，但認知智能依然在符號世界內預 設概念的三指等價.情感智能主要解決心理世界的智 能問題，除了受制于心理世界外，也受制于情感所 在的物理個體，即情感必須在認知層面具備具身特 性.理論上，西施難以與青蛙共情，夏蟲不能與秋雁 同語.對于機器來說，情感智能是基于認知智能的， 情感智能也是依賴于機器內部的符號操作.僅有認知 智能并不能實現情感智能，情感智能的實現難度髙 于認知智能，情感智能預設心理世界內的概念三指 等價.行為智能主要解決物理世界的智能問題，不但 受限于作為行為主體的自身物理條件，也受限于其 所處的物理環境，約束最多，因此實現難度最大.莫 拉維克悖論實際上是對行為智能實現難度最大的一 個簡單說明.對于行為智能來說，任一概念的三指等 價都需要檢驗，任一概念的三指等價都不能先驗預 設成立，這正是莫拉維克悖論背后隱藏的挑戰.圖 4 比較清楚地說明了概念的三指等價性從默認成立到 必須檢驗所對應的不同智能階段。

根據以上分析，人工智能的發展路徑可以預測 為：首先成熟的是感知智能，次之為認知智能，再 次為情感智能，最后是行為智能.這與人工智能目前 的現狀相符.當前，感知智能的問題已經大部分解決， 已經融入人們的日常生活.得益于 ChatGPT 等技術， 認知智能的問題已經初步解決，即將走入人們的生 活.情感智能的問題部分解決，受限可用，比如在三 界同構假設成立時，可以使用類 ChatGPT 技術.行為 智能的問題尚極具挑戰性，在目前的情況下可用性 受到嚴重限制，如在工廠等封閉場景下部分可用， 距離人們的日常生活需求尚遠.之所以在部分封閉場 景下行為智能能實現，原因即在于此時對應的相關 概念可以保證其三指等價.

粗略地說，感知智能是人工智能中的基礎智能， 可視為人工智能的 1.0 階段.認知智能是人工智能的 2.0 階段.情感智能則為人工智能的 3.0 階段.行為智能 可以看作是人工智能的 4.0 階段.目前的人工智能發 展已經進入了 AI2.0 時代，未來的 AI3.0 和 4.0 還有待努力.

5 ChatGPT的影響

人工智能發展至今，邁入認知智能時代，確實 取得了重大進步.雖然離 AI3.0 和 4.0 距離尚遠，但依 然將對我們的生活產生重要影響： 1）生成式 AI 的成功提醒我們，符號世界、心 理世界、物理世界三界同構假設不是恒真.今后，各 種符號的證據力量需要檢測，不能預設為真. 這不僅 大幅提升認知成本，還考驗認知能力.隨著類似 ChatGPT 工具的普及，它可能代表認知的最低水準.

2）每次技術進步，都對教育提出了更高的要求， 這次也不例外. ChatGPT 展現出的認知水平要求人們 更注重提出問題和獨立判斷的能力.鑒于符號世界的 人類普適性，教育尤其是高等教育需要提前布局.

3）ChatGPT 表明認知智能已可用，但依然不可 能通過原始的圖靈測試.這表明圖靈測試是有啟發性 的思想實驗，但不是衡量智能的實踐標準.

4）ChatGPT 的成功為國內人工智能學術界同時 帶來機遇與挑戰.機遇包括提高學界對相關問題的理 解，例如任務的主觀性，以往的多任務可能在新視 角下視為單任務；同時，全社會對人工智能潛在能 力的直觀體驗和認可得到提升，將極大推動相關產 業的發展.然而，挑戰也不容忽視：應用研究方面， 社會對技術的期待值提高，實效性和實用性至關重 要；理論研究方面，技術已領先于理論，亟需加強 理論研究.

5）類 ChatGPT 技術的大規模應用可能導致意識 形態等方面的信息繭房效應. 特別是類 ChatGPT 是中 心化的 AI 平臺，容易使人們在獲取信息時只接觸到 特定內容和片面觀點，這一方面會加劇社會分化， 另一方面會降低觀點多樣性，阻礙創新思維的產生， 為社會帶來潛在危害.

6）大模型對計算量的巨大需求可能會加劇全球 能源危機，并對環境產生不良影響.我們期望 AI for science 通過加速科學發現，更迅速地找到可持續能 源解決方案和新的節能技術，從而盡量降低這些負 面影響.

7）ChatGPT 在提高生產力方面潛力巨大.通過自 動化處理一些繁瑣的、重復性的任務，它可以解放 人們的時間和精力，讓人們關注于更有價值、更具 創造力的工作，進一步推動社會創新和發展.

參 考 文 獻

[1] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transferlearning with a unified text-to-text transformer[J]. The Journal of Machine Learning Research. 2020, 21(1):5485-5551

[2] Zhou Y, Muresanu AI, Han Z, et al. Large language models are human-level prompt engineers[OL]. arXiv preprint arXiv:2211.01910. 2022

[3] Wei J, Tay Y, Bommasani R, et al. Emergent abilities of large language models[OL]. arXiv preprint arXiv:2206.07682. 2022

[4] Polanyi M, Sen A. The tacit dimension[M]. Chicago, IL: University of Chicago Press，2009

[5] Wu C, Yin S, Qi W, et al. Visual chatgpt: Talking, drawing and editing with visual foundation models[OL]. arXiv preprint, arXiv:2303.04671. 2023

[6] Yang Z, Li L, Wang J, et al. MM-REACT: Prompting ChatGPT for Multimodal Reasoning and Action[OL]. arXiv preprint, arXiv:2303.11381. 2023

[7] Shen Y, Song K, Tan X, et al. HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace[OL]. arXiv preprint, arXiv:2303.17580, 2023

[8] Borji A. A categorical archive of chatgpt failures[OL]. arXiv preprint, arXiv:2302.03494. 2023

[9] Liu Y, Liu X, Chen H, et al. Does Debiasing Inevitably Degrade the Model Performance[OL]. arXiv preprint, arXiv:2211.07350. 2022

[10] Zhuo TY, Huang Y, Chen C, et al. Exploring ai ethics of chatgpt: A diagnostic analysis[OL]. arXiv preprint, arXiv:2301.12867. 2023

[11] Carlini N, Tramer F, Wallace E, et al. Extracting Training Data from Large Language Models[C] //Proc of USENIX Security Symp. Berkeley, CA : USENIX Association, 2021: 2633-2650

[12] Luft J, Ingham H. The Johari window, a graphic model of interpersonal awareness[C] //Proc of the Western Training Laboratory in Group Development. Los Angeles: University of California, Los Angeles, 1955, 246

[13] Gao L, Madaan A, Zhou S, et al. PAL: Program-aided Language Models[OL]. arXiv preprint, arXiv:2211.10435. 2022

[14] Yao Shunyu, Zhao J, Yu Dian, et al. ReAct: Synergizing reasoning and acting in language models [C] //Proc of the Int Conf on Learning Representations (ICLR). 2023[2023-04-10].

[15] Shinn N, Labash B, Gopinath A. Reflexion: An autonomous agent with dynamic memory and self-reflection[OL]. arXiv preprint, arXiv:2303.11366. 2023

[16] Ross W D. Aristotle on His Predecessors, Being the First Book of His Metaphysics [M] (1908): 110-113

[17] Tarski A. The semantic conception of truth: and the foundations of semantics[J]. Philosophy and Phenomenological Research. 1944,4(3):341- 376

[18] Yu Jian. Brilliance and Darkness: Turing Test[J]. Journal of Computer Research and Development, 2020, 57(5): 906-911（in Chinese） (于劍. 圖靈測試的明與暗[J]，計算機研究與發展，2020，57（5）：906-911)

[19] Russell B. An Inquiry into Meaning and Truth [M].Beijing: China Commerce and Trade Press,2012 (羅素. 意義與真理的探究[M]. 北京：商務出版社，2012)

[20] Xiao G, Lin J, Han S. Offsite-Tuning: Transfer Learning without Full Model[OL]. arXiv preprint, arXiv:2302.04870. 2023

[21] Held R, Hein A. Movement-produced stimulation in the development of visually guided behavior [J]. Journal of Comparative and Physiological Psychology, 1963, 56(5):872

[22] Vemprala S, Bonatti R, Bucker A, et al. Chatgpt for robotics: Design principles and model abilities.2023

[23] Bai Y, Kadavath S, Kundu S, et al. Constitutional AI: Harmlessness from AI Feedback[OL]. arXiv preprint, arXiv:2212.08073. 2022

關于ChatGPT的一切，讀這篇論文就行了！

OpenAI最近發布了GPT-4(又名ChatGPT plus)，這被證明是生成式AI (GAI)的一小步，但卻是通用人工智能(AGI)的一大步。自2022年11月正式發布以來，ChatGPT憑借媒體的廣泛報道迅速吸引了眾多用戶。這種前所未有的關注也促使眾多研究者從各個方面對ChatGPT進行研究。據谷歌scholar統計，有500多篇文章的標題中有ChatGPT或在摘要中提到它。考慮到這一點，迫切需要進行調研，我們的工作填補了這一空白。首先對ChatGPT的底層技術、應用以及面臨的挑戰進行了全面的綜述。對ChatGPT如何演變為實現通用AIGC(即AI生成內容)的前景進行了展望，這將是AGI發展的一個重要里程碑。

1. 引言

過去幾年見證了大量生成式AI (AIGC，又稱AI生成內容)工具的出現[73,135,141]，這表明AI已經進入了一個創造而不是純粹理解內容的新時代。關于生成式AI (AIGC)的完整調查，讀者可以參考[214]。在這些AIGC工具中，2022年11月發布的ChatGPT引起了前所未有的關注。它吸引了眾多用戶，月活躍用戶在短短兩個月內就突破了1億，打破了其他社交產品的用戶增長記錄[118]。ChatGPT是由OpenAI開發的，它最初是一個非營利性研究實驗室，使命是構建安全有益的人工通用智能(AGI)。OpenAI在2020年宣布GPT-3后，逐漸被公認為世界領先的AI實驗室。最近，它發布了GPT-4，這可以被視為生成AI的一小步，但對于AGI來說是一大步。

由于其令人印象深刻的語言理解能力，許多新聞文章提供了廣泛的報道和介紹，舉幾個例子，BBC Science Focus [69]， BBC news [39]， CNN Business [79]， Bloomberg news[157]。谷歌管理層針對ChatGPT的威脅發布了“紅色警報”，暗示ChatGPT對公司，尤其是其搜索服務構成了重大威脅。在微軟將ChatGPT引入必應(Bing)搜索服務之后，這種危險似乎更難被忽視。股價的變化也反映出微軟相信ChatGPT可能會幫助必應與谷歌搜索競爭。這種對ChatGPT前所未有的關注，也促使眾多研究人員從各個方面對這個有趣的AIGC工具進行研究[149,163]。根據我們在谷歌scholar上的文獻綜述，不少于500篇文章在標題中包含ChatGPT或在摘要中提到這個病毒式的術語。如果沒有一個完整的調查，讀者很難掌握ChatGPT的進展。我們的全面綜述及時提供了對ChatGPT的初步了解。

由于本次綜述的主題可以看作是一個商業工具，因此我們首先介紹了開發ChatGPT的公司OpenAI的背景。此外，本綜述還對ChatGPT的功能進行了詳細的討論。在背景介紹之后，本工作總結了ChatGPT背后的技術。具體來說，我們介紹了它的兩個核心技術:Transformer架構和自回歸修飾，在此基礎上，我們給出了大型語言模型GPT從v1到v4的技術路徑[18,122,136,137]。強調了突出的應用和相關的挑戰，如技術限制、濫用、倫理和監管。最后，我們對ChatGPT未來如何演變為通用AIGC以實現AGI的最終目標進行了展望，從而總結了本調查。我們工作的結構化概述如圖1所示。

2 ChatGPT概述

首先，我們提供了ChatGPT的背景和相應的組織，即旨在構建人工通用智能(AGI)的OpenAI。期望AGI能夠解決人類層面的問題以及超越人類層面的問題，前提是建立安全、可信、有益于我們社會的系統。

2.1 OpenAI

OpenAI是一個研究實驗室，由一組致力于構建安全和有益AGI[50]的研究人員和工程師組成。它成立于2015年12月11日，由一群備受矚目的科技高管組成，包括特斯拉CEO Elon Musk, SpaceX總裁Gwynne Shotwell, LinkedIn聯合創始人Reid Hoffman，以及風險投資家Peter Thiel和Sam Altman[78]。在這一小節中，我們將討論OpenAI的早期發展，它是如何成為一個營利性組織的，以及它對AI領域的貢獻。 OpenAI最初是一個非營利組織[24]，其研究主要集中在深度學習和強化學習、自然語言處理、機器人等方面。在發表了幾篇有影響力的論文[123]并開發了一些最復雜的人工智能模型后，該公司很快就因其前沿研究而建立了聲譽。然而，為了創造能夠帶來資金的人工智能技術，OpenAI在2019年被重組為營利性公司[31]。盡管如此，該公司在為其技術創建商業應用的同時，繼續開發合乎道德和安全的人工智能。此外，OpenAI還與幾家頂級科技公司合作，包括微軟、亞馬遜和IBM。今年早些時候，微軟透露了與OpenAI的一項為期數年、價值數十億美元的新合資項目[21]。雖然微軟沒有給出確切的投資金額，但Semafor聲稱微軟正在討論花費100億美元[101]。據《華爾街日報》(the Wall Street Journal)報道，OpenAI的市值約為290億美元。

從大型語言模型到開源軟件，OpenAI顯著推動了人工智能領域的發展。首先，OpenAI開發了一些迄今為止最強大的語言模型，包括GPT-3[95]，該模型因其在許多上下文中產生連貫和現實的文本的能力而獲得了廣泛的贊譽。OpenAI還開展了強化學習的研究，這是人工智能的一個分支，旨在訓練機器人根據獎懲做出選擇。近端策略優化(PPO)[71]、軟Actor-Critic (SAC)[189]和可信區域策略優化(TRPO)[181]只是OpenAI迄今為止創建的一些強化學習算法。這些算法已被用于訓練智能體執行各種任務，包括玩游戲和控制機器人。到目前為止，OpenAI已經創建了許多軟件工具來協助其研究工作，包括OpenAI Gym[76]，這是一個用于創建和對比強化學習算法的工具集。在硬件方面，OpenAI投資了幾個高性能處理系統，包括NVIDIA的DGX-1和DGX-2系統[150]。這些系統是在考慮深度學習的情況下創建的，能夠提供構建復雜AI模型所需的處理能力。除了ChatGPT, OpenAI開發的其他流行工具包括DALL-E[141]和Whisper [135]， Codex[25]。圖2顯示了OpenAI產品發展歷程。

ChatGPT使用交互形式對用戶[1]提出的問題提供詳細的、類人的回答。ChatGPT能夠根據提示輸入文本生成高質量的文本輸出。基于GPT-4的ChatGPT plus還可以將圖像作為輸入。除了聊天機器人的基本角色外，ChatGPT還可以成功地處理各種文本到文本的任務，如文本摘要[45]、文本補全、文本分類[86]、情感[221]分析[112]、釋義[104]、翻譯[35]等。

ChatGPT已經成為搜索引擎領域的有力競爭者。正如我們在引言部分提到的，谷歌提供了世界上最優秀的搜索引擎，認為ChatGPT是對其壟斷地位的挑戰[188]。值得注意的是，微軟已經將ChatGPT集成到其Bing搜索引擎中，允許用戶接收更多有創意的回復[174]。我們可以看到搜索引擎和ChatGPT之間的明顯區別。即搜索引擎幫助用戶找到他們想要的信息，而ChatGPT開發雙向對話的回復，為用戶提供更好的體驗。其他公司正在開發類似的聊天機器人產品，如谷歌的LamMDA和Meta的BlenderBot。與ChatGPT不同，谷歌于2021年開發的LaMDA積極參與與用戶的對話，導致輸出文本中出現種族主義、性別歧視和其他形式的偏見[119]。

BlenderBot是Meta的聊天機器人，由于開發人員對其輸出材料設置了更嚴格的限制[130]，用戶的反饋相對枯燥。ChatGPT似乎在某種程度上平衡了類人的輸出和偏差，允許更令人興奮的反應。值得注意的是，除了比普通ChatGPT更高效和具有更高的最大token限制外，由GPT-4支持的ChatGPT還可以創建多種方言語言和情感反應，并減少不良結果，從而減少偏差[169]。文獻[96]指出，可以通過使用多任務學習和增強訓練數據質量來進一步提高ChatGPT的建模能力。

3 ChatGPT背后的技術

3.1 兩項核心技術

骨干架構:Transformer。在Transformer出現之前[182]，RNN是語言理解的主要骨干架構，而注意力是模型性能的關鍵組成部分。與之前只將注意力作為支持組件的工作相比，谷歌團隊在他們的工作標題中聲稱:“attention is All You Need”[182]聲稱，自從谷歌在2017年發布了一篇論文，即“attention is All You Need”[182]以來，對Transformer骨干結構的研究和使用在深度學習社區中經歷了爆炸性的增長。本文總結了Transformer的工作原理，重點關注其核心組件self-attention。自注意力的基本原理假設，給定輸入文本，該機制能夠為單個單詞分配不同的權重，從而促進捕獲序列中的依賴關系和上下文關系。序列中的每個元素都具有其唯一的表示形式。為了計算序列中每個元素與其他元素的關系，需要計算輸入序列的Q (query)、K (key)和V (value)矩陣。這些矩陣是由輸入序列的線性變換推導出來的。通常，查詢矩陣對應于當前元素，鍵矩陣代表其他元素，值矩陣封裝了要聚合的信息。通過計算查詢與關鍵矩陣之間的相似度，確定當前元素與其他元素之間的關聯權重。這通常通過點積操作來實現。隨后，對相似度進行歸一化，以確保所有關聯的總和等于1，這通常通過softmax函數執行。然后將歸一化的權重應用于相應的值，然后對這些加權值進行聚合。這個過程產生了一種新的表示，包括當前單詞和文本中其他單詞之間的關聯信息。上述過程可以正式表述如下:

Transformer技術已經成為近期大型語言模型發展的重要基礎，如BERT[41]和GPT[18, 122, 136, 137]系列也是基于Transformer技術的模型。還有一系列工作將Transformer從語言擴展到視覺，即計算機視覺[42,63,100]，這表明Transformer已經成為NLP和計算機視覺的統一骨干架構。 生成式預訓練:自回歸。對于模型預訓練[64,212,216-218]，有多種流行的生成式建模方法，包括基于能量的模型[56,159,160,186]，變分自編碼器[5,84,124]，GAN[17, 54, 198]，擴散模型[20,33,213,215,220]等。在這里，我們主要總結自回歸建模方法[11,90,90,177,178]，因為它們是GPT模型的基礎[18,122,136,137]。自回歸模型是統計分析中處理時間序列數據的一種重要方法。這些模型指定輸出變量與前面的值線性相關。在語言建模的上下文中[18,122,136,137]，自回歸模型根據前一個單詞預測后一個單詞，或根據下面的單詞預測最后一個可能的單詞。該模型學習序列數據的聯合分布，使用之前的時間步長作為輸入來預測序列中的每個變量。自回歸模型假設聯合分布????(??)可以分解為條件分布的乘積，如下所示:

雖然兩者都依賴于之前的時間步長，但自回歸模型與循環神經網絡(RNN)架構的區別在于，前者使用之前的時間步長作為輸入，而不是RNN中發現的隱藏狀態。本質上，自回歸模型可以被概念為一個前饋網絡，其中包含所有之前的時間步長變量作為輸入。早期的工作使用不同的函數對離散數據進行建模，以估計條件分布，例如全可見Sigmoid置信網絡(FVSBN)[51]中的邏輯回歸和神經自回歸分布估計(NADE)中的一個隱層神經網絡[90]。隨后的研究擴展到對連續變量建模[177,178]。自回歸方法已廣泛應用于其他領域，具有代表性的作品有:PixelCNN[180]和PixelCNN++[153])，音頻生成(WaveNet[179])。

3.2 技術路徑

ChatGPT是在一系列GPT模型的基礎上發展起來的，這是自然語言處理領域的一項重大成就。圖6概述了這一開發過程。在下面，我們總結了GPT的關鍵組成部分以及更新后的GPT的主要變化。

GPT-1。在只有解碼器的情況下，GPT-1采用了12層的Transformer，具有117M的參數[136]。圖4展示了GPT-1的概述以及如何將其用于各種下游任務。在包含獨特未出版書籍的大型BooksCorpus數據集上進行訓練，GPT-1能夠掌握長程依賴關系的上下文。一般任務無關的GPT模型在12個任務中的9個中優于為特定任務訓練的模型，包括自然語言推理、問答、語義相似性和文本分類[136]。觀察到GPT-1在各種零樣本任務上表現良好，表明了高水平的泛化能力。在GPT-2發布之前，GPT-1已經發展成為用于各種NLP任務的強大模型。

GPT-2。作為GPT-1的繼承，GPT-2由OpenAI于2019年推出，專注于在沒有明確監督的情況下學習NLP任務。與GPT-1類似，GPT-2基于僅解碼器的Transformer模型。然而，GPT-2的模型架構和實現已經開發出來，具有15億個參數和800萬個網頁的訓練數據集，這是其前身GPT-1的10倍以上[137]。在零樣本設置下，GPT-2在測試的8個語言建模數據集中的7個上取得了最先進的結果，其中7個數據集的任務包括對不同類別單詞的性能識別、模型捕捉長期依賴關系的能力、常識推理、閱讀理解、摘要和翻譯[137]。然而，GPT-2在問答任務上仍然表現不佳，這表明無監督模型GPT-2的能力有待提高[137]。

GPT-3。GPT-3的基礎是Transformer架構，特別是GPT-2架構。與具有15億個參數的GPT-2相比，GPT-3具有1750億個參數、96個注意力層和3.2 M的批處理大小，大小[18]顯著增加。GPT-3在各種各樣的在線內容上進行訓練，包括小說、論文和網站，使用語言建模，這是一種無監督學習，模型試圖根據前面的單詞猜測短語中的下一個單詞。完成后，GPT-3可以使用監督學習在特定任務上進行微調，其中使用特定任務的較小數據集來訓練模型，如文本補全或語言翻譯。由于OpenAI的API[36]，開發人員可以將GPT-3模型用于許多應用程序，包括聊天機器人、語言翻譯和內容生產。API根據任務的規模和復雜程度提供不同的訪問級別。與其他性能高度依賴微調的語言模型相比，GPT-3可以執行許多任務(如語言翻譯)，而無需任何此類微調、梯度或參數更新，使該模型與任務無關[105]。

GPT-3.5。GPT-3.5是廣泛流行的GPT-3的變體，ChatGPT是GPT-3.5的微調版本。在GPT-3模型之上，GPT-3.5具有額外的微調程序:有監督的微調和人工反饋的強化學習(RLHF)[203]，如圖5所示，其中機器學習算法接收用戶反饋并使用它們來對齊模型。RLHF用于克服傳統無監督和有監督學習只能從無標記或有標記數據中學習的局限性。人工反饋可以采取不同的形式，包括懲罰或獎勵模型的行為，為未標記的數據分配標簽，或更改模型參數。通過將人工反饋納入訓練過程，GPT-3.5的可用性顯著提高。

GPT-4。2023年3月14日，OpenAI發布了GPT-4[122]，這是GPT系列的第四部分。GPT-4是一個大型多模態模型，能夠將文本和圖像作為輸入，并生成文本作為輸出。該模型在幾個專業和職業標準上提供了人類水平的性能，但在現實世界中，它仍然比人類的能力弱得多。例如，GPT-4的虛擬律師考試成績位于測試參與者的前10%，而GPT-3.5的分數位于最低的10%[77]。GPT-4遵循人類意圖的能力明顯優于早期版本[125]。在提供給ChatGPT和OpenAI API的樣本中，5214個問題中，GPT-4的答案在70.2%的情況下優于GPT-3.5。在絕大多數預訓練數據于2021年9月結束后，GPT-4通常對發生了什么缺乏意識，也沒有從經驗中學習。它偶爾會表現出基本的邏輯錯誤，這些錯誤似乎與它在各個領域的技能不一致，或者當從用戶那里接受錯誤的聲明時，它可能過度信任用戶[122]。它可能會像人們一樣與復雜的問題作斗爭，例如生成包含安全缺陷的代碼[122]。表2總結了從v1到v4的GPT模型參數和訓練數據集。

4 ChatGPT的應用

4.1 科技寫作

ChatGPT以其強大的內容生成能力而被廣泛認可，對學術領域的寫作產生了重大影響。許多現有的工作已經測試了ChatGPT如何應用于科學寫作，包括頭腦風暴、文獻綜述、數據分析、直接內容生成、語法檢查以及作為學術評審員。

頭腦風暴。頭腦風暴是獲得初始想法的基本方法，是高質量科學研究的先決條件。ChatGPT可以在頭腦風暴中發揮各種作用，從激發創造力[57,139]產生新想法，到提供建議[98,168]擴展現有想法。ChatGPT可以幫助用戶進行發散性和創造性思維[139]。此外，一些研究以問答的形式探討了ChatGPT對未來護理研究的見解，可以分析未來技術發展對護理實踐的影響，并為護士、患者和醫療保健系統[57]提供有價值的見解。此外，ChatGPT還表現出多角度“思考”的能力，它可以從醫療系統、社會經濟、個人健康行為等多個維度分析和反思COVID-19大流行后超額死亡的影響[168]。評估ChatGPT是否能為特定領域的研究人員提供有用的建議。作者在[98]中測試了它在臨床決策支持方面的能力，并評估了它與人工建議的差異。測試結果表明，與人類思維不同，ChatGPT生成的建議具有獨特的視角，其生成的建議具有高度的可理解性和相關性，在科學研究中具有重要價值。

文獻綜述。一篇全面的文獻綜述需要涵蓋所有的相關研究，這會耗費研究者太多的時間和精力。例如，基于人工智能的科學文獻研究工具語義學者搜索引擎(Semantic Scholar search engine)已經索引了2億多份學術出版物。因此，找到相關的研究論文并從中提取關鍵見解幾乎是大海撈針。幸運的是，ChatGPT作為一個人工智能驅動的研究閱讀工具，可以幫助我們瀏覽大量的論文并理解其內容。在實際使用中，我們可以給ChatGPT一個主題，然后它可以幫助我們查找相關文獻。在討論ChatGPT處理文獻綜述的能力之前，我們回顧了一個類似的AI工具SciSpace Copilot，它可以幫助研究人員快速瀏覽和理解論文[152]。具體來說，它可以為科學文本和數學提供解釋，包括后續問題，以多種語言提供更詳細的答案，促進更好的閱讀和理解文本。相比之下，ChatGPT作為一種通用語言模型，不僅具有SciSpace Copilot的所有功能，而且可以廣泛應用于各種自然語言處理場景[152]。為了總結所選領域的相關工作，文獻綜述是必不可少的。作為一項探索性任務，他們選擇了“醫療領域的數字孿生”主題，并使用關鍵詞“醫療領域的數字孿生”匯編了過去三年(2020、2021和2022)從谷歌學者搜索結果中獲得的論文摘要。然后用ChatGPT對這些摘要進行轉述，生成的結果具有良好的[7]性能。然而，ChatGPT在這項任務中的應用還處于起步階段。[59]的作者要求ChatGPT提供10篇醫學領域DOIs的開創性學術文章。不幸的是，在進行了5次測試之后，結果顯示，在提供的50個doi中，只有8個存在，并且已經正確地發布。雖然ChatGPT在文獻綜述方面的能力還比較薄弱，但我們相信在不久的將來，ChatGPT將被廣泛用于文獻綜述，進一步提高研究人員的效率，使他們能夠將時間集中在重點研究上。

數據分析。科學數據需要在分析之前進行清理和組織，這通常需要花費研究人員幾天甚至幾個月的時間，最重要的是，在某些情況下，必須學習使用Python或r等編程語言。使用ChatGPT進行數據處理可以改變研究前景。例如，如[102]所示，ChatGPT完成了對一個模擬數據集的數據分析任務，該數據集包含10萬名年齡和風險分布不同的醫療工作者，以幫助確定疫苗的有效性，這大大加快了研究過程[102]。[152]中討論了另一個類似的用于數據分析的人工智能工具，其中基于人工智能的電子表格機器人可以將自然語言指令轉換為電子表格公式。此外，像Olli這樣的平臺還可以可視化數據，用戶只需要簡單地描述所需的內容，然后他們可以得到人工智能創建的折線圖、柱狀圖和散點圖。考慮到ChatGPT是目前為止最強大的人工智能工具，我們相信這些功能也可以在ChatGPT中以更智能的方式實現。

內容生成。許多工作嘗試使用ChatGPT為他們的文章生成內容[3,146]。例如，[3]利用ChatGPT輔助撰寫兩種疾病的發病機制的醫學報告。具體來說，ChatGPT提供了三方面關于同型半胱氨酸血癥相關骨質疏松的機制，所有這些都被證明是正確的。然而，當涉及到生成信息的參考文獻時，ChatGPT所提到的論文并不存在。[223]描述了一項使用ChatGPT編寫催化綜述文章的研究，主題設置為CO2加氫生成高級醇。chatgpt生成的內容包括論文的必要部分，但缺乏對反應機制的介紹，這對該主題至關重要。這篇文章的內容包含了大量有用的信息，但缺少具體的細節，存在一定的錯誤。此外，ChatGPT可以幫助準備稿件，但生成的結果與實際發表的內容相差較大。一個可能的原因是ChatGPT的關鍵詞與人工生成的文本差異很大，這就需要用戶對生成的內容進行進一步的編輯[88]。ChatGPT還被用于生成特定領域的綜述文章，如健康領域[7]，這表明學者可以專注于核心研究，而將創造性較低的部分留給AI工具。然而，考慮到人工生成的內容和ChatGPT生成的內容之間的風格差異，[7,88]建議不要完全依賴ChatGPT。利用ChatGPT作為助手來幫助我們完成寫作，而不是僅僅依賴它。

校對。在ChatGPT出現之前，有很多語法檢查工具。一些工作[82,109,197]對語法和拼寫校對進行了測試，表明ChatGPT提供了比其他AI工具更好的用戶體驗。例如，ChatGPT可以自動修復任何標點和語法錯誤，以提高寫作質量[197]。此外，該研究還研究了ChatGPT如何超越幫助用戶檢查語法的范圍，進一步生成關于文檔統計、詞匯統計等報告，改變作品的語言，使其適合任何年齡的人，甚至將其改編為故事[82]。另一個次要但值得注意的是，到目前為止，Grammarly的高級版本Grammarly Premium需要用戶每月支付30美元的費用，這比ChatGPT Plus每月20美元的費用要貴得多。此外，ChatGPT已經與其他基于人工智能的語法檢查器進行了比較，包括QuillBot、DeepL、DeepL Write和谷歌Docs。實驗結果表明，ChatGPT在錯誤檢測數量方面表現最好。雖然ChatGPT在校對時存在一些可用性問題，例如比DeepL慢10倍以上，并且缺乏突出建議或為特定單詞或短語提供替代選項的能力[109]，但應該注意的是，語法檢查只是冰山一角。ChatGPT在改進語言、重構文本和寫作的其他方面也很有價值。

學術評審。研究論文的同行評議是傳播新思想的一個關鍵過程，對科學進步有重大影響。然而，產生的研究論文的數量給人類評審者帶來了挑戰。[161]對ChatGPT用于文獻綜述的潛力進行了研究。具體來說，ChatGPT能夠對輸入的學術論文進行分析，然后從論文的概述、優缺點、清晰度、質量、新穎性、可重復性等方面對論文進行評價。然后，將論文生成的評論輸入ChatGPT進行情感分析。在此之后，可以對接受評審的論文做出決定。

4.2 教育領域

ChatGPT具有產生類似人類的響應的能力，已經被許多研究工作所研究，以探討它給教育領域帶來的影響。在這里，我們從兩個角度對它們進行總結:教/學和學科。

教與學。在典型的課堂環境中，教師是知識的來源，而學生是知識的接受者。在課堂之外，學生經常被要求完成老師設計的作業。ChatGPT可以顯著改變教師和學生之間的交互方式[10,148,209,211]。

各種教育科目的ChatGPT。在現代教育中，有各種各樣的學科，包括經濟學、法學、物理學、數據科學、數學、體育、心理學、工程學和媒體教育等。盡管ChatGPT并不是專門為成為某一特定主題的大師而設計的，但在眾多的作品中已經證明，ChatGPT對某一主題的理解還不錯，有時甚至超越了人類的水平。為了方便討論，我們將主題分為STEM(科學、技術、工程、數學)和非STEM(包括經濟學、法學、心理學等)。

4.3 醫療領域

醫學知識評估。ChatGPT在醫療領域的能力已經在一些工作中得到了評估[43,53,72,205]。疾病診斷和治療。雖然一些機器學習算法已被應用于輔助疾病分析，但大多數情況下主要局限于與單任務相關的圖像判讀。在這一部分，我們討論ChatGPT在臨床決策支持中的能力。

5 挑戰

5.1 技術局限

盡管ChatGPT功能強大，但它也有自己的缺點，這也是OpenAI團隊官方認可的。為了證明其局限性，已經進行了大量的工作[15,16,26,60,96,151,226]，總結如下:

不正確。ChatGPT有時會生成看似合理的錯誤或無意義的答案，就像一本正經地胡說八道[16]。也就是說，ChatGPT提供的答案并不總是可靠的[15,16,226]。正如OpenAI所認識到的，這個問題是具有挑戰性的，一個主要原因是目前的模型訓練依賴于監督訓練和強化學習，以使語言模型與指令保持一致。因此，模型模仿人類演示者聽起來很有道理，但往往以正確性為代價。事實錯誤相關的問題在ChatGPT plus版本中得到了緩解，但這個問題仍然存在[122]。

不合邏輯。在[16,60,151]中指出，ChatGPT的邏輯推理能力還有待提高。由于ChatGPT缺乏理性的人類思維，它既不能“思考”，也不能“推理”，因此未能通過圖靈測試[60]。ChatGPT僅僅是一個復雜的統計模型，無法理解自己或對方的話，也無法回答深入的問題[151]。此外，ChatGPT缺乏一個“世界模型”來進行空間、時間或物理推理，或預測和解釋人類的行為和心理過程[16]，在數學和算術方面也有局限，無法解決困難的數學問題或謎語，甚至可能在一些簡單的計算任務[16]中得到不準確的結果。

不一致。當用相同的提示輸入給模型喂食時，ChatGPT可以產生兩個不同的輸出，這表明ChatGPT具有不一致的局限性。此外，ChatGPT對輸入提示高度敏感，這激發了一群研究人員對提示工程的研究。一個好的提示可以提高系統綜述性文獻搜索的查詢效率[191]。利用關于軟件開發任務的有效目錄和指導等提示模式，可以進一步提高軟件開發任務自動化的效率[193,194]。盡管在為ChatGPT發現更好的提示方面取得了進展，但簡單地改變提示可以產生顯著不同的輸出這一事實，意味著ChatGPT需要提高其魯棒性。

無意識。ChatGPT不具備自我意識[16]，雖然它可以回答各種問題，生成看似相關連貫的文本，但它沒有意識，沒有自我意識，沒有情緒，也沒有任何主觀經驗。比如ChatGPT可以理解和創造幽默，但是它不能體驗情感或者主觀體驗[16]。關于自我意識，目前還沒有一個被廣泛接受的定義，也沒有可靠的測試方法。一些研究者建議從某些行為或活動模式推斷自我意識，而另一些人則認為這是一種主觀體驗，無法客觀地測量[16]。機器究竟是真正擁有自我意識，還是只能模擬自我意識，目前還不清楚。

6. 展望

在這個蓬勃發展的生成AI時代，有大量的AIGC工具用于各種生成任務，包括text-to- text [12, 75, 117, 138, 200]， text-to-image[106, 144, 166, 199, 219]，圖像描述[68,187,202]，text-to-speech[85, 145, 167]，語音識別[93,97,126,155,190]，視頻生成[66,108,116,201]，3D生成[67,114]等。盡管具有令人印象深刻的功能，但在[55]中指出，ChatGPT并不是生成式AI所需要的全部。從輸入輸出的角度來看，ChatGPT主要擅長文本到文本的任務。隨著底層語言模型從GPT-3.5進化到GPT-4，加號版ChatGPT在輸入端增加了模態。具體來說，它可以選擇性地將圖像作為輸入，但是，它仍然不能處理視頻或其他數據模態。在輸出端，GPT-4仍然局限于生成文本，這使得它與通用的AIGC工具相距甚遠。很多人都想知道下一代GPT可能會實現什么[8,19]。一個極有可能的情況是，ChatGPT可能會走向通用型AIGC，這將是實現人工通用智能(AGI)[19]的一個重要里程碑。

實現這樣的通用AIGC的一種天真的方式是，以并行的方式將各種AIGC工具集成到一個共享agent中。這種樸素方法的一個主要缺點是不同的AIGC任務之間沒有交互。在查閱了大量文章后，我們推測可能存在兩種將ChatGPT橋接并推向AGI的路線圖。因此，我們主張一個共同的景觀，實現多元化AIGC模式之間的互聯互通。

本次演講將涵蓋大型語言模型中的三個概念——縮放、涌現和推理。縮放是增加 LLMs 模型容量的關鍵因素，最開始 GPT-3 將模型參數增至 1750 億，隨后 PaLM 進一步將模型參數增至 5400 億。大規模參數對于涌現能力至關重要。縮放不僅針對模型大小，還與數據大小和總計算量有關。大型語言模型中的突現能力是在小型模型中不存在，但在大型模型中存在的能力。涌現能力的存在意味著進一步的擴展可能會導致語言模型具有更多的新能力。推理是機器學習長期以來面臨的挑戰的關鍵，例如從少數示例或抽象指令中學習。大型語言模型僅通過思維鏈提示就顯示出了令人印象深刻的推理能力，這鼓勵模型在給出最終答案之前生成中間推理步驟。

縮放是一個簡單的想法，具有挑戰性，但可以預見地使模型更好。(“縮放法”)

由于規模的擴大，大型語言模型獲得了小型模型中不存在的新能力。(“涌現能力”)

巧妙的提示引出了語言模型中的多步驟推理，解鎖了更多的新任務。(“提示工程”)

Jason Wei是谷歌Brain的高級研究科學家。他的工作圍繞大型語言模型的三個方面:指令微調、思維鏈提示和突發能力。他之前在谷歌的AI實習項目中工作，在此之前他畢業于達特茅斯學院。//www.jasonwei.net/

OpenAI 推出的 ChatGPT 對話模型掀起了新的 AI 熱潮，它面對多種多樣的問題對答如流，似乎已經打破了機器和人的邊界。這一工作的背后是大型語言模型 (Large Language Model，LLM) 生成領域的新訓練范式：來自普林斯頓博士生Ameet Deshpande講述《大型語言模型》技術細節，值得關注！ 在本次演講中，我們將介紹從人工反饋中強化學習(RLHF)的基礎知識，以及如何使用這種技術來實現最先進的ML工具，如ChatGPT。演講的大部分內容將是相互關聯的ML模型的概述，并涵蓋自然語言處理和RL的基礎知識，以便了解RLHF如何在大型語言模型上使用。最后將討論RLHF的開放問題。

ChatGPT 背后的“功臣”——人類反饋強化學習RLHF 技術詳解

**本文對OpenAI的ChatGPT[1]在機器人應用中的使用進行了實驗研究。**本文概述了一種策略，將prompt工程的設計原則和高級函數庫的創建相結合，使ChatGPT能夠適應不同的機器人任務、模擬器和形狀因素。重點評估了不同的提示工程技術和對話策略對執行各種類型的機器人任務的有效性。探討了ChatGPT使用自由形式對話、解析XML標簽和合成代碼的能力，以及使用特定任務的提示函數和通過對話進行閉環推理的能力。**本文研究涵蓋了機器人領域的一系列任務，從基本的邏輯、幾何和數學推理一直到復雜的領域，如空中導航、操縱和具身智能體。**ChatGPT可以有效地解決其中的幾個任務，同時允許用戶主要通過自然語言指令與之交互。此外，本文還介紹了一個名為PromptCraft的開源研究工具，其中包括一個研究人員可以協作上傳并投票的機器人應用程序的良好提示方案示例的平臺，以及一個集成ChatGPT的機器人模擬器示例，使用戶更容易開始使用ChatGPT機器人。

自然語言處理(NLP)的快速發展導致了大型語言模型(LLMs)的發展，如BERT[2]、GPT-3[3]和Codex[4]，這些模型正在對廣泛的應用程序進行革命。這些模型在文本生成、機器翻譯和代碼合成等各種任務中都取得了顯著的效果。這個模型集合的最新成員是OpenAI ChatGPT[1]，這是一個預訓練的生成文本模型，使用人類反饋進行了微調。與以前主要基于單個提示符操作的模型不同，ChatGPT通過對話提供了特別令人印象深刻的交互技能，結合了文本生成和代碼合成。我們在本文中的目標是研究ChatGPT的能力是否以及如何推廣到機器人領域。我們將ChatGPT的功能擴展到機器人領域，并使用語言直觀地控制了多個平臺，如機器人手臂、無人機和家庭助理機器人。

你有沒有想過用你自己的語言告訴機器人該做什么，就像你對人類做的那樣?如果只是告訴你的家庭機器人助手:“請把我的午餐熱一下”，然后讓它自己找到微波爐，這不是很神奇嗎?盡管語言是我們表達意圖最直觀的方式，但我們仍然嚴重依賴手寫代碼來控制機器人。我們的團隊一直在探索如何改變這一現實，并使用OpenAI的新AI語言模型ChatGPT使自然的人-機器人交互成為可能。

ChatGPT是一個在大量文本和人類交互語料庫上訓練的語言模型，它可以對各種各樣的提示和問題生成連貫且語法正確的回答。我們這項研究的目標是看看ChatGPT是否能超越文本思考，并對物理世界進行推理，以幫助機器人任務。我們希望幫助人們更容易與機器人互動，而不需要學習復雜的編程語言或機器人系統的細節。這里的關鍵挑戰是教ChatGPT如何解決問題，考慮物理定律，操作環境的上下文，以及機器人的物理行為如何改變世界的狀態。

近年來，在將語言納入機器人系統方面有不同的嘗試。這些工作主要集中在針對特定形式因素或場景使用語言token嵌入模型、LLM特征和多模態模型特征。應用范圍從視覺-語言導航[5,6]，基于語言的人機交互[7,8]和視覺-語言操作控制[9,10,11]。然而，盡管在機器人中使用LLMs有潛在的優勢，但大多數現有方法都受到嚴格的范圍和有限的功能集的限制，或其開環性質的限制，不允許從用戶反饋中進行流動交互和行為糾正。當被要求進行高層智能體規劃[12,13]或代碼生成[14,15]時，GPT-3、LaMDA和Codex等模型也在零樣本機器人場景中顯示出希望。這些早期的演示啟發我們研究ChatGPT，將其作為機器人領域的一個潛在的更多功能的工具，因為它結合了自然語言和代碼生成模型的優勢以及對話的靈活性。ChatGPT能夠參與自由形式的對話和捕獲長上下文，允許用戶以更自然的方式與模型交互，并靈活地進行行為矯正。

本文旨在展示ChatGPT在機器人應用中的潛力。我們概述了一個關鍵概念，它解鎖了用ChatGPT解決機器人應用程序的能力，這是創建一個高級函數庫。由于機器人是一個多樣化的領域，存在多種平臺、場景和工具，因此存在各種各樣的庫和api。我們創建了一個簡單的高級函數庫供ChatGPT處理，然后可以在后端鏈接到所選平臺的實際API，而不是要求LLM輸出特定于平臺或庫的代碼，這可能涉及大量的微調。因此，我們允許ChatGPT從自然對話框中解析用戶意圖，并將其轉換為高級函數調用的邏輯鏈。本文還概述了一些幫助ChatGPT解決機器人任務的提示工程指南。

事實證明，ChatGPT本身可以做很多事情，但它仍然需要一些幫助。我們的技術論文描述了一系列設計原則，可用于指導語言模型解決機器人任務。這些包括但不限于特殊的提示結構、高級API和通過文本的人工反饋。我們相信，我們的工作只是我們如何開發機器人系統的轉變的開始，我們希望激勵其他研究人員進入這個令人興奮的領域。繼續閱讀有關我們的方法和想法的更多技術細節。

當今機器人技術的挑戰，以及ChatGPT如何提供幫助

機器人系統與純文本應用不同，需要對現實世界的物理、環境上下文和執行物理動作的能力有深刻的理解。一個生成式機器人模型需要有一個強大的常識知識和一個復雜的世界模型，以及與用戶交互的能力，以物理上可行的方式解釋和執行命令，在現實世界中有意義。這些挑戰超出了語言模型的原始范圍，因為它們不僅必須理解給定文本的含義，還必須將意圖翻譯為物理動作的邏輯序列。

當前的機器人管道從工程師或技術用戶開始，他們需要將任務需求轉換為系統的代碼。工程師在循環中，這意味著他們需要編寫新的代碼和規范來糾正機器人的行為。總的來說，這個過程是緩慢的(用戶需要編寫低級代碼)，昂貴的(需要具有深度機器人知識的高技能用戶)，并且低效的(需要多次交互才能讓事情正常工作)。

ChatGPT開啟了一種新的機器人范式，并允許(潛在的非技術)用戶參與循環，在監視機器人性能的同時向大型語言模型(LLM)提供高級反饋。通過遵循我們的設計原則，ChatGPT可以為機器人場景生成代碼。在沒有任何微調的情況下，我們利用LLM的知識來控制不同的機器人形狀，以完成各種任務。在我們的工作中，我們展示了多個ChatGPT解決機器人難題的示例，以及在操作、空中和導航領域的復雜機器人部署。 ChatGPT機器人技術:設計原則

LLMs是一門高度經驗主義的科學。通過反復試驗，我們建立了一套方法和一套設計原則，用于為機器人任務編寫提示:

首先，我們定義一組高級機器人api或函數庫。這個庫可以特定于特定的機器人，并且應該映射到機器人的控制棧或感知庫中的現有底層實現。對高級api使用描述性的名稱非常重要，這樣ChatGPT可以推斷它們的行為; * 接下來，我們為ChatGPT編寫一個文本提示，它描述了任務目標，同時也明確說明了高級庫中的哪些函數可用。提示符還可以包含關于任務約束的信息，或者ChatGPT應該如何形成它的答案(使用特定的編碼語言，使用輔助解析元素); * 用戶停留在循環中來評估ChatGPT的代碼輸出，要么通過直接檢查，要么使用模擬器。如果需要，用戶可以使用自然語言向ChatGPT反饋答案的質量和安全。 * 當用戶對解決方案感到滿意時，就可以將最終代碼部署到機器人上。

ChatGPT到底能做什么?

零樣本任務規劃

我們讓ChatGPT訪問控制真正無人機的功能，事實證明，它是非技術用戶和機器人之間非常直觀的基于語言的界面。當用戶的指示模棱兩可時，ChatGPT會提出澄清性問題，并為無人機編寫復雜的代碼結構，如z字形模式以視覺檢查貨架。它甚至學會了自拍!???? 我們還在使用Microsoft AirSim模擬器的模擬工業檢測場景中使用ChatGPT。該模型能夠有效地解析用戶的高層意圖和幾何線索，從而準確地控制無人機。

循環中的用戶:當一個復雜的任務需要對話時

接下來，我們將ChatGPT用于機器人手臂的操作場景。我們使用對話反饋來教模型如何將最初提供的API組合成更復雜的高級函數:ChatGPT自己編碼。通過使用基于課程的策略，該模型能夠將這些學習到的技能邏輯地鏈接在一起，以執行堆疊積木等操作。 此外，當任務是用木塊構建微軟標志時，該模型展示了一個連接文本和物理域的有趣示例。它不僅能夠從其內部知識庫中回憶徽標，還能夠“繪制”徽標(作為SVG代碼)，然后使用上述學到的技能來確定現有的機器人動作可以組成其物理形式。

接下來，我們委托ChatGPT編寫一個算法，使無人機在不撞到障礙物的情況下在太空中達到目標。我們告訴模型，這架無人機有一個面向前方的距離傳感器，ChatGPT立即為算法編寫了大多數關鍵的構建模塊。這項任務需要與人類進行一些對話，我們對ChatGPT僅使用語言反饋進行本地化代碼改進的能力印象深刻。

感知-行動循環:機器人在行動之前感知世界

在做某事(行動)之前感知世界(感知)的能力是任何機器人系統的基礎。因此，我們決定測試ChatGPT對這個概念的理解，并讓它探索一個環境，直到找到用戶指定的對象。我們允許模型訪問諸如對象檢測和對象距離API等函數，并驗證了它生成的代碼成功地實現了感知-動作循環。在實驗角色中，我們運行了額外的實驗來評估ChatGPT是否能夠根據傳感器實時反饋來決定機器人應該去哪里(而不是讓ChatGPT生成一個代碼循環來做出這些決定)。有趣的是，我們驗證了我們可以在每一步將相機圖像的文本描述輸入到聊天中，并且該模型能夠弄清楚如何控制機器人，直到它到達特定的對象。

預訓練基礎模型(PFMs)被視為具有不同數據模態的各種下游任務的基礎。預訓練的基礎模型，如BERT、GPT-3、MAE、DALLE-E和ChatGPT，在大規模數據上進行訓練，為廣泛的下游應用提供了合理的參數初始化。**PFMs背后的預訓練思想在大型模型的應用中起著重要的作用。**作為一種遷移學習范式，預訓練通過凍結和微調技術應用于計算機視覺，顯示出良好的性能。詞向量在自然語言處理中也可以看作是修飾詞的一種，但它存在多義詞等問題。與之前應用卷積和循環模塊進行特征提取的方法不同，生成預訓練(GPT)方法應用Transformer作為特征提取器，并以自回歸范式在大型數據集上進行訓練。類似地，BERT應用transformer在大型數據集上作為上下文語言模型進行訓練。最近，ChatGPT在大型語言模型上顯示出可喜的成功，它應用了零樣本或很少提示的自回歸語言模型。隨著PFMs的非凡成功，人工智能在過去幾年中在各種領域掀起了浪潮。文獻中提出了相當多的方法，數據集和評估指標，需要更新的綜述。

**本研究全面回顧了文本、圖像、圖以及其他數據模態中PFMs的最新研究進展、當前和未來挑戰和機遇。**首先回顧了自然語言處理、計算機視覺和圖學習中的基本組成部分和現有的預訓練。然后討論針對其他數據模態的其他高級PFMs，以及考慮數據質量和數量的統一PFMs。此外，還討論了PFM的相關研究，包括模型效率與壓縮、安全與隱私。最后，總結了關鍵意義、未來研究方向、挑戰和開放問題。希望對PFMs在可擴展性、推理能力、跨域能力、用戶友好交互能力、安全與隱私保護能力等方面的研究有所啟發。

//www.zhuanzhi.ai/paper/9345ff120bd8f1b703c1c9324c321dd9

1. 引言

預訓練基礎模型(PFMs)是大數據時代人工智能(AI)必不可少的重要組成部分。基礎模型首先在[1]中命名，這意味著更廣泛的模型類及其功能。在人工智能的三大領域(自然語言處理(NLP)[2]、計算機視覺(CV)[3]和圖學習(GL)[4])中，PFM被廣泛研究。**PFM是強大的通用模型，在各種領域或跨領域都是有效的。它們在各種學習任務中表現出了學習特征表示的巨大潛力，如文本分類[5]、文本生成[6]、圖像分類[7]、目標檢測[8]和圖分類[9]。**PFMs在使用大規模語料庫對多個任務進行訓練，并將其微調到類似的小規模任務方面表現出優越的性能，使啟動快速數據處理成為可能。**PFMs基于預訓練技術，該技術旨在使用大量數據和任務訓練一個通用模型，這些數據和任務可以在不同的下游應用程序中輕松地進行微調。**預訓練的思想源于CV任務中的遷移學習[10]。認識到預訓練在CV領域的有效性，人們開始在其他領域使用預訓練技術來提高模型性能。當預訓練技術應用于NLP領域時，訓練有素的語言模型(lm)可以捕獲對下游任務有益的豐富知識，如長期依賴關系、層次關系等。此外，在NLP領域進行預訓練的顯著優勢在于，訓練數據可以來自任何未標記的文本語料庫，即預訓練過程中有無限數量的訓練數據。早期的預訓練是一種靜態技術，如NNLM[11]和Word2vec[12]，但靜態方法難以適應不同的語義環境。因此，提出了動態預訓練技術，如BERT[13]、XLNet[14]等。圖1描述了NLP、CV和GL領域PFMs的歷史和演變。基于預訓練技術的PFMs利用大規模語料庫學習通用語義表示。隨著這些開創性工作的引入，各種PFMs已經出現并應用于下游任務和應用。

**ChatGPT是PFM應用的一個很好的例子。ChatGPT是對生成式預訓練transformer GPT-3.5進行微調的，它是在文本和代碼的混合上進行訓練的[15,16]。**ChatGPT應用了來自人類反饋的強化學習(RLHF)[17,18]，這已經成為將大型語言模型與人類意圖[19]相結合的一種有希望的方法。ChatGPT令人驚訝的優越性能可能會導致每種類型PFM訓練范式的轉變——應用指令對齊技術，如強化學習(RL)、提示調整[20,21,22]和思維鏈[23,24]，向人工通用智能發展。重點介紹了文本、圖像和圖形的PFMs，這是一個比較成熟的研究分類。對于文本，它是一個多用途的語言模型，用于預測序列中的下一個單詞或字符。例如，PFMs可用于機器翻譯、問答系統、主題建模、情感分析等。對于圖像，它類似于文本上的PFMs，使用巨大的數據集來訓練一個適用于許多CV任務的大模型。對于圖，類似的預訓練思想也被應用于獲得pfm，用于許多下游任務。除了特定數據域的PFMs，還回顧和介紹了其他一些先進的PFMs，如語音、視頻和跨領域數據的PFMs，以及多模態PFMs。此外，還出現了一種處理多模態的PFMs大收斂，即所謂的統一PFMs。首先定義了統一PFMs的概念，然后回顧了近年來SOTA統一PFMs的最新研究進展(如OFA[25]、UNIFIED-IO [26]、FLAVA[27]、BEiT-3[28]等)。

**根據現有PFMs在這三個領域的特點，我們得出PFMs具有以下兩個主要優勢。**首先，需要輕微的微調來增強模型在下游任務上的性能。第二，PFMs已經在質量方面進行了綜述。我們可以將PFMs應用于與任務相關的數據集，而不是從頭開始構建模型來解決類似的問題。PFMs的巨大前景激發了大量相關工作，以關注模型效率、[29]、安全性[30,31,32]和壓縮[33,34]等。

有一些綜述研究[35,8,5,6,7,1]回顧了一些特定領域的預訓練模型，如文本生成[6]，視覺transformer[7]，目標檢測[8]。Bommasani出版社。[1]總結了基礎模型的機會和風險。然而，現有工作沒有在預訓練任務、效率、功效和隱私等不同方面對不同領域(如CV、NLP、GL、語音、視頻)的PFMs進行全面的回顧。在本次調查中，我們專門跟蹤了NLP領域的PFMs的演變，以及預訓練是如何轉移到CV和GL并被采用的。與其他調查相比，我們沒有對這三個領域現有的PFMs進行全面介紹和分析。與以往預訓練模型的綜述不同，本文總結了現有的模型，從傳統模型到pfm，以及這三個領域的最新工作。傳統模型強調靜態特征學習。動態PFMs介紹了結構，這是目前的主流研究。進一步介紹了一些針對PFMs的其他研究，包括其他先進和統一的PFMs、模型效率和壓縮、安全性和隱私。最后，總結了不同領域未來的研究挑戰和開放問題。全面介紹了附錄F和附錄g中的相關評價指標和數據集。總結而言，本文的主要貢獻如下:

本文對PFM在NLP、CV和GL中的發展進行了扎實和最新的綜述。在這篇綜述中，討論和提供了關于三個主要應用領域中的通用PFM設計和預訓練方法的見解。

我們總結了PFMs在其他多媒體領域(如語音和視頻)的發展。此外，還討論了PFMs的前沿問題，包括統一PFMs、模型效率與壓縮、安全與隱私等。

通過對不同任務的不同模態的PFMs的回顧，討論了大數據時代超大模型未來研究的主要挑戰和機遇，這指導了基于PFMs的新一代協作和交互智能。

OpenAI 推出的 ChatGPT 對話模型掀起了新的 AI 熱潮，它面對多種多樣的問題對答如流，似乎已經打破了機器和人的邊界。這一工作的背后是大型語言模型 (Large Language Model，LLM) 生成領域的新訓練范式：RLHF (Reinforcement Learning from Human Feedback) ，即以強化學習方式依據人類反饋優化語言模型。

過去幾年里各種 LLM 根據人類輸入提示 (prompt) 生成多樣化文本的能力令人印象深刻。然而，對生成結果的評估是主觀和依賴上下文的，例如，我們希望模型生成一個有創意的故事、一段真實的信息性文本，或者是可執行的代碼片段，這些結果難以用現有的基于規則的文本生成指標 (如 BLUE 和 ROUGE) 來衡量。除了評估指標，現有的模型通常以預測下一個單詞的方式和簡單的損失函數 (如交叉熵) 來建模，沒有顯式地引入人的偏好和主觀意見。 如果我們 用生成文本的人工反饋作為性能衡量標準，或者更進一步用該反饋作為損失來優化模型，那不是更好嗎？這就是 RLHF 的思想：使用強化學習的方式直接優化帶有人類反饋的語言模型。RLHF 使得在一般文本數據語料庫上訓練的語言模型能和復雜的人類價值觀對齊。 看看 ChatGPT 是如何解釋 RLHF 的：

ChatGPT 解釋的很好，但還沒有完全講透；讓我們更具體一點吧！

RLHF 技術分解

RLHF 是一項涉及多個模型和不同訓練階段的復雜概念，這里我們按三個步驟分解：

1. 預訓練一個語言模型 (LM) ；
2. 聚合問答數據并訓練一個獎勵模型 (Reward Model，RM) ；
3. 用強化學習 (RL) 方式微調 LM。

Step 1. 預訓練語言模型

首先，我們使用經典的預訓練目標訓練一個語言模型。對這一步的模型，OpenAI 在其第一個流行的 RLHF 模型 InstructGPT 中使用了較小版本的 GPT-3; Anthropic 使用了 1000 萬 ～ 520 億參數的 Transformer 模型進行訓練；DeepMind 使用了自家的 2800 億參數模型 Gopher。 這里可以用額外的文本或者條件對這個 LM 進行微調，例如 OpenAI 對 “更可取” (preferable) 的人工生成文本進行了微調，而 Anthropic 按 “有用、誠實和無害” 的標準在上下文線索上蒸餾了原始的 LM。這里或許使用了昂貴的增強數據，但并不是 RLHF 必須的一步。由于 RLHF 還是一個尚待探索的領域，對于” 哪種模型” 適合作為 RLHF 的起點并沒有明確的答案。

接下來，我們會基于 LM 來生成訓練獎勵模型 (RM，也叫偏好模型) 的數據，并在這一步引入人類的偏好信息。

Step 2. 訓練獎勵模型

RM 的訓練是 RLHF 區別于舊范式的開端。這一模型接收一系列文本并返回一個標量獎勵，數值上對應人的偏好。我們可以用端到端的方式用 LM 建模，或者用模塊化的系統建模 (比如對輸出進行排名，再將排名轉換為獎勵) 。這一獎勵數值將對后續無縫接入現有的 RL 算法至關重要。 關于模型選擇方面，RM 可以是另一個經過微調的 LM，也可以是根據偏好數據從頭開始訓練的 LM。例如 Anthropic 提出了一種特殊的預訓練方式，即用偏好模型預訓練 (Preference Model Pretraining，PMP) 來替換一般預訓練后的微調過程。因為前者被認為對樣本數據的利用率更高。但對于哪種 RM 更好尚無定論。 關于訓練文本方面，RM 的提示 - 生成對文本是從預定義數據集中采樣生成的，并用初始的 LM 給這些提示生成文本。Anthropic 的數據主要是通過 Amazon Mechanical Turk 上的聊天工具生成的，并在 Hub 上可用 (//huggingface.co/datasets/Anthropic/hh-rlhf)，而 OpenAI 使用了用戶提交給 GPT API 的 prompt。 關于訓練獎勵數值方面，這里需要人工對 LM 生成的回答進行排名。起初我們可能會認為應該直接對文本標注分數來訓練 RM，但是由于標注者的價值觀不同導致這些分數未經過校準并且充滿噪音。通過排名可以比較多個模型的輸出并構建更好的規范數據集。 對具體的排名方式，一種成功的方式是對不同 LM 在相同提示下的輸出進行比較，然后使用 Elo 系統建立一個完整的排名。這些不同的排名結果將被歸一化為用于訓練的標量獎勵值。 這個過程中一個有趣的產物是目前成功的 RLHF 系統使用了和生成模型具有 不同 大小的 LM (例如 OpenAI 使用了 175B 的 LM 和 6B 的 RM，Anthropic 使用的 LM 和 RM 從 10B 到 52B 大小不等，DeepMind 使用了 70B 的 Chinchilla 模型分別作為 LM 和 RM) 。一種直覺是，偏好模型和生成模型需要具有類似的能力來理解提供給它們的文本。

接下來是最后一步：利用 RM 輸出的獎勵，用強化學習方式微調優化 LM。

Step 3. 用強化學習微調

長期以來出于工程和算法原因，人們認為用強化學習訓練 LM 是不可能的。而目前多個組織找到的可行方案是使用策略梯度強化學習 (Policy Gradient RL) 算法、近端策略優化 (Proximal Policy Optimization，PPO) 微調初始 LM 的部分或全部參數。因為微調整個 10B～100B+ 參數的成本過高 (相關工作參考低秩適應 LoRA 和 DeepMind 的 Sparrow LM) 。PPO 算法已經存在了相對較長的時間，有大量關于其原理的指南，因而成為 RLHF 中的有利選擇。 事實證明，RLHF 的許多核心 RL 進步一直在弄清楚如何將熟悉的 RL 算法應用到更新如此大的模型。 讓我們首先將微調任務表述為 RL 問題。首先，該策略 (policy) 是一個接受提示并返回一系列文本 (或文本的概率分布) 的 LM。這個策略的行動空間 (action space) 是 LM 的詞表對應的所有詞元 (一般在 50k 數量級) ，觀察空間 (observation space) 是可能的輸入詞元序列，也比較大 (詞匯量 ^ 輸入標記的數量) 。獎勵函數是偏好模型和策略轉變約束 (Policy shift constraint) 的結合。 PPO 算法確定的獎勵函數具體計算如下：將提示 輸入初始 LM 和當前微調的 LM，分別得到了輸出文本 ，將來自當前策略的文本傳遞給 RM 得到一個標量的獎勵 。將兩個模型的生成文本進行比較計算差異的懲罰項，在來自 OpenAI、Anthropic 和 DeepMind 的多篇論文中設計為輸出詞分布序列之間的 Kullback–Leibler (KL) 散度的縮放，即 。這一項被用于懲罰 RL 策略在每個訓練批次中生成大幅偏離初始模型，以確保模型輸出合理連貫的文本。如果去掉這一懲罰項可能導致模型在優化中生成亂碼文本來愚弄獎勵模型提供高獎勵值。此外，OpenAI 在 InstructGPT 上實驗了在 PPO 添加新的預訓練梯度，可以預見到獎勵函數的公式會隨著 RLHF 研究的進展而繼續進化。 最后根據 PPO 算法，我們按當前批次數據的獎勵指標進行優化 (來自 PPO 算法 on-policy 的特性) 。PPO 算法是一種信賴域優化 (Trust Region Optimization，TRO) 算法，它使用梯度約束確保更新步驟不會破壞學習過程的穩定性。DeepMind 對 Gopher 使用了類似的獎勵設置，但是使用 A2C (synchronous advantage actor-critic) 算法來優化梯度。

作為一個可選項，RLHF 可以通過迭代 RM 和策略共同優化。隨著策略模型更新，用戶可以繼續將輸出和早期的輸出進行合并排名。Anthropic 在他們的論文中討論了迭代在線 RLHF，其中策略的迭代包含在跨模型的 Elo 排名系統中。這樣引入策略和 RM 演變的復雜動態，代表了一個復雜和開放的研究問題。

RLHF 的未來

盡管 RLHF 取得了一定的成果和關注，但依然存在局限。這些模型依然會毫無不確定性地輸出有害或者不真實的文本。這種不完美也是 RLHF 的長期挑戰和動力 —— 在人類的固有領域中運行意味著永遠不會到達一個完美的標準。 收集人類偏好數據的質量和數量決定了 RLHF 系統性能的上限。RLHF 系統需要兩種人類偏好數據：人工生成的文本和對模型輸出的偏好標簽。生成高質量回答需要雇傭兼職人員 (而不能依賴產品用戶和眾包) 。另一方面，訓練 RM 需要的獎勵標簽規模大概是 50k 左右，所以并不那么昂貴 (當然遠超了學術實驗室的預算) 。目前相關的數據集只有一個基于通用 LM 的 RLHF 數據集 (來自 Anthropic) 和幾個較小的子任務數據集 (如來自 OpenAI 的摘要數據集) 。另一個挑戰來自標注者的偏見。幾個人類標注者可能有不同意見，導致了訓練數據存在一些潛在差異。 除開數據方面的限制，一些有待開發的設計選項可以讓 RLHF 取得長足進步。例如對 RL 優化器的改進方面，PPO 是一種較舊的算法，但目前沒有什么結構性原因讓其他算法可以在現有 RLHF 工作中更具有優勢。另外，微調 LM 策略的一大成本是策略生成的文本都需要在 RM 上進行評估，通過離線 RL 優化策略可以節約這些大模型 RM 的預測成本。最近，出現了新的 RL 算法如隱式語言 Q 學習 (Implicit Language Q-Learning，ILQL) 也適用于當前 RL 的優化。在 RL 訓練過程的其他核心權衡，例如探索和開發 (exploration-exploitation) 的平衡也有待嘗試和記錄。探索這些方向至少能加深我們對 RLHF 的理解，更進一步提升系統的表現。

參考資料

首先介紹一些相關的開源工作： 關于 RLHF 的第一個項目，來自 OpenAI: PyTorch 的 repo： *

此外，Huggingface Hub 上有一個由 Anthropic 創建的大型數據集: 相關論文包括在現有 LM 前的 RLHF 進展和基于當前 LM 的 RLHF 工作：

• TAMER: Training an Agent Manually via Evaluative Reinforcement (Knox and Stone 2008)
• Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)
• Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)
• Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces (Warnell et al. 2018)
• Fine-Tuning Language Models from Human Preferences (Zieglar et al. 2019)
• Learning to summarize with human feedback (Stiennon et al., 2020)
• Recursively Summarizing Books with Human Feedback (OpenAI Alignment Team 2021)
• WebGPT: Browser-assisted question-answering with human feedback (OpenAI, 2021)
• InstructGPT: Training language models to follow instructions with human feedback (OpenAI Alignment Team 2022)
• GopherCite: Teaching language models to support answers with verified quotes (Menick et al. 2022)
• Sparrow: Improving alignment of dialogue agents via targeted human judgements (Glaese et al. 2022)
• ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)
• Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)
• Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)
• Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al. 2022)
• Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning (Cohen at al. 2022)
• Is Reinforcement Learning (Not) for Natural Language Processing?: Benchmarks, Baselines, and Building Blocks for Natural Language Policy Optimization (Ramamurthy and Ammanabrolu et al. 2022)

本文翻譯自 Hugging Face 官方博客 () 參考資料部分鏈接請點擊閱讀原文到博客上查看。你也可以查看我們的直播活動回放了解更多: 本文譯者: 李濼秋，浙江大學計算機科學碩士，主要研究 NLP 領域。 我們正在招募更多翻譯志愿者幫助我們擴充官方公眾號內容，如果你感興趣，歡迎通過文章下方的留言功能介紹自己，并留下聯系方式。謝謝！

最近OpenAI推出的ChatGPT持續成為熱點，背后依賴的GPT-3.5預訓練語言模型和指令人類反饋強化學習等技術。ChatGPT背后大模型（也稱預訓練模型、基礎模型等）通常是在大規模無標注數據上進行訓練，學習出一種特征和規則，核心是Transformer算法與架構。來自Xavier Amatriain最新的Transformer預訓練模型分類，36頁pdf詳述大模型分類圖。

在過去的幾年里，我們已經看到了幾十種Transformer家族的模型的迅速出現，它們的名字都很有趣，但并不是不言自明的。本文的目標是對最流行的Transformer模型提供一個有點全面但簡單的目錄和分類。本文還介紹了Transformer模型的最重要方面和創新。

1. 引言

Transformer是一類深度學習模型，由一些架構特征定義。2017年，谷歌的研究人員在現在著名的“Attention is All you Need”論文1和相關的博客post1中首次介紹了它們。Transformer架構是前2 - 3年流行的編碼器-解碼器模型[2]2的一個具體實例。然而，在那之前，注意力只是這些模型使用的機制之一，這些模型主要基于LSTM(長短期記憶)[3]和其他RNN(遞歸神經網絡)[4]變體。正如標題所暗示的那樣，transformer論文的關鍵見解是，注意力可以用作獲得輸入和輸出之間依賴關系的唯一機制。Transformer架構的所有細節已經超出了本博客的范圍。為此，我建議你參考上面的原始論文或精彩的the Illustrated transformers帖子。話雖如此，我們將簡要描述最重要的方面，因為我們將在下面的目錄中提到它們。讓我們從原始論文中的基本架構圖開始，并描述一些組件。

從人類反饋(或偏好)中進行強化學習，即RLHF(或RLHP)，最近已經成為AI工具包的一個巨大補充。這一概念已經在2017年的論文中提出。最近，它已被應用于ChatGPT和類似的對話代理，如BlenderBot3或Sparrow。這個想法非常簡單:一旦語言模型被預訓練，我們就可以對對話產生不同的響應，并讓人類對結果進行排名。在強化學習的背景下，我們可以使用這些排名(又名偏好或反饋)來訓練獎勵(見圖3)。您可以在Huggingface]14或Weights and Bias15的這兩篇精彩文章中閱讀更多內容。

2. Transformers分類

希望到目前為止，您已經理解了什么是Transformer模型，以及為什么它們如此流行和有影響力。在本節中，我將介紹迄今為止開發的最重要的Transformer模型的目錄。我將根據以下屬性對每個模型進行分類:預訓練架構、預訓練任務、壓縮、應用程序、年份和參數數量。讓我們簡要地定義它們: 預訓練架構我們將Transformer架構描述為由Encoder和Decoder組成，對于最初的Transformer也是如此。然而，從那時起，已經取得了不同的進展，揭示了在某些情況下，只使用編碼器，只使用解碼器，或兩者都是有益的。 編碼器預訓練這些模型也被稱為雙向編碼或自編碼，在預訓練過程中只使用編碼器，通常通過屏蔽輸入句子中的單詞并訓練模型進行重構來完成。在預訓練的每個階段，注意力層可以訪問所有輸入單詞。該模型族對于需要理解完整句子的任務最有用，如句子分類或抽取式問答。 解碼器預訓練

解碼器模型通常被稱為自回歸模型，在預訓練過程中只使用解碼器，而預訓練通常是為了迫使模型預測下一個單詞。注意力層只能訪問句子中給定單詞之前的單詞。它們最適合于涉及文本生成的任務。 Transformer(編碼器-解碼器)預訓練編碼器-解碼器模型，也稱為序列到序列，使用Transformer架構的兩部分。編碼器的注意力層可以訪問輸入中的所有單詞，而解碼器的注意力層只能訪問輸入中給定單詞之前的單詞。預訓練可以使用編碼器或解碼器模型的目標來完成，但通常涉及更復雜的東西。這些模型最適合于根據給定輸入生成新句子的任務，如摘要、翻譯或生成式問答。**預訓練任務 **當訓練模型時，我們需要為模型定義一個學習任務。上面已經提到了一些典型的任務，例如預測下一個單詞或學習重建被掩碼的單詞。《自然語言處理的預訓練模型綜述》[10]包括一個相當全面的預訓練任務分類，所有這些任務都可以被認為是自監督的:

1. 語言建模(LM):預測下一個標記(單向LM的情況下)或前一個和下一個標記(雙向LM的情況下)
2. 掩碼語言建模(MLM):從輸入句子中屏蔽一些標記，然后訓練模型，用其余標記預測被屏蔽的標記 3.置換語言模型(PLM):與LM相同，但對輸入序列進行隨機置換。一個置換是從所有可能的置換中隨機抽樣得到的。然后選擇一些token作為目標，并訓練模型來預測這些目標。
3. 降噪自編碼器(DAE):采用部分損壞的輸入(例如，從輸入中隨機采樣token，并將其替換為“[MASK]”元素。從輸入中隨機刪除標記，或按隨機順序打亂句子)，并旨在恢復原始未失真的輸入。
4. 對比學習(CTL):通過假設一些觀察到的文本對比隨機采樣的文本更相似，來學習文本對的得分函數。它包括: ?深度信息最大化(DIM):最大化圖像表示和圖像局部區域之間的互信息;替換Token檢測(RTD):根據Token的環境預測其是否被替換; 下一個句子預測(NSP):訓練模型以區分輸入的兩個句子是否為訓練語料庫中的連續片段;和句子順序預測(SOP):類似于NSP，但使用兩個連續的片段作為正例，并使用相同的片段，但其順序交換為負例在這里，我們將注意Transformer模型的主要實際應用。這些應用大多數將在語言領域(例如，問答、情感分析或實體識別)。然而，如前所述，一些Transformer模型也在NLP之外找到了應用，也包括在目錄中。