亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

為應對數字經濟中數字智能的挑戰，人工智能生成內容(artificial intelligence-generated content, AIGC)應運而生。AIGC通過根據用戶輸入的關鍵字或需求生成內容，使用人工智能來輔助或取代人工內容生成。大型模型算法的發展大大增強了AIGC的能力，這使得AIGC產品成為一種很有前途的生成工具，也為我們的生活增添了便利。AIGC作為一種上游技術，在支持下游應用方面具有無限的潛力。重要的是要分析AIGC當前的功能和缺點，以了解如何在未來的應用中最好地利用它。因此，本文對AIGC的定義、基本條件、前沿功能和高級特性進行了較為全面的綜述。此外，還討論了大規模預訓練模型的優勢和AIGC的產業鏈。此外，文章還探討了AIGC中輔助生成和自動生成之間的區別，并提供了文本生成的示例。本文還探討了AIGC與元宇宙的潛在集成。最后指出了存在的問題和未來的發展方向。1. 引言隨著Web 3.0仍處于蓬勃發展階段[1]，人工智能(AI)1已被證明是許多具有挑戰性任務的有效工具，如生成內容、分類和理解。近年來，人工智能的一些進步已經幫助該技術完成了比以前更復雜的任務，例如理解輸入數據，然后生成內容。人工智能生成內容(Artificial Intelligence Generated Content, AIGC)是對專業生成內容(Professional Generated Content, PGC)、用戶生成內容(User Generated Content, UGC)[2]、[3]等傳統內容創作方式的補充。AIGC根據AI技術生成滿足用戶需求的內容。它被認為是一項有前途的技術，有許多應用。因此，了解AIGC的能力和局限性對于充分挖掘其潛力至關重要。

事實上，AIGC的起源可以追溯到更早的時期。其發展歷史大致可以分為三個階段(如圖1所示)。在第一個階段，研究者通過最原始的編程技術控制計算機實現內容的輸出。希勒和艾薩克森在1957年完成了世界上第一首用電腦完成的音樂《伊利亞特組曲》。然后，世界上第一個人機交互機器人Eliza誕生了。Eliza顯示了通過模式匹配和智能短語搜索適當答案的能力，但不反映語義理解。然而，現在大多數人仍然將Eliza視為人工智能的靈感來源。此后二十年，為沉積堆積階段。第二階段假設AIGC的可用性是由于大規模數據庫可用性的提高和計算設備性能的提高。《路》是世界上第一部完全由人工智能創作的小說。隨后，微軟還展示了一個全自動同聲傳譯系統，該系統能夠在短時間內將英語語音翻譯成漢語，準確率達到[4]。然而，算法瓶頸直接限制了AIGC生成豐富內容的能力。第三階段開始于2010年，AIGC進入快速發展階段。Goodfellow[5]提出了一種通用對抗網絡(GAN)，利用現有數據生成圖片。在2022年，OpenAI發布了一個新的聊天機器人模型，稱為ChatGPT。它能夠理解人類的語言，并像人類一樣生成文本。月活躍用戶在兩個月內突破1億。20235年1月，每天大約有1300萬獨立訪問者使用ChatGPT。隨著ChatGPT等產品的不斷完善，AIGC顯示出了巨大的應用潛力和商業價值。它引起了企業家、投資者、學者和公眾的廣泛關注。

目前AIGC的內容質量明顯優于以前。此外，AIGC內容的類型也更加豐富，包括文本、圖像、視頻、代碼等。表一列出了一些AIGC型號或各大科技公司開發的經典產品及其應用。ChatGPT是一個基于大型語言模型(LLM)的機器學習系統。在經過幽默的大型文本數據集的訓練后，LLM不僅擅長生成合理的對話，而且還能生成引人注目的片段(如故事和文章)。由于其獨特的人類反饋訓練過程，ChatGPT能夠更精確地理解人類的思維。谷歌聲稱他們即將推出的產品Bard將具有相同的功能，但更側重于生成對話。與ChatGPT相比，Bard可以利用外部知識源，通過提供自然語言問題的答案而不是搜索結果來幫助用戶解決問題。此外，微軟的Turning-NLG是一個擁有170億個參數的LLM，它適用于摘要、翻譯和問答。

擴散模型是圖像生成領域的前沿方法。它的簡單交互和快速生成功能大大降低了進入門檻。幾個流行的應用程序，如Disco Diffusion、Stable Diffusion和Midjourney，已經在社交媒體上產生了指數級的討論和作品展示。NVIDIA是視覺生成研究的先驅。他們的產品(即StyleGAN)是一種最先進的高分辨率圖像合成方法，專門用于圖像生成、藝術和設計。此外，由于不同行業對生成圖片的不同要求，StyleGAN為幾個初創公司提供了機會。例如，Looka專注于logo和網站設計，而Lensa專注于頭像生成。GAN已經能夠生成極其逼真的圖像。DeepMind正試圖將其應用于生成視頻領域。他們提出的模型稱為雙視頻鑒別器GAN (DVD-GAN)[6]，可以通過計算高效的鑒別器分解生成更長和更高分辨率的視頻。DVD-GAN是對現實視頻生成的探索。

為了給相關學者和研究人員提供更多的見解和思路，本文重點關注AIGC相關問題，并總結了該領域的新興概念。此外，討論了未來AIGC可能遇到的潛在挑戰和問題，如在道德標準上缺乏全球共識，以及人工智能濫用和濫用的潛在風險。最后，對AIGC的發展和部署提出了展望。我們認為AIGC將為人類實現更便捷的服務和更高的生活質量。本文的主要貢獻如下。

本文給出了AIGC的定義，并討論了其關鍵條件。然后，通過闡述AIGC的3個前沿功能和6個高級特征來展示AIGC帶來的巨大影響。

進一步詳細描述了AIGC的產業鏈，并列出了AIGC中采用的大型預訓練模型的幾個優點。

為揭示AIGC中輔助生成和自動生成之間的差異，本文對文本生成、人工智能輔助寫作和人工智能生成寫作示例進行了深入的討論和分析。

從實際應用的角度，總結了AIGC的優缺點，然后介紹了AIGC與Metaverse的結合。

最后，指出了AIGC目前需要解決的幾個問題，并提出了未來應用的一些方向。

2. 人工智能生成內容(AIGC) 內涵

人工智能生成內容(AIGC)是指由機器生成的博客、營銷材料、文章、產品描述等內容。如圖3所示，AIGC經歷了三種不同的內容生成模式。在PGC模式下，內容由專業團隊[7]、[8]生成。PGC的優點是生成的內容大多是高質量的，但生產周期長，難以滿足產出的數量需求。在UGC模式下，用戶可以選擇多種創作工具自行完成內容生成[9]、[10]。UGC的優勢在于使用這些創意工具可以降低創作的門檻和成本，提高用戶參與創作的積極性。UGC的劣勢在于創作者水平參差不齊，產出內容的質量難以保證。AIGC可以克服PGC和UGC在數量和質量上的不足。它有望成為未來內容生成的主要模式。在AIGC模式中，AI技術利用專業知識提高內容生成的質量，也節省了時間。

如圖4所示，AIGC由三個關鍵部分組成: 數據、硬件和算法。音頻、文本和圖像等高質量數據是訓練算法的基本構建塊。數據量和數據源對[20]預測的準確性有至關重要的影響。硬件，特別是計算能力，構成了AIGC的基礎設施。隨著人們對計算能力需求的不斷增長，更快、更強大的芯片以及云計算解決方案已經變得必不可少。硬件應該能夠處理tb級的數據和具有數百萬個參數的算法。加速芯片與云計算的結合對于提供高效運行大型模型[21]所需的計算能力起著至關重要的作用。最終，算法的性能決定了內容生成的質量，而數據和硬件的支持對于實現最優結果至關重要。

AIGC產業鏈是一個從上游到下游相互關聯的生態系統。如圖8所示，下游應用嚴重依賴上游產品的基礎支持。數據供應商、算法機構、硬件開發機構是上游AIGC的主要組成部分。數據供應商利用網絡爬行技術從新聞網站、博客和社交媒體收集大量文本。然后，利用自然語言處理技術[48]對這些野生數據進行自動標記或處理。算法機構通常由一群經驗豐富的計算機科學家和數學家組成，他們具有深厚的理論背景和實踐經驗。他們可以開發高效準確的算法來解決各種復雜問題。硬件開發機構專注于開發專用芯片、處理器、加速器卡等硬件設備，以加速AI算法的計算速度和響應能力。

大規模人工智能模型是人工智能向通用智能發展的一個重要里程碑。大規模模型的使用明確表明AIGC具有更強的泛化能力。盡管通用數據的激增和可靠數據的缺乏帶來了挑戰，但深度學習完全依賴模型從數據中自動學習，從而顯著提高性能。大規模模型同時具有大規模和預訓練的特點，需要在為實際任務建模之前對大量廣義數據進行預訓練。這些模型被稱為大規模預訓練模型[53]。事實上，AI的大規模模型可以看作是對人類大腦的模擬，這是AI的靈感來源[54]。事實上，人腦是一個具有基本認知能力[55]的大規模模型。人類大腦可以高效地處理來自不同感官的信息，并同時執行不同的認知任務。因此，人工智能大規模模型不僅期望具有眾多參與者，而且能夠有效地理解多模態信息，跨模態感知，并同時在不同任務之間遷移或執行。人工智能大規模模型理解人類思維準確率的提高歸功于基于人類反饋數據訓練模型[56]的系統。

如圖9所示，開發大規模預訓練模型的過程可以分為三個主要步驟。第一步是收集解釋性數據來訓練監督學習策略。第二步涉及收集比較數據來訓練獎勵模型，這使模型能夠做出更準確的預測。最后一步是收集解釋性數據，使用增強學習技術優化模型。這將提高模型的性能和效率

3. 應用

隨著硬件和算法的快速發展，AIGC的應用前景更加廣闊。我們認為AIGC最具潛力的方向包括跨模態生成、搜索引擎優化、媒體制作、電商、電影制作等領域，如圖13所示。

4. 結論

近年來，在海量高質量數據和高性能硬件的支持下，許多用于大型模型的算法得到了快速發展。這些算法不僅具有理解文本的能力，而且具有輔助或自動生成豐富內容的能力。ChatGPT等應用實例展示了AIGC技術的商業價值和應用性能，在短時間內引起了眾多一線企業的廣泛關注和投資。本文簡要介紹了AIGC技術，并闡述了它的特點。此外，還對AIGC能力的優勢和劣勢進行了比較分析。然而，AIGC的發展仍然面臨著許多挑戰和機遇。本文還對AIGC面臨的挑戰和未來方向提出了見解。最后，希望本文的綜述能為學術界、產業界和企業界的發展提供有益的思路，為AIGC領域的進一步探索提供有價值的思考方向和見解。

原創作者：趙偉翔，趙妍妍，陸鑫，王世龍，童彥澎，秦兵

轉載須標注出處：哈工大SCIR引言

情感對話技術旨在賦予對話機器人類似人類的情感，使它們具備識別、理解和表達情感的能力，從而為用戶提供更為人性化和多樣化的回復。讓計算機具備“情商”可以說是人工智能領域的更高追求。人工智能之父馬文·明斯基（Marvin Minsky）在其著作《情感機器》[1]中指出：“只具備智力而無情感的人工智能，并非真正的智能。這表明對話機器人不僅需要“智商”，還要具備“情商”。因此，研發具備情感功能的對話機器人成為學術界和產業界共同關注的課題。近年來，產業界的許多對話機器人產品都增加了情感功能，以提高產品的趣味性和人性化，例如微軟的小冰、小黃雞聊天機器人等。情感對話技術成為了提升這些應用產品（如閑聊機器人[2]、智能客服[3]、語音助手[4]等）性能的核心技術。通過在這些產品中加入情感對話技術，可以使得機器人更好地理解用戶的需求和情感，從而提供更為貼近用戶心理的服務。隨著ChatGPT[5]的問世，對話機器人領域迎來了革新。作為一款先進的大型語言模型，ChatGPT為對話機器人帶來了更為豐富且精確的語義理解和回復生成能力，極大地提升了與人類用戶的交互體驗。考慮到ChatGPT在基本對話技術方面的重要突破，以及近期研究分析了其在各項傳統自然語言處理任務中的表現[6, 7]，我們對ChatGPT在情感對話技術發展方面的影響產生了興趣。因此，在本文中，我們將探討ChatGPT在情感對話領域的多個任務上的性能表現，分析其優缺點，并思考情感對話領域未來的研究方向。

任務設置

我們將從情感對話理解和生成能力這兩個維度出發，對ChatGPT在其下各個主流任務的性能表現進行比較和分析。評測方法對于各個任務上的SOTA模型，我們直接引用了其原論文的實驗結果，而ChatGPT的性能測試則全部使用OpenAI開放API的"gpt-3.5-turbo"模型（截止至3.8日的模型版本）。我們測試了ChatGPT在各個任務上零式學習(Zero-shot Learing)和上下文學習(In-context Learning)的表現。

評測詳情

對話情緒識別

任務定義

對話情緒識別是一個分類任務，旨在對一段對話中的話語進行情緒分類。任務的輸入是一段連續的對話，輸出是這段對話中所有話語的情緒，圖1給出了一個簡單的示例。對話中的話語情緒識別并不簡單等同于單個句子的情緒識別，需要綜合考慮對話中的背景、上下文、說話人等信息。對話情緒識別可廣泛應用于各種對話場景中，如社交媒體中評論的情感分析、人工客服中客戶的情緒分析等。此外，對話情緒識別還可應用于聊天機器人中，實時分析用戶的情緒狀態，實現基于用戶情感驅動的回復生成。

圖1. 對話情緒識別示例[8]

數據集介紹

IEMOCAP

[9]南加州大學SAIL實驗室收集，由人扮演的雙人對話，12小時的多模態視聽數據。10個專業演員（5男5女），一共分為5個Session，每個Session分配1男1女。對話分為兩部分，一部分是固定的劇本，另一部分是給定主題情景下的自由發揮。151段對話，共7433句。標注了6類情緒：Neutral, Happiness, Sadness, Anger, Frustrated, Excited，非中性情緒占比77%。IEMOCAP是對話情緒識別中常用的數據集之一，質量較高，優點是有多模態信息，缺點是數據規模較小。本次測試僅使用其文本模態數據。數據集鏈接：//sail.usc.edu/iemocap/MELD[10]來源于老友記，多人對話形式，是EmotionLines[11]老友記部分的多模態擴充（文本+視頻）。1432段對話，共13708句。標注了7類情緒：Neutral, Happiness, Surprise, Sadness, Anger, Disgust, Fear和3類情感：Positive, Negative, Neutral，非中性情緒占比53%。MELD是對話情緒識別中常用的數據集之一，優點是數據集質量較高，缺點是數據集中的對話涉及到的劇情背景太多，情緒識別難度很大。本次測試僅使用其文本模態數據。數據集鏈接：EmoryNLP[12]來源于老友記，多人對話形式。897段對話，共12606句。標注了7類情緒：Sad, Mad, Scared, Powerful, Peaceful, Joyful, Neutral，非中性情緒占比70%。EmoryNLP是對話情緒識別中常用的數據集之一，由于和MELD來源相同，故優缺點與MELD數據集類似。數據集鏈接：DailyDialog[13]高質量多輪對話數據集，純文本，噪聲小，對話反映不同主題的日常生活，無固定說話人。數據集除了7類情緒標注，還有10類主題標注以及4類對話行為標注。13118段對話，共102979句。標注了7類情緒：Neutral, Happiness, Surprise, Sadness, Anger, Disgust, Fear，非中性情緒占比16.8%。DailyDialog是對話情緒識別中常用的數據集之一，優點是數據規模較大，缺點是中性情緒占比過高。數據集鏈接：評價指標介紹對于IEMOCAP、MELD和EmoryNLP數據集，目前大部分論文使用Weighted-F1指標進行評價；對于DailyDialog數據集，由于其中性占比實在太高，目前大部分論文都使用不考慮中性類別的Micro-F1指標進行評價。

主實驗結果

下面是主實驗結果，從中可以看出ChatGPT相比于最先進的微調模型普遍還有10—20百分點的性能差距。模型IEMOCAPMELDEmoryNLPDailyDialogCoMPM[14] (NAACL 2022)69.4666.5238.9360.34SPCL[15] (EMNLP 2022)69.7467.2540.94—ChatGPT, 0-shot44.9757.3037.4740.66ChatGPT, 1-shot47.4658.6335.6042.00ChatGPT, 3-shot48.5858.3535.9242.39

案例展示

下面是從DailyDialogue數據集中找到的一段對話數據，模擬了醫生和病人的對話場景，我們將其翻譯成中文展示。說話人對話內容數據集標注ChatGPT預測A早上好。你怎么了？中性中性B早上好，醫生。我頭疼得厲害。中性難過A好的，年輕人。告訴我它是怎么開始的。中性中性B昨天我流鼻涕，現在我鼻塞了，喉嚨痛，恐怕我發燒了。我感覺很糟糕。中性難過A別擔心，年輕人。讓我給你做個檢查。首先讓我看看你的喉嚨。張開嘴說“啊”。中性中性B啊。中性中性A你的喉嚨發炎了。你的舌頭上有厚厚的舌苔。你有流感的癥狀。中性恐懼B那我該怎么辦？中性恐懼A你只需要好好休息，多喝水。我給你開藥方。中性積極B非常感謝。中性積極

分析與討論

案例展示部分中，我們將數據集可能的標注錯誤用紅色字體展示，將ChatGPT扭轉了標注錯誤用綠色字體展示；另外ChatGPT預測結果中還有黃色字體的標簽，這是我們額外發現的問題：ChatGPT與數據集規范不匹配問題。從這部分實際預測樣例看，ChatGPT做不好的最大問題是它的標準與數據集的標準有偏差。數據集標注時可能按一種標注規范來確定什么情況是什么情緒，而ChatGPT自己有一套理解和規范。具體來說，在上面醫生和病人的對話中，病人在描述自己頭疼癥狀時，數據集標注的是中性，而ChatGPT則認為這是難過，這個不能說是誰對誰錯，而是兩者認識的標準不同。更進一步討論，這種標準的不匹配可能并不是ChatGPT能力的問題，而是Few-Shot設定的問題。因為當標注規范細致繁瑣到一定程度后，就已經不可能僅由幾個示例覆蓋了，這是Few-shot天然所不能做好的事情。基于此可對未來方向有所推測：如果是不追求與特定規范嚴格對齊的場景，那么基于ChatGPT等Few-Shot設定下的改進是可行的，但是使用數據集標簽評價是不合適的，可能需要廣泛的人工評價；如果是追求與特定規范嚴格對齊的場景，Few-Shot設定可能并不是一個好的選擇，有監督微調模型仍然是更好的方案。

對話情緒原因識別

任務定義

對話情緒原因識別，旨在找出一段對話中，引起目標句情緒的原因。任務的輸入是一段連續的對話和目標句，輸出引發目標句情緒的原因。在這里，情緒原因有兩種存在形式，分別為句子級情緒原因和詞組級情緒原因，圖2給出了一個簡單的示例。這本次測試中，我們僅關注在對句子級情緒原因的識別。

圖2 對話情緒原因識別示例

數據集介紹

我們在基準數據集RECCON-DD[16]上進行了實驗。它是在對話情緒識別數據集DailyDialog[13]的基礎上，進行情緒原因的標注。我們只考慮存在于對話上文中的情緒原因，并且重復的因果語句被刪除。數據集鏈接：評價指標介紹我們分別對負例和正例因果對計算F1值，以及計算二者的macro-F1值。

主實驗結果

模型Neg. F1Pos. F1Macro F1KBCIN[17] (AAAI 2023)89.6568.5979.12ChatGPT 0-shot85.2551.3368.29ChatGPT 1-shot82.1052.8467.47

分析與討論

對于 ChatGPT 的錯誤案例分析，可以發現其在 Pos. F1 上的性能與 SOTA 存在較大差距的原因在于數據集中有大量情緒原因樣本存在于目標句本身。ChatGPT 未能對這種樣例進行正確的預測，而更偏向于從對話上文中尋找原因語句。這一現象與上述對話情緒識別的分析是相符的。ChatGPT 的性能不佳的最大問題在于其預測標準與數據集的標注標準存在很大偏差。在給定一個示例后，ChatGPT 的性能下降進一步表明，對于情緒原因這類標注規范較為復雜的任務，充分發揮 ChatGPT 性能的關鍵是使其能夠深刻理解數據集構建時的規范，從而沖破其自身的語言模型先驗，以獲得更符合下游測試數據的性能表現。

對話動作識別

任務定義

為對話中的每一個輪次，都進行一次對話動作的分類，是一個四分類任務，我們認為每一個輪次都完成了一個對話動作，動作標簽集合：{告知（inform）, 提問（question）, 指示（directive）, 承諾（commissive）}，對話動作的理解能力是對話情感理解能力的一個重要組成部分。

數據集介紹

采用DailyDialog[13]作為實驗數據集，相關介紹同對話情緒識別。評價指標介紹分類任務多采用weighted-F1與macro-F1作為評測指標，本任務中，ChatGPT會給出四分類以外的無意義標簽，嚴重拉低宏平均值，故采用加權平均f1值作為評價指標。

主實驗結果

ModelAccweighted-F1Co-GAT-0.79ChatGPT, oneshot0.670.65ChatGPT, oneshot+prompt-engineering0.710.70ChatGPT, fewshot0.730.71ChatGPT, fewshot+prompt-engineering0.730.72

案例展示

下面是測試數據集中的一個數據實例，對話翻譯成中文展示如下。說話人話語ChatGPT預測標簽真實標簽A我們什么時候才能盼到你來吃晚餐？今天能來嗎？提問指示B不行。我答應和我的妹妹去聽音樂會了。告知承諾A好吧...那周日怎么樣？提問指示B那聽起來不錯。承諾承諾分析與討論ChatGPT對于指示、承諾這兩類標簽的理解能力較差，經常將提問與指示，告知與承諾混淆，正如案例所示。這是兩個難以區分的標簽，如果沒有明顯的定義區別，它們之間會有語義上的重疊：“今天能來嗎”是一種引導性的問句，“我答應和我妹妹去音樂會了”是一種承諾性的告知。這不能說明ChatGPT的對話動作理解能力差，仍表現出ChatGPT的標簽體系與數據集的標簽體系存在差異。若在提示詞中加入詳細的標簽解釋（提示詞工程），評價指標會有明顯提升。從實驗結果可以觀察到：在本任務上，few-shot是一種對于ChatGPT最高效的提示詞增強方式，無需復雜的提示詞工程（本實驗是對commissive和directive標簽做了詳細解釋，具體見

任務提示模板

節），也能使得評價指標得到可觀的提升。本實驗的設定few-shot為3個樣本，提示詞工程也是簡單地進行設計，我們有理由相信，在精細挑選更多示例，以及更精細化地做提示詞工程，能進一步降低ChatGPT理解的標簽體系與數據集原始標簽體系的差異，從而進一步提升ChatGPT在該任務的上限，但與上述兩個任務中提及的觀點相似，這種追求與數據集標簽體系對齊的評價體系仍然值得思考。共情回復生成****任務定義給定對話歷史，模型將扮演傾聽者的角色，設身處地理解用戶處境，生成感同身受的共情回復。數據集介紹EmpatheticDialogues[19]：一個大規模的多輪雙人共情對話數據集，包含了眾包收集的24850段共情對話，并為每個對話提供了一個情緒標簽（一共有32種分布均勻的情緒）。

數據集鏈接：評價指標介紹自動評價指標：?Bleu-n (B-1, B-2, B-3, B-4)[20]，Rouge-L (R-L)[21]：評估生成回復與參考回復的相似程度。?**Distinct-n **(D-1, D-2, D-3)[22]：評估生成回復的多樣性。人工評價指標：我們采取了基于屬性的成對人工偏好評價方式。具體來說，100對分別由DialoGPT和ChatGPT生成的回復語句被隨機選取出來，2位志愿者依據以下三個方面挑選出哪一句回復更好：?流暢度：評價哪一條回復更流暢，與對話歷史更相關。?共情能力：評價哪一條回復更共情，展現出對于用戶狀態和處境更好的理解。?信息量：評價哪一條回復展現出與對話歷史相關的更多信息。

主實驗結果

人工評價結果

WinLossTieEmpSOA [24] v.s ChatGPT流暢度844.547.5共情能力1053.536.5信息量98011分析與討論在共情回復生成時，ChatGPT更傾向于生成更長更具多樣性的回復。此外，其尤其傾向于提出建議解決用戶面臨的問題**，**從而與真實回復產生偏差。更進一步，從人工評價來看，SOTA方法的流暢度和共情能力勉強能夠與ChatGPT相比，但回復的信息量相差甚遠。ChatGPT生成的回復能夠完全理解用戶處境，回復質量也相當之高，從而明顯優于目前的SOTA模型。但在共情能力方面，ChatGPT在表達共情時會頻繁重復這樣的模式：復述情緒?信息擴展。反復循環著同樣一種模式不免使得用戶產生乏味。對于該任務的未來方向，首先一點是提升模型的個性化共情能力，模板且套路化的共情表達方式顯然還未能夠與真實的人類共情對話所對齊。其次，由自動評價和人工評價得到的模型性能差異化表現，進一步說明了目前仍缺乏一個合理的評價指標，來衡量共情對話系統的優劣。情緒支持對話****任務定義情緒支持對話是一個生成任務，旨在為處于消極情緒狀態時，前來尋求幫助的求助者給予情緒支持。任務的輸入為發生在求助者和支持者之間的雙人對話歷史，輸出為生成的支持者輪次的情緒支持回復。情緒支持對話可以分為三個階段：支持者需要（1）確定求助者所面臨的問題，（2）安慰求助者，然后（3）提供一些建議或信息，以幫助求助者采取行動來應對他們的問題。支持者在此過程中可以使用以下8種策略，分別為：提問（Question）, 復述或改述（Restatement or Paraphrasing）, 反思感受（Reflection of Feelings）, 自我揭示（Self-disclosure）, 肯定和安慰（Affirmation and Reassurance）, 提供建議（Providing Suggestions）,信息（Information）和其他（Others）。

圖3 情緒支持對話的三個階段和各個階段支持者使用的策略[25]

數據集介紹

數據集：ESConv[25]包含1,053段對話和31,410個句子。為了構建這個數據集，數據集作者招募了已經學會了提供情感支持的常用步驟和策略的支持者，通過一個在線平臺與需要情感支持的志愿者進行交流。支持者被要求在每個回合中標注所采取的策略，而尋求支持的人則被要求每兩個回合在Likert量表上給出反饋，該量表有五個等級，表明其消極情緒的緩解程度。數據集鏈接：評價指標介紹自動評價指標：?Bleu-n (B-1, B-2, B-3, B-4)，Rouge-L (R-L)：評估生成回復與參考回復的相似程度。?Distinct-n (D-1, D-2, D-3)：評估生成回復的多樣性。?ACC：預測策略的準確率。人工評價指標：我們招募了一名熟悉情緒支持對話的志愿者與模型進行交互，以進行人工評估。具體而言，我們從測試集中隨機抽取了89段對話。然后，我們要求志愿者在這些對話場景下扮演求助者的角色，并與模型展開交流。對于MISC和ChatGPT，志愿者需要在以下五個方面進行評判（或判斷兩者表現相當），這些方面涵蓋了情緒支持對話的三個階段：?流暢度：哪個模型能產生更連貫和流暢的回應；?探索能力：哪個模型能更有效地探討求助者的問題；?共情能力：哪個模型在理解求助者的感受和情況方面表現出更強的同理心；?建議能力：哪個模型能提供更有價值的建議；?總體表現：哪個模型能提供更有效的情感支持。主實驗結果

人工評價結果

WinLossTieMISC v.s ChatGPT流暢度63152探索能力63845共情能力****401633建議能力37313總體表現126512分析與討論ChatGPT的生成內容仍保持著長而多樣的特點，使其在自動評價指標Distinct-n上遠超過SOTA方法。但多樣性也帶來了與真實回復的偏離。從人工評價結果來看，情緒支持對話的特點之一是為用戶提供建議和有效信息以走出困境。這恰好符合ChatGPT的生成偏好，故在此任務上展示出優秀的效果。然而，在共情能力方面，SOTA方法優于ChatGPT的原因在于，ChatGPT太過“急于求成”，一旦確認用戶所面臨的困境，便立刻給出相應的建議和應對措施，忽略了對用戶情緒的撫慰和關照。但這并不能說明ChatGPT不具有共情能力。其在共情回復生成任務中展現出的優秀表現能夠證明，其能夠設身處地安慰用戶。通過適當的提示詞工程，我們相信可以使ChatGPT“放慢節奏”，在給出用戶建議前進行充分的情緒疏導。相比MISC，ChatGPT能展現出更多樣化且更有效的建議，從而在建議能力方面遠遠超過現有模型。但這一點MISC無法通過現有數據集學習，因為語料中真實的建議本身就具有局限性。對于未來關于情緒支持對話的研究，如何使得模型自適應地控制情緒支持的節奏（不宜“操之過急”提出建議解決問題，也不宜“停滯不前”重復無效的安慰）是一個值得關注的研究點。此外，研究更合理的自動評價指標，以對齊與人工評價的差異，仍需要進一步探索。結論與展望經過對ChatGPT情感對話能力的初步探索，我們發現ChatGPT在情感對話理解和生成方面表現出色。需要注意的是，我們的實驗結果可能無法完全反映ChatGPT在相應任務上的最佳表現。通過更加精細化的提示詞工程和上下文示例選擇，我們相信ChatGPT的性能可以進一步提高。未來的情感對話理解工作方向之一是探索ChatGPT與標簽標注規范的對齊，而在情感對話生成方面，重要的是研究合理的自動評價指標以衡量模型能力，因為目前所廣泛采用的自動評價和人工評價得到的性能表現可能會有所不同。

摘要: 超大預訓練模型(Pre-trained model, PTM)是人工智能領域近年來迅速崛起的研究方向, 在自然語言處理和計算機視覺等多種任務中達到了有史以來的最佳性能, 促進了人工智能生成內容的發展和落地. ChatGPT作為當下最火熱的PTM, 更是以優異的表現獲得各界的廣泛關注. 本文圍繞ChatGPT展開. 首先概括了PTM的基本思想并對其發展歷程進行了梳理; 接著, 詳細探討了ChatGPT的技術細節, 并以平行智能的視角闡述了ChatGPT; 最后, 從技術、范式以及應用等多個方面對PTM的發展趨勢進行了展望.

2022年底, 一款名為ChatGPT (Chat generative pre-trained Transformer)的人工智能聊天程序引爆全球, 成為了各行業關注的焦點. ChatGPT火熱之余, 不禁讓眾人思考: ChatGPT有何奧秘? “ChatGPT是一種基于人工智能的自然語言處理技術, 能夠根據給定的問題和語境生成符合語言習慣和邏輯的回答. 這種技術可以應用于各種領域, 如客服、智能助手、教育、醫療等, 能夠幫助人們更方便、高效地獲取所需信息. 當前, ChatGPT在各個領域的應用越來越廣泛, 因為它可以實現智能化、個性化、高效化的服務, 得到了廣大用戶的認可和喜愛. 隨著技術的不斷進步和完善, ChatGPT在處理語言難度、語境理解、知識獲取和表達等方面都得到了不斷的提升, 使得它在應用領域的效果和準確度都越來越好. 因此, 當下ChatGPT的火熱現象主要是因為它能夠提供高效便捷的智能服務, 并且在技術上不斷突破和進步, 能夠越來越好地滿足人們的需求. 同時, 隨著ChatGPT技術的發展, 它還將繼續在各個領域發揮重要作用, 成為人們生活中不可或缺的一部分.”①就這些問題, ChatGPT自己如是說道. 由ChatGPT的回答, 我們不難發現ChatGPT的論述條理清晰、井然有序, 更難得的是符合大眾日常的語言習慣, 這讓上述問題的答案不言而喻. ChatGPT的橫空出世勢必會給各行業帶來巨大的沖擊和挑戰, 同時也意味著新機遇的誕生. 因此, 人們需對ChatGPT有全面且深刻的認識.

ChatGPT屬于自然語言處理(Natural language processing, NLP)領域的超大預訓練模型(Pre-trained model, PTM)[1-2], 這類超大PTM也稱基石模型(Foundation model)[3, 4]、大模型(Large/big model)[5-7]. 簡單來說, 超大PTM旨在設計具有超大參數量的深度神經網絡(Deep neural network, DNN), 在海量未標記的數據上對其進行訓練. 利用超大參數量DNN強大的函數近似能力, 預訓練可使超大PTM在這些海量數據上提取共性特征. 再根據下游任務, 對超大PTM進行微調(Fine-tune)或上下文學習(In-context learning), 使最終的模型可在具有一定相關度但不同的任務中獲得優異的表現. 目前, 國內外眾多科研機構、公司研發的超大PTM已在各領域取得了巨大的突破, 引領了新一輪的人工智能科技競賽.

為進一步推進以ChatGPT為代表的超大PTM技術的發展和應用, 加速人工智能生成內容(Artificial intelligence-generated content, AIGC)落地, 本文首先梳理了超大PTM的經典模型, 并進行簡要介紹. 其次, 詳細地介紹了ChatGPT中的關鍵技術——Transformer, 探討了ChatGPT的設計與實現, 同時以平行智能的視角解讀了ChatGPT. 在綜合分析ChatGPT和其他PTM的基礎上, 我們進一步從技術、生態、范式以及應用等多個方面探討了超大PTM的發展趨勢.

ChatGPT的設計與實現

如前所述, ChatGPT的出色表現得益于其成功地引入了人類的價值偏好. 不同于其他PTM, ChatGPT采用RLHF的方式將人類的語言習慣引入模型中, ChatGPT實現的基本流程如圖4所示, 可大致分為如下4步:

步驟0: 預訓練GPT. 基于大規模語料庫, 以自監督學習的方式預訓練GPT模型. 使GPT在大規模語料庫上提取自然語言共性特征.

步驟1: 監督微調(Supervised fine-tuning) GPT. 基于真人標注偏好的答案初步引入真人價值偏好, 根據人工示例監督微調GPT.

步驟2: 獎勵模型(Reward model)設計. 基于真人對模型輸出排序的數據, 監督訓練獲得獎勵模型, 使獎勵模型學習到真人的價值偏好.

步驟3: RL反饋優化GPT. 基于獎勵模型并采用近端策略優化(Proximal policy optimization, PPO)算法[38], 閉環反饋優化監督微調后的GPT, 獲得ChatGPT.

經步驟0后的GPT, 在具體任務上表現并不一定出色, 但已具備相當潛力, 通過微調或者上下文學習的模式即可在多種任務中獲得優異表現. 步驟0的介紹可參考上一節. 而步驟1至步驟3是ChatGPT的關鍵步驟, 這些步驟成功地將人類因素引入了GPT中. 換一個角度來看, 步驟1至步驟3也是RL的標準流程.

ChatGPT快速滲透， AI產業迎發展新機 　　ChatGPT是由OpenAI公司開發的人工智能聊天機器人程序， 于2022年11月發布， 推出不久便在全球范圍內爆火。根據World of Engineering數據顯示， ChatGPT達到1億用戶量用時僅2個月， 成為史上用戶增長速度最快的消費級應用程序。與之相比， TikTok達到1億用戶用了9個月， Instagram則花了2年半的時間。從用戶體驗來看， ChatGPT不僅能實現流暢的文字聊天， 還可以勝任翻譯、 作詩、 寫新聞、 做報表、 編代碼等相對復雜的語言工作。 　　ChatGPT爆火的背后是人工智能算法的迭代升級。ChatGPT是基于GPT-3.5微調得到的新版本模型， 能夠借助人類反饋的強化學習（RLHF） 技術來指導模型訓練， 實現模型輸出與人類預期的需求， 使對話內容更加人性化和富有邏輯性。從2008年第一代生成式預訓練模型GPT-1誕生以來， GPT系列模型幾乎按照每年一代的速度進行迭代升級， 未來隨著大語言模型（LLM） 技術的不斷突破， AI相關應用有望加速落地， AI產業或將迎來新一輪發展機遇。 　　ChatGPT激起AI浪潮，大算力芯片迎來產業機遇 　　ChatGPT是生成式人工智能技術（AIGC） 的一種， 與傳統的決策/分析式AI相比， 生成式AI并非通過簡單分析已有數據來進行分析與決策， 而是在學習歸納已有數據后進行演技創造， 基于歷史進行模仿式、 縫合式創作， 生成全新的內容。AIGC的應用非常廣泛， 包括自然語言生成、 圖像生成、 視頻生成、 音樂生成、 藝術創作等領域。 　　AIGC產業鏈主要分為上游算力硬件層、 中游數據/算法軟件層和下游行業應用層。硬件層依靠高性能AI芯片、 服務器和數據中心為AIGC模型的訓練提供算力支持， 是承載行業發展的基礎設施；數據/算法層軟件層主要負責AI數據的采集、 清洗、 標注及模型的開發與訓練， 多方廠商入局自然語言處理、 計算機視覺、 多模態模型等領域；行業應用層目前主要涉及搜索、 對話、推薦等場景， 未來有望在多個行業呈現井噴式革新。 　　多模態賦能下游行業智慧化升級 　　多模態大模型有望成為AI主流， 賦能下游行業智能升級。生成式AI主要依賴于人工智能大模型， 如Transformer、 BERT、GPT系列等。這些模型通常包含數十億至數萬億個參數， 需要龐大的數據集進行訓練， 致使AI算力的需求也呈現出指數級的增長。多模態是一種全新的交互、 生成模式， 集合了圖像、 語音、 文本等方式， 因其可以結合多種數據類型和模態的學習，將有望徹底改變我們與機器互動的方式， 快速占據人工智能主導地位。我們認為多模態大模型長期來看不僅可以從成本端降本增效， 需求端也將通過快速滲透推廣為下游行業帶來持續增長需求， 從而快速推動下游行業智慧化應用升級。 　　模型更新升級帶動下游行業不斷發展 　　從GPT-1到ChatGPT， 模型參數與訓練數據量不斷增加， 所需算力資源不斷提升： 　　GPT-1：最早的GPT模型之一， 包含了1.17億個參數， 預訓練數據量約為5GB。 　　GPT-2：參數數量達到了1.5億個， 預訓練數據量達40GB。 　　GPT-3：是目前為止最大的語言模型之一， 包含了1750億個參數， 預訓練數據量為45TB。 　　ChatGPT：基于GPT-3模型的變種之一， 參數量預計與GPT-3相近。 　　GPT-4性能提升顯著， AIGC應用市場空間廣闊 　　多模態模型是實現人工智能應用的關鍵。3月14日OpenAI發布GPT-4多模態大模型， 擁有1） 強大的識圖能力；2） 文字輸入限制提升至2.5萬字；3） 回答準確性顯著提高；4） 能夠生成歌詞、 創意文本、 實現風格變化。在各種專業和學術基準上，GPT-4已具備與人類水平相當表現。如在模擬律師考試中， 其分數在應試者前10%， 相比下GPT-3.5在倒數10%左右。多模態大模型在整體復雜度及交互性上已有較大提升， 模型升級有望加速細分垂直應用成熟， 賦能下游智慧化升級， 帶動需求快速增長。 　　AIGC下游市場滲透率低， 增長空間廣闊。根據 Gartner數據， 目前由人工智能生成的數據占所有數據的 1%以下， 預計2023年將有 20%的內容被生成式AI 所創建， 2025 年人工智能生成數據占比將達到 10%。根據前瞻產業研究院數據， 2025年中國生成式商業AI應用規模將達2070億元， CAGR（2020-2025） 為84.06%。

最近，ChatGPT與DALL-E-2[1]和Codex[2]一起受到了社會的廣泛關注。因此，許多人對相關資源感興趣，并試圖揭開其令人印象深刻的性能背后的背景和秘密。**事實上，ChatGPT和其他生成式AI (GAI)技術屬于人工智能生成內容(AIGC)的范疇，它涉及通過AI模型創建數字內容，如圖像、音樂和自然語言。AIGC的目標是使內容創建過程更加高效和可訪問，允許以更快的速度生產高質量的內容。**AIGC是通過從人類提供的指令中提取和理解意圖信息，并根據其知識和意圖信息生成內容來實現的。近年來，大規模模型在AIGC中變得越來越重要，因為它們提供了更好的意圖提取，從而改善了生成結果。隨著數據和模型規模的增長，模型可以學習的分布變得更加全面和接近現實，從而產生更加真實和高質量的內容。**本文全面回顧了生成模型的歷史，基本組件，以及AIGC的最新進展，從單模態交互和多模態交互。**從單模態的角度，介紹了文本和圖像的生成任務和相關模型。從多模態的角度出發，介紹上述模態之間的交叉應用。最后討論了AIGC存在的開放問題和未來的挑戰。

1. 引言

近年來，人工智能生成內容(Artificial Intelligence Generated Content, AIGC)受到了計算機科學界以外的廣泛關注，全社會開始關注大型科技公司[3]構建的各種內容生成產品，如ChatGPT[4]和DALL-E2[5]。AIGC指的是使用高級生成AI (GAI)技術生成的內容，而不是由人類作者創建的內容，AIGC可以在短時間內自動創建大量內容。例如，ChatGPT是OpenAI開發的用于構建對話式人工智能系統的語言模型，可以有效地理解并以有意義的方式響應人類的語言輸入。此外，DALL-E-2是另一個最先進的GAI模型，也是由OpenAI開發的，它能夠在幾分鐘內從文本描述中創建獨特的高質量圖像，如圖1所示的“一個宇航員以逼真的風格騎馬”。隨著AIGC的卓越成就，許多人認為這將是人工智能的新時代，并將對整個世界產生重大影響。

**從技術上講，AIGC是指給定人工指令，可以幫助教學和指導模型完成任務，利用GAI算法生成滿足指令的內容。**該生成過程通常包括兩個步驟:從人工指令中提取意圖信息和根據提取的意圖生成內容。然而，如之前的研究[6,7]所示，包含上述兩個步驟的GAI模型的范式并不完全新穎。與之前的工作相比，最近的AIGC的核心進展是在更大的數據集上訓練更復雜的生成模型，使用更大的基礎模型架構，并能夠訪問廣泛的計算資源。例如，GPT-3的主框架保持與GPT-2相同，但預訓練數據大小從WebText 8增長到CommonCrawl9，基礎模型大小從1.5B增長到175B。因此，在人類意圖提取等任務上，GPT-3比GPT-2具有更好的泛化能力。

除了數據量和計算能力增加帶來的好處，研究人員還在探索將新技術與GAI算法集成的方法。例如，ChatGPT利用來自人類反饋的強化學習(RLHF)[10-12]來確定給定指令的最適當響應，從而隨著時間的推移提高模型的可靠性和準確性。這種方法使ChatGPT能夠更好地理解人類在長對話中的偏好。同時，在計算機視覺領域，由Stability提出了穩定擴散[13]。AI在2022年也在圖像生成方面取得了巨大成功。與之前的方法不同，生成擴散模型可以通過控制探索和利用之間的權衡來幫助生成高分辨率圖像，從而將生成圖像的多樣性和與訓練數據的相似性和諧地結合起來。

結合這些進展，模型在AIGC任務上取得了顯著進展，并被應用于各個行業，包括藝術[14]、廣告[15]、教育[16]等。在不久的將來，AIGC將繼續成為機器學習的一個重要研究領域。因此，對過去的研究進行廣泛的調研并確定該領域的開放問題至關重要。對AIGC領域的核心技術和應用進行了綜述。 **這是對AIGC的首次全面綜述，從技術和應用兩個方面對GAI進行了總結。之前的研究從不同的角度關注GAI，包括自然語言生成[17]，圖像生成[18]，多模態機器學習中的生成[7,19]。**然而，之前的工作只關注AIGC的特定部分。本文首先回顧了AIGC中常用的基礎技術。進一步對先進的GAI算法進行了全面的總結，包括單峰生成和多峰生成，如圖2所示。此外，還討論了AIGC的應用和潛在挑戰。最后指出了該領域存在的問題和未來的研究方向。

綜上所述，本文的主要貢獻如下:

據我們所知，我們是第一個為AIGC和AI增強生成過程提供正式定義和徹底調研的人。

回顧了AIGC的歷史和基礎技術，并從單模態生成和多模態生成的角度對GAI任務和模型的最新進展進行了全面分析。

討論了AIGC面臨的主要挑戰以及AIGC未來的研究趨勢。

調研的其余部分組織如下。第二節主要從視覺模態和語言模態兩個方面回顧了AIGC的歷史。第3節介紹了目前在GAI模型訓練中廣泛使用的基本組件。第4節總結了GAI模型的最新進展，其中第4.1節從單模態角度回顧了進展，第4.2節從多模態生成的角度回顧了進展。在多模態生成中，介紹了視覺語言模型、文本音頻模型、文本圖模型和文本代碼模型。第5節和第6節介紹了GAI模型在AIGC中的應用以及與該領域相關的一些重要研究。第7、8節揭示了AIGC技術存在的風險、存在的問題和未來的發展方向。最后，我們在9中總結了我們的研究。2. 生成式人工智能的歷史生成模型在人工智能領域有著悠久的歷史，可以追溯到20世紀50年代，隱馬爾可夫模型(HMM)[20]和高斯混合模型(GMMs)[21]的發展。這些模型生成了語音和時間序列等順序數據。然而，直到深度學習的出現，生成模型才在性能上看到了顯著的改進。

在早期的深度生成模型中，不同的領域通常沒有太多的重疊。在自然語言處理(NLP)中，傳統的生成句子的方法是使用N-gram語言建模[22]學習單詞分布，然后搜索最佳序列。然而，該方法不能有效地適應長句子。為了解決這個問題，循環神經網絡(RNN)[23]后來被引入到語言建模任務中，允許對相對較長的依賴關系進行建模。隨后，長短期記憶(LSTM)[24]和門控循環單元(GRU)[25]的發育，它們利用門控機制在訓練過程中控制記憶。這些方法能夠處理樣本[26]中的約200個標記，與N-gram語言模型相比，這是一個顯著的改進。 同時，在計算機視覺(CV)領域，在基于深度學習的方法出現之前，傳統的圖像生成算法使用紋理合成[27]和紋理映射[28]等技術。這些算法基于手工設計的特征，在生成復雜多樣的圖像方面能力有限。2014年，生成對抗網絡(Generative Adversarial Networks, GANs)[29]被首次提出，在各種應用中取得了令人印象深刻的結果，是該領域的一個重要里程碑。變分自動編碼器(vae)[30]和其他方法，如擴散生成模型[31]，也已開發用于對圖像生成過程進行更細粒度的控制和生成高質量圖像的能力

生成模型在不同領域的發展遵循不同的路徑，但最終出現了交叉的問題:transformer架構[32]。Vaswani等人在2017年引入了NLP任務，Transformer后來被應用于CV中，然后成為不同領域許多生成模型的主要骨干[9,33,34]。在NLP領域，許多著名的大型語言模型，如BERT和GPT，采用transformer架構作為其主要的構建塊，比之前的構建塊(如LSTM和GRU)具有優勢。在CV中，Vision Transformer (ViT)[35]和Swin Transformer[36]后來通過將Transformer架構與視覺組件相結合，進一步發展了這一概念，使其可以應用于基于圖像的下游。除了transformer給單個模態帶來的改進之外，這種交叉還使來自不同領域的模型能夠融合在一起，以完成多模態任務。多模態模型的一個例子是CLIP[37]。CLIP是一種視覺-語言聯合模型，將transformer架構與視覺組件相結合，允許它在大量文本和圖像數據上進行訓練。由于它在預訓練時結合了視覺和語言知識，因此也可以作為多模態提示生成中的圖像編碼器。總而言之，基于transformer的模型的出現徹底改變了人工智能的產生，并導致了大規模訓練的可能性。

近年來，研究人員也開始引入基于這些模型的新技術。例如，在NLP中，人們有時喜歡少樣本提示[38]，而不是微調，這是指在提示中包括從數據集中選擇的一些示例，以幫助模型更好地理解任務需求。在視覺語言中，研究人員經常將特定模態模型與自監督對比學習目標相結合，以提供更魯棒的表示。在未來，隨著AIGC越來越重要，會有越來越多的技術被引入，讓這個領域充滿活力。

3. 生成式人工智能

我們將介紹最先進的單模態生成模型。這些模型被設計為接受特定的原始數據模態作為輸入，例如文本或圖像，然后以與輸入相同的模態生成預測。我們將討論這些模型中使用的一些最有前途的方法和技術，包括生成語言模型，如GPT3[9]、BART[34]、T5[56]和生成視覺模型，如GAN[29]、VAE[30]和歸一化流[57]。

多模態模型

多模態生成是當今AIGC的重要組成部分。多模態生成的目標是通過學習數據[7]的多模態連接和交互來學習生成原始模態的模型。模態之間的這種連接和相互作用有時是非常復雜的，這使得多模態表示空間與單模態表示空間相比很難學習。然而，隨著前面提到的強大的特定于模式的基礎架構的出現，越來越多的方法被提出來應對這一挑戰。在本節中，我們將介紹視覺語言生成、文本音頻生成、文本圖形生成和文本代碼生成中的最先進的多模態模型。由于大多數多模態生成模型總是與實際應用高度相關，本節主要從下游任務的角度進行介紹。

4. 應用

5. 效率

在過去的十年中，具有神經網絡的深度生成式人工智能模型一直主導著機器學習領域，其崛起歸功于2012年的ImageNet競賽[210]，這導致了一場創建更深入和更復雜模型的競賽。這種趨勢也出現在自然語言理解領域，像BERT和GPT-3這樣的模型已經開發出了大量參數。然而，不斷增加的模型占用空間和復雜性，以及訓練和部署所需的成本和資源，給現實世界中的實際部署帶來了挑戰。核心挑戰是效率，可以分解如下:

推理效率: 這與部署用于推理的模型的實際考慮有關，即為給定的輸入計算模型的輸出。推理效率主要與推理期間模型的大小、速度和資源消耗(例如，磁盤和RAM使用)有關。 * 訓練效率: 這涵蓋了影響訓練模型的速度和資源需求的因素，如訓練時間、內存占用和跨多個設備的可伸縮性。它還可能包括考慮在給定任務上實現最佳性能所需的數據量。

　ChatGPT憑實力“出圈”。ChatGPT是一款對話式AI聊天機器人，由微軟旗下的人工智能研究實驗室OpenAI于2022年11月30日發布。它能寫論文、編代碼、寫小說，甚至知道繞開人類提問中預設的價值判斷、道德傾向等陷阱。ChatGPT一經推出，就在人工智能生成內容（AIGC）領域引起轟動，被評價聰明得“像人類”。

　　“人形機器人”與“AI”的關系已密不可分。人形機器人離不開機器視覺與神經網絡，前者通過目標追蹤、圖像描述、場景理解等生成數據，后者模仿人腦對生成的數據進行算法處理，從而令人形機器人完成各自任務，而無論是機器視覺或神經網絡都與AI息息相關。AI已成為人形機器人的核心。

　　ChatGPT助力AI快速實現技術平臺化和應用場景化。ChatGPT與以往的AI工具擁有諸多“共性”，但又具備獨特的“個性”。1）ChatGPT的“自然語言處理”采用了一種用于處理序列數據的模型，使其交互能力和學習能力得到加強。這意味著它與人類互動越多，“成長”越快，隨著時間推移對用戶提出的同一問題能做出不同或更靠譜的解答。2）ChatGPT使用大量語料庫作為訓練，它能更好地理解人類語言，避免“人工智障”的詬病。約有40名全職AI訓練師在多年時間內給ChatGPT“投喂”了3000億個單詞的語料。3）一般的對話型AI具備特定用途（例如某一組織的對內對外服務），而ChatGPT則試圖完成“幾乎任何語種“的任務。

　　ChatGPT或帶來人形機器人下一拐點。人形機器人是一個多任務、通用型機器人平臺，未來它在工業生產、社會服務等領域將有非常多的應用場景。ChatGPT基于OpenAI公司開發的一個GPT-3.5架構的大型語言模型，通過強化學習訓練人工智能聊天機器人程序，能夠廣泛應用于業界和客戶服務，基于Transformer架構的強大算力的語言模型，具有深度學習特質，葆有出色的語言理解和文本對話生成能力，ChatGPT的語言理解和生成水平的便捷性或帶來人形機器人下一拐點。 　

**刷爆的ChatGPT什么算法這么強！臺大李宏毅老師國語講解《ChatGPT (可能)是怎么煉成的 》！ **

** **

** **

ChatGPT是OpenAI推出的聊天機器人模型，月度用戶已破億，正在逐步探索商業化途徑。ChatGPT能夠通過學習和理解人類的語言來進行對話，還能根據聊天的上下文進行互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼等任務。根據UBS統計數據顯示，ChatGPT上線2個月后月度用戶數量破1億。 　　OpenAI的商業模式為，會員收費、開放API以及與微軟的戰略合作。會員服務：2023年2月1日，OpenAI推出付費訂閱項目ChatGPTPlus，價格為$20/月，目前面向美國用戶。API服務：ChatGPT將在未來加入OpenAI的API，目前已在包括游戲虛擬人等泛娛樂內容產業和互聯網的多方面進行應用。1）辦公軟件：微軟計劃將包括ChatGPT等AI工具整合進旗下的所有產品中。ChatGPT已加入瀏覽器擴展程序，集成了ChatGPT-4的BING短暫上線。2）泛娛樂：AI或將不斷趨近人類思維敘事，AIGC是踏入元宇宙的重要一步，且已有公司在直播場景、游戲場景等泛娛樂中應用ChatGPT。 　　谷歌、百度等眾多公司推出自有AI產品，百度文心一言（ERNIEBot）預計三月份完成內測。百度擁有飛槳（深度學習開源框架）、百度AI大底座（全棧AI基礎設施）和文心大模型（AI應用場景全覆蓋）。ERNIE是百度開創性提出的基于知識增強的持續學習語義理解框架。ERNIE3.0參數量增大到了10B，訓練數據集為4TB。產品應用或可期待。