原創作者:趙偉翔,趙妍妍,陸鑫,王世龍,童彥澎,秦兵
轉載須標注出處:哈工大SCIR引言
情感對話技術旨在賦予對話機器人類似人類的情感,使它們具備識別、理解和表達情感的能力,從而為用戶提供更為人性化和多樣化的回復。讓計算機具備“情商”可以說是人工智能領域的更高追求。人工智能之父馬文·明斯基(Marvin Minsky)在其著作《情感機器》[1]中指出:“只具備智力而無情感的人工智能,并非真正的智能。這表明對話機器人不僅需要“智商”,還要具備“情商”。因此,研發具備情感功能的對話機器人成為學術界和產業界共同關注的課題。近年來,產業界的許多對話機器人產品都增加了情感功能,以提高產品的趣味性和人性化,例如微軟的小冰、小黃雞聊天機器人等。情感對話技術成為了提升這些應用產品(如閑聊機器人[2]、智能客服[3]、語音助手[4]等)性能的核心技術。通過在這些產品中加入情感對話技術,可以使得機器人更好地理解用戶的需求和情感,從而提供更為貼近用戶心理的服務。隨著ChatGPT[5]的問世,對話機器人領域迎來了革新。作為一款先進的大型語言模型,ChatGPT為對話機器人帶來了更為豐富且精確的語義理解和回復生成能力,極大地提升了與人類用戶的交互體驗。考慮到ChatGPT在基本對話技術方面的重要突破,以及近期研究分析了其在各項傳統自然語言處理任務中的表現[6, 7],我們對ChatGPT在情感對話技術發展方面的影響產生了興趣。因此,在本文中,我們將探討ChatGPT在情感對話領域的多個任務上的性能表現,分析其優缺點,并思考情感對話領域未來的研究方向。
任務設置
我們將從情感對話理解和生成能力這兩個維度出發,對ChatGPT在其下各個主流任務的性能表現進行比較和分析。評測方法對于各個任務上的SOTA模型,我們直接引用了其原論文的實驗結果,而ChatGPT的性能測試則全部使用OpenAI開放API的"gpt-3.5-turbo"模型(截止至3.8日的模型版本)。我們測試了ChatGPT在各個任務上零式學習(Zero-shot Learing)和上下文學習(In-context Learning)的表現。
評測詳情
對話情緒識別
任務定義
對話情緒識別是一個分類任務,旨在對一段對話中的話語進行情緒分類。任務的輸入是一段連續的對話,輸出是這段對話中所有話語的情緒,圖1給出了一個簡單的示例。對話中的話語情緒識別并不簡單等同于單個句子的情緒識別,需要綜合考慮對話中的背景、上下文、說話人等信息。對話情緒識別可廣泛應用于各種對話場景中,如社交媒體中評論的情感分析、人工客服中客戶的情緒分析等。此外,對話情緒識別還可應用于聊天機器人中,實時分析用戶的情緒狀態,實現基于用戶情感驅動的回復生成。
圖1. 對話情緒識別示例[8]
數據集介紹
IEMOCAP
[9]南加州大學SAIL實驗室收集,由人扮演的雙人對話,12小時的多模態視聽數據。10個專業演員(5男5女),一共分為5個Session,每個Session分配1男1女。對話分為兩部分,一部分是固定的劇本,另一部分是給定主題情景下的自由發揮。151段對話,共7433句。標注了6類情緒:Neutral, Happiness, Sadness, Anger, Frustrated, Excited,非中性情緒占比77%。IEMOCAP是對話情緒識別中常用的數據集之一,質量較高,優點是有多模態信息,缺點是數據規模較小。本次測試僅使用其文本模態數據。數據集鏈接://sail.usc.edu/iemocap/MELD[10]來源于老友記,多人對話形式,是EmotionLines[11]老友記部分的多模態擴充(文本+視頻)。1432段對話,共13708句。標注了7類情緒:Neutral, Happiness, Surprise, Sadness, Anger, Disgust, Fear和3類情感:Positive, Negative, Neutral,非中性情緒占比53%。MELD是對話情緒識別中常用的數據集之一,優點是數據集質量較高,缺點是數據集中的對話涉及到的劇情背景太多,情緒識別難度很大。本次測試僅使用其文本模態數據。數據集鏈接:EmoryNLP[12]來源于老友記,多人對話形式。897段對話,共12606句。標注了7類情緒:Sad, Mad, Scared, Powerful, Peaceful, Joyful, Neutral,非中性情緒占比70%。EmoryNLP是對話情緒識別中常用的數據集之一,由于和MELD來源相同,故優缺點與MELD數據集類似。數據集鏈接:DailyDialog[13]高質量多輪對話數據集,純文本,噪聲小,對話反映不同主題的日常生活,無固定說話人。數據集除了7類情緒標注,還有10類主題標注以及4類對話行為標注。13118段對話,共102979句。標注了7類情緒:Neutral, Happiness, Surprise, Sadness, Anger, Disgust, Fear,非中性情緒占比16.8%。DailyDialog是對話情緒識別中常用的數據集之一,優點是數據規模較大,缺點是中性情緒占比過高。數據集鏈接:評價指標介紹對于IEMOCAP、MELD和EmoryNLP數據集,目前大部分論文使用Weighted-F1指標進行評價;對于DailyDialog數據集,由于其中性占比實在太高,目前大部分論文都使用不考慮中性類別的Micro-F1指標進行評價。
主實驗結果
下面是主實驗結果,從中可以看出ChatGPT相比于最先進的微調模型普遍還有10—20百分點的性能差距。模型IEMOCAPMELDEmoryNLPDailyDialogCoMPM[14] (NAACL 2022)69.4666.5238.9360.34SPCL[15] (EMNLP 2022)69.7467.2540.94—ChatGPT, 0-shot44.9757.3037.4740.66ChatGPT, 1-shot47.4658.6335.6042.00ChatGPT, 3-shot48.5858.3535.9242.39
案例展示
下面是從DailyDialogue數據集中找到的一段對話數據,模擬了醫生和病人的對話場景,我們將其翻譯成中文展示。說話人對話內容數據集標注ChatGPT預測A早上好。你怎么了?中性中性B早上好,醫生。我頭疼得厲害。中性難過A好的,年輕人。告訴我它是怎么開始的。中性中性B昨天我流鼻涕,現在我鼻塞了,喉嚨痛,恐怕我發燒了。我感覺很糟糕。中性難過A別擔心,年輕人。讓我給你做個檢查。首先讓我看看你的喉嚨。張開嘴說“啊”。中性中性B啊。中性中性A你的喉嚨發炎了。你的舌頭上有厚厚的舌苔。你有流感的癥狀。中性恐懼B那我該怎么辦?中性恐懼A你只需要好好休息,多喝水。我給你開藥方。中性積極B非常感謝。中性積極
分析與討論
案例展示部分中,我們將數據集可能的標注錯誤用紅色字體展示,將ChatGPT扭轉了標注錯誤用綠色字體展示;另外ChatGPT預測結果中還有黃色字體的標簽,這是我們額外發現的問題:ChatGPT與數據集規范不匹配問題。從這部分實際預測樣例看,ChatGPT做不好的最大問題是它的標準與數據集的標準有偏差。數據集標注時可能按一種標注規范來確定什么情況是什么情緒,而ChatGPT自己有一套理解和規范。具體來說,在上面醫生和病人的對話中,病人在描述自己頭疼癥狀時,數據集標注的是中性,而ChatGPT則認為這是難過,這個不能說是誰對誰錯,而是兩者認識的標準不同。更進一步討論,這種標準的不匹配可能并不是ChatGPT能力的問題,而是Few-Shot設定的問題。因為當標注規范細致繁瑣到一定程度后,就已經不可能僅由幾個示例覆蓋了,這是Few-shot天然所不能做好的事情。基于此可對未來方向有所推測:如果是不追求與特定規范嚴格對齊的場景,那么基于ChatGPT等Few-Shot設定下的改進是可行的,但是使用數據集標簽評價是不合適的,可能需要廣泛的人工評價;如果是追求與特定規范嚴格對齊的場景,Few-Shot設定可能并不是一個好的選擇,有監督微調模型仍然是更好的方案。
對話情緒原因識別
任務定義
對話情緒原因識別,旨在找出一段對話中,引起目標句情緒的原因。任務的輸入是一段連續的對話和目標句,輸出引發目標句情緒的原因。在這里,情緒原因有兩種存在形式,分別為句子級情緒原因和詞組級情緒原因,圖2給出了一個簡單的示例。這本次測試中,我們僅關注在對句子級情緒原因的識別。
圖2 對話情緒原因識別示例
數據集介紹
我們在基準數據集RECCON-DD[16]上進行了實驗。它是在對話情緒識別數據集DailyDialog[13]的基礎上,進行情緒原因的標注。我們只考慮存在于對話上文中的情緒原因,并且重復的因果語句被刪除。數據集鏈接:評價指標介紹我們分別對負例和正例因果對計算F1值,以及計算二者的macro-F1值。
主實驗結果
模型Neg. F1Pos. F1Macro F1KBCIN[17] (AAAI 2023)89.6568.5979.12ChatGPT 0-shot85.2551.3368.29ChatGPT 1-shot82.1052.8467.47
分析與討論
對于 ChatGPT 的錯誤案例分析,可以發現其在 Pos. F1 上的性能與 SOTA 存在較大差距的原因在于數據集中有大量情緒原因樣本存在于目標句本身。ChatGPT 未能對這種樣例進行正確的預測,而更偏向于從對話上文中尋找原因語句。這一現象與上述對話情緒識別的分析是相符的。ChatGPT 的性能不佳的最大問題在于其預測標準與數據集的標注標準存在很大偏差。在給定一個示例后,ChatGPT 的性能下降進一步表明,對于情緒原因這類標注規范較為復雜的任務,充分發揮 ChatGPT 性能的關鍵是使其能夠深刻理解數據集構建時的規范,從而沖破其自身的語言模型先驗,以獲得更符合下游測試數據的性能表現。
對話動作識別
任務定義
為對話中的每一個輪次,都進行一次對話動作的分類,是一個四分類任務,我們認為每一個輪次都完成了一個對話動作,動作標簽集合:{告知(inform), 提問(question), 指示(directive), 承諾(commissive)},對話動作的理解能力是對話情感理解能力的一個重要組成部分。
數據集介紹
采用DailyDialog[13]作為實驗數據集,相關介紹同對話情緒識別。評價指標介紹分類任務多采用weighted-F1與macro-F1作為評測指標,本任務中,ChatGPT會給出四分類以外的無意義標簽,嚴重拉低宏平均值,故采用加權平均f1值作為評價指標。
主實驗結果
ModelAccweighted-F1Co-GAT-0.79ChatGPT, oneshot0.670.65ChatGPT, oneshot+prompt-engineering0.710.70ChatGPT, fewshot0.730.71ChatGPT, fewshot+prompt-engineering0.730.72
案例展示
下面是測試數據集中的一個數據實例,對話翻譯成中文展示如下。說話人話語ChatGPT預測標簽真實標簽A我們什么時候才能盼到你來吃晚餐?今天能來嗎?提問指示B不行。我答應和我的妹妹去聽音樂會了。告知承諾A好吧...那周日怎么樣?提問指示B那聽起來不錯。承諾承諾分析與討論ChatGPT對于指示、承諾這兩類標簽的理解能力較差,經常將提問與指示,告知與承諾混淆,正如案例所示。這是兩個難以區分的標簽,如果沒有明顯的定義區別,它們之間會有語義上的重疊:“今天能來嗎”是一種引導性的問句,“我答應和我妹妹去音樂會了”是一種承諾性的告知。這不能說明ChatGPT的對話動作理解能力差,仍表現出ChatGPT的標簽體系與數據集的標簽體系存在差異。若在提示詞中加入詳細的標簽解釋(提示詞工程),評價指標會有明顯提升。從實驗結果可以觀察到:在本任務上,few-shot是一種對于ChatGPT最高效的提示詞增強方式,無需復雜的提示詞工程(本實驗是對commissive和directive標簽做了詳細解釋,具體見
任務提示模板
節),也能使得評價指標得到可觀的提升。本實驗的設定few-shot為3個樣本,提示詞工程也是簡單地進行設計,我們有理由相信,在精細挑選更多示例,以及更精細化地做提示詞工程,能進一步降低ChatGPT理解的標簽體系與數據集原始標簽體系的差異,從而進一步提升ChatGPT在該任務的上限,但與上述兩個任務中提及的觀點相似,這種追求與數據集標簽體系對齊的評價體系仍然值得思考。共情回復生成****任務定義給定對話歷史,模型將扮演傾聽者的角色,設身處地理解用戶處境,生成感同身受的共情回復。數據集介紹EmpatheticDialogues[19]:一個大規模的多輪雙人共情對話數據集,包含了眾包收集的24850段共情對話,并為每個對話提供了一個情緒標簽(一共有32種分布均勻的情緒)。
數據集鏈接:評價指標介紹自動評價指標:?Bleu-n (B-1, B-2, B-3, B-4)[20],Rouge-L (R-L)[21]:評估生成回復與參考回復的相似程度。?**Distinct-n **(D-1, D-2, D-3)[22]:評估生成回復的多樣性。人工評價指標:我們采取了基于屬性的成對人工偏好評價方式。具體來說,100對分別由DialoGPT和ChatGPT生成的回復語句被隨機選取出來,2位志愿者依據以下三個方面挑選出哪一句回復更好:?流暢度:評價哪一條回復更流暢,與對話歷史更相關。?共情能力:評價哪一條回復更共情,展現出對于用戶狀態和處境更好的理解。?信息量:評價哪一條回復展現出與對話歷史相關的更多信息。
主實驗結果
人工評價結果
WinLossTieEmpSOA [24] v.s ChatGPT流暢度844.547.5共情能力1053.536.5信息量98011分析與討論在共情回復生成時,ChatGPT更傾向于生成更長更具多樣性的回復。此外,其尤其傾向于提出建議解決用戶面臨的問題**,**從而與真實回復產生偏差。更進一步,從人工評價來看,SOTA方法的流暢度和共情能力勉強能夠與ChatGPT相比,但回復的信息量相差甚遠。ChatGPT生成的回復能夠完全理解用戶處境,回復質量也相當之高,從而明顯優于目前的SOTA模型。但在共情能力方面,ChatGPT在表達共情時會頻繁重復這樣的模式:復述情緒?信息擴展。反復循環著同樣一種模式不免使得用戶產生乏味。對于該任務的未來方向,首先一點是提升模型的個性化共情能力,模板且套路化的共情表達方式顯然還未能夠與真實的人類共情對話所對齊。其次,由自動評價和人工評價得到的模型性能差異化表現,進一步說明了目前仍缺乏一個合理的評價指標,來衡量共情對話系統的優劣。情緒支持對話****任務定義情緒支持對話是一個生成任務,旨在為處于消極情緒狀態時,前來尋求幫助的求助者給予情緒支持。任務的輸入為發生在求助者和支持者之間的雙人對話歷史,輸出為生成的支持者輪次的情緒支持回復。情緒支持對話可以分為三個階段:支持者需要(1)確定求助者所面臨的問題,(2)安慰求助者,然后(3)提供一些建議或信息,以幫助求助者采取行動來應對他們的問題。支持者在此過程中可以使用以下8種策略,分別為:提問(Question), 復述或改述(Restatement or Paraphrasing), 反思感受(Reflection of Feelings), 自我揭示(Self-disclosure), 肯定和安慰(Affirmation and Reassurance), 提供建議(Providing Suggestions),信息(Information)和其他(Others)。
圖3 情緒支持對話的三個階段和各個階段支持者使用的策略[25]
數據集介紹
數據集:ESConv[25]包含1,053段對話和31,410個句子。為了構建這個數據集,數據集作者招募了已經學會了提供情感支持的常用步驟和策略的支持者,通過一個在線平臺與需要情感支持的志愿者進行交流。支持者被要求在每個回合中標注所采取的策略,而尋求支持的人則被要求每兩個回合在Likert量表上給出反饋,該量表有五個等級,表明其消極情緒的緩解程度。數據集鏈接:評價指標介紹自動評價指標:?Bleu-n (B-1, B-2, B-3, B-4),Rouge-L (R-L):評估生成回復與參考回復的相似程度。?Distinct-n (D-1, D-2, D-3):評估生成回復的多樣性。?ACC:預測策略的準確率。人工評價指標:我們招募了一名熟悉情緒支持對話的志愿者與模型進行交互,以進行人工評估。具體而言,我們從測試集中隨機抽取了89段對話。然后,我們要求志愿者在這些對話場景下扮演求助者的角色,并與模型展開交流。對于MISC和ChatGPT,志愿者需要在以下五個方面進行評判(或判斷兩者表現相當),這些方面涵蓋了情緒支持對話的三個階段:?流暢度:哪個模型能產生更連貫和流暢的回應;?探索能力:哪個模型能更有效地探討求助者的問題;?共情能力:哪個模型在理解求助者的感受和情況方面表現出更強的同理心;?建議能力:哪個模型能提供更有價值的建議;?總體表現:哪個模型能提供更有效的情感支持。主實驗結果
人工評價結果
WinLossTieMISC v.s ChatGPT流暢度63152探索能力63845共情能力****401633建議能力37313總體表現126512分析與討論ChatGPT的生成內容仍保持著長而多樣的特點,使其在自動評價指標Distinct-n上遠超過SOTA方法。但多樣性也帶來了與真實回復的偏離。從人工評價結果來看,情緒支持對話的特點之一是為用戶提供建議和有效信息以走出困境。這恰好符合ChatGPT的生成偏好,故在此任務上展示出優秀的效果。然而,在共情能力方面,SOTA方法優于ChatGPT的原因在于,ChatGPT太過“急于求成”,一旦確認用戶所面臨的困境,便立刻給出相應的建議和應對措施,忽略了對用戶情緒的撫慰和關照。但這并不能說明ChatGPT不具有共情能力。其在共情回復生成任務中展現出的優秀表現能夠證明,其能夠設身處地安慰用戶。通過適當的提示詞工程,我們相信可以使ChatGPT“放慢節奏”,在給出用戶建議前進行充分的情緒疏導。相比MISC,ChatGPT能展現出更多樣化且更有效的建議,從而在建議能力方面遠遠超過現有模型。但這一點MISC無法通過現有數據集學習,因為語料中真實的建議本身就具有局限性。對于未來關于情緒支持對話的研究,如何使得模型自適應地控制情緒支持的節奏(不宜“操之過急”提出建議解決問題,也不宜“停滯不前”重復無效的安慰)是一個值得關注的研究點。此外,研究更合理的自動評價指標,以對齊與人工評價的差異,仍需要進一步探索。結論與展望經過對ChatGPT情感對話能力的初步探索,我們發現ChatGPT在情感對話理解和生成方面表現出色。需要注意的是,我們的實驗結果可能無法完全反映ChatGPT在相應任務上的最佳表現。通過更加精細化的提示詞工程和上下文示例選擇,我們相信ChatGPT的性能可以進一步提高。未來的情感對話理解工作方向之一是探索ChatGPT與標簽標注規范的對齊,而在情感對話生成方面,重要的是研究合理的自動評價指標以衡量模型能力,因為目前所廣泛采用的自動評價和人工評價得到的性能表現可能會有所不同。
自然語言處理(NLP)是人工智能最為關鍵的核心技術之一
自然語言處理(NLP)技術是計算機理解和生成自然語言的過程,使計算機具有識別、分析、理解、加工和生成自然語言文本的能力,實現人機間的信息交流
中國NLP市場規模于2021年達到181.3億元;在AI技術不斷融合與迭代升級的背景下,預計中國NLP市場于2026年達到836.6億元
中國NLP行業市場規模2021年達到181.3億元,CAGR為87.4%。隨著人工智能技術的不斷融合與提升以及高度智能化機器人ChatGPT的問世,NLP技術的應用邊界不斷拓寬至營銷、客服、智能問答、虛擬人、人機交互等領域,新興技術將逐漸替代傳統軟件和應用市場,預計未來中國NLP行業市場規模于2026年達到836.6億元
NLP技術在金融領域的功能作用主要包括語言交互和金融分析,分別應用于交互型場景和分析型場景
在交互型場景中NLP產品的核心價值在于快速理解客戶表達的語義信息并進行恰當的回復,多用于流程化和標準化的業務環節中有利于金融機構精簡客服人員并提升客服效率與質量。在分析型場景中NLP產品的核心價值在于對市場的海量金融資訊進行信息處理,提供智能分析結論,為金融機構作出決策行為提供輔助
1、底層技術:AI通過三大能力賦能辦公場景,大模型技術提升辦公生產力
AI通過提升人類的內容生成能力、人機交互能力和非結構數據處理能力,來賦能辦公場景:1)AIGC技術開啟辦公軟件發展新階段,辦公產品從效率工具向生成工具轉變;2)大模型提升人機交互能力,降低辦公軟件使用成本;3)AI提升辦公軟件非結構化數據處理能力,幫助企業更加高效地挖掘數據資源價值。
大模型技術的成熟和商業化推廣,為下游辦公應用向智能化演進提供支撐。1)GPT-4在辦公領域展現出四個極為重要的能力:會話式交互方式、跨語言及多模態交流能力、長文本處理能力、復雜推理能力。四大能力作為支撐,使得大模型在辦公軟件市場應用前景廣闊。2)文心一言強大的中文理解能力展現出廣闊的應用前景,中文場景的內容生成方面具有優勢。3)訊飛星火大模型:辦公是星火模型未來重點應用的領域,依托訊飛在各行業積淀的海量數據,可賦能細分領域的辦公場景。
2、辦公智能化實踐:國內外廠商齊發力,AI+辦公應用百花齊放
AI與辦公應用的融合,國內外廠商已有諸多實踐案例:微軟和谷歌都發布了融合AI的辦公應用Microsoft365 Copilot和Workspace,幫助用戶提高工具生產力;Salesforce通過接入通用大模型+自研小模型的方式,推出GPT程序賦能協作產品,提升溝通效率;Notion AI和印象筆記等筆記類應用,通過接入大語言模型實現文檔自動寫作;飛書推出AI助手“My AI”,以對話形式提供多種功能,包括優化和續寫文字內容、創建日程、自動匯總會議紀要、搜索公司內部知識庫等。
我們將“AI+傳媒”的研究框架體系定義為“通用大模型”+“行業小樣本”的技術架構,“AI+傳媒”在應用層表現效力優劣的關鍵取決于通用大模型對垂直應用的適配程度及迭代速度,
1、適配程度是指:多模態的輸入及輸出是否匹配應用層的輸入及輸出。比如GPT-4屬于“圖+文”多模態輸入+“文”單模態輸出,因此輸入模態為“圖或文”且輸出模態為“文”的垂直應用更適配GPT-4。 2、迭代速度是指:應用層產生的“行業小樣本”的數據量是否匹配大模型的迭代要求。根據我們對GPT模型的理解,比如BingAI產生的“行業小樣本”源自Bing的搜索結果,ChatGPT產生的“行業小樣本”源自用戶的反饋和互動。因此我們認為,對于超出GPT所使用的預訓練數據庫范圍(2021年9月前)的事實性表述,BingAI反饋的是搜索的結果,ChatGPT反饋的是用戶主動的觀點,BingAI反饋的效果比ChatGPT更好。 我們認為“行業小樣本”的價值取決于數據數量及數據質量,數量大且質量高(多模態)的應用場景復用及迭代AI能力的效力更強,因此更進一步理解我們的研究框架,我們將“行業小樣本”的結構分層(中層小模型+下層應用及內容),并將“行業小樣本”的結合方式分類(調用+訓練): 1、“行業小樣本”的數據集來自小模型或應用及內容:AI產業鏈包括上層大模型、中層小模型、下層應用及內容,包括應用及內容直接接入大模型或通過小模型接入大模型兩種方式,即“大模型+應用及內容”或“大模型+小模型+應用或內容”,其中具備特定功能的AIGC軟件產品及MaaS我們理解為“小模型”+“應用”的技術范式,本身具備較高質量的AI能力,若接入匹配的多模態大模型,有望實現能力上的質變突破。 2、“行業小樣本”的結合方式包括“能力調用”及“能力訓練”兩類: (1)“能力調用”是指下游垂類場景直接調用通用大模型的通用能力,并基于垂類場景內產生的特性化數據不斷提升調用能力在垂類場景內的適配程度。我們認為現階段下游應用及內容主要采取此類方式接入大模型能力,此類方式可高效快速調用大模型先進能力,在時間上及成本上具備優勢。我們認為“能力調用”匹配“AI+傳媒”的第一層利好,即通過AI降本增效,大幅提高數據及內容的供給量。內容產業本質由供給決定需求,因此內容供給量的明顯提升將有效帶動傳媒基本面拐點及增量空間出現。 (2)“能力訓練”是指下游垂類場景將通用大模型針對特性化數據集進行再訓練,從而形成垂類場景專屬大模型。例如彭博社利用自身豐富的金融數據源,基于開源的GPT-3框架再訓練,開發出了金融專屬大模型BloombergGPT。我們認為“能力訓練”匹配“AI+傳媒”的第二層利好,即下游垂類場景本身的數據或內容反過來“再訓練”通用大模型(或開源大模型),形成傳媒內容場景專屬大模型,形成更穩定且高質的內容輸出。我們認為訓練難度文本<圖片<視頻<影視<游戲,且內容數量逐步遞減但內容質量逐步遞增,即偏后端的影視、游戲在內容數量上訓練量級不足,因此高質量的內容形態首先通過“能力調用”輸出AIGC內容,再將AIGC內容“再訓練”大模型以解決高質量內容數量不足的問題(合成數據“再訓練”范疇)。從投資的角度,按照我們的研究框架,傳媒對應垂類場景的“行業小樣本”,其核心價值取決于數據與內容,第一層對應數據與內容的輸入模態是否匹配大模型的輸出模態;第二層對應數據與內容的數量及質量是否匹配大模型的能力再訓練: 1、按照“模態匹配”的邏輯,AI+文本/虛擬人預計率先兌現案例及業績,其次AI+圖片可通過“大模型”+“小模型”組合方式實現(如GPT+StableDiffusion、GPT+Midjourney)。隨著未來GPT-5提供更多模態的輸入及輸出,下游垂類場景的適配范圍有望擴大,通過“能力調用”適配的應用及內容場景更為豐富,因此后續“AI+視頻/影視/游戲”的案例兌現度存在新的催化空間。 OpenAI最新發布的GPT-4核心特征包括:(1)多模態輸入(圖+文),單模態輸出(文),可以閱讀并總結論文內容、解答較高難度的物理題目、具備較強的OCR能力(如識別網頁草稿并按要求反饋網頁代碼)、理解人類社會常識;(2)具備長文字處理及推理判斷能力,GPT-4上下文上限約2.5萬字,允許使用長格式內容創建、擴展對話以及文檔搜索和分析等,能夠閱讀并記憶更多信息,且具備更高的推理判斷能力;(3)可靠性大幅提升,分辨能力提高,有效減少“虛構”或“有害”信息輸出。2、按照“能力再訓練”的邏輯,AI+內容/IP預計空間及價值更大,其價值核心取決于數據與內容/IP的數量及質量的高低。微軟本周發布的DeepSpeed-Chat大幅提升大模型預訓練速度并大幅降低訓練成本,我們認為最核心意義為大幅降低垂類場景專屬大模型的訓練門檻,小模型層及應用層有望明顯受益。掌握數據及優質內容(多模態數據)的下游場景具備核心競爭力,因此內容及IP(版權)的價值有望重估。 DeepSpeed-Chat集成預訓練語言大模型完整三個步驟,其中針對第三步RLHF訓練集成了高效且經濟的DeepSpeed-RLHF系統,使復雜的RLHF訓練變得快速、經濟并且易于大規模推廣(相比現有系統提速15倍以上,且大幅降低算力要求及成本)。本文將選取國外AI圖像生成領域的龍頭之一進行解析,Midjourney是國外一款搭載在Discord社區上的圖像生成應用,通過差異化產品定位擁有了早期數據積累及活躍社區,截至2023年3月在Discord上的用戶數超1300萬,是目前用戶數最多的服務器,年營收約1億美元。公司團隊成員僅11人,人效極高,團隊成員及顧問擁有AI技術及產品創業的復合背景,從不同緯度賦能公司發展。 基于CLIP及Diffusion的開源模型構建專屬閉源模型,數據飛輪快速構建護城河。Midjourney通過參考CLIP及Diffusion開源模型的基礎上抓取公開數據進行訓練,從而構建自己的閉源模型以適應行業技術的飛速發展。此外,通過收集用戶反饋及數據標注,Midjourney不斷迭代模型,在ValueChain上占據多個數據層、模型層、應用層整個技術棧。 以藝術風格建立差異化競爭優勢,具備廣闊的用戶基礎,目標客群付費意愿強烈。Midjourney擁有多種不同風格可供選擇,藝術風格在市場上具備差異化優勢。prompt簡短生成效果驚艷,具備較強商業性,鎖定基數大付費意愿強的創意設計目標客群,被大量實踐證明能顯著提高工作效率。2022年3月V1發布時仍參考了很多的開源模型,同年4月、7月、11月分別發布V2、V3、V4,其中V4補充了生物、地點等信息,迭代出了自己的模型優勢,增強對細節的識別能力及多物體、多人物的場景塑造能力。2023年3月,在經歷多次更新后的MidjourneyV5版本解決了一些技術難題,完成了跨越性的突破。 Midjourney與Discord雙輪驅動,激勵用戶點贊積累標注數據。Discord為Midjourney的啟動提供了絕佳的社交體驗平臺,成功將其帶入了大眾市場。一方面Discordbot降低了用戶使用門檻;另一方面,圖片創作是一個在討論中不斷迭代的過程,欣賞其他用戶的作品有也助于激發靈感。此外,Midjourney通過贈送免費使用時間來激勵用戶點贊,從而積累標注數據不斷優化模型生成效果。
ChatGPT 持續成為大家關注的焦點,開啟通用人工智能(AGI)之門。北京交通大學桑基韜教授和于劍教授撰寫的《從ChatGPT看AI未來趨勢和挑戰》,詳述了ChatGPT 的“能”與“不能”,AI中什么是“真”以及AI的未來趨勢,非常值得關注!
在人工智能領域,ChatGPT 作為一種重要的技術突破,引起了廣泛的關注.本文將探討 ChatGPT 在人 工智能發展中的地位及其對未來 AI 的影響.首先,介紹了 ChatGPT 所展現出的優秀對話生成能力,使其幾 乎可以勝任所有自然語言處理任務,并將作為數據生成器、知識挖掘工具、模型調度員、自然交互界面在各 種場景得到應用.接著,分析了其在事實錯誤、毒害內容生成、安全性、公平性、可解釋性、數據隱私等方 面的局限,并討論了作為輔助人類工具的 ChatGPT 明確能力邊界和提高能力范圍的重要性.然后,從概念經 典表示對真定義進行了分析,并從概念三指不等價的角度闡釋性了 ChatGPT 無法區分真假的原因. 在論述 AI 未來時,從拓展應用、克服局限、探索理論分析了中短期技術趨勢,并從感知、認知、情感、行為智能四個 層面的關系討論了長期發展路徑. 最后,探討了 ChatGPT 作為認知智能的代表,對包括認知成本、教育要求、 圖靈測試認識、學術界的機遇與挑戰、信息繭房、能源環境問題和生產力提升等方面可能產生的影響.目錄:
1 ChatGPT的“能”:生成
2 ChatGPT的“不能”:負責
3 什么是“真”?
4 AI的未來
5 ChatGPT的影響
[1]桑基韜,于劍.從ChatGPT看AI未來趨勢和挑戰[J/OL].計算機研究與發展:1-10[2023-04-18].//kns.cnki.net/kcms/detail/11.1777.TP.20230414.1444.003.html.
引言
2022 年 11 月 30 日,OpenAI 公司發布了一款名 為 ChatGPT 的軟件.該軟件在發布后的 5 天內,用戶 數量就超過了 100 萬,2 個月內活躍用戶數更是突破 了 1 億,成為了迄今為止增長速度最快的應用軟件. 該軟件幾乎可以完成自然語言處理的所有任務,因 此在營銷、客服、教育、娛樂、咨詢、翻譯等行業 有著廣闊的應用前景.這一成功也激勵了OpenAI首席 執行官 Sam Altman,他于 2023 年 2 月 24 日發表了 一篇名為“Planning for AGI and Beyond”的文章, 認為 AGI(Artificial General Intelligence,通用人工 智能)是 AI systems that are generally smarter than humans,需要開始為 AGI 的到來做準備.AGI 會是 AI 的未來嗎?本文將對此進行討論.
1 ChatGPT 的“能”:生成
比爾蓋茨將 ChatGPT 譽為自 1980 年現代圖形桌 面環境 GUI 問世以來最具革命性的科技進步.如果說 上一次讓 AI 火出圈的 AlphaGo 所展現出的是在特定 領域的“專”,這一次 ChatGPT 展現出的則是 AI 在 廣泛應用場景的“通”:這個“通”以正常人都會、 都懂、都能體驗的對話形式呈現,讓 AI—特別是自 然語言處理技術進入主流用戶群,孕育出了這一現 象級產品.具體而言,ChatGPT 在對話過程中展現出了自然對話、多輪交互、上下文學習、思維鏈推理、 實時反饋在線糾錯、涌現出適應未訓練任務以及 GPT-4 中新出現的理解弦外之音的能力.
ChatGPT 背后的思想其實很簡單:將所有語言任務歸為對話任務,將對話任務歸為文字接龍的生成問題 . 自 然 語 言 處 理 領 域 的 學 者 普 遍 認 為 , ChatGPT 展現出的優秀對話生成能力對傳統研究方 法產生了巨大挑戰. 1)從目標上看,自然語言處理 旨在讓計算機能夠以文字或語音的方式與人類進行 有效交流;而對話是人類日常生活中最基本的交流 方式,實現了人機自然對話在一定程度上便達到了 自然語言處理的核心目標.2)從任務類型上,自然 語言處理可分為自然語言理解和自然語言生成兩大 類.在谷歌的 T5 模型[1]推出之后,兩類任務統一為單 項語言生成的文字接龍形式.自 GPT-1 起,OpenAI 就 一直堅持采用基于解碼器結構的自回歸語言模型, 這種模型在處理單向語言生成問題方面具有天然的 優勢.所以 ChatGPT 可以處理以前不同賽道的語言處 理任務,比如翻譯、問答、摘要、擴寫、寫作、潤 色、代碼生成、語句分析、段落理解等.
當然,ChatGPT 能夠實現如今順暢自然的人機 對話,不僅源于其對 GPT 單向語言生成技術路線的 持續發展,還依賴于算法、算力和數據等多方面的 支持. 由于 ChatGPT 并未對模型進行開源,也沒有發 布論文透露具體細節,我們只能基于 OpenAI 已公開 的 GPT 系列技術發展路線來推測這些能力背后的潛在原因. 圖1展示了部分 ChatGPT 已展現出的能力及 其背后主要技術原因的對應關系. 值得關注的是, ChatGPT 許多能力背后的原因仍在探索過程中. 關于上下文學習的能力,有學者認為模型從提示詞 (prompt)提供的示例中確定了待解決任務的自然語言 指令(instruct),從而在無需微調模型的情況下提升了 問題回答的質量[2] .關于任務涌現和多任務遷移能力, 一方面,有學者認為指令學習、大規模預訓練和數 據集多樣性共同促進了模型在新任務的泛化能力[3] . 例如,通過在大量不同類型和指令任務上進行微調, 模型學習到了一定程度的通用能力,從而能夠泛化 到未見過的指令和場景.另一方面,不同任務的劃分 具有一定的主觀性,其本質上都可以建模為統一的 自然語言生成任務.大型預訓練語言模型通過學習大 量訓練數據,掌握了豐富的語言知識和多種任務之 間的共性,進而利用這些共性來提高不同任務的性 能.然而,一些問題仍然沒有明確答案,例如:何種模型規模和訓練數據量閾值可以產生任務涌現能力?涌現能力與模型規模和訓練數據量之間的量化關系 如何?同時,其他一些能力,如在線糾錯、理解弦 外之音等,其背后的原因仍然是個謎.
OpenAI 首席科學家 llya Sutskeve 最近在與英偉 達 CEO 黃仁勛的訪談中對 ChatGPT 能力學習進行了 解釋:“ChatGPT 通過學習文本中的統計相關性,獲 得了這個世界的一個壓縮、抽象、可用的映射表 達”.這讓我們不禁思考:ChatGPT 是否學到了人類 文字符號世界的暗知識(tacit knowledge[4]).Michael Polanyi 在他的這本認識論著作中曾提到:“We can know more than we can say(我們所知者,遠多于所 能說者)”.可以確定的是:機器學習模型通過統計海量符號語料中的規律,能夠學習到詞匯、語法、 乃至一定程度的上下文和常識知識.問題是:隨著語 料規模的不斷增加和統計規律的持續積累,模型所 建立的世界表達分辨率越來越高、維度越來越豐富 時,是否真的有可能學習到人類情感、道德觀念等 支撐整個世界運行的更復雜的暗知識? 在學術界積極探索 ChatGPT 能力背后的技術原 因的同時,工業界已在歡迎這項新技術,并將其優 秀的對話生成能力融入各種應用場景.根據 ChatGPT 對話的對象和本身的定位,我們將這些應用分成 4 個層次(如下表 1 所示):
1) 數據生成器,根據需求直接生成數據.此類應用 僅輸入用戶需求,利用 ChatGPT 的生成能力返回特 定類型的數據.由于思路簡潔且實現容易,數據生成 類應用在 ChatGPT 發布之初就大量出現.主要應用場 景包括對話生成(客服、虛擬數字人)、文案生成 (法律文書、營銷策劃廣告)和代碼生成等.典型的 成功案例包括寫作助手 Notion AI、營銷文案生成工 具 Jasper.ai.
2) 知識挖掘工具,對數據進行再加工或分析挖掘. 此類應用同時輸入用戶需求和待處理的原始數據, 利用 ChatGPT 強大的自然語言處理能力返回經過加 工的數據或挖掘出的新信息.知識挖掘類應用可以分 為 離 線 和 在 線 兩 種 形 式 . 離 線 應 用 通 過 調 用 類 ChatGPT API 分析和挖掘私有數據等專業領域語料構 建知識庫,為進一步應用提供知識支持.在線應用的 主要場景包括翻譯、潤色、摘要生成、文檔管理等. 一些典型案例包括搜索引擎摘要插件WebChatGPT、 文檔分析工具 ChatPDF 以及 OpenAI 官方隨 GPT-4 發 布的摩根士丹利策略分析師.
3) 模型調度員,調用其他機器學習模型共同解決 用戶需求.此類應用同時輸入用戶需求、待處理數據 以及多個可調用的機器學習模型,通過 ChatGPT 作 為人類與其他模型間的連接,設計解決方案、調用 并管理其他機器學習模型,共同完成用戶需求并輸出結果.這方面的典型案例是微軟近期發布的系列多 模態解決方案 Visual ChatGPT[5]、MM-ReAct[6]和 HuggingGPT[7],其通過調度其他視覺基礎模型來協 同完成視覺和語音任務.此外,AI 賦能一直以來的一 個痛點問題是,智能中臺需要整合不同模型和技術, 并根據業務需求擴展新的模型.ChatGPT 有望實現智 能中臺的升級:提供友好的開發/業務人員界面、實 現模塊化模型管理、簡化技術集成和部署,從而提 高 AI 賦能效率.隨著 ChatGPT 應用探索的深入,相 信模型調度員類型的應用將越來越受到關注.
4) 人機交互界面,調用更廣泛的應用程序幫助人 類解決實際問題. 第一種形式是將 ChatGPT 嵌入到特 定應用中,從而極大地提升自然交互體驗,如微軟 的 365 Copilot 和 Copilot X 分別將 ChatGPT 融入 Office 和 Github.第二種形式是在 ChatGPT 搭建的自 然語言交互框架上開發各類信息服務應用,去年 10 月推出的開源庫 LangChain 和 OpenAI 最近發布的插 件集 Plugins 都是大型語言模型應用開發框架的典型 嘗試.正如 Windows 和 Android 分別是桌面和移動時 代的操作系統,ChatGPT 有望成為智能時代的操作 系統接口.進一步暢想,如果把語言分為人類之間溝 通的自然語言和人與計算機之間溝通的計算機語言, ChatGPT 在一定程度上統一了二者:用自然語言實 現了人和計算機之間的溝通,不得不說“自然語言 編程(Natural Language Programming)”這一新詞非常 貼切.從這個角度看,我們甚至可以大膽預測:人機 交互界面將從磁帶、鍵盤字符、鼠標圖形全面進化 到自然語言時代.
以上圍繞對話生成討論了 ChatGPT 的具體能力、 背后的技術原因以及在不同定位下的應用形式.盡管 “對話生成”提供了無限的想象,但 OpenAI 的野心 顯 然 并 不 止 于 此 . 從 名 稱 和 發 布 時 間 點 來 看 , ChatGPT 似乎只是一種過渡性技術的產品形式.在以 對話這種產品形式向主流用戶群展示了強大的技術 實力之后,OpenAI 新發布的 GPT-4 并未繼續在對話 生成功能上炫技,而是悄然接入了各類官方應用.
從生物學角度,語言和智能的演化過程相互促 進.人類智能在很大程度上依賴于高度復雜的語言系 統.語言作為思維的載體和智慧的外在表現,其運用 能力很大程度上反映了認知能力和智能水平.語言習 得是認知發展的重要組成部分.兒童在成長過程中通 過習得語言來理解世界,并逐漸掌握其他認知技 能.ChatGPT 等技術在語言生成能力的持續提升能將 人工智能帶到什么高度,讓人非常期待.
2 ChatGPT 的“不能”:負責
能力越大,責任越大. ChatGPT 展現出的強大能 力讓主流用戶群欣喜、學術界驚訝、工業界狂熱.這 些能力讓我們在使用它時感受到了與以往技術不同 的體驗.回顧人類歷史上的幾次技術革命,從早期的 石器、金屬器具、機械設備、電氣設備到近幾十年 的計算機、互聯網和智能手機,每一個階段所發明 的工具都對人類生活產生了深遠影響.在使用這些工 具時,我們可以清楚地意識到它們作為工具的定位, 即輔助人類來完成任務.然而,在使用 ChatGPT 的過 程中,我們經常會產生一種與另一個人對話的錯覺, 尤其是當類似 Plugins 這類功能使其能夠像人類一樣 利用其他工具進行自我增強的時候.埃隆-馬斯克在使 用 ChatGPT 后的感受是“好到嚇人”.這種獨特的體 驗無疑將加速技術融入人類社會的進程.正如 OpenAI 自己對 ChatGPT 的評價:“盡管 ChatGPT 還沒有實 現真正的智能,但它讓人體驗到了真正的智能實現 后,每個人都能用它做各種他們想做的事情的滋味.”
整個 2023 年 3 月被各種生成式 AI 技術和產品 的發布充斥:Meta Alpaca、GPT-4、PaLM-E、文心 一言、Office Copilot、Midjourney V5、英偉達新顯 卡 、 Github CopilotX 、 ChatGPT 插件、 Security Copilot 等.我們可以預見相關技術的應用領域將迅速 拓展、應用程度將大幅度加深.人們在享受技術帶來 的便捷和生產力提升的過程中,對技術的態度將從 習慣逐漸轉變為依賴.而當人們開始依賴這些技術代 替自己學習、思考、甚至決策時,有兩個問題擺在 我們面前:技術是否已經做好準備承擔責任?人類對技術的信賴是否超出了它的能力?實際上,ChatGPT 在使用過程中已被發現存在 諸多問題:如數學計算、未來預測、時空物理現實 推理等方面能力的局限,以及事實錯誤(幻覺)、生成 毒害內容等方面的不可控[8] .下面從可信 AI 的 4 個維 度對 ChatGPT 存在的問題展開討論.
1) 安全性. OpenAI 在官網上將“安全”列為五個目 錄之一,在隨 GPT-4 發布的報告中批露了其在技術 和評估兩方面都設立了專門的安全小組,足見對安 全性的重視.然而,和所有機器學習模型一樣, ChatGPT 仍存在著被對抗攻擊的風險.一種典型方式 是提示語注入攻擊(prompt injection attack):在提示 語中混入惡意指令,可能繞過 ChatGPT 的安全機制, 迫使其執行意外動作,如泄露敏感信息、輸出有害 內容等.例如,ChatGPT 驅動的新 Bing 在受到攻擊后 泄露了其內部代號“Sydney”;ChatGPT 被誘導規劃 搶劫方案,甚至提供了購買搶劫道具的鏈接等.
2) 公平性.在 ChatGPT 之前,OpenAI 的文生圖DALL-E系列曾被發現存在輸出性別和種族歧視內容 的問題.類似地,GPT-2、Bert、RoBERTa 等語言模 型在一個測試項目中也被發現具有嚴重的性別偏見 傾向[9] .盡管目前尚無系統性研究分析 ChatGPT 在性 別和種族偏見方面的表現,但已有研究發現它存在 明顯的語言敏感性:例如,當用日語和俄語分別詢 問一個日俄爭議島嶼的歸屬問題時,ChatGPT 給出 了截然不同的答案[10].
3) 可解釋性. ChatGPT 的思維鏈能力可以在答案中 同時呈現推理過程,這在部分程度上解決了實驗室 環境下模型可解釋性的問題.然而,需要注意的是, 這種推理過程的解釋是面向用戶的,并不一定與模 型的實際運行機制準確對應.此外,ChatGPT 仍存在 很多尚未解釋的行為,包括自我在線糾錯、理解弦 外之音等能力,以及出現事實錯誤(幻覺)等問題.由 于大模型本身的復雜性以及僅通過 API 提供服務的 現實限制,ChatGPT 對于用戶和開發者都是完全的 黑箱.隨著應用場景的拓寬和加深,現有的解釋性水 平可能難以滿足透明度和回溯性等的要求.
4) 數據隱私. 涉及 2 個方面:訓練階段的數據侵權 和推理階段的隱私泄露.大模型訓練需要的海量數據 多來自網絡,其中難免包括未經授權的版權保護內 容.ChatGPT 雖然可能避免語句層面的抄襲,但難以 避免語義上的深度抄襲.2023 年,大模型領域發生了 多起版權侵權案.例如,三名藝術家指控 Stable Diffusion 使用其版權作品作為訓練數據,而微軟和 OpenAI 因其開發被指控其開發的編程助手 Copilot 涉 嫌復制 Github 上的開源代碼而受到指控.在推理階段, 攻擊者有可能通過逆向攻擊等手段,利用模型輸出 的結果來反向推導出訓練數據中的隱私信息.GPT-2、 BERT、RoBERTa 等語言模型均被發現存在數據隱私 泄露的風險[11] .隨著模型規模和功能多樣性的增加, 這種風險可能進一步加大:模型規模越大,其記憶 能力越強;功能越多樣化,可被利用的信息和攻擊 方式也越豐富.ChatGPT 自身代號的泄露便證實了這 一點.
從生成式 AI 模型選擇的技術路線和當前發展水平看,這些問題既可以歸結為大型語言模型固有的結構局限,也可以歸結為將符號任務統一建模為對 話問題的過度簡化.關于這條技術路線的未來發展, 同時存在著樂觀和悲觀的觀點.樂觀派認為,人腦神 經元突觸連接總數約為一百萬億,隨著語言模型參 數量的不斷增加,模型可能在某個時刻實現量變到 質變的躍遷,這些問題也會自然消失.然而,包括喬 姆斯基、Stuart Russell 等大佬在內的悲觀派則持相反 觀點,他們認為端到端的深度學習與人類進行推理和使用語言的方式有著巨大差異,依靠更多數據和 算力無法消除這些缺陷或實現真正的智能.
不討論技術路線的選擇或者觀點的對錯,不管 生成式 AI 模型的能力演進到何種程度,其定位始終 是幫助人類更好地完成任務的工具.作為工具,首先 應該明確能力邊界,即“做自己能做的事”.在認知 心理學中,約瑟利窗口(Johari Window)將人際關 系劃分為公開區、盲區、隱藏區、未知區四個象限 [12] .參照這種方法,如圖 2 所示,我們可以沿“自知” 和“能力”兩個維度繪制一個坐標系,智能工具處 理的任務將落在其中一個象限內.當任務落在“自知” 負半軸的兩個象限時,可能會出現不可預知的問題:在隱藏區時,模型“不知道自己能”,可能在收到用 戶反饋后將原本正確的答案改為錯誤,或接受用戶 錯誤反饋的引導;在未知區時,模型“不知道自己 不能”,可能會產生事實錯誤幻覺,一本正經地胡說 八道.
根據“自知”-“能力”坐標系,首先需要明確 能力邊界,即擴大“自知”正半軸兩個象限的覆蓋 范圍,使更多任務落入公開區和盲區.在公開區時, 模型可以自信地回答用戶的問題;而在盲區時,模 型應該承認能力缺陷,避免回答不知道的問題,或 者虛心接受用戶的反饋引導.PAL[13]是開發隱藏區的 一個例子,通過在提示詞中注入包含推理過程的程 序示例,成功挖掘了模型在原本容易回答錯誤的數 學推理類任務的解決能力.在明確能力邊界后,需要 進一步提升模型的能力,即擴大“能力”正半軸、 尤其是第一象限的面積,使更多的任務從盲區轉移 到公開區.縮小盲區的一個例子是 ReAct[14],它將推 理和行動結合,通過調用搜索等插件從網絡等外部 資源中逐步、有選擇性地收集和處理新信息,從而 提高了模型在各種復雜場景下的解決能力.另一個最 新提出的框架 Reflexion[15],它在 ReAct 基礎上加入 了自省 Reflect 功能,通過試錯的方式,在尋找自身 能力邊界的同時,探索新任務的解決方案.這是一個 在同時確定能力邊界和提高能力范圍方面很有意思的嘗試.
當然,“自知”-“能力”坐標系只是一個理想 和簡化的框架.人類在執行任務時,通常會考慮諸如 道德、倫理、公平等價值觀.而 ChatGPT 并不具備人 類的價值觀和判斷力,可能會生成與事實相悖的錯 誤信息和誤導性的建議.比如,當用戶詢問“林黛玉 是如何倒拔垂楊柳的”,ChatGPT 會一本正經地介紹 相關具體細節.事實上,《林黛玉倒拔垂楊柳》是一 部網絡小說,中文論壇上也有許多對這一虛構情節 的討論.模型在學習這些語料時無法區分虛構和現實, 因此產生了這個尷尬的回答.隨著 GPT-4 的發布,可 以預見 ChatGPT 將有能力在符號世界中實現自動化 生成.然而,它依然不能確保所生成內容的真實性, 自然更無法對生成結果承擔責任.
3 什么是“真”?
為了解釋為何 ChatGPT 無法保證結果為真,首 先需要探討什么是“真”.“真”的定義有很多,本 文采用亞里士多德的經典定義[16]:說是者為非,非 者為是,即為假;而說是者為是,非者為非,即為 真. 基于此,Tarski 提出一個更形式化的“真”的定 義[17]:
X 是真語句當且僅當 p, 其中 p 代表任意語句,X 是語句 p 的名稱. 即,一個語句是真的,當且僅當它描述的情況確實 發生了.比如:“樹在長芽”是真語句當且僅當樹在 長芽,即“樹在長芽”是真語句當且僅當樹在長芽 確實發生了. 但是,這個看似合理的“真”的定義卻隱含矛 盾.Tarski 轉述了烏卡謝維茨的加強版說謊者悖論: 令 C 是“C 不是一個真語句”的名稱,因此, 有如下兩個假設: 1)α假設:C=“C 不是真語句”; 2)β假設:“C 不是真語句”是真語句當且僅 當“C 不是真語句”. 綜合α假設與β假設,即可以得到:C 是真語 句當且僅當“C 不是真語句”,悖論. Tarski 關于“真”的定義和上面的推理似乎都沒 有問題,那問題出在哪里呢?我們認為問題出在概 念的定義上,因此需要仔細考察概念的定義. 眾所周知,概念的經典表示由三部分組成:符 號表示、內涵表示和外延表示.其中,概念的符號表 示由概念名稱表示,概念的內涵表示由描述概念特 性的命題表示,概念的外延表示由概念所包含的實 例的經典集合表示.比如,“偶數”這個概念,其中文符號表示是“偶數”這個詞;內涵表示是 “能被 2 整除的整數”這個命題;外延表示是包含所有偶數 的集合:{...,-6,-4,-2,0,2,4,6,...}.
如圖 3 所示,根據經典表示,每個概念具備 3 種 功能:指名、指心和指物,同時對應著波普爾的 3 個世界:符號世界、心理世界和物理世界[18] .概念的 指名功能,是指每個概念都指向認知世界或符號世 界中的一個實體,用所指對象的特定符號名稱來表 示.這些符號名稱可以組成各種不同的語言.概念的指 心功能,是指每個概念也指向人類心理世界中的實 體,代表這個概念在心理世界里的對象表示.概念的 指物功能,強調概念與物理世界中的實體之間的對 應,這些實體遵循物理世界的規律,可以獨立于人 的主觀感受. 如果從概念的表示來實現人工智能,指名指物 指心對應了 3 條路徑:符號主義、連接主義和行為 主義.如果從概念的功能角度來對人工智能分類,可 以分為認知智能、情感智能和行為智能.認知智能實 現了概念的指名功能,即處理和理解符號世界的問 題.情感智能則實現了概念的指心功能,主要關注心 理世界中的問題.而行為智能則體現了概念的指物功 能,主要解決物理世界中的問題.然而,如果要實現 概念的三指功能,必須首先解決機器的感知問題.解 決機器感知問題是最基本的人工智能,通常被稱為 感知智能.感知智能主要關注機器的輸入輸出處理, 是實現認知智能、情感智能和行為智能的基礎.
在概念的經典表示下,概念的指名、指心與指 物功能是等價的,其符號表示、內涵表示和外延表 示在功能上也是可以互換的.這是因為概念的經典表 示存在 6 條預設:1) 概念的外延表示可以由集合{x1,x2,? ,}表示; 2) 概念的內涵表示存在且用命題?xP(x)表示; 3) 概念的名稱存在,且用符號表示 A;4) 概念的外延表示與內涵表示同名:A={x1,x2, ? ,}=“?xP(x)”;5) 概念的表示唯一,即同一個概念的表示與個體無關:?α(A α=A), α 代表一個人;6) 概念的指稱等價,即其內涵表示與外延表 示在指稱對象的時候功能等價?x(x∈A?P(x)),其中, A={x1,x2,? ,}.
根據上述概念的經典表示,可以知道概念的指 名、指心與指物功能是等價的.在日常生活中,這種 情況非常普遍,因此說真話是通常的情形.羅素曾給 出一個清晰的論證[19]:“除非假定說真話是一種通常 的情況,否則沒有人能夠學會說話:假設當你的孩 子看到一條狗時,你隨意地說出‘貓’、‘馬’或者‘鱷 魚’,那么當他看到的不是一條狗時,你無法通過能 通過說‘狗’來欺騙他.因此,說謊是一種派生的行為, 它預設了說真話是通常的規則.”在上述羅素的論證 里,可以清楚地看到,其預設了概念的指名與指物 等價,即假設概念的三指等價是真的必要條件.如果概念的指名、指心與指物功能等價,則可 以認為:認知智能、情感智能與行為智能等價.這意 味著一旦實現了認知智能,也就同時實現了情感智 能和行為智能.同時,人工智能的三條實現路徑—符 號 主 義 、 連 接 主 義 和 行 為 主 義 一 也 是 等 價 的.ChatGPT 和 GPT4 的出現,表明認知智能已經取 得了巨大的進步. 如果概念的三指等價,那么認知 智能的巨大進步預示著情感智能和行為智能將取得 同樣的巨大進步.從這個角度看,實現 AGI 似乎也有 可能性.然而,烏卡謝維茨悖論告訴我們概念三指等價 在邏輯上并不永遠成立:它內蘊矛盾.Tarski 的真定 義實際上等價于如下命題:概念的指名功能為真當 且僅當概念的指物功能為真.顯然,概念的經典表示 也預設了 Tarski 的真定義. 仔細分析烏卡謝維茨悖論 的邏輯推理,可以發現 α 假設與 β 假設都預設了概 念的指名功能為真與概念的指物功能為真等價,這 必然導致悖論.實際上,在概念的三指等價條件下, 針對包含算術系統的邏輯系統,哥德爾證明了不完 全性定理,而Tarski得到了著名的真之不可定義定理. 這些都說明在復雜一點的符號系統內部,不可能解 決 何 為 真 何 為 假 的 問 題 . 因 此 , 從 理 論 上 講 , ChatGPT 和 GPT4 同樣無法解決真假問題.因此,我 們必須放棄概念的三指等價假設.一旦放棄了這個假 設,就會發現認知智能、情感智能與行為智能是不 可能等價的.實際上,現實生活中,這三種智能從未 等價過.
4 AI 的未來
很多人認為 ChatGPT 已經開啟了第四次技術革 命.面對這種尺度的變革,我們很難在早期準確預測未來的發展.在這里,我們僅從中短期技術趨勢和長 期發展路徑兩個方面,來探討在當前階段我們對這 一技術的理解.
4.1 中短期技術趨勢
OpenAI 發明 ChatGPT 對于人工智能領域的影響, 可以類比哥倫布發現了美洲大陸.在哥倫布發現美洲 之前,探險家們一直渴望著探索新大陸,并嘗試使 用各種方法去尋找它.然而,即使是經驗非常豐富的 探險家,也并不確定新大陸是否真實存在,以及哪 種航海方法更為有效.哥倫布的成功不僅堅定了后來 探險家們的信心,更在一定階段內統一了尋找新大 陸的方法:在新的突破性技術出現以前,看似簡陋 的帆船和羅盤已經足以帶領人們到達目的地. 同樣地,ChatGPT 的誕生為人工智能領域注入 了信心并指明了發展方向,展示了“大力出奇跡” 的可能:通過不斷擴大神經網絡的模型規模和增加 數據量,可以在 AI 的道路上取得實質性的進展.在這 一目標和技術路線的共識下,我們從拓展應用、克 服局限和探索理論 3 個方面探討人工智能領域中短 期的可能技術趨勢.
4.1.1 拓展應用
**1) 垂直化. **ChatGPT 發布初期,人們嘗試在提示 詞中注入角色信息以增強垂直領域對話質量.為克服 提示詞 token 數量限制以融合領域語料,有工作提出 基于LangChain框架,將領域文檔切片后分布式輸入. 但這種做法存在私域數據泄露風險,解決思路之一 是利用 ChatGPT 控制和調用其他領域模型來提高垂 直化能力.此外,MIT 最近提出保護隱私的遷移學習 框架 Offsite-Tuning[20],可在不訪問完整模型的前提 下,在下游領域數據上微調數十億級參數的基礎模 型.對于需要構建領域模型的場景,在不泄露基礎模 型和領域數據的情況下,實現對通用基礎模型的領 域微調非常重要.
2) 個性化. 個性化可視為垂直化的極致,針對個 人需求和偏好的個性化微調模型能夠提供更精確的 服務.典型的應用場景包括個性化推薦系統、個性化 教育輔導、個人 AI 助理等.微軟于 2023 年 4 月 4 日 開源了大模型協作項目 JARVIS,旨在大型語言模型 與機器學習社區的其他模型之間建立連接.JARVIS 這 個名字讓我們對鋼鐵俠中同名的 AI 助理產生更多聯 想.如果未來個性化模型可以通過多模的人機交互來 增強,實現與人類對世界的同步感知、學習和成長, 這樣的 AI 助手能夠更好地理解個性化需求、情感和 行為,協助我們實現更高效的工作、學習和生活方 式.在這個過程中,我們需要解決諸如中心平臺式 AI 如何保護個人數據以及在個體層面部署模型等問題.
3) 工程化. ChatGPT 的誕生某種程度上是工程 化的勝利,而它的成功無疑將進一步加速 AI 技術從 實驗室研究走向工程化和產業化.從必要性上看,隨 著數據量和計算資源需求的增加,工業界擁有更好 的條件主導大模型研發,相關實驗室研究也需調整 研究范式和目標以適應工程化需求.從可行性上看, ChatGPT 的成功讓工業界看到了 AI 技術在各行業落 地和價值實現的可能,眾多開源項目和成熟技術框 架的出現則為 AI 技術工程化提供了支持.從重要性上 看,工程化是一個學科發展和成熟的標志,AI 技術 的工程化有助于進一步優化和完善相關技術,激發 學術創新活力,推動 AI 領域的整體發展.
4.1.2 克服局限
1) 多模態增強. 多模態大模型的發展逐漸以語 言模型為主,將視覺、語音等多模態信息映射到語 義符號空間進行處理.近來的多模態解決方案更是提 出直接以大型語言模型為基座來拓展多模態能力, 如 Visual ChatGPT 和 MM-ReAct 以 ChatGPT 為中心 調度其他視覺模型、PaLM-E 固定語言模型訓練額外 的視覺編碼器等.然而,人類在進行多模態學習時并 不完全依賴于符號空間,大腦神經網絡在不同感官 區域間傳遞、整合信息,同時結合視覺形象、空間 關系等非符號性表示.由于多模態世界建模更為復雜, 以語言模型為主或是現有條件下的折衷.隨著多模態 數據量與模型參數繼續增加,期望在視覺、語音等 空間實現真正的多模態生成能力.如被細線系著的氣 球照片,無需映射至語義空間,模型即可預測線剪 斷后的情景.
2)人機交互增強. 有人將現在的 ChatGPT 比作 一個博覽群書的神童,卻從未親身體驗過這個世界. 經典的認知實驗發現,與被動旁觀的貓相比,具有 自由活動能力的貓可以通過主動與環境互動并獲得 反饋,從而更好地學習行為能力[21] .在一項微軟的最 近研究中,ChatGPT 已經能夠根據人類的要求自動 編寫代碼并指揮無人機協助完成任務[22] .通過進一步 考慮生物學特性、身體感知和行動的影響,有望實 現與真實物理世界的雙向交互,在自主行為反饋中 不斷提升自身智能水平.
3) 可信增強. 之前的討論已概括了 ChatGPT 當 前的局限和進行可信研究的必要性.可以預見,每個 大模型公司都將需要一個專注于可信的安全和倫理 團隊.這就不難理解 OpenAI 的系列舉措:GPT-4 在訓 練完成后經過半年的評估和修正才發布、用 30 余頁 技術報告介紹安全補丁 System Card,以及對模型評 估框架Evals的開源.即便如此,ChatGPT還是因隱私問題在意大利遭禁,并遭到包括馬斯克和沃茲尼亞 克等上千名知名人士的聯名叫停.值得注意的是,除 了安全、公平、可解釋、數據隱私等經典可信問題 外,ChatGPT 還會帶來模型回音壁等新問題.目前, 使用 ChatGPT 生成的對話數據進行訓練已經成為公 開的秘密,甚至出現了專門收集 ChatGPT 對話的網 站 ShareGPT.其實,在人類反饋強化 RLHF 后,就有 學者提出了基于智能模型反饋強的 RLAIF 框架[23] .隨 著模型規模繼續增加,可供訓練的自然數據面臨枯 竭,模型生成標注和反饋數據在模型間的回音壁效 應將加劇可信問題.此外,垂直化、個性化、多模態 等技術趨勢也會帶來新的可信挑戰.關于可信增強的 方案,考慮到傳統 AI 測試基準已不足以評估模型能 力,我們需要盡快構建新的可信測試基準:包括可 信 benchmark 數據集和可信測試框架.此外,為了準 確評估模型的應用成熟度,我們應該研制面向大型 語言模型的可信標準,以規范不同可信等級的模型 在相應的應用場景中使用.同時,結合工程化的發展 趨勢,我們可以參考軟件開發周期中的測試-調試閉 環,在基礎模型和下游模型兩個層面進行迭代優化, 以確保模型在大規模應用場景中的可信性.
4.1.3 探索理論
1) 預訓練模型機理研究.近年來,計算機視覺和自 然語言處理領域的技術框架逐漸趨同.學習范式從特 征工程、深度監督學習轉向自監督預訓練,模型結 構從 CNN、RNN 發展為 Transformer.針對自監督預 訓練和 Transformer 結構,仍有很多基礎性問題等待 研究,如自監督學習泛化理論、預訓練與微調的動 態平衡分析、Transformer 結構的\定性和魯棒性分析 等.對于 ChatGPT,除了探究在線糾錯、理解弦外之 音等原因未知的能力外,還需進一步研究任務涌現 能力與模型規模以及訓練數據量等的關系,為未來 模型設計和實際應用提供指導.
2) 學科交叉融合研究. ChatGPT 作為催化劑,不僅 將推動人工智能學科內部計算機視覺和自然語言處 理領域的進一步整合,而且將激發學術界和工業界 更加深入地探討和實踐人工智能和其他學科交叉融 合以及跨學科應用的可能性.以腦科學為例,結合腦 結構和人工神經網絡研究,我們將更有可能揭示智 能產生的本質原因.實際上,OpenAI 的 CEO Sam Altman 早就投資了可控核聚變公司 Helion 和生物科 技公司 Retro Biosciences.科技部近期啟動的 AI for Science 專項部署工作更是明確指出了將人工智能與 數學、物理、化學、天文等基礎學科緊密結合,重 點攻關藥物研發、基因研究、生物育種研發、新材 料研發等領域的關鍵問題.
4.2 長期發展路徑
我們沿著概念經典表示和人工智能分類的討論 來看 AI 未來可能的發展路徑.《左傳》里有句名言, “太上有立德,其次有立功,其次有立言”.顯然, 立德屬于心理世界,是情感智能的范疇;立功屬于 物理世界,是行為智能的范疇;立言屬于符號世界, 是認知智能的范疇.應該指出,這三個世界既互相獨 立又相互依存.比如,符號世界也必須通過心理世界 表示才能為人所感知,同樣符號世界也必須通過物 理世界顯現展現才能傳播.對于人而言,認知的物理 世界本身也屬于符號世界的示例,沒有成為符號示 例的物理對象難以被符號世界記錄,同樣,物理世 界也是通過心理世界被人感知.
三個世界各自都足夠復雜.在符號世界中,有自 然符號、模擬符號和象征符號.其中自然符號直接用 物理世界中的對象作為符號,比如學生用書包或其 它個人物品占座.此時的書包或個人物品就有了符號 意義,屬于典型的自然符號.圖像、視頻等是典型的 模擬符號.文字是最常見的象征符號.至于心理世界、 物理世界的復雜性,更是眾所周知.
為了計算方便,通常假定概念的三指等價,即 符號世界、心理世界、物理世界三界同構.比如,符 號主義的物理符號系統假設認定物理符號系統具有 產生智能行為的充要條件,這暗示了符號世界與物 理世界等價.連接主義認為只要能模擬大腦的思考功 能就足夠了,實際上它假設了心理世界(或其子集) 與物理世界等價.行為主義則認為只要能在物理世界 實現智能,不需要知識、表示和推理,只需要感知 和行動,這意味著符號世界、心理世界是物理世界 或其子集.但是,3 個世界并不同構.比如,喬姆斯基 曾經寫過一個著名的句子:“Colorless green ideas sleep furiously.”這個句子在符號世界可行,但在心 理世界和物理世界就失去了可行性.因此,3 個世界 同構假設僅是一種有用的簡化,并不總是成立。
由于 3 個世界并不同構,它們之間的關系相當復雜.這導致在 3 個世界中實現智能的難度也大為不 同.從共性上講,無論在哪個世界實現智能,首先必 須解決最基礎的感知問題,即輸入輸出問題.從難度 上看,感知智能、認知智能、情感智能、行為智能 依次增加.原因很簡單:感知智能保持了 3 個世界同 構假設.從認知智能開始,我們必須放棄 3 個世界同 構的假設,只能假設 3 個世界的某些受限子集同構. 認知智能旨在解決符號世界的智能問題,其實現主 要受制于符號世界的規律,這些規律可能是顯知識, 也可能是暗知識,但認知智能依然在符號世界內預 設概念的三指等價.情感智能主要解決心理世界的智 能問題,除了受制于心理世界外,也受制于情感所 在的物理個體,即情感必須在認知層面具備具身特 性.理論上,西施難以與青蛙共情,夏蟲不能與秋雁 同語.對于機器來說,情感智能是基于認知智能的, 情感智能也是依賴于機器內部的符號操作.僅有認知 智能并不能實現情感智能,情感智能的實現難度髙 于認知智能,情感智能預設心理世界內的概念三指 等價.行為智能主要解決物理世界的智能問題,不但 受限于作為行為主體的自身物理條件,也受限于其 所處的物理環境,約束最多,因此實現難度最大.莫 拉維克悖論實際上是對行為智能實現難度最大的一 個簡單說明.對于行為智能來說,任一概念的三指等 價都需要檢驗,任一概念的三指等價都不能先驗預 設成立,這正是莫拉維克悖論背后隱藏的挑戰.圖 4 比較清楚地說明了概念的三指等價性從默認成立到 必須檢驗所對應的不同智能階段。
根據以上分析,人工智能的發展路徑可以預測 為:首先成熟的是感知智能,次之為認知智能,再 次為情感智能,最后是行為智能.這與人工智能目前 的現狀相符.當前,感知智能的問題已經大部分解決, 已經融入人們的日常生活.得益于 ChatGPT 等技術, 認知智能的問題已經初步解決,即將走入人們的生 活.情感智能的問題部分解決,受限可用,比如在三 界同構假設成立時,可以使用類 ChatGPT 技術.行為 智能的問題尚極具挑戰性,在目前的情況下可用性 受到嚴重限制,如在工廠等封閉場景下部分可用, 距離人們的日常生活需求尚遠.之所以在部分封閉場 景下行為智能能實現,原因即在于此時對應的相關 概念可以保證其三指等價.
粗略地說,感知智能是人工智能中的基礎智能, 可視為人工智能的 1.0 階段.認知智能是人工智能的 2.0 階段.情感智能則為人工智能的 3.0 階段.行為智能 可以看作是人工智能的 4.0 階段.目前的人工智能發 展已經進入了 AI2.0 時代,未來的 AI3.0 和 4.0 還有待努力.
5 ChatGPT的影響
人工智能發展至今,邁入認知智能時代,確實 取得了重大進步.雖然離 AI3.0 和 4.0 距離尚遠,但依 然將對我們的生活產生重要影響: 1)生成式 AI 的成功提醒我們,符號世界、心 理世界、物理世界三界同構假設不是恒真.今后,各 種符號的證據力量需要檢測,不能預設為真. 這不僅 大幅提升認知成本,還考驗認知能力.隨著類似 ChatGPT 工具的普及,它可能代表認知的最低水準.
2)每次技術進步,都對教育提出了更高的要求, 這次也不例外. ChatGPT 展現出的認知水平要求人們 更注重提出問題和獨立判斷的能力.鑒于符號世界的 人類普適性,教育尤其是高等教育需要提前布局.
3)ChatGPT 表明認知智能已可用,但依然不可 能通過原始的圖靈測試.這表明圖靈測試是有啟發性 的思想實驗,但不是衡量智能的實踐標準.
4)ChatGPT 的成功為國內人工智能學術界同時 帶來機遇與挑戰.機遇包括提高學界對相關問題的理 解,例如任務的主觀性,以往的多任務可能在新視 角下視為單任務;同時,全社會對人工智能潛在能 力的直觀體驗和認可得到提升,將極大推動相關產 業的發展.然而,挑戰也不容忽視:應用研究方面, 社會對技術的期待值提高,實效性和實用性至關重 要;理論研究方面,技術已領先于理論,亟需加強 理論研究.
5)類 ChatGPT 技術的大規模應用可能導致意識 形態等方面的信息繭房效應. 特別是類 ChatGPT 是中 心化的 AI 平臺,容易使人們在獲取信息時只接觸到 特定內容和片面觀點,這一方面會加劇社會分化, 另一方面會降低觀點多樣性,阻礙創新思維的產生, 為社會帶來潛在危害.
6)大模型對計算量的巨大需求可能會加劇全球 能源危機,并對環境產生不良影響.我們期望 AI for science 通過加速科學發現,更迅速地找到可持續能 源解決方案和新的節能技術,從而盡量降低這些負 面影響.
7)ChatGPT 在提高生產力方面潛力巨大.通過自 動化處理一些繁瑣的、重復性的任務,它可以解放 人們的時間和精力,讓人們關注于更有價值、更具 創造力的工作,進一步推動社會創新和發展.
參 考 文 獻
[1] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transferlearning with a unified text-to-text transformer[J]. The Journal of Machine Learning Research. 2020, 21(1):5485-5551
[2] Zhou Y, Muresanu AI, Han Z, et al. Large language models are human-level prompt engineers[OL]. arXiv preprint arXiv:2211.01910. 2022
[3] Wei J, Tay Y, Bommasani R, et al. Emergent abilities of large language models[OL]. arXiv preprint arXiv:2206.07682. 2022
[4] Polanyi M, Sen A. The tacit dimension[M]. Chicago, IL: University of Chicago Press,2009
[5] Wu C, Yin S, Qi W, et al. Visual chatgpt: Talking, drawing and editing with visual foundation models[OL]. arXiv preprint, arXiv:2303.04671. 2023
[6] Yang Z, Li L, Wang J, et al. MM-REACT: Prompting ChatGPT for Multimodal Reasoning and Action[OL]. arXiv preprint, arXiv:2303.11381. 2023
[7] Shen Y, Song K, Tan X, et al. HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace[OL]. arXiv preprint, arXiv:2303.17580, 2023
[8] Borji A. A categorical archive of chatgpt failures[OL]. arXiv preprint, arXiv:2302.03494. 2023
[9] Liu Y, Liu X, Chen H, et al. Does Debiasing Inevitably Degrade the Model Performance[OL]. arXiv preprint, arXiv:2211.07350. 2022
[10] Zhuo TY, Huang Y, Chen C, et al. Exploring ai ethics of chatgpt: A diagnostic analysis[OL]. arXiv preprint, arXiv:2301.12867. 2023
[11] Carlini N, Tramer F, Wallace E, et al. Extracting Training Data from Large Language Models[C] //Proc of USENIX Security Symp. Berkeley, CA : USENIX Association, 2021: 2633-2650
[12] Luft J, Ingham H. The Johari window, a graphic model of interpersonal awareness[C] //Proc of the Western Training Laboratory in Group Development. Los Angeles: University of California, Los Angeles, 1955, 246
[13] Gao L, Madaan A, Zhou S, et al. PAL: Program-aided Language Models[OL]. arXiv preprint, arXiv:2211.10435. 2022
[14] Yao Shunyu, Zhao J, Yu Dian, et al. ReAct: Synergizing reasoning and acting in language models [C] //Proc of the Int Conf on Learning Representations (ICLR). 2023[2023-04-10].
[15] Shinn N, Labash B, Gopinath A. Reflexion: An autonomous agent with dynamic memory and self-reflection[OL]. arXiv preprint, arXiv:2303.11366. 2023
[16] Ross W D. Aristotle on His Predecessors, Being the First Book of His Metaphysics [M] (1908): 110-113
[17] Tarski A. The semantic conception of truth: and the foundations of semantics[J]. Philosophy and Phenomenological Research. 1944,4(3):341- 376
[18] Yu Jian. Brilliance and Darkness: Turing Test[J]. Journal of Computer Research and Development, 2020, 57(5): 906-911(in Chinese) (于劍. 圖靈測試的明與暗[J],計算機研究與發展,2020,57(5):906-911)
[19] Russell B. An Inquiry into Meaning and Truth [M].Beijing: China Commerce and Trade Press,2012 (羅素. 意義與真理的探究[M]. 北京:商務出版社,2012)
[20] Xiao G, Lin J, Han S. Offsite-Tuning: Transfer Learning without Full Model[OL]. arXiv preprint, arXiv:2302.04870. 2023
[21] Held R, Hein A. Movement-produced stimulation in the development of visually guided behavior [J]. Journal of Comparative and Physiological Psychology, 1963, 56(5):872
[22] Vemprala S, Bonatti R, Bucker A, et al. Chatgpt for robotics: Design principles and model abilities.2023
[23] Bai Y, Kadavath S, Kundu S, et al. Constitutional AI: Harmlessness from AI Feedback[OL]. arXiv preprint, arXiv:2212.08073. 2022
AI大模型持續演進,GPT-4理解能力大幅提升。2022年11月30日,OpenAI發布ChatGPT,5天后即達到100萬用戶,是歷史上用戶增長最快的應用程序。2023年3月15日,OpenAI發布GPT-4,GPT4相比ChatGPT基于的GPT-3.5模型,其在多模態、理解能力、角色認知、長文本支持方面有了明顯進展。我們認為,無論從應用上的用戶增長,還是在模型上的能力提升方面,均具備極大優勢。 AI大模型加速應用升級,AIGC有望對多個行業帶來顛覆式創新。2023年2月8日,微軟正式將ChatGPT引入Bing,3月17日微軟宣布其正在將基于GPT-4的AI技術植入Office辦公軟件中,標志著以GPT-3.5和GPT-4為代表的大模型開啟了辦公和搜索新方式,我們認為,未來AI大模型的發展和推廣將率先帶來游戲、代碼編碼、生命科學3個行業的變革。此外,多模態將賦能生成式AI,在文本、音頻、圖像和視頻等場景實現商業化落地,軟件端和硬件端有望迎來新機遇,其中,我們將重點關注大模型對工具類軟件和多場景的賦能,在工具側有望帶來以CAD、EDA、ERP為主的工具類軟件的估值重構。 GPT-4引發海量算力需求,把握算力產業鏈機會。根據測算,我們認為,在中性假設下,ChatGPT一年產生的API調用費用約為6.2億美元,與此同時,ChatGPT將在訓練和推理層面對GPU產生巨大需求。根據OpenAI公開信息,GPT-3.5模型的API價格為0.002美元/千token,而GPT-4在請求方面的API價格為0.06美元/千token,回復方面為0.12美元/千token,以0.06美元/千token計算,GPT-4的API調用成本是GPT-3.5的30倍以上,算力相關需求有望翻倍增長。
ChatGPT系列報告地址://www.zhuanzhi.ai/topic/tpcac5a15a1c8b5293bfc970b97839eaf7
OpenAI于2023年3月14日發布最新版本多模態大模型GPT-4及其API;國內百度于3月16日發布生成式大模型“文心一言”并開放邀請測試。為對比國內外大模型在各領域的性能差異,我們對文心一言、GPT-3.5(ChatGPT的原模型)和GPT-4的問答表現分別進行了測評。測評涉及常識和創作(文學/圖片)、歸納和推理(演繹推理/情感推理/邏輯推理/主體信息抽取)、數學和代碼、應用(AI助手/客服/辦公協同/推薦/詩詞理解)等方面。
在常識和創作類問題中,三大模型均能正確回答客觀常識類問題;進行文學創作結果均能體現正面價值觀,但文心一言的分詞功能有待提升;目前GPT-4尚未開放圖像生成外部測試,文心一言的圖像生成能力較為出色。 在歸納和推理類問題中,文心一言在演繹推理、邏輯推理等領域表現略遜于GPT系列模型,但在歸納總結類任務中表現較好;三大模型在情感推理類問題中仍有提升空間。 在數學和代碼類問題中,GPT-3.5有更好的數學能力表現;GPT-3.5及GPT-4模型均完成了本文提出的代碼生成問題,但并非最優解,文心一言代碼問題識別能力有待加強。 在應用場景測試中,三大模型均能較好地完成AI生活助手、售后客服、產品推薦、辦公場景文本生成等任務,但在文言文和古詩詞理解運用方面表現不佳。 我們認為隨百度文心及OpenAI合作生態伙伴數量快速增長、訓練數據量和模型訓練能力持續提升,各模型性能都有望實現進一步優化完善。