AIGC成為新的內容生產方式,跨模態生成值得重點關注。區別于PGC與UGC,AIGC是利用人工智能技術自動生成內容的新型生產方式。按照模態區分,AIGC可分為音頻生成、文本生成、圖像生成、視頻生成及圖像、視頻、文本間的跨模態生成,細分場景眾多,其中,跨模態生成需要重點關注。 自然語言處理(NLP)賦予了AI理解和生成能力,大規模預訓練模型是NLP的發展趨勢。NLP的兩個核心任務分別是自然語言理解(NLU)和自然語言生成(NLG)。以ELMo、BERT、GPT為代表的預訓練模型,降低了NLP的技術門檻。ELMo解決了“一詞多義”的問題;BERT通過MLM(類似于完形填空)和NLP(判斷句子是否相連)進行預訓練,增強了上下文的理解能力。GPT通過預測下一個詞,獲得了生成能力;GPT-3在此基礎上使用了更大的數據和更大模型,無需針對下游任務進行傳統的微調,并且采用了小樣本學習提升生成效果。 ChatGPT是NLP發展中具有里程碑式意義的模型之一。ChatGPT是OpenAI從GPT-3.5系列中的模型進行微調產生的聊天機器人模型。它能夠通過學習和理解人類的語言來進行對話,還能根據聊天的上下文進行互動,真正像人類一樣來聊天交流,甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼等任務。 生成模型賦予了AI創造力,擴散模型是最前沿的技術之一。AIGC的快速發展歸功于生成算法領域的技術積累。GAN的核心思想是“生成”與“對抗”,相比傳統的深度神經網絡,GAN能產生更好的生成樣本,但是仍需解決應用中的問題。擴散模型較GAN更接近人的思維模式,是基于馬爾科夫鏈,通過學習噪聲來生成數據。擴散模型實現了跨模態應用,包括OpenAI的GLIDE和DALL·E2、谷歌的Imagen、StabilityAI的StableDiffusion等。 人工智能由單模態智能,向多種模態融合方向發展。建立統一的、跨場景、多任務的多模態基礎模型或將成為人工智能發展的主流趨勢之一。CLIP模型將語言信息和圖像信息聯合訓練,能夠鏈接文本和圖片,成為跨模態生成應用的一個重要節點,“CLIP+其他模型”在跨模態生成領域成為一種較為通用的做法。2022年,微軟提出的BEiT-3多模態基礎模型,在視覺-語言任務處理上具備出色表現,包括視覺問答、圖片描述生成和跨模態檢索等。多模態提高了基礎模型的靈活性,使其在其他模態的應用中發揮新的潛質。 未來,值得關注的技術要素包括:長文本生成、開放式文本生成、NeRF模型、擴散模型、跨模態大型預訓練模型(支持的模態數據類型、模態對齊架構設計、支持的下游應用)、小樣本學習及自監督算法、強化學習及環境學習等。
ChatGPT快速滲透, AI產業迎發展新機 ChatGPT是由OpenAI公司開發的人工智能聊天機器人程序, 于2022年11月發布, 推出不久便在全球范圍內爆火。根據World of Engineering數據顯示, ChatGPT達到1億用戶量用時僅2個月, 成為史上用戶增長速度最快的消費級應用程序。與之相比, TikTok達到1億用戶用了9個月, Instagram則花了2年半的時間。從用戶體驗來看, ChatGPT不僅能實現流暢的文字聊天, 還可以勝任翻譯、 作詩、 寫新聞、 做報表、 編代碼等相對復雜的語言工作。 ChatGPT爆火的背后是人工智能算法的迭代升級。ChatGPT是基于GPT-3.5微調得到的新版本模型, 能夠借助人類反饋的強化學習(RLHF) 技術來指導模型訓練, 實現模型輸出與人類預期的需求, 使對話內容更加人性化和富有邏輯性。從2008年第一代生成式預訓練模型GPT-1誕生以來, GPT系列模型幾乎按照每年一代的速度進行迭代升級, 未來隨著大語言模型(LLM) 技術的不斷突破, AI相關應用有望加速落地, AI產業或將迎來新一輪發展機遇。 ChatGPT激起AI浪潮,大算力芯片迎來產業機遇 ChatGPT是生成式人工智能技術(AIGC) 的一種, 與傳統的決策/分析式AI相比, 生成式AI并非通過簡單分析已有數據來進行分析與決策, 而是在學習歸納已有數據后進行演技創造, 基于歷史進行模仿式、 縫合式創作, 生成全新的內容。AIGC的應用非常廣泛, 包括自然語言生成、 圖像生成、 視頻生成、 音樂生成、 藝術創作等領域。 AIGC產業鏈主要分為上游算力硬件層、 中游數據/算法軟件層和下游行業應用層。硬件層依靠高性能AI芯片、 服務器和數據中心為AIGC模型的訓練提供算力支持, 是承載行業發展的基礎設施;數據/算法層軟件層主要負責AI數據的采集、 清洗、 標注及模型的開發與訓練, 多方廠商入局自然語言處理、 計算機視覺、 多模態模型等領域;行業應用層目前主要涉及搜索、 對話、推薦等場景, 未來有望在多個行業呈現井噴式革新。 多模態賦能下游行業智慧化升級 多模態大模型有望成為AI主流, 賦能下游行業智能升級。生成式AI主要依賴于人工智能大模型, 如Transformer、 BERT、GPT系列等。這些模型通常包含數十億至數萬億個參數, 需要龐大的數據集進行訓練, 致使AI算力的需求也呈現出指數級的增長。多模態是一種全新的交互、 生成模式, 集合了圖像、 語音、 文本等方式, 因其可以結合多種數據類型和模態的學習,將有望徹底改變我們與機器互動的方式, 快速占據人工智能主導地位。我們認為多模態大模型長期來看不僅可以從成本端降本增效, 需求端也將通過快速滲透推廣為下游行業帶來持續增長需求, 從而快速推動下游行業智慧化應用升級。 模型更新升級帶動下游行業不斷發展 從GPT-1到ChatGPT, 模型參數與訓練數據量不斷增加, 所需算力資源不斷提升: GPT-1:最早的GPT模型之一, 包含了1.17億個參數, 預訓練數據量約為5GB。 GPT-2:參數數量達到了1.5億個, 預訓練數據量達40GB。 GPT-3:是目前為止最大的語言模型之一, 包含了1750億個參數, 預訓練數據量為45TB。 ChatGPT:基于GPT-3模型的變種之一, 參數量預計與GPT-3相近。 GPT-4性能提升顯著, AIGC應用市場空間廣闊 多模態模型是實現人工智能應用的關鍵。3月14日OpenAI發布GPT-4多模態大模型, 擁有1) 強大的識圖能力;2) 文字輸入限制提升至2.5萬字;3) 回答準確性顯著提高;4) 能夠生成歌詞、 創意文本、 實現風格變化。在各種專業和學術基準上,GPT-4已具備與人類水平相當表現。如在模擬律師考試中, 其分數在應試者前10%, 相比下GPT-3.5在倒數10%左右。多模態大模型在整體復雜度及交互性上已有較大提升, 模型升級有望加速細分垂直應用成熟, 賦能下游智慧化升級, 帶動需求快速增長。 AIGC下游市場滲透率低, 增長空間廣闊。根據 Gartner數據, 目前由人工智能生成的數據占所有數據的 1%以下, 預計2023年將有 20%的內容被生成式AI 所創建, 2025 年人工智能生成數據占比將達到 10%。根據前瞻產業研究院數據, 2025年中國生成式商業AI應用規模將達2070億元, CAGR(2020-2025) 為84.06%。
**為什么 ChatGPT 如此重要?AI C 端產品中的第一個爆款,可能代表著商業 化的拐點。**1)從用戶體驗上,比起競品和上一代產品,ChatGPT 的連續對話 能力明顯更強,具備了大范圍商業化的潛力。2)從應用場景的潛力上,語義 文本類產品想象空間較圖片類更大。短期看有望落地的包括更專業的客服機器 人、更垂直更專業化的 AI(如醫療教育領域)、新一代的智能搜索等。3)ChatGPT 的出現或將加快巨頭對于 AI 的發展速度。ChatGPT 的成功或將促進各科技巨 頭加大對于 AI 的研發投入,如谷歌近日宣布投資 OpenAI 的競爭對手 Anthropic。大廠的競爭有助于技術的進步和商業化的加速。
? 為什么是 ChatGPT?比起競品和上一代產品,ChatGPT 在多方面有了明顯改 善。1)道德性的增強,敢于質疑提問者提問前提的正確性和正當性。避免出 現偏見、歧視等毒害信息。2)主動承認錯誤或主動承認無法回答某一問題。3) 可以理解整段對話上下文的語義,而不是孤立的回答其中一個問題。4)對提 問者意圖判斷能力大幅提升,并非單純根據相關性進行答案羅列。因此整體上, ChatGPT 有著比其他 AI 機器人更好的用戶體驗,具備了真正意義上的連續對 話的能力。
**? 如何落地?**短期看是降本增效的新生產力工具,長期看可能帶來新的內容生 產范式。ChatGPT 的成功證明了生成式模型的進化,實現通用人工智能 AGI 的可能性進一步提高。其重要性體現在 AI 對人類傳達信息的載體有了更好 的學習,在此基礎上各個媒介之間的互通成為可能。例如從自然語言生成編程 語言,可以產生新的人機交互方式;從自然語言生成圖片和視頻,可以革新內 容行業的生產范式。短期直接落地的場景可能是在文本端,提高人的效率:搜 索、營銷文案、客服、輔助寫作;更長期的可能在于提高人機互動的智能, 如在游戲、虛擬人方面的應用。
1、ChatGPT火爆的背后:算法革新+算力支持+數據共振 ChatGPT引起全球熱烈反響,上線僅五天用戶突破百萬,ChatGPT在文本交互和語言理解方面能力的顯著進步或為通用人工智能的實現帶來曙光。究其先進性根本,ChatGPT在以往基礎上推進算法革新優化,輔以強大算力支持,并以大規模數據共振,協同助推這一劃時代產品誕生。OpenAI以B端提供API接口流量+C端訂閱收費模式,探索ChatGPT商業化路徑。展望未來AI將橫縱向并行,結合技術深化與能力邊界拓展,進一步鋪開應用面。 2、數字內容生產新方式——AIGC AIGC的興起推動人類叩響強人工智能之門,可應用于文本、音頻、圖片、視頻、跨模態、策略生成等,有望開啟新一輪內容生產力革命。隨著Transformer、DiffusionModel等算力模型的迭代,推動AIGC在設計、內容創作、游戲智能、機器交互等領域實現降本增效。 3、新時代生產力工具,AIGC賦能內容生產 基于AI生成內容技術,AIGC已在游戲、廣告營銷、影視、媒體、互聯網、娛樂等領域初顯成效,并展現出較大的潛力。 AIGC將推動游戲生產范式升級,并豐富游戲資產生成,高效輔助游戲測試,使制作成本顯著降低,全流程賦能游戲買量; AIGC貫穿廣告營銷全流程,將優化案頭工作環節,提供更專業的個性化營銷方案,并充實廣告素材,實現廣告自動化生成; AIGC提升影視行業全管線效率。影視劇本創作已初見成效,多AI技術將助力電影中期拍攝,后期制作將更快完成; AIGC帶給媒體行業人機協作方案。新聞寫作編排效率提升,傳媒向智媒轉向開啟新篇章; AIGC提供互聯網行業豐富內容,和更便捷的服務。ChatGPT賦能智慧搜索,互為供給加速發展內容平臺發展,虛擬結合激發電商沉浸式體驗; AIGC為娛樂行業提供了更多樣的體驗。人際交互娛樂邁入新臺階,AIGC或成元宇宙之匙。
最近,ChatGPT與DALL-E-2[1]和Codex[2]一起受到了社會的廣泛關注。因此,許多人對相關資源感興趣,并試圖揭開其令人印象深刻的性能背后的背景和秘密。**事實上,ChatGPT和其他生成式AI (GAI)技術屬于人工智能生成內容(AIGC)的范疇,它涉及通過AI模型創建數字內容,如圖像、音樂和自然語言。AIGC的目標是使內容創建過程更加高效和可訪問,允許以更快的速度生產高質量的內容。**AIGC是通過從人類提供的指令中提取和理解意圖信息,并根據其知識和意圖信息生成內容來實現的。近年來,大規模模型在AIGC中變得越來越重要,因為它們提供了更好的意圖提取,從而改善了生成結果。隨著數據和模型規模的增長,模型可以學習的分布變得更加全面和接近現實,從而產生更加真實和高質量的內容。**本文全面回顧了生成模型的歷史,基本組件,以及AIGC的最新進展,從單模態交互和多模態交互。**從單模態的角度,介紹了文本和圖像的生成任務和相關模型。從多模態的角度出發,介紹上述模態之間的交叉應用。最后討論了AIGC存在的開放問題和未來的挑戰。
1. 引言
近年來,人工智能生成內容(Artificial Intelligence Generated Content, AIGC)受到了計算機科學界以外的廣泛關注,全社會開始關注大型科技公司[3]構建的各種內容生成產品,如ChatGPT[4]和DALL-E2[5]。AIGC指的是使用高級生成AI (GAI)技術生成的內容,而不是由人類作者創建的內容,AIGC可以在短時間內自動創建大量內容。例如,ChatGPT是OpenAI開發的用于構建對話式人工智能系統的語言模型,可以有效地理解并以有意義的方式響應人類的語言輸入。此外,DALL-E-2是另一個最先進的GAI模型,也是由OpenAI開發的,它能夠在幾分鐘內從文本描述中創建獨特的高質量圖像,如圖1所示的“一個宇航員以逼真的風格騎馬”。隨著AIGC的卓越成就,許多人認為這將是人工智能的新時代,并將對整個世界產生重大影響。
**從技術上講,AIGC是指給定人工指令,可以幫助教學和指導模型完成任務,利用GAI算法生成滿足指令的內容。**該生成過程通常包括兩個步驟:從人工指令中提取意圖信息和根據提取的意圖生成內容。然而,如之前的研究[6,7]所示,包含上述兩個步驟的GAI模型的范式并不完全新穎。與之前的工作相比,最近的AIGC的核心進展是在更大的數據集上訓練更復雜的生成模型,使用更大的基礎模型架構,并能夠訪問廣泛的計算資源。例如,GPT-3的主框架保持與GPT-2相同,但預訓練數據大小從WebText 8增長到CommonCrawl9,基礎模型大小從1.5B增長到175B。因此,在人類意圖提取等任務上,GPT-3比GPT-2具有更好的泛化能力。
除了數據量和計算能力增加帶來的好處,研究人員還在探索將新技術與GAI算法集成的方法。例如,ChatGPT利用來自人類反饋的強化學習(RLHF)[10-12]來確定給定指令的最適當響應,從而隨著時間的推移提高模型的可靠性和準確性。這種方法使ChatGPT能夠更好地理解人類在長對話中的偏好。同時,在計算機視覺領域,由Stability提出了穩定擴散[13]。AI在2022年也在圖像生成方面取得了巨大成功。與之前的方法不同,生成擴散模型可以通過控制探索和利用之間的權衡來幫助生成高分辨率圖像,從而將生成圖像的多樣性和與訓練數據的相似性和諧地結合起來。
結合這些進展,模型在AIGC任務上取得了顯著進展,并被應用于各個行業,包括藝術[14]、廣告[15]、教育[16]等。在不久的將來,AIGC將繼續成為機器學習的一個重要研究領域。因此,對過去的研究進行廣泛的調研并確定該領域的開放問題至關重要。對AIGC領域的核心技術和應用進行了綜述。 **這是對AIGC的首次全面綜述,從技術和應用兩個方面對GAI進行了總結。之前的研究從不同的角度關注GAI,包括自然語言生成[17],圖像生成[18],多模態機器學習中的生成[7,19]。**然而,之前的工作只關注AIGC的特定部分。本文首先回顧了AIGC中常用的基礎技術。進一步對先進的GAI算法進行了全面的總結,包括單峰生成和多峰生成,如圖2所示。此外,還討論了AIGC的應用和潛在挑戰。最后指出了該領域存在的問題和未來的研究方向。
綜上所述,本文的主要貢獻如下:
據我們所知,我們是第一個為AIGC和AI增強生成過程提供正式定義和徹底調研的人。
回顧了AIGC的歷史和基礎技術,并從單模態生成和多模態生成的角度對GAI任務和模型的最新進展進行了全面分析。
討論了AIGC面臨的主要挑戰以及AIGC未來的研究趨勢。
調研的其余部分組織如下。第二節主要從視覺模態和語言模態兩個方面回顧了AIGC的歷史。第3節介紹了目前在GAI模型訓練中廣泛使用的基本組件。第4節總結了GAI模型的最新進展,其中第4.1節從單模態角度回顧了進展,第4.2節從多模態生成的角度回顧了進展。在多模態生成中,介紹了視覺語言模型、文本音頻模型、文本圖模型和文本代碼模型。第5節和第6節介紹了GAI模型在AIGC中的應用以及與該領域相關的一些重要研究。第7、8節揭示了AIGC技術存在的風險、存在的問題和未來的發展方向。最后,我們在9中總結了我們的研究。2. 生成式人工智能的歷史生成模型在人工智能領域有著悠久的歷史,可以追溯到20世紀50年代,隱馬爾可夫模型(HMM)[20]和高斯混合模型(GMMs)[21]的發展。這些模型生成了語音和時間序列等順序數據。然而,直到深度學習的出現,生成模型才在性能上看到了顯著的改進。
在早期的深度生成模型中,不同的領域通常沒有太多的重疊。在自然語言處理(NLP)中,傳統的生成句子的方法是使用N-gram語言建模[22]學習單詞分布,然后搜索最佳序列。然而,該方法不能有效地適應長句子。為了解決這個問題,循環神經網絡(RNN)[23]后來被引入到語言建模任務中,允許對相對較長的依賴關系進行建模。隨后,長短期記憶(LSTM)[24]和門控循環單元(GRU)[25]的發育,它們利用門控機制在訓練過程中控制記憶。這些方法能夠處理樣本[26]中的約200個標記,與N-gram語言模型相比,這是一個顯著的改進。 同時,在計算機視覺(CV)領域,在基于深度學習的方法出現之前,傳統的圖像生成算法使用紋理合成[27]和紋理映射[28]等技術。這些算法基于手工設計的特征,在生成復雜多樣的圖像方面能力有限。2014年,生成對抗網絡(Generative Adversarial Networks, GANs)[29]被首次提出,在各種應用中取得了令人印象深刻的結果,是該領域的一個重要里程碑。變分自動編碼器(vae)[30]和其他方法,如擴散生成模型[31],也已開發用于對圖像生成過程進行更細粒度的控制和生成高質量圖像的能力
生成模型在不同領域的發展遵循不同的路徑,但最終出現了交叉的問題:transformer架構[32]。Vaswani等人在2017年引入了NLP任務,Transformer后來被應用于CV中,然后成為不同領域許多生成模型的主要骨干[9,33,34]。在NLP領域,許多著名的大型語言模型,如BERT和GPT,采用transformer架構作為其主要的構建塊,比之前的構建塊(如LSTM和GRU)具有優勢。在CV中,Vision Transformer (ViT)[35]和Swin Transformer[36]后來通過將Transformer架構與視覺組件相結合,進一步發展了這一概念,使其可以應用于基于圖像的下游。除了transformer給單個模態帶來的改進之外,這種交叉還使來自不同領域的模型能夠融合在一起,以完成多模態任務。多模態模型的一個例子是CLIP[37]。CLIP是一種視覺-語言聯合模型,將transformer架構與視覺組件相結合,允許它在大量文本和圖像數據上進行訓練。由于它在預訓練時結合了視覺和語言知識,因此也可以作為多模態提示生成中的圖像編碼器。總而言之,基于transformer的模型的出現徹底改變了人工智能的產生,并導致了大規模訓練的可能性。
近年來,研究人員也開始引入基于這些模型的新技術。例如,在NLP中,人們有時喜歡少樣本提示[38],而不是微調,這是指在提示中包括從數據集中選擇的一些示例,以幫助模型更好地理解任務需求。在視覺語言中,研究人員經常將特定模態模型與自監督對比學習目標相結合,以提供更魯棒的表示。在未來,隨著AIGC越來越重要,會有越來越多的技術被引入,讓這個領域充滿活力。
3. 生成式人工智能
我們將介紹最先進的單模態生成模型。這些模型被設計為接受特定的原始數據模態作為輸入,例如文本或圖像,然后以與輸入相同的模態生成預測。我們將討論這些模型中使用的一些最有前途的方法和技術,包括生成語言模型,如GPT3[9]、BART[34]、T5[56]和生成視覺模型,如GAN[29]、VAE[30]和歸一化流[57]。
多模態模型
多模態生成是當今AIGC的重要組成部分。多模態生成的目標是通過學習數據[7]的多模態連接和交互來學習生成原始模態的模型。模態之間的這種連接和相互作用有時是非常復雜的,這使得多模態表示空間與單模態表示空間相比很難學習。然而,隨著前面提到的強大的特定于模式的基礎架構的出現,越來越多的方法被提出來應對這一挑戰。在本節中,我們將介紹視覺語言生成、文本音頻生成、文本圖形生成和文本代碼生成中的最先進的多模態模型。由于大多數多模態生成模型總是與實際應用高度相關,本節主要從下游任務的角度進行介紹。
4. 應用
5. 效率
在過去的十年中,具有神經網絡的深度生成式人工智能模型一直主導著機器學習領域,其崛起歸功于2012年的ImageNet競賽[210],這導致了一場創建更深入和更復雜模型的競賽。這種趨勢也出現在自然語言理解領域,像BERT和GPT-3這樣的模型已經開發出了大量參數。然而,不斷增加的模型占用空間和復雜性,以及訓練和部署所需的成本和資源,給現實世界中的實際部署帶來了挑戰。核心挑戰是效率,可以分解如下:
推理效率: 這與部署用于推理的模型的實際考慮有關,即為給定的輸入計算模型的輸出。推理效率主要與推理期間模型的大小、速度和資源消耗(例如,磁盤和RAM使用)有關。 * 訓練效率: 這涵蓋了影響訓練模型的速度和資源需求的因素,如訓練時間、內存占用和跨多個設備的可伸縮性。它還可能包括考慮在給定任務上實現最佳性能所需的數據量。
AIGC空間廣闊,商業化落地持續推進
AIGC的落地痛點在于成本高昂的通用大模型與下游垂直應用場景需求的不匹配。ChatGPT熱度持續提升,一方面推動了科技巨頭持續加大AI投入,另一方面也直接帶動下游付費意愿提升,進一步加速AIGC應用落地和商業變現,AIGC產業迎來發展良機。 (1)從內容形態來看,AIGC應用包括文本、音頻、圖像、視頻、代碼、多模態等內容生成形式,根據紅衫資本預測,AIGC將首先在文本和代碼領域落地應用,隨后逐漸拓展至圖像和視頻領域。 (2)從應用價值來看,AIGC應用價值體現在降本增效、提升內容質量、增加內容多樣性、生成個性化內容等方面。在垂直領域,目前國內已有機器寫稿、對話式AI、報告生成等AIGC應用落地,技術價值主要在于替代人工實現降本增效。隨著科技巨頭的持續投入以及技術的迭代升級,AIGC技術應用場景進一步拓寬,技術價值也有望從將本增效向額外價值轉移。 AI賦能價值凸顯,AI應用大有可為 (1)AI+搜索:搜索是互聯網的流量入口,微軟、谷歌、百度均表示將率先將AI技術應用于搜索,未來有望重塑信息生成和呈現方式,成為新的流量入口。 (2)AI寫作:AI寫作可大幅提升效率,在具有較強規律性的結構化寫作方面具有豐富應用場景。目前已在辦公軟件、新聞媒體等專業應用場景商業化落地。 (3)AI對話:AI對話主要用于替代人類完成大量重復性、規則性對話任務,在金融、互聯網、運營商等擁有大量C端用戶的行業擁有廣闊應用前景。ChatGPT在多項測試中已經超過人類,將對話AI提升至新的高度,未來應用空間廣闊。 (4)AI翻譯:在AI技術支持下,機器翻譯效果持續優化,但在廣義理解層面仍面臨挑戰。相比專業搜索工具,ChatGPT具有更強的理解能力,在部分場景的翻譯表現優于谷歌翻譯和DeepL,表現驚艷。 (5)AI作畫:AI作畫可解決視覺內容創作門檻高、耗時長的痛點,對于內容創作的價值凸顯。根據6pen預測,未來五年10%-30%的圖片內容將由AI參與生成,預計2027年市場規模有望超過600億,空間廣闊。 (6)AI視頻:AI已經可以輔助完成視頻生成、替換、剪輯等多項任務,已在短視頻、AI修復等領域廣發應用,下游需求旺盛,未來應用潛力廣闊。
數據、算法、算力共振推動AIGC發展,模型開源及商業化帶來的產品化浪潮及通用人工智能領域的初探推動AIGC破圈。AIGC傳媒相關應用有望超千億。 復盤AIGC算法迭代:競爭中發展,模型開源及商業化推動應用破圈。2017年推出的Transformer架構的并行訓練優勢奠定了大模型訓練的基礎,以GPT為代表的預訓練模型,通過使用無標注數據預訓練及微調,緩解了標注數據不足的問題,并不斷提升參數量級及模型通用性,ChatGPT在此基礎上加入了利用人類反饋強化學習的訓練方法。擴散模型取代GAN成為圖像生成領域的主流模型,CLIP模型推動跨模態生成技術的發展。GPT3的商業化及CLIP及Stable Diffusion模型的開源推動文本生成、文生圖產品化的浪潮。谷歌、Meta持續探索文字生成視頻領域模型。 國內傳媒領域應用有望超千億。Gartner預測至2023年將有20%的內容被生成式AI所創建;至2025年生成式AI產生的數據將占所有數據的10%(目前不到1%)。紅杉預測生成式ai將產生數萬億美元經濟價值。2025年,國內生成式ai應用規模有望突破2000億,我們預測國內傳媒領域應用空間超1000億。 AIGC應用于文本、音頻、跨模態、策略生成,在設計、內容創作、廣告營銷、游戲、企業服務等領域開啟商業化,有望開啟新一輪內容生產力革命。 文本生成:應用于輔助寫作、營銷、社交、瀏覽器、企業級服務、心理咨詢等領域。代表公司Jasper.ai,通過SaaS訂閱收費模式,獲得B端客戶認可,率先實現規模化收入;OpenAI旗下ChatGPT由于其通用性被集成至瀏覽器、辦公自動化軟件、企業級服務產品中,作為增值服務項目。 音頻生成:應用于智能客服、有聲讀物制作、配音、導航、虛擬歌手、作曲等領域。代表公司喜馬拉雅、倒映有聲、標貝科技、StarXMusicXLab等。 跨模態生成:包括文生圖、文生視頻,圖片視頻生成文字等應用。AI繪畫代表產品Midjourney、DALL-E2、Dreamstudio、文心一格,主要按生成次數收費。 策略生成:應用于游戲、自動駕駛、機器人控制、智能交互數字人等領域。游戲領域代表性公司騰訊AILab、網易伏羲、啟元世界、rct.ai、超參數等。
國產“ChatGPT”揚帆啟航。OpenAI的商業模式為API接口收費。我們認為此種商業模式具有“卡脖子”的風險,因此我國需要發展自主可控的“ChatGPT”。國產生態正在逐步繁榮,百度打響國產ChatGPT領域“第一槍”,其在算法、算力、數據、生態、平臺五方面皆有儲備;ChatGPT的競爭本質即大模型儲備競賽,大模型是人工智能發展的必然趨勢,也是輔助式人工智能向通用性人工智能轉變的堅實底座。大模型分為NLP(自然語言處理)、CV(計算機視覺)、多模態和科學計算四類。此外,中美科技巨頭已經開啟大模型儲備“軍備賽”。
百度文心一言,開啟國產ChatGPT新征程。百度是少有大模型語言訓練能力的公司,模型儲備方面,百度實現了全生態布局。1、NLP(自然語言處理),已經具備智能創作、摘要生成、問答、語義檢索、情感分析、信息抽取等能力,且可以讓機器人像人一樣具有邏輯且自由對話;2、CV(計算機視覺),可用于應用于圖像分類、目標檢測、語義分割等場景,此外還可以應用于文檔、卡證、票據等圖像文字識別和結構化理解;3、跨境大模型,可實現AI作畫、場景融合視覺常識推理、跨模態圖像檢索、跨模態文本檢索等多場景;4、生物計算,應用場景為蛋白結構預測和小分子藥物研發等領域。 百度為國產ChatGPT“領軍企業”,具有算力積累和生態優勢。平臺方面:擁有自主生態的百度百舸·AI異構計算平臺,具備高效率、多密度、高易用性、多場景部署、樂高式拼接等能力。算力方面:百度自身具有建設智能算力中心的實力,技術領先且自主可控,已有典型落地案例;服務器方面擁有自研的昆侖芯云服務器;芯片方面,昆侖芯AI芯片是百度自主研發的芯片,2代芯片已量產,具備算力支撐強、高速互聯等多重優勢。生態:百度大模型賦能千行百業,已有落地應用,合作廠商分別覆蓋科技、金融、航天、影視、汽車、電子制造等諸多產業。此外,我們推測ChatGPT有望成為搜索引擎的流量入口,百度搜索引擎有望借助文心一言大模型的能力重回巔峰。此外,目前國產科技巨頭已經開啟大模型的“軍備競賽”,因此,我們判斷,未來AI+有望賦能千行百業,具有AI+能力的廠商有望呈現“百花齊放”的態勢。
**刷爆的ChatGPT什么算法這么強!臺大李宏毅老師國語講解《ChatGPT (可能)是怎么煉成的 》! **
** **
** **
AIGC多模態跨模態應用逐漸成熟,市場空間廣闊。 廣義的AIGC指具備生成創造能力的AI技術,即生成式AI。可以基于訓練數據和生成算法模型,自主生成創造新的文本、圖像、音樂、視頻等內容。2022年被稱為AIGC元年,未來兼具大模型和多模態模型的AIGC模型有望成為新的技術平臺。據《中國AI數字商業產業展望2021-2025》報告,預測AI數字商業內容的市場規模將從2020年的40億元,增加到2025年的495億元。 ChatGPT產品歷經多代技術演進,產品與商業模式逐漸成熟。 ChatGPT是文本生成式AI,過去的傳統AI偏向于分析能力,主要基于已有內容;現在文本生成式AI基于底層Transformer模型,不斷訓練數據和迭代生成算法模型,歷經GPT-1、GPT-2、GPT-3,模型不斷升級,到ChatGPT的GPT3.5模型,已可以自主生成各種形式的內容。近期收費版ChatGPTPlus版本發布,AI商業化序幕逐漸拉開。 AI商業化落地在即,行業算法側和算力側投資機會有望超預期。 根據數據顯示,ChatGPT總算力消耗約為3640PF-Days,按國內的數據中心算力測算,需要7-8個數據中心才能支持其運行。各模態AI數據訓練到應用均需要算法和算力的加持,未來要想大規模應用,算法訓練和算力部署均需先行。
ChatGPT市場反應熱烈,國內外巨頭紛紛入場
據統計,ChatGPT日活躍用戶數的增速遠超Instagram,1月份平均每天有超過1300萬名獨立訪問者使用ChatGPT,是去年12月份的兩倍多;國內外科技巨頭都非常重視ChatGPT引發的科技浪潮,積極布局生成式AI,國內廠商(百度、騰訊等)也高度關注ChatGPT,積極探索前沿技術,相關深度應用也即將推出。
ChatGPT經歷多類技術路線演化,逐步成熟與完善
ChatGPT所能實現的人類意圖,來自于機器學習、神經網絡以及Transformer模型的多種技術模型積累。Transformer建模方法成熟以后,使用一套統一的工具來開發各種模態的基礎模型這種理念得以成熟,隨后GPT-1、GPT-2、GPT-3模型持續演化升級,最終孵化出ChatGPT文本對話應用。
AIGC跨模態產業生態逐步成熟,商用落地未來可期
AIGC產業生態當前在文本、音頻、視頻等多模態交互功能上持續演化升級,奠定了多場景的商用基礎。跨模態生成技術也有望成為真正實現認知和決策智能的轉折點。
ChatGPT乘東風,商業架構日益清晰
隨著ChatGPT Plus發布,商業化序幕已經拉開。ChatGPT在傳媒、影視、營銷、娛樂以及數實共生助力產業升級等領域均可產生極大助益,提升生產力曲線,多維度賦能虛擬經濟和實體經濟。
事件:美國AI公司OpenAI推出基于大語言模型的對話模型ChatGPT,可提供高質量的回答,并能實現創作、編程等復雜功能,備受市場關注。不到兩個月的時間,ChatGPT全球日活用戶已突破千萬。
ChatGPT是突破式的創新技術ChatGPT是OpenAI公司推出的全新聊天機器人模型。通過引入人類反饋的強化學習,大幅提升了AI在人機對話時的準確度和可控性,具有強大的語言理解能力和語言表達能力。GPT模型仍在持續迭代,更先進大語言模型GPT-4有望在2023年推出,有望進一步推動AIGC產業發展。 ChatGPT應用及商業化落地加速科技公司紛紛涌入AIGC賽道,優秀的AIGC大模型層出不窮,我們認為基于AI文本生成的模型ChatGPT有望率先應用落地。AIGC賽道相關公司受到資本青睞,AIGC頭部初創公司OpenAI最新估值約為290億美元。作為AIGC領域領先的模型ChatGPT在對話機器人、智能創作等領域應用廣泛,亞馬遜、微軟、Jasper等公司已經開啟商業化之路,商業化前景廣闊。