來源：哈爾濱工業大學、自然語言處理研究所（HIT-NLP）
2022年11月30日，OpenAI推出全新的對話式通用人工智能工具——ChatGPT。ChatGPT表現出了非常驚艷的語言理解、生成、知識推理能力，它可以很好地理解用戶意圖，做到有效的多輪溝通，并且回答內容完整、重點清晰、有概括、有邏輯、有條理。ChatGPT上線后，5天活躍用戶數高達100萬，2個月活躍用戶數已達1個億，成為歷史上增長最快的消費者應用程序。除了被廣大用戶追捧外，ChatGPT還受到了各國政府、企業界、學術界的廣泛關注，使人們看到了解決自然語言處理這一認知智能核心問題的一條可能的路徑，并被認為向通用人工智能邁出了堅實的一步，將對搜索引擎構成巨大的挑戰，甚至將取代很多人的工作，更將顛覆很多領域和行業。 哈工大自然語言處理研究所組織多位老師和同學撰寫了本調研報告，從技術原理、應用場景、未來發展等方面對ChatGPT進行了盡量詳盡的介紹及總結。
本報告僅供內部參考。 主要編撰人員 第一章由車萬翔、楊沐的、張偉男、趙妍妍、馮驍騁、孫承杰、李佳朋編寫；第二章由張偉男、隋典伯、高翠蕓、朱慶福、李明達、王雪松編寫；第三章由劉銘、朱聰慧、湯步洲編寫；第四章由徐永東、高翠蕓、朱慶福編寫；第五章由楊沐昀、張偉男、韓一、莊子或編寫；第六章由隋典伯、高翠蕓編寫；第七章由車萬翔、劉銘編寫。參與各章審校工作的還有：崔一鳴、徐志明等。 報告整體由車萬翔統稿。
目錄
第一章 ChatGPT的背景與意義
1.1 自然語言處理的發展歷史 1.2 大規模預訓練語言模型的技術發展歷程 1.3 ChatGPT技術發展歷程 1.3.1 ChatGPT的相關技術 1.3.2 ChatGPT技術發展脈絡的總結 1.3.3 ChatGPT的未來技術發展方向 1.4 ChatGPT的優勢與劣勢 1.4.1 ChatGPT的優勢 1.4.2 ChatGPT的劣勢 1.5 ChatGPT的應用前景 1.5.1 在人工智能行業的應用前景及影響 1.5.2 在其他行業的應用前景及影響 1.6 ChatGPT 帶來的風險與挑戰 第二章 ChatGPT相關核心算法
2.1 基于Transformer的預訓練語言模型.. 2.1.1 編碼預訓練語言模型（Encoder-only Pre-trained Models) 2.1.2 解碼預訓練語言模型（Decoder-only Pre-trained Models) 2.1.3 基于編解碼架構的預訓練語言模型（Encoder-decoder Pre-trained Models) 2.2 提示學習與指令精調 2.2.1 提示學習概述 2.2.2 ChatGPT中的指令學習 2.3 思維鏈（Chain of Thought，COT） 2.4 基于人類反饋的強化學習（Reinforcement Learning with Hu-man Feedback,RLHF) 第三章 大模型訓練與部署
3.1 大模型并行計算技術 3.2 并行計算框架 3.3 模型部署 3.3.1 預訓練模型部署的困難 3.3.2 部署框架和部署工具 3.3.3 部署技術和優化方法 3.4 預訓練模型的壓縮 3.4.1 模型壓縮方案概述 3.4.2 結構化模型壓縮策略 3.4.3 非結構化模型壓縮策略 3.4.4 模型壓縮小結 第四章 ChatGPT相關數據集
4.1 預訓練數據集 4.1.1 文本預訓練數據集 4.1.2 代碼預訓練數據集 4.2 人工標注數據規范及相關數據集. 4.2.1 指令微調工作流程及數據集構建方法 4.2.2 常見的指令微調數據集 4.2.3 構建指令微調數據集的關鍵問題 第五章 大模型評價方法
5.1 模型評價方式 5.1.1人工評價 5.1.2 自動評價 5.2 模型評價指標 5.2.1 準確性 5.2.2 不確定性 5.2.3 攻擊性 5.2.4 毒害性 5.2.5 公平性與偏見性 5.2.6 魯棒性 5.2.7 高效性 5.3 模型評價方法小結 第六章 現有大模型及對話式通用人工智能系統
6.1 現有大模型對比 6.2 對話式通用人工智能系統調研 6.2.1 對話式通用人工智能系統 6.2.2不同系統之間的比較 第七章 自然語言處理的未來發展方向
7.1 提高ChatGPT的能力 7.2 加深對模型的認識 7.3 實際應用 7.4 從語言到AGI的探索之路
付費5元查看完整內容
相關內容
AI大語言模型的原理、演進及算力測算
機器學習中模型及數據規模增加有利于提高深度神經網絡性能。
人工智能致力于研究能夠模擬、延伸和擴展人類智能的理論方法及技術，并開發相關應用系統；其最終目標是使計算機能夠模擬人的思維方式和行為。機器學習是一門專門研究計算機如何模擬或實現人類的學習行為、以獲取新的知識或技能、重新組織已有的知識結構使之不斷改善自身性能的學科，廣泛應用于數據挖掘、計算機視覺、自然語言處理等領域。深度學習是機器學習的子集，主要由人工神經網絡組成。與傳統算法及中小型神經網絡相比，大規模的神經網絡及海量的數據支撐將有效提高深度神經網絡的表現性能。 Transformer模型架構是現代大語言模型所采用的基礎架構。
Transformer模型是一種非串行的神經網絡架構，最初被用于執行基于上下文的機器翻譯任務。Transformer模型以Encoder-Decoder架構為基礎，能夠并行處理整個文本序列，同時引入“注意機制”（Attention），使其能夠在文本序列中正向和反向地跟蹤單詞之間的關系，適合在大規模分布式集群中進行訓練，因此具有能夠并行運算、關注上下文信息、表達能力強等優勢。Transformer模型以詞嵌入向量疊加位置編碼作為輸入，使得輸入序列具有位置上的關聯信息。編碼器（Encoder）由Self-Attention（自注意力層）和FeedForwardNetwork（前饋網絡）兩個子層組成，Attention使得模型不僅關注當前位置的詞語，同時能夠關注上下文的詞語。解碼器（Decoder）通過Encoder-DecoderAttention層，用于解碼時對于輸入端編碼信息的關注；利用掩碼（Mask）機制，對序列中每一位置根據之前位置的輸出結果循環解碼得到當前位置的輸出結果。
AI大語言模型的原理、演進及算力測算
GPT是基于Transformer架構的大語言模型，近年迭代演進迅速。 構建語言模型是自然語言處理中最基本和最重要的任務之一。GPT是基于Transformer架構衍生出的生成式預訓練的單向語言模型，通過對大量語料數據進行無監督學習，從而實現文本生成的目的；在結構上僅采用Transformer架構的Decoder部分。自2018年6月OpenAI發布GPT-1模型以來，GPT模型迭代演進迅速。GPT-1核心思想是采用“預訓練+微調”的半監督學習方法，服務于單序列文本的生成式任務；GPT-2在預訓練階段引入多任務學習機制，將多樣化的自然語言處理任務全部轉化為語言模型問題；GPT-3大幅增加了模型參數，更能有效利用上下文信息，性能得到跨越式提高；GPT-3.5引入人類反饋強化學習機制，通過使用人類反饋的數據集進行監督學習，能夠使得模型輸出與人類意圖一致。
大語言模型的訓練及推理應用對算力需求帶來急劇提升。
以GPT-3為例，GPT-3參數量達1750億個，訓練樣本token數達3000億個。考慮采用精度為32位的單精度浮點數數據來訓練模型及進行谷歌級訪問量推理，假設GPT-3模型每次訓練時間要求在30天完成，對應GPT-3所需運算次數為3.1510^23FLOPs，所需算力為121.528PFLOPS，以A100PCle芯片為例，訓練階段需要新增A100GPU芯片1558顆，價值量約2337萬美元；對應DGXA100服務器195臺，價值量約3880.5萬美元。假設推理階段按谷歌每日搜索量35億次進行估計，則每日GPT-3需推理token數達7.9萬億個，所需運算次數為4.7610^24FLOPs，所需算力為55EFLOPs，則推理階段需要新增A100GPU芯片70.6萬顆，價值量約105.95億美元；對應DGXA100服務器8.8萬臺，價值量約175.12億美元。
付費5元查看完整內容
**為什么 ChatGPT 如此重要？AI C 端產品中的第一個爆款，可能代表著商業 化的拐點。**1）從用戶體驗上，比起競品和上一代產品，ChatGPT 的連續對話 能力明顯更強，具備了大范圍商業化的潛力。2）從應用場景的潛力上，語義 文本類產品想象空間較圖片類更大。短期看有望落地的包括更專業的客服機器 人、更垂直更專業化的 AI（如醫療教育領域）、新一代的智能搜索等。3）ChatGPT 的出現或將加快巨頭對于 AI 的發展速度。ChatGPT 的成功或將促進各科技巨 頭加大對于 AI 的研發投入，如谷歌近日宣布投資 OpenAI 的競爭對手 Anthropic。大廠的競爭有助于技術的進步和商業化的加速。
? 為什么是 ChatGPT？比起競品和上一代產品，ChatGPT 在多方面有了明顯改 善。1）道德性的增強，敢于質疑提問者提問前提的正確性和正當性。避免出 現偏見、歧視等毒害信息。2）主動承認錯誤或主動承認無法回答某一問題。3） 可以理解整段對話上下文的語義，而不是孤立的回答其中一個問題。4）對提 問者意圖判斷能力大幅提升，并非單純根據相關性進行答案羅列。因此整體上， ChatGPT 有著比其他 AI 機器人更好的用戶體驗，具備了真正意義上的連續對 話的能力。
**? 如何落地？**短期看是降本增效的新生產力工具，長期看可能帶來新的內容生 產范式。ChatGPT 的成功證明了生成式模型的進化，實現通用人工智能 AGI 的可能性進一步提高。其重要性體現在 AI 對人類傳達信息的載體有了更好 的學習，在此基礎上各個媒介之間的互通成為可能。例如從自然語言生成編程 語言，可以產生新的人機交互方式；從自然語言生成圖片和視頻，可以革新內 容行業的生產范式。短期直接落地的場景可能是在文本端，提高人的效率：搜 索、營銷文案、客服、輔助寫作；更長期的可能在于提高人機互動的智能， 如在游戲、虛擬人方面的應用。
付費5元查看完整內容
GPT-4來了！今日凌晨，萬眾矚目的大型多模態模型GPT-4正式發布！ OpenAI CEO Sam Altman直接介紹說：
這是我們迄今為止功能最強大的模型！
圖靈獎三巨頭之一Geoffrey Hinton對此贊嘆不已，「毛蟲吸取了營養之后，就會化繭為蝶。而人類提取了數十億個理解的金塊，GPT-4，就是人類的蝴蝶。」
OpenAI發文稱，GPT-4能接受圖像和文本輸入，輸出文本內容，雖然在許多現實場景中的能力不如人類，但在各種專業和學術基準測試中已做到人類水平的表現。GPT-4 實現了以下幾個方面的飛躍式提升：強大的識圖能力；文字輸入限制提升至 2.5 萬字；回答準確性顯著提高；能夠生成歌詞、創意文本，實現風格變化。
它強大到什么程度呢？輸入一張手繪草圖，GPT-4能直接生成最終設計的網頁代碼。
它以高分通過各種標準化考試：SAT拿下700分，GRE幾乎滿分，邏輯能力吊打GPT-3.5。
GPT-4在高級推理能力上超越ChatGPT。在律師模擬考試中，ChatGPT背后的GPT-3.5排名在倒數10%左右，而GPT-4考到了前10%左右。GPT-4的長度限制提升到32K tokens，即能處理超過25000個單詞的文本，并且可以使用長格式內容創建、擴展對話、文檔搜索和分析等。OpenAI還貼心地發布了GPT-4開發者視頻，手把手教你生成代碼、檢查錯誤信息、報稅等。在視頻中，OpenAI聯合創始人兼總裁Greg Brockman說了句有點扎心的話：“它并不完美，但你也一樣。”OpenAI正通過ChatGPT和API發布GPT-4的文本輸入功能，圖像輸入功能暫未開放。ChatGPT plus訂閱者可直接獲得有使用上限的GPT-4的試用權，4小時內最多只能發布100條信息。開發者也可以申請GPT-4 API，進入候補名單等待通過。
**申請直通門：**//t.cn/A6ClOHn7隨著時間的推移，OpenAI會將其自動更新為推薦的穩定模型（你可以通過調用gpt-4-0314來鎖定當前版本，OpenAI將支持到6月14日）。定價是每1k prompt tokens 0.03美元，每1k completion tokens 0.06美元。默認速率限制是每分鐘40k tokens和每分鐘200個請求。gpt-4的上下文長度為8192個tokens。還提供對32768個上下文（約50頁文本）版本gpt-4-32k的有限訪問，該版本也將隨著時間的推移自動更新（當前版本gpt-4-32k-0314，也將支持到6月14日）。價格是每1k prompt tokens 0.06美元，每1K completion tokens 0.12美元。此外，OpenAI還開源了用于自動評估AI模型性能的框架OpenAI Evals，以便開發者更好的評測模型的優缺點，從而指導團隊進一步改進模型。開源地址：github.com/openai/evalsGPT-4 技術報告
本文報告了GPT-4的發展，這是一個大規模的多模態模型，可以接受圖像和文本輸入并產生文本輸出。雖然在許多現實世界的場景中，GPT-4的能力不如人類，但它在各種專業和學術基準上表現出了人類水平的表現，包括通過了模擬的律師考試，其分數約為考生的前10%。GPT-4是一個基于transformer的模型，預訓練用于預測文檔中的下一個token。訓練后的校準過程會提高對事實的衡量和對期望行為的堅持程度。該項目的一個核心組件是開發基礎設施和優化方法，這些方法可以在廣泛的范圍內預測性能。這使我們能夠基于不超過GPT-4計算量的1/ 1000的訓練模型準確地預測GPT-4性能的某些方面。本技術報告介紹了GPT-4，一個能夠處理圖像和文本輸入并產生文本輸出的大型多模態模型。此類模型是一個重要的研究領域，具有廣泛的應用前景，如對話系統、文本摘要和機器翻譯。因此，近年來，它們一直是人們感興趣和取得進展的主題[1-28]。開發這樣的模型的主要目標之一是提高它們理解和生成自然語言文本的能力，特別是在更復雜和微妙的情況下。為了測試它在這種情況下的能力，在最初為人類設計的各種考試中對GPT-4進行了評估。在這些評估中，它表現得相當好，經常超過絕大多數人類考生。例如，在模擬的律師考試中，GPT-4的分數落在了考生的前10%。這與GPT-3.5形成對比，GPT-3.5得分在最后10%。在一套傳統的NLP基準測試中，GPT-4的表現優于之前的大型語言模型和大多數最先進的系統(這些系統通常有基準特定的訓練或手工工程)。在MMLU基準29,30上，GPT-4不僅在英語方面以相當大的優勢超過現有模型，而且在其他語言方面也表現出強大的性能。在MMLU的翻譯變體上，GPT-4在考慮的26種語言中的24種超過了英語的最先進水平。我們將在后面的章節中更詳細地討論這些模型能力結果，以及模型安全性的改進和結果。本報告還討論了該項目的一個關鍵挑戰，即開發在大范圍內表現可預測的深度學習基礎設施和優化方法。這使我們能夠對GPT-4的預期性能做出預測(基于以類似方式訓練的小測試)，并在最后的測試中進行測試，以增加我們對訓練的信心。盡管GPT-4功能強大，但它與早期的GPT模型有相似的局限性[1,31,32]:它不完全可靠(例如，可能會出現“幻覺”)，上下文窗口有限，并且不能從經驗中學習。在使用GPT-4輸出時應小心，特別是在可靠性很重要的情況下。GPT-4的能力和局限性帶來了重大而新穎的安全挑戰，我們認為，考慮到潛在的社會影響，仔細研究這些挑戰是一個重要的研究領域。本報告包括一個廣泛的系統卡(在附錄之后)，描述了我們預計的關于偏見、虛假信息、過度依賴、隱私、網絡安全、擴散等方面的一些風險。它還描述了我們為減輕GPT-4部署帶來的潛在危害而采取的干預措施，包括與領域專家進行對抗性測試，以及一個模型輔助的安全通道。本報告重點介紹了GPT-4的功能、局限性和安全性。GPT-4是[33]預訓練的transformer風格的模型，可以使用公開可用的數據(如互聯網數據)和第三方提供商授權的數據來預測文檔中的下一個Token。然后使用來自人類反饋的強化學習(RLHF)[34]對模型進行微調。考慮到大型模型(如GPT-4)的安全影響，本報告沒有包含有關架構(包括模型大小)、硬件、訓練計算、數據集構造、訓練方法或類似內容的進一步細節。我們致力于對我們的技術進行獨立審計，并在這個版本附帶的系統卡中分享了這一領域的一些初始步驟和想法我們計劃向更多的第三方提供進一步的技術細節，他們可以就如何權衡上述競爭和安全考慮與進一步透明的科學價值提供建議
付費5元查看完整內容
**刷爆的ChatGPT什么算法這么強！臺大李宏毅老師國語講解《ChatGPT (可能)是怎么煉成的 》！ **
** **
** **
AIGC多模態跨模態應用逐漸成熟，市場空間廣闊。 廣義的AIGC指具備生成創造能力的AI技術，即生成式AI。可以基于訓練數據和生成算法模型，自主生成創造新的文本、圖像、音樂、視頻等內容。2022年被稱為AIGC元年，未來兼具大模型和多模態模型的AIGC模型有望成為新的技術平臺。據《中國AI數字商業產業展望2021-2025》報告，預測AI數字商業內容的市場規模將從2020年的40億元，增加到2025年的495億元。 ChatGPT產品歷經多代技術演進，產品與商業模式逐漸成熟。 ChatGPT是文本生成式AI，過去的傳統AI偏向于分析能力，主要基于已有內容；現在文本生成式AI基于底層Transformer模型，不斷訓練數據和迭代生成算法模型，歷經GPT-1、GPT-2、GPT-3，模型不斷升級，到ChatGPT的GPT3.5模型，已可以自主生成各種形式的內容。近期收費版ChatGPTPlus版本發布，AI商業化序幕逐漸拉開。 AI商業化落地在即，行業算法側和算力側投資機會有望超預期。 根據數據顯示，ChatGPT總算力消耗約為3640PF-Days，按國內的數據中心算力測算，需要7-8個數據中心才能支持其運行。各模態AI數據訓練到應用均需要算法和算力的加持，未來要想大規模應用，算法訓練和算力部署均需先行。
付費5元查看完整內容
最近OpenAI推出的ChatGPT持續成為熱點，背后依賴的GPT-3.5預訓練語言模型和指令人類反饋強化學習等技術。ChatGPT背后大模型（也稱預訓練模型、基礎模型等）通常是在大規模無標注數據上進行訓練，學習出一種特征和規則，核心是Transformer算法與架構。來自Xavier Amatriain最新的Transformer預訓練模型分類，36頁pdf詳述大模型分類圖。
在過去的幾年里，我們已經看到了幾十種Transformer家族的模型的迅速出現，它們的名字都很有趣，但并不是不言自明的。本文的目標是對最流行的Transformer模型提供一個有點全面但簡單的目錄和分類。本文還介紹了Transformer模型的最重要方面和創新。
1. 引言
Transformer是一類深度學習模型，由一些架構特征定義。2017年，谷歌的研究人員在現在著名的“Attention is All you Need”論文1和相關的博客post1中首次介紹了它們。Transformer架構是前2 - 3年流行的編碼器-解碼器模型[2]2的一個具體實例。然而，在那之前，注意力只是這些模型使用的機制之一，這些模型主要基于LSTM(長短期記憶)[3]和其他RNN(遞歸神經網絡)[4]變體。正如標題所暗示的那樣，transformer論文的關鍵見解是，注意力可以用作獲得輸入和輸出之間依賴關系的唯一機制。Transformer架構的所有細節已經超出了本博客的范圍。為此，我建議你參考上面的原始論文或精彩的the Illustrated transformers帖子。話雖如此，我們將簡要描述最重要的方面，因為我們將在下面的目錄中提到它們。讓我們從原始論文中的基本架構圖開始，并描述一些組件。
從人類反饋(或偏好)中進行強化學習，即RLHF(或RLHP)，最近已經成為AI工具包的一個巨大補充。這一概念已經在2017年的論文中提出。最近，它已被應用于ChatGPT和類似的對話代理，如BlenderBot3或Sparrow。這個想法非常簡單:一旦語言模型被預訓練，我們就可以對對話產生不同的響應，并讓人類對結果進行排名。在強化學習的背景下，我們可以使用這些排名(又名偏好或反饋)來訓練獎勵(見圖3)。您可以在Huggingface]14或Weights and Bias15的這兩篇精彩文章中閱讀更多內容。
2. Transformers分類
希望到目前為止，您已經理解了什么是Transformer模型，以及為什么它們如此流行和有影響力。在本節中，我將介紹迄今為止開發的最重要的Transformer模型的目錄。我將根據以下屬性對每個模型進行分類:預訓練架構、預訓練任務、壓縮、應用程序、年份和參數數量。讓我們簡要地定義它們: 預訓練架構我們將Transformer架構描述為由Encoder和Decoder組成，對于最初的Transformer也是如此。然而，從那時起，已經取得了不同的進展，揭示了在某些情況下，只使用編碼器，只使用解碼器，或兩者都是有益的。 編碼器預訓練這些模型也被稱為雙向編碼或自編碼，在預訓練過程中只使用編碼器，通常通過屏蔽輸入句子中的單詞并訓練模型進行重構來完成。在預訓練的每個階段，注意力層可以訪問所有輸入單詞。該模型族對于需要理解完整句子的任務最有用，如句子分類或抽取式問答。 解碼器預訓練
解碼器模型通常被稱為自回歸模型，在預訓練過程中只使用解碼器，而預訓練通常是為了迫使模型預測下一個單詞。注意力層只能訪問句子中給定單詞之前的單詞。它們最適合于涉及文本生成的任務。 Transformer(編碼器-解碼器)預訓練編碼器-解碼器模型，也稱為序列到序列，使用Transformer架構的兩部分。編碼器的注意力層可以訪問輸入中的所有單詞，而解碼器的注意力層只能訪問輸入中給定單詞之前的單詞。預訓練可以使用編碼器或解碼器模型的目標來完成，但通常涉及更復雜的東西。這些模型最適合于根據給定輸入生成新句子的任務，如摘要、翻譯或生成式問答。**預訓練任務 **當訓練模型時，我們需要為模型定義一個學習任務。上面已經提到了一些典型的任務，例如預測下一個單詞或學習重建被掩碼的單詞。《自然語言處理的預訓練模型綜述》[10]包括一個相當全面的預訓練任務分類，所有這些任務都可以被認為是自監督的:
- 語言建模(LM):預測下一個標記(單向LM的情況下)或前一個和下一個標記(雙向LM的情況下)
- 掩碼語言建模(MLM):從輸入句子中屏蔽一些標記，然后訓練模型，用其余標記預測被屏蔽的標記 3.置換語言模型(PLM):與LM相同，但對輸入序列進行隨機置換。一個置換是從所有可能的置換中隨機抽樣得到的。然后選擇一些token作為目標，并訓練模型來預測這些目標。
- 降噪自編碼器(DAE):采用部分損壞的輸入(例如，從輸入中隨機采樣token，并將其替換為“[MASK]”元素。從輸入中隨機刪除標記，或按隨機順序打亂句子)，并旨在恢復原始未失真的輸入。
- 對比學習(CTL):通過假設一些觀察到的文本對比隨機采樣的文本更相似，來學習文本對的得分函數。它包括: ?深度信息最大化(DIM):最大化圖像表示和圖像局部區域之間的互信息;替換Token檢測(RTD):根據Token的環境預測其是否被替換; 下一個句子預測(NSP):訓練模型以區分輸入的兩個句子是否為訓練語料庫中的連續片段;和句子順序預測(SOP):類似于NSP，但使用兩個連續的片段作為正例，并使用相同的片段，但其順序交換為負例在這里，我們將注意Transformer模型的主要實際應用。這些應用大多數將在語言領域(例如，問答、情感分析或實體識別)。然而，如前所述，一些Transformer模型也在NLP之外找到了應用，也包括在目錄中。
付費5元查看完整內容
ChatGPT系列報告：
**刷爆的ChatGPT什么算法這么強！臺大李宏毅老師國語講解《ChatGPT (可能)是怎么煉成的 》！ **
** **
** **
【芯片算力】▲芯片需求=量↑x價↑，AIGC拉動芯片產業量價齊升。1）量：AIGC帶來的全新場景+原場景流量大幅提高；2）價：對高端芯片的需求將拉動芯片均價。ChatGPT的“背后英雄”：芯片，看好國內GPU、CPU、FPGA、AI芯片及光模塊產業鏈。 相關標的：海光信息、景嘉微、龍芯中科、中國長城、安路科技、復旦微電、紫光國微、寒武紀、瀾起科技、德科立、天孚通信、中際旭創。 【深度學習框架】深度學習框架是人工智能算法的底層開發工具，是人工智能時代的操作系統，當前深度學習框架發展趨勢是趨于大模型訓練，對深度學習框架的分布式訓練能力提出了要求，國產深度學習框架迎來發展機遇。 相關標的：百度、海天瑞聲、商湯科技、微軟、谷歌、Meta。 【深度學習大模型】ChatGPT是基于OpenAI公司開發的InstructGPT模型的對話系統，GPT系列模型源自2017年誕生的Transformer模型，此后大模型數量激增，參數量進入千億時代，國內百度也發布了ERNIE系列模型并有望運用于即將發布的文心一言（ERNIEBot）對話系統，未來國內廠商有望在模型算法領域持續發力。 相關標的：百度、科大訊飛、商湯科技、谷歌、微軟。 【應用】ChatGPT火爆全球的背后，可以窺見伴隨人工智能技術的發展，數字內容的生產方式向著更加高效邁進。ChatGPT及AIGC未來有望在包括游戲、廣告營銷、影視、媒體、互聯網、娛樂等各領域應用，優化內容生產的效率與創意，加速數實融合與產業升級。 相關標的：百度、騰訊、阿里巴巴、網易、昆侖萬維、閱文集團、捷成股份、視覺中國、風語筑、中文在線、三七互娛、吉比特、天娛數科。 【通信】AIGC類產品未來有望成為5G時代新的流量入口，率先受益的有望是AIGC帶來的底層基礎算力爆發式增長。 相關標的：包括算力調度（運營商）、算力供給（運營商、奧飛數據、數據港）、算力設備（浪潮信息、聯想集團、紫光股份、中興通訊、銳捷網絡、天孚通信、光庫科技、中際旭創、新易盛）、算力散熱（英維克、高瀾股份）。
付費5元查看完整內容
AIGC成為新的內容生產方式，跨模態生成值得重點關注。區別于PGC與UGC，AIGC是利用人工智能技術自動生成內容的新型生產方式。按照模態區分，AIGC可分為音頻生成、文本生成、圖像生成、視頻生成及圖像、視頻、文本間的跨模態生成，細分場景眾多，其中，跨模態生成需要重點關注。 自然語言處理（NLP）賦予了AI理解和生成能力，大規模預訓練模型是NLP的發展趨勢。NLP的兩個核心任務分別是自然語言理解（NLU）和自然語言生成（NLG）。以ELMo、BERT、GPT為代表的預訓練模型，降低了NLP的技術門檻。ELMo解決了“一詞多義”的問題；BERT通過MLM（類似于完形填空）和NLP（判斷句子是否相連）進行預訓練，增強了上下文的理解能力。GPT通過預測下一個詞，獲得了生成能力；GPT-3在此基礎上使用了更大的數據和更大模型，無需針對下游任務進行傳統的微調，并且采用了小樣本學習提升生成效果。 ChatGPT是NLP發展中具有里程碑式意義的模型之一。ChatGPT是OpenAI從GPT-3.5系列中的模型進行微調產生的聊天機器人模型。它能夠通過學習和理解人類的語言來進行對話，還能根據聊天的上下文進行互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼等任務。 生成模型賦予了AI創造力，擴散模型是最前沿的技術之一。AIGC的快速發展歸功于生成算法領域的技術積累。GAN的核心思想是“生成”與“對抗”，相比傳統的深度神經網絡，GAN能產生更好的生成樣本，但是仍需解決應用中的問題。擴散模型較GAN更接近人的思維模式，是基于馬爾科夫鏈，通過學習噪聲來生成數據。擴散模型實現了跨模態應用，包括OpenAI的GLIDE和DALL·E2、谷歌的Imagen、StabilityAI的StableDiffusion等。 人工智能由單模態智能，向多種模態融合方向發展。建立統一的、跨場景、多任務的多模態基礎模型或將成為人工智能發展的主流趨勢之一。CLIP模型將語言信息和圖像信息聯合訓練，能夠鏈接文本和圖片，成為跨模態生成應用的一個重要節點，“CLIP+其他模型”在跨模態生成領域成為一種較為通用的做法。2022年，微軟提出的BEiT-3多模態基礎模型，在視覺-語言任務處理上具備出色表現，包括視覺問答、圖片描述生成和跨模態檢索等。多模態提高了基礎模型的靈活性，使其在其他模態的應用中發揮新的潛質。 未來，值得關注的技術要素包括：長文本生成、開放式文本生成、NeRF模型、擴散模型、跨模態大型預訓練模型（支持的模態數據類型、模態對齊架構設計、支持的下游應用）、小樣本學習及自監督算法、強化學習及環境學習等。
付費5元查看完整內容
ChatGPT引領AI技術新一輪熱潮，預示著NLP技術有望迅速進入平民化應用時代。2022年11月30日，OpenAI公司上線了聊天機器人模型ChatGPT，迅速引發了全球的熱潮。ChatGPT是一種預訓練的語言大模型，采用大量的參數和大量的數據進行訓練，基于人類反饋的強化學習算法，將NLP技術和機器學習結合，極大地提升了模型算法的效率和能力。隨著ChatGPT的熱度不斷攀升，多家科技公司都開始布局ChatGPT相關技術領域，NLP技術有望迅速進入平民化應用時代。
ChatGPT具有良好的商業價值，未來應用空間廣闊。ChatGPT相關技術不僅對眾多的C端應用帶來革新，同時也將對B端應用產生重大影響，企業數字化轉型有望真正從數字化走向智能化，ChatGPT在企業辦公中的應用，具備很大的想象空間。我們認為，協同辦公類應用作為企業各類應用的入口，同時具備知識管理、流程引擎等功能，具備很強卡位價值，在把ChatGPT技術引入后，可以極大提升產品的功能與應用體驗。員工僅需給出想要辦理的流程，由ChatGPT進行智能化辦理，從而改變過去員工需要自行在OA、ERP及業務系統中完成信息錄入、功能查找、業務辦理的現狀，將極大地提升辦公效率和使用體驗。目前微軟已經將ChatGPT應用到了Dynamics365、Teams等產品線，未來將要應用到Bing搜索中，未來的商業價值空間十分可觀。 AIGC有望成為未來人工智能的重要方向，商業化模式仍需摸索。AIGC即人工智能內容生成，ChatGPT就是典型的文本生成式的AIGC，其目前的成功也有望帶動AIGC在圖像、音樂、視頻等其他領域落地。Gartner曾多次將生成式AI列為未來的重要技術趨勢，是當下最引人注目的人工智能技術之一。據Gartner預計，到2025年，生成式人工智能將占所有生成數據的10%，而目前這一比例還不到1%。隨著ChatGPT開啟付費訂閱試點，AIGC的商業化進程正式拉開帷幕。據量子位報告統計，到2030年，AIGC的市場規模將超過萬億人民幣，但由于AIGC目前產業化程度有限，大量業務場景尚未成功變現，商業模式也還處于探索階段。我們認為，在當下時點，AIGC基于其出色的降本增效能力，在企業級市場的應用前景較為明朗和穩定，在C端消費市場的商業模式仍需進一步摸索。
付費5元查看完整內容
事件:美國AI公司OpenAI推出基于大語言模型的對話模型ChatGPT，可提供高質量的回答，并能實現創作、編程等復雜功能，備受市場關注。不到兩個月的時間，ChatGPT全球日活用戶已突破千萬。
ChatGPT是突破式的創新技術ChatGPT是OpenAI公司推出的全新聊天機器人模型。通過引入人類反饋的強化學習，大幅提升了AI在人機對話時的準確度和可控性，具有強大的語言理解能力和語言表達能力。GPT模型仍在持續迭代，更先進大語言模型GPT-4有望在2023年推出，有望進一步推動AIGC產業發展。 ChatGPT應用及商業化落地加速科技公司紛紛涌入AIGC賽道，優秀的AIGC大模型層出不窮，我們認為基于AI文本生成的模型ChatGPT有望率先應用落地。AIGC賽道相關公司受到資本青睞，AIGC頭部初創公司OpenAI最新估值約為290億美元。作為AIGC領域領先的模型ChatGPT在對話機器人、智能創作等領域應用廣泛，亞馬遜、微軟、Jasper等公司已經開啟商業化之路，商業化前景廣闊。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191