亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

AI大語言模型的原理、演進及算力測算　　

機器學習中模型及數據規模增加有利于提高深度神經網絡性能。　　

人工智能致力于研究能夠模擬、延伸和擴展人類智能的理論方法及技術，并開發相關應用系統；其最終目標是使計算機能夠模擬人的思維方式和行為。機器學習是一門專門研究計算機如何模擬或實現人類的學習行為、以獲取新的知識或技能、重新組織已有的知識結構使之不斷改善自身性能的學科，廣泛應用于數據挖掘、計算機視覺、自然語言處理等領域。深度學習是機器學習的子集，主要由人工神經網絡組成。與傳統算法及中小型神經網絡相比，大規模的神經網絡及海量的數據支撐將有效提高深度神經網絡的表現性能。　　Transformer模型架構是現代大語言模型所采用的基礎架構。　

Transformer模型是一種非串行的神經網絡架構，最初被用于執行基于上下文的機器翻譯任務。Transformer模型以Encoder-Decoder架構為基礎，能夠并行處理整個文本序列，同時引入“注意機制”（Attention），使其能夠在文本序列中正向和反向地跟蹤單詞之間的關系，適合在大規模分布式集群中進行訓練，因此具有能夠并行運算、關注上下文信息、表達能力強等優勢。Transformer模型以詞嵌入向量疊加位置編碼作為輸入，使得輸入序列具有位置上的關聯信息。編碼器（Encoder）由Self-Attention（自注意力層）和FeedForwardNetwork（前饋網絡）兩個子層組成，Attention使得模型不僅關注當前位置的詞語，同時能夠關注上下文的詞語。解碼器（Decoder）通過Encoder-DecoderAttention層，用于解碼時對于輸入端編碼信息的關注；利用掩碼（Mask）機制，對序列中每一位置根據之前位置的輸出結果循環解碼得到當前位置的輸出結果。　　

AI大語言模型的原理、演進及算力測算　　

GPT是基于Transformer架構的大語言模型，近年迭代演進迅速。　　構建語言模型是自然語言處理中最基本和最重要的任務之一。GPT是基于Transformer架構衍生出的生成式預訓練的單向語言模型，通過對大量語料數據進行無監督學習，從而實現文本生成的目的；在結構上僅采用Transformer架構的Decoder部分。自2018年6月OpenAI發布GPT-1模型以來，GPT模型迭代演進迅速。GPT-1核心思想是采用“預訓練+微調”的半監督學習方法，服務于單序列文本的生成式任務；GPT-2在預訓練階段引入多任務學習機制，將多樣化的自然語言處理任務全部轉化為語言模型問題；GPT-3大幅增加了模型參數，更能有效利用上下文信息，性能得到跨越式提高；GPT-3.5引入人類反饋強化學習機制，通過使用人類反饋的數據集進行監督學習，能夠使得模型輸出與人類意圖一致。　　

大語言模型的訓練及推理應用對算力需求帶來急劇提升。　

以GPT-3為例，GPT-3參數量達1750億個，訓練樣本token數達3000億個。考慮采用精度為32位的單精度浮點數數據來訓練模型及進行谷歌級訪問量推理，假設GPT-3模型每次訓練時間要求在30天完成，對應GPT-3所需運算次數為3.1510^23FLOPs，所需算力為121.528PFLOPS，以A100PCle芯片為例，訓練階段需要新增A100GPU芯片1558顆，價值量約2337萬美元；對應DGXA100服務器195臺，價值量約3880.5萬美元。假設推理階段按谷歌每日搜索量35億次進行估計，則每日GPT-3需推理token數達7.9萬億個，所需運算次數為4.7610^24FLOPs，所需算力為55EFLOPs，則推理階段需要新增A100GPU芯片70.6萬顆，價值量約105.95億美元；對應DGXA100服務器8.8萬臺，價值量約175.12億美元。

ChatGPT開啟大模型“軍備賽”，存儲作為計算機重要組成部分明顯受益: ChatGPT開啟算力軍備賽，大模型參數呈現指數規模，引爆海量算力需求，模型計算量增長速度遠超人工智能硬件算力增長速度，同時也對數據傳輸速度提出了更高的要求。XPU、內存、硬盤組成完整的馮諾依曼體系，以一臺通用服務器為例，芯片組+存儲的成本約占70%以上，芯片組、內部存儲和外部存儲是組成核心部件；存儲是計算機的重要組成結構， “內存” 實為硬盤與CPU之間的中間人，存儲可按照介質分類為ROM和RAM兩部分。 　　存算一體，后摩爾時代的必然發展: 過去二十年中，算力發展速度遠超存儲， “存儲墻”成為加速學習時代下的一代挑戰，原因是在后摩爾時代，存儲帶寬制約了計算系統的有效帶寬，芯片算力增長步履維艱。因此存算一體有望打破馮諾依曼架構，是后摩時代下的必然選擇，存算一體即數據存儲與計算融合在同一個芯片的同一片區之中，極其適用于大數據量大規模并行的應用場景。存算一體優勢顯著，被譽為AI芯片的“全能戰士”，具有高能耗、低成本、高算力等優勢；存算一體按照計算方式分為數字計算和模擬計算，應用場景較為廣泛， SRAM、RRAM有望成為云端存算一體主流介質。 　　存算一體前景廣闊、漸入佳境: 存算一體需求旺盛，有望推動下一階段的人工智能發展，原因是我們認為現在存算一體主要AI的算力需求、并行計算、神經網絡計算等；大模型興起，存算一體適用于從云至端各類計算， 端測方面， 人工智能更在意及時響應，即“輸入”即“輸出”，目前存算一體已經可以完成高精度計算；云端方面，隨著大模型的橫空出世，參數方面已經達到上億級別，存算一體有望成為新一代算力因素；存算一體適用于人工智能各個場景，如穿戴設備、移動終端、智能駕駛、數據中心等。我們認為存算一體為下一代技術趨勢并有望廣泛應用于人工智能神經網絡相關應用、感存算一體，多模態的人工智能計算、類腦計算等場景。

ChatGPT與工業的結合將以何種技術路徑呈現？

　　宏觀而言，ChatGPT的推出標志著人工智能進入加速發展階段。在數字經濟的發展背景下，工業數據潛在價值凸顯，ChatGPT助力人工智能技術與工業深度融合，進而將推動工業4.0加速落地。 　　具體而言，有望沿著三個方向進行技術演化：①挖掘數據價值并生成工業模型；②憑借優異的代碼開發能力降低工業軟件編程門檻；③憑借NLP（自然語言處理）優勢提升人機交互能力。 　　我國工業發展階段：工業3.0已趨成熟，工業4.0由萌芽期即將步入高速成長期。 　　2013-2015年是我國工業3.0大發展時期。2012年對應我國勞動力人口的“劉易斯拐點”，人口紅利消失直接催生了工業機器人行業的爆發式增長。 　　工業機器人是衡量工業自動化/信息化水平的重要指標。2021年我國工業機器人密度為322臺/萬人，達全球第五，保有量全球占比34.91%；2013年以來，與之配套的自動化生產、檢測、物流、倉儲均得到了極大發展。 　　2015年中國工業4.0開始萌芽。繼2012年美國提出先進制造業戰略、2013年德國提出工業4.0后，2015年5月我國國務院提出“中國制造2025”，標志著我國工業4.0的萌芽。 　　工業軟件作為工業4.0時代的核心產品，是衡量工業智能化/數字化水平的重要指標。2020年我國工業增加值占全球比例為24.97%，工業軟件市場規模占全球比例為15.00%，工業軟件發展與整體工業規模尚不匹配。 　　復盤2013-2015年“十倍股”機器人（300024）的市場表現，對當下投資的啟示。 　　新松機器人市值增長了約10倍，其中21%來自于業績增長的貢獻，79%來自于估值的提升（37X——253X）。 　　為何是新松？①新松是工業3.0時代硬件技術的典型代表，進而承載了彼時對工業4.0朦朧認知的審美；②占據產業高點，龍頭屬性突出；③歷史業績成長性良好，2009-2015H1均延續了業績正增長。 　　結論：建議從技術屬性、龍頭地位、業績成長三方面選擇賽道和個股。 　　技術屬性：ChatGPT與工業結合的三大技術演化方向，就是可選賽道的技術特征點，這決定了β屬性。 　　競爭格局：龍頭公司優秀的競爭格局和頭部效應，是α邏輯兌現的保障。 　　業績成長性：業績成長確定性將提供安全邊際。 　　受益標的：景嘉微、中控技術、川儀股份、億嘉和、景業智能、邁赫股份、埃斯頓等。 　　工業軟件：工業軟件能力成為衡量工業4.0時代企業核心競爭力的重要指標，未來高端工業軟件的研發和突破是我國邁向工業4.0的必經之路。 　　服務機器人：2022年服務機器人占比首超工業機器人，GPT等人工智能技術將為服務機器人的交互帶來質變，服務機器人行業將迎拐點。 　　特種機器人：GPT類技術將使特種機器人擁有更高的自主性和適應性，以及更優秀的協作能力，行業有望持續高增。 　　工業機器人：近年我國政府及相關部門出臺了一系列政策，鼓勵工業機器人產業發展，5G、云計算、AI等技術變革將助推工業機器人加速實現國產化、智能化、高端化。 　　基于機器人平臺的工業旅游項目：我國工業旅游具有廣闊發展空間，ChatGPT助力實現自然的人機交互，增強工業旅游體驗，引領行業新未來。 　　GPU：GPU是人工智能發展過程中的算力底座，在ChatGPT等NLP語言模型升級過程中，GPU行業也將迎來歷史性的上升通道。 　　傳感器：工業4.0轉型過程中，傳感器是感知層核心設備，進口替代需求迫切，GPT類技術為高端工業傳感器帶來新機遇。

專知便捷查看

便捷下載，請關注專知公眾號（點擊上方藍色專知關注）

后臺回復或發消息“G362” 就可以獲取《【干貨書】生成式對抗學習:架構與應用，362頁pdf****》專知下載鏈接

專知，專業可信的人工智能知識分發，讓認知協作更快更好！歡迎注冊登錄專知www.zhuanzhi.ai，獲取100000**+AI**(AI與軍事、醫藥、公安等)主題干貨知識資料！ 歡迎微信掃一掃加入專知人工智能知識星球群，獲取最新AI專業干貨知識教程資料和與專家交流咨詢！ 點擊“閱讀原文”，了解使用**專知，查看獲取100000+AI主題知識資料**

　一、AI框架重要性日益突顯，框架技術發展進入繁榮期，國內AI框架技術加速發展： 　　1、AI框架作為銜接數據和模型的重要橋梁，發展進入繁榮期，國內外框架功能及性能加速迭代； 　　2、Pytorch、Tensorflow占據AI框架市場主導地位，國內大廠加速布局AI框架技術； 　　3、AI框架技術從工具逐步走向社區，生態加速形成，未來圍繞安全可信、場景落等維度呈現顯著發展趨勢； 　　二、GPT開啟AI大模型時代，國內外大廠發力布局，商業化空間加速打開： 　　1、數據、算法、模型三輪驅動AI發展，大模型優勢顯著，成為AI主流方向； 　　2、GPT開啟千億參數級AI大模型時代，語言、視覺、科學計算等大模型快速發展； 　　3、微軟加速AI商用化進程，國內大廠發力布局，看好在細分場景下的應用落地； 　　三、建議關注標的： 　　1、基礎層：AI算力：中科曙光；大模型：360，科大訊飛 　　2、應用層：AI+工具：金山辦公；AI+建筑：廣聯達；AI+法律：通達海；AI+醫療：創業慧康，久遠銀海；AI+教育：科大訊飛；AI+網安：安恒信息、奇安信；AI+金融：同花順；AI+交通：佳都科技

　1、ChatGPT火爆的背后：算法革新+算力支持+數據共振 　　ChatGPT引起全球熱烈反響，上線僅五天用戶突破百萬，ChatGPT在文本交互和語言理解方面能力的顯著進步或為通用人工智能的實現帶來曙光。究其先進性根本，ChatGPT在以往基礎上推進算法革新優化，輔以強大算力支持，并以大規模數據共振，協同助推這一劃時代產品誕生。OpenAI以B端提供API接口流量+C端訂閱收費模式，探索ChatGPT商業化路徑。展望未來AI將橫縱向并行，結合技術深化與能力邊界拓展，進一步鋪開應用面。 　　2、數字內容生產新方式——AIGC 　　AIGC的興起推動人類叩響強人工智能之門，可應用于文本、音頻、圖片、視頻、跨模態、策略生成等，有望開啟新一輪內容生產力革命。隨著Transformer、DiffusionModel等算力模型的迭代，推動AIGC在設計、內容創作、游戲智能、機器交互等領域實現降本增效。 　　3、新時代生產力工具，AIGC賦能內容生產 　　基于AI生成內容技術，AIGC已在游戲、廣告營銷、影視、媒體、互聯網、娛樂等領域初顯成效，并展現出較大的潛力。 　　AIGC將推動游戲生產范式升級，并豐富游戲資產生成，高效輔助游戲測試，使制作成本顯著降低，全流程賦能游戲買量； 　　AIGC貫穿廣告營銷全流程，將優化案頭工作環節，提供更專業的個性化營銷方案，并充實廣告素材，實現廣告自動化生成； 　　AIGC提升影視行業全管線效率。影視劇本創作已初見成效，多AI技術將助力電影中期拍攝，后期制作將更快完成； 　　AIGC帶給媒體行業人機協作方案。新聞寫作編排效率提升，傳媒向智媒轉向開啟新篇章； 　　AIGC提供互聯網行業豐富內容，和更便捷的服務。ChatGPT賦能智慧搜索，互為供給加速發展內容平臺發展，虛擬結合激發電商沉浸式體驗； 　　AIGC為娛樂行業提供了更多樣的體驗。人際交互娛樂邁入新臺階，AIGC或成元宇宙之匙。

自ChatGPT推出以來，國內學術界和科技企業相繼宣布或將推出類似機器人對話模型，有望推動大模型發展。2月7日，百度官宣“文心一言”。2月20日，復旦大學發布了類ChatGPT模型“MOSS”，并面向大眾公開邀請內測，國產大模型有望迎來爆發式增長。 　　需求和政策兩方面，合力推動AI產業增長。國內應用層面的需求推動AI產業的加速發展。根據IDC數據預測，2021年中國人工智能軟件及應用市場規模為51億美元，預計2026年將會達到211億美元。數據、算法、算力是AI發展的驅動力，其中數據是AI發展的基石，中國數據規模增速有望排名全球第一。政策方面，“十四五”規劃中提到“瞄準人工智能”，“聚焦人工智能關鍵算法”，加快推進“基礎算法”的“突破與迭代應用”；北京、上海、廣州等城市發布相關規劃。 　　頭部企業采取“模型+工具平臺+生態”三層共建模式，有助于業務的良性循環，也更容易借助長期積累形成競爭壁壘。大模型廠商主要包括百度（文心大模型）、騰訊（HunYuan大模型）、阿里（通義大模型）、商湯、華為（盤古大模型）等企業，也有智源研究院、中科院自動化所等研究機構，同時英偉達等芯片廠商也紛紛入局。大模型增強了AI技術的通用性，助力普惠AI的實現。未來，大模型有望于場景深度融合，配合專業工具和平臺支持應用落地，開放的生態來激發創新，形成良性循環。 　　技術發展有望促進生產效率提升，并進一步創造新的消費和需求，有利于文娛內容和互聯網行業。在AIGC和ChatGPT方面，我們建議持續關注技術發展和應用情況，把握技術催化和商業化落地帶來的投資機會：1）具備AIGC和ChatGPT的技術探索和應用的公司：百度集團-SW、商湯-W、萬興科技、拓爾思等；2）具有海量內容素材且具有AIGC探索布局的，圖片/文字/音樂/視頻內容及平臺公司騰訊控股，閱文集團、美圖公司、昆侖萬維、湯姆貓、神州泰岳、視覺中國、中文在線、漢儀股份、天娛數科、風語筑等。

國產“ChatGPT”揚帆啟航。OpenAI的商業模式為API接口收費。我們認為此種商業模式具有“卡脖子”的風險，因此我國需要發展自主可控的“ChatGPT”。國產生態正在逐步繁榮，百度打響國產ChatGPT領域“第一槍”，其在算法、算力、數據、生態、平臺五方面皆有儲備；ChatGPT的競爭本質即大模型儲備競賽，大模型是人工智能發展的必然趨勢，也是輔助式人工智能向通用性人工智能轉變的堅實底座。大模型分為NLP(自然語言處理)、CV(計算機視覺)、多模態和科學計算四類。此外，中美科技巨頭已經開啟大模型儲備“軍備賽”。

　　百度文心一言，開啟國產ChatGPT新征程。百度是少有大模型語言訓練能力的公司，模型儲備方面，百度實現了全生態布局。1、NLP(自然語言處理)，已經具備智能創作、摘要生成、問答、語義檢索、情感分析、信息抽取等能力，且可以讓機器人像人一樣具有邏輯且自由對話；2、CV(計算機視覺)，可用于應用于圖像分類、目標檢測、語義分割等場景，此外還可以應用于文檔、卡證、票據等圖像文字識別和結構化理解；3、跨境大模型，可實現AI作畫、場景融合視覺常識推理、跨模態圖像檢索、跨模態文本檢索等多場景；4、生物計算，應用場景為蛋白結構預測和小分子藥物研發等領域。 　 　　百度為國產ChatGPT“領軍企業”，具有算力積累和生態優勢。平臺方面:擁有自主生態的百度百舸·AI異構計算平臺，具備高效率、多密度、高易用性、多場景部署、樂高式拼接等能力。算力方面:百度自身具有建設智能算力中心的實力，技術領先且自主可控，已有典型落地案例；服務器方面擁有自研的昆侖芯云服務器；芯片方面，昆侖芯AI芯片是百度自主研發的芯片，2代芯片已量產，具備算力支撐強、高速互聯等多重優勢。生態:百度大模型賦能千行百業，已有落地應用，合作廠商分別覆蓋科技、金融、航天、影視、汽車、電子制造等諸多產業。此外，我們推測ChatGPT有望成為搜索引擎的流量入口，百度搜索引擎有望借助文心一言大模型的能力重回巔峰。此外，目前國產科技巨頭已經開啟大模型的“軍備競賽”，因此，我們判斷，未來AI+有望賦能千行百業，具有AI+能力的廠商有望呈現“百花齊放”的態勢。 　

ChatGPT帶火AIGC，OpenAI引領技術和生態。2022年11月，由OpenAI開發的聊天機器人ChatGPT推出并席卷了整個行業，其引入人類反饋的強化學習和監督學習訓練方法，具備優秀的聊天對話、文案創作、代碼編寫等功能，且得到了微軟的傾力支持，成為史上用戶增長最快的消費應用。聚焦國內，百度在大模型領域積累深厚，總體水平處于行業前端，其創新性引入大規模知識圖譜，模型性能得到大幅提升，公司近期宣布其“文心一言”產品將于2023年3月完成內測并面向公眾開放，下游關注度極高，目前已經得到新聞傳媒、互聯網、金融等多個行業客戶的廣泛支持。

　　變革：AIGC與人更為神似，模型和數據是主要助力。AIGC實現了從分析內容到創造生成新內容的跨越，而模型、數據集、算力、應用是催生AI技術新范式的重要因素。在模型方面，Transformer預訓練大模型為生成式AI帶來了里程碑式飛躍，其中OPENAI發布的GPT系列大模型掀起AIGC熱潮，尤其是ChatGPT火爆出圈。在數據集方面，數據量、多樣性、數據質量是訓練數據集的關鍵要素。 　　市場：大模型需要大算力，推動AI服務器市場增長。大模型的實現需要十分強大的算力來支持訓練過程和推理過程，根據OPENAI數據，訓練GPT-3175B的模型，需要的算力高達3640PF-days。ChatGPT的訓練成本和推理成本高昂。我們認為，隨著模型的迭代和AI芯片廠商產品的迭代，ChatGPT的訓練成本和推理成本未來必將呈現下降趨勢。但一次訓練百萬美元量級的訓練成本和每天百萬美元量級的推理成本，隨著全球和中國人工智能廠商布局大模型，大模型將為全球和中國AI芯片和AI服務器市場的增長提供強勁動力。根據我們的估算，大模型將為全球和中國AI服務器市場帶來約910.44億美元和345.50億美元的市場空間。市場空間巨大，相關芯片和服務器廠商將深度受益此次ChatGPT浪潮。 　　應用：行業將逐步回歸理性，能否突破需要看B端。未來2-3年是行業應用落地的關鍵時段，AIGC在經歷了近期的炒作熱潮結束之后，預計將經歷一段下沉期，市場趨向理性。期間，AIGC需要加快教育和融入市場，培育產品和應用。其中，B端是AIGC含金量最大的市場，AIGC需將技術轉化成工具和解決方案，為企業和行業賦能。其中，文本、圖像生成以及類聊天機器人等產品在B端都有較大應用潛力，游戲、金融和快消等市場有望率先取得進展。

**刷爆的ChatGPT什么算法這么強！臺大李宏毅老師國語講解《ChatGPT (可能)是怎么煉成的 》！ **

** **

** **

　AIGC多模態跨模態應用逐漸成熟，市場空間廣闊。 　　廣義的AIGC指具備生成創造能力的AI技術，即生成式AI。可以基于訓練數據和生成算法模型，自主生成創造新的文本、圖像、音樂、視頻等內容。2022年被稱為AIGC元年，未來兼具大模型和多模態模型的AIGC模型有望成為新的技術平臺。據《中國AI數字商業產業展望2021-2025》報告，預測AI數字商業內容的市場規模將從2020年的40億元，增加到2025年的495億元。 　　ChatGPT產品歷經多代技術演進，產品與商業模式逐漸成熟。 　　ChatGPT是文本生成式AI，過去的傳統AI偏向于分析能力，主要基于已有內容；現在文本生成式AI基于底層Transformer模型，不斷訓練數據和迭代生成算法模型，歷經GPT-1、GPT-2、GPT-3，模型不斷升級，到ChatGPT的GPT3.5模型，已可以自主生成各種形式的內容。近期收費版ChatGPTPlus版本發布，AI商業化序幕逐漸拉開。 　　AI商業化落地在即，行業算法側和算力側投資機會有望超預期。 　　根據數據顯示，ChatGPT總算力消耗約為3640PF-Days，按國內的數據中心算力測算，需要7-8個數據中心才能支持其運行。各模態AI數據訓練到應用均需要算法和算力的加持，未來要想大規模應用，算法訓練和算力部署均需先行。

ChatGPT市場反應熱烈，國內外巨頭紛紛入場

據統計，ChatGPT日活躍用戶數的增速遠超Instagram，1月份平均每天有超過1300萬名獨立訪問者使用ChatGPT，是去年12月份的兩倍多；國內外科技巨頭都非常重視ChatGPT引發的科技浪潮，積極布局生成式AI，國內廠商（百度、騰訊等）也高度關注ChatGPT，積極探索前沿技術，相關深度應用也即將推出。

ChatGPT經歷多類技術路線演化，逐步成熟與完善

ChatGPT所能實現的人類意圖，來自于機器學習、神經網絡以及Transformer模型的多種技術模型積累。Transformer建模方法成熟以后，使用一套統一的工具來開發各種模態的基礎模型這種理念得以成熟，隨后GPT-1、GPT-2、GPT-3模型持續演化升級，最終孵化出ChatGPT文本對話應用。

AIGC跨模態產業生態逐步成熟，商用落地未來可期

AIGC產業生態當前在文本、音頻、視頻等多模態交互功能上持續演化升級，奠定了多場景的商用基礎。跨模態生成技術也有望成為真正實現認知和決策智能的轉折點。

ChatGPT乘東風，商業架構日益清晰

隨著ChatGPT Plus發布，商業化序幕已經拉開。ChatGPT在傳媒、影視、營銷、娛樂以及數實共生助力產業升級等領域均可產生極大助益，提升生產力曲線，多維度賦能虛擬經濟和實體經濟。