AI大模型是一個資本密集,人才密集和數據密集的產業,如何形成“數據-模型-應用”的飛輪,是大模型企業成功的關鍵。通過深度復盤海外基礎大模型企業,梳理各公司的資源稟賦和路徑選擇,我們看到:
2)谷歌有深厚的人才和技術積累,但管理架構上未形成合力;
3)英偉達通過CUDA框 架,形成了其它芯片公司難以逾越的護城河;
4)Meta等正通過模型開源進 行反擊。當前,國內百度、阿里、商湯、華為等積極加入,行業呈現“百模大戰”的競爭格局,是否能形成飛輪是最后勝出的關鍵。
OpenAI與微軟是目前AI大模型技術水平、產品化落地最為前沿的領軍者。復盤OpenAI發展歷程,我們認為以下特質和戰略選擇至關重要: 1)高人才密度,內部堅定信仰 AGI;
2)把握正確的技術路線不動搖,Transformer架構誕生后快速選擇,并堅定其中的解碼器路線;
3)與微軟合作,解決算力不足問題;
4)推動產品落地,形成模型調用、數據反饋和模型迭代的正反饋循環。目前,微軟已經將OpenAI的大模型能力整合至其辦公軟件、搜 索、操作系統、云服務等各ToB、ToC產品或服務中。
谷歌AI技術和人才儲備豐厚,但產品化一度落后于OpenAI:算法上,于 2017年推出當前最主要的LLM基礎架構——Transformer,并推出 BERT、 PaLM-E等具有里程碑意義的大模型;算力上自研TPU芯片;TensorFlow框架亦由谷歌推出。谷歌擁有包括搜索引擎、地圖、郵箱、辦公套件等在內的豐富產品生態,AI大模型落地空間廣闊。23年以來,谷歌加速追趕微軟及OpenAI: 1)合并谷歌大腦、DeepMind兩大AI團隊,以匯聚資源;
2) 加速大模型產品化落地。I/O大會上發布PaLM-2,并已應用在超過25 種功能和產品中,強化聊天機器人Bard與谷歌以及外部其他應用的協同能力。
AI+辦公方面,隨著ChatGPT火爆全球,基于對圖像、視頻、音頻等進行處理的多模態大模型的應用也得到快速推廣。微軟已推出Microsoft 365 Copilot為用戶辦公模式帶了個革命式的變化,國產廠商也奮起直追,其中金山辦公是國內辦公軟件廠商探索AI技術應用的先行者之一,接入多個大模型供應商,可更精準滿足用戶AI創作需求。
AI全方位賦能,掀起內容創新浪潮。在游戲行業中,AI能夠幫助用戶體驗再升級,并助力大眾創作降本增效;在教育行業,智能教育邁向因材施教階段,AI服務在學生、教師兩端均有落地;在影視行業,AI可以助力特效內容生成;在電商行業,從產品上架到售后服務,AIGC將多方位賦能品牌商家;在營銷行業,創意文案能夠通過AI迅速生成,實現千人千面個性化推薦。
大模型提升機器理解能力,優化人機交互方式。AI大模型是實現通用人工智能(AGI)的重要方向,包含自然語言處理(NLP)、計算機視覺(CV),多模態大模型等。ChatGPT推出兩個月MAU突破1億,是自然語言處理領域突破性的創新,大力出奇跡后出現涌現能力,更理解人類語言。大模型“預訓練+精調”即可對下游應用賦能。我們認為大模型優化人類與機器交互方式,是效率的革命。大模型是“大數據+大算力+強算法”結合的產物,對比國內外大模型,算力儲備上國內并無短板;算法上OpenAI有先發優勢;前期數據的豐富度和量對大模型的訓練至關重要。
百度文心大模型:包含NLP、CV等在內的系列大模型。文心大模型包含NLP大模型、CV大模型、跨模態大模型、生物計算大模型、行業大模型等。與Bing類似,文心一言有望優化C端用戶搜索、創作體驗;ToB方面,百度已開放大模型API接口,在文案、AI作畫、開放域對話方面賦能企業。對于具體行業,百度推出文心行業大模型,以“行業知識增強”為核心特色。 阿里巴巴通義大模型:由通義-M6模型融合語言模型和視覺模型組成,率先應用在硬件終端天貓精靈和軟件通義千問。通義大模型包括統一底座“M6-OFA”,三大通用模型“通義-M6”“通義-AliceMind”“通義-視覺大模型”,以及行業層面的不同垂直領域專業模型。在應用上,天貓精靈基于通義大模型推出擬聲助手“鳥鳥分鳥”;對話式通義千問已經開始內測。 騰訊混元大模型:采用熱啟動降低訓練成本,文字視頻等多領域表現優異,已在廣告游戲等多場景落地。目前騰訊混元大模型已在騰訊廣告、內容創作、游戲、對話式智能助手等方面實現落地,大幅提升工作效率并降低成本。 華為盤古大模型:基于ModelArts研發設計的系列模型,在物流、藥物研發、氣象預測等多領域已實現落地。目前盤古CV大模型已覆蓋了物流倉庫監控等領域;NLP大模型覆蓋了智能文檔檢索、智能ERP和小語種大模型;科學計算大模型則應用于氣象預報、海浪預測等方面。 字節跳動AI探索基礎扎實,在語言大模型和圖像大模型初步布局。字節跳動AIGC大模型將從語言和圖像兩種模態發力,預期在今年年中推出大模型。字節跳動在算力、算法、數據方面并無短板。目前模型可用于圖文、視頻內容生成等,飛書將推出智能AI助手“MyAI”。
從報告“GPU研究框架(2023)”看,GPU的核心競爭力在于架構等因素決定的性能先進性和計算生態壁壘。國內GPU廠商紛紛大力投入研發快速迭代架構,推動產業開放構建自主生態,加速追趕全球頭部企業。國產替代需求持續釋放疊加國際局勢不確定性加劇,AI&數據中心、智能汽車、游戲等GPU需求有望高增,國產GPU迎來發展黃金期,我們看好國產GPU公司的發展與投資機遇。第一,我們從性能和生態2個維度構建了GPU完整的研究體系。1)性能:決定GPU是否“高效”,其中微架構/制程是影響GPU性能的核心要素。2)生態:CUDA構筑通用計算堅固壁壘。第二,提出在評估GPU性能的指標的重要性上:微架構、制程、流處理器數量、核心頻率對GPU性能影響較大。我們詳細梳理了GPU的微架構、制程、顯存容量/位寬/帶寬/頻率、核心頻率等各類性能參數及重要性程度,并利用“核心數核心頻率2”公式對性能算力進行量化,揭示可用3DMark、MLPerf 等GPU軟件跑分進行相關性能測試評估。第三,詳細拆解了NVIDIA Fermi和Hopper兩大典型微架構的具體硬件實現,在頂點處理、光柵化計算、紋理貼圖、像素處理的圖形渲染流水線上對Fermi架構進行了拆分;在指令接收、調度、分配、計算執行的通用計算流水線上對Hopper架構進行了簡單易懂的描述,并指明更多、更專、更智能等未來架構升級迭代的方向。第四,明晰了生態是構建通用計算壁壘的基石。提出GPU研發難度在圖形渲染硬件和通用計算軟件生態層面,在IP、軟件棧方面研發門檻較高,需要較長的積累,先發者優勢明顯。CUDA生態從2006年推出至今,經過不斷發展完善,幾乎已在行業生態內處于壟斷地位。第五,深度復盤Nvidia/AMD(ATI)的產品迭代和競爭發展史,通過對NVIDIA長期保持領先和AMD(ATI)反超進行總結得出結論:架構創新升級和新興領域前瞻探索是領跑GPU行業的關鍵。 第六,梳理和測算了國內GPU在AI&數據中心、智能汽車、游戲行業的市場空間和發展趨勢。以下為報告原文,節選部分內容,更多內容請參看原報告“GPU研究框架(2023)”。
取勢:數字化轉型已成為企業發展的必然趨勢,企業轉型所需的數字化人才可劃分為數字化管理人才、數字化應用人才和數字化技術人才三個層次,各行業普遍存在對這三類人才的需求。而從行業差異性的視角來看,金融、零售、能源、制造四個行業在數字人才的培養上又表現出各自的獨特需求。
明道:從數字化人才的培養體系上來看,數字化管理、應用、技術三類人才有著各自的培養內容及方式。就數字化管理人才來看,注重數字化領導力培養和組織體系建設,而數字化技術與應用人才在能力上需做到獨立專精,在實踐中又需做到復合交織。企業需通過內外協作的方式進行數字化人才培養,以充分發揮內外部優勢。
實證:從企業實踐案例來看,本報告分別梳理了金融、零售、能源、制造四個行業的優秀實踐案例,從企業人才培養痛點、培養路徑、人才培養效果分別進行了案例梳理,以期為行業內其他企業的人才培養提供借鑒意義。
建言:從人力資源管理的視角,本報告為企業的數字化人才發展提供以下建議: 選:人才選拔前置,校企合作深度共建,構建人才培養生態體系 用:根據企業轉型痛點與需求進行數字化人才盤點、評價與識別 育:內外協作,優勢互補,合力推動三個層次的數字化人才培養 留:嚴控數字化人才招聘入口,設置更加靈活的人事管理機制
【導讀】深度學習與計算系統結合是現在業界發展的趨勢。Logical Clocks的CEO Jim Dowling講述了分布式深度學習最新技術發展,以及其Hosworks開源平臺。
人工智能的需求在過去十年中顯著增長,很大程度是深度學習的進步。這種增長是由深度(機器)學習技術的進步和利用硬件加速的能力推動的。然而,為了提高預測的質量和使機器學習解決方案在更復雜的應用中可行,需要大量的訓練數據。盡管小型機器學習模型可以用適量的數據進行訓練,但用于訓練較大模型(如神經網絡)的輸入隨著參數的數量呈指數增長。由于對處理訓練數據的需求已經超過了計算機器計算能力的增長,因此需要將機器學習工作量分散到多臺機器上,并將集中式系統轉變為分布式系統。這些分布式系統提出了新的挑戰,首先是訓練過程的有效并行化和一致模型的創建。
分布式深度學習有很多好處——使用更多的GPU更快地訓練模型,在許多GPU上并行超參數調優,并行消融研究以幫助理解深度神經網絡的行為和性能。隨著Spark 3.0的出現,GPU開始轉向執行器,使用PySpark的分布式深度學習現在成為可能。然而,PySpark給迭代模型開發帶來了挑戰——從開發機器(筆記本電腦)開始,然后重新編寫它們以運行在基于集群的環境中。
本講座概述了分布式深度學習的技術,并提供了可用系統的概述,從而對該領域當前的最新技術進行了廣泛的概述。
Jim Dowling是 Logical Clocks公司的首席執行官,也是KTH皇家理工學院的副教授。他是開源的Hopsworks平臺的首席架構師,這是一個橫向可擴展的機器學習數據平臺。