大模型演進:工業革命級的生產力工具。目前,ANI已經廣泛應用,AGI處于研發階段,大模型是實現AGI的重要路徑。AI大模型通過預先在海量數據上進行大規模訓練,而后能通過微調以適應一系列下游任務的通用人工智能模型。在“大數據+大算力+強算法”的加持下,進一步通過“提示+指令微調+人類反饋”方式,實現一個模型應用在很多不同領域。人工智能的發展已經從“大煉模型”逐步邁向了“煉大模型”的階段,逐漸掀起多模態和多場景革命,重塑AI技術范式,提升模型能力天花板,應用價值顯著提升。大模型現狀:GPT引領,百模征戰。(1)ChatGPT加速迭代:從GPT-1至GPT3.5跨越4年多時間,ChatGPT發布僅一年,GPT迭代開啟“加速度”,現已具備多模態能力,并搭建GPTs生態,將定制化模型從ToB推廣到ToC,低門檻、低成本、定制化的特點,使得GPTs具備普及性和顛覆性。(2)他山之石:據業界不完全統計,23H1硅谷在人工智能領域共完成了42起融資,總金額約140億美元(占世界總融資金額的55%),應用方面的投資金額僅次于大模型,垂類場景應用的融資中對話機器人占據絕對優勢。(3)國內大模型:科技型企業包括人工智能企業、垂直大模型企業和數據智能服務商相繼進場,如商湯科技、度小滿和滴普科技等企業,以百度、騰訊和阿里為代表的互聯網云廠商占據中國通用大模型行業多數市場份額,在布局時間、基礎設施建設、應用場景等方面具備明顯優勢。(4)爆款應用:基于ChatGPT的火爆和大模型的迭代發展,海內外AI在對話、圖像、教育、辦公等多個領域出現爆款應用。大模型未來:應用多點開花,產業智能躍遷。(1)內容變革:擁有通用性、基礎性多模態、參數多、訓練數據量大、生成內容高質穩定等特征的AI大模型成為了自動化內容生產的“工廠”和“流水線”,隨著 GPTstore 的出現, AI 大模型將迎來自己的“APP Store”時代,AIGC 商業應用的前景愈發廣闊。(2)模型演繹:多模態模型核心目標是模擬人類大腦處理信息的方式,以更全面、綜合的方式理解和生成信息,底層通用大模型目前成為最受關注、建設和提升迫切性最強的領域,中間層模型國內目前尚未出現相關玩家。(3)AIGC主流的營收模式可分為四種:MaaS、按產出內容量付費、軟件訂閱付費、模型定制開發費。目前,按照產出量收費的模式占據主流,但隨著底層模型即AIGC生態的建立,最具長期增長潛力并將占據主要市場規模的為MaaS模式。據量子位預測,2023年AIGC不同商業模式規模約170億元,預期2026將翻一番,2030年有望突破萬億市場規模。
AI產業研究框架&海外生態概覽 基建層:AI硬件及云服務。以NVIDIA為首的AI硬件算力進步使大模型的單次訓練成本降至可以接受的1000萬美元以下;同時以Azure為首的云服務廠商集成了算力資源和AI建模的能力,也將成為基礎設施的重要部分。 模型層:AI模型及算法。以OpenAI為首的研究機構連續發布了文本、圖片等多模態生成的高質量模型,其中對話和圖片產出內容質量之高使其短期內成為提高內容生產效率的工具,長期將引領下一代交互方式、成為新的流量入口。 中間件:MLOps等AIinfra。底層模型和上層應用之間的中間件,包括模型訓練、模型推理兩大板塊中的各個細分環節,代表公司包括scaleAI、pinecone等。中期,隨著上游大模型廠商“軍備競賽”,中間件作為“賣武器”的公司有望持續受益。 應用層:B端及C端AI應用。得益于上游分攤了大量研發成本,下游應用針對垂直應用場景定制小模型,滿足特定的用戶需求,實現商業化變現。目前從落地節奏來看,2B快于2C,工具類快于社交/內容類。由于基建層、模型層競爭格局已較為穩定,硅谷投資人主要關注中間件、應用層的初創企業。
最近OpenAI視頻生成模型Sora爆火,背后使用了擴散模型。來自UC伯克利等《擴散模型》課程詳細講述,值得關注! 為了使機器具有人類的想象力,深度生成模型取得了重大進展。這些模型能創造逼真的樣本,尤其是擴散模型,在多個領域表現出色。擴散模型解決了其他模型的限制,如 VAEs 的后驗分布對齊問題、GANs 的不穩定性、EBMs 的計算量大和 NFs 的網絡約束問題。因此,擴散模型在計算機視覺、自然語言處理等方面備受關注。 擴散模型由兩個過程組成:前向過程和反向過程。前向過程把數據轉化為簡單的先驗分布,而反向過程則逆轉這一變化,用訓練好的神經網絡模擬微分方程來生成數據。與其他模型相比,擴散模型提供了更穩定的訓練目標和更好的生成效果。
模型層面,GPT-4領先,多模態演進趨勢加速。 ? ChatGPT推出以來,大語言模型(Large Language Model,LLM)技術的發展取得突破性發展,越來越多的大模型猶如雨后春筍般破土而 出,目前最為先進的模型為GPT-4,性能大幅領先市面上的其他模型。同時根據founder park,OpenAI估值目前也是此前微軟投資時近3倍。 ? 當下LLM模型的規模持續增長,參數量已遠遠超過千億級別,多模態嶄露頭角。1)模型規模的增長帶來性能的提升,但是同時對模型的訓練 和部署也帶來了挑戰。以Open AI為代表的人工智能公司,已經開始就模型訓練和部署提供收費服務,在推動LLM技術發展的同時,為企業帶 來營業收入。2)OpenAI、Google等大模型廠商或將紛紛推出多模態大模型,打開下游應用想象空間。 ? 應用層面,參照海外落地路徑,國內純模型端、教育、辦公、圖像、視頻、金融、醫療、社交類特別是C端應用值得關注。 ? 部分企業已經開始賺取收入,而新進入的公司仍然在積極拓寬業務的受眾范圍。 LLM技術的發展為其產業鏈中下游應用端的開發打下了堅實 的基礎,相關企業針對不同的場景開發應用產品,產品涉及語音、圖像、文本和多模態領域,覆蓋辦公、金融、多媒體、工業制造、社交和營 銷等多個行業。 ? 國內純模型端、教育、辦公、圖像、視頻、金融、醫療、社交類應用值得關注。參考海外AI應用成熟度發展情況,我們根據AI收入端、產品端、 案例端等綜合分析海外垂直應用進展,得到目前純模型端、辦公、圖像、視頻、金融、社交類應用商業化落地最快,國內模型端相對海外大概 滯后1年時間,參照海外應用發展情況,我們認為Q4或是國內應用商業化落地拐點。
大模型主導的生成式AI,尤其是GPT-4的發布,讓人類社會看到了通用人工智能時代的曙光。這意味著,經過“大工業化”的高效預訓練后,具備了強大的泛化能力,能夠在眾多領域像人類一樣進行思考、解決問題,并進行持續、快速的自我進化,大模型主導的生成式AI,將擁有極為廣闊的應用前景,有望賦能千行百業。未來,每個行業都將再進行一次智能化改造!
在政策層面,中央首次提到通用人工智能,為AIGC產業的發展提供了積極政策環境。
技術層面,作為AIGC生態的核心,大模型本身可根據可交互對象分成文本、音頻、圖像、視頻等不同模態以及跨模態,更多的模態,則意味著更多的交互和應用場景組合。我國AIGC產業目前尚處于發展初期,各模態技術發展進度不盡相同。目前,以文本生成、音頻生成應用相對廣泛。
當前,在應用層面,縱向看,在垂直應用方向上,傳媒、教育、營銷、客服、數字人等數字化程度更高、容錯率相對較高的領域先行先試;橫向看,在價值鏈角度,主要集中于技術嘗鮮、組織內部的提效降本,下一步將朝著終端用戶側的價值創造及傳遞場景展開。
圖片報告關鍵發現
大模型支撐的生成式AI,讓人類社會有望步入通用人工智能時代,擁有廣闊的應用前景,有望賦能千行百業。 當前生成式AI的落地整體處于初級階段,不同模態的落地時間表差異明顯,企業需求主要集中在數字化程度高、容錯率相對較高的領域,以借助中間件調用大模型能力為主要方式。數字內容產業、客戶服務是生成式AI滲透的典型行業和場景。 AIGC+數字內容:數字經濟快速發展,帶來國內數字內容消費需求的持續快速增長,但國內數字內容產業面臨需求變化快、供給側內容整體過剩而優質供給不足的問題。以長音頻數字內容生產為例,AIGC能夠助力內容生產的工程化、高質量、個性化。 AIGC+客戶服務:大模型依托自身強大泛化能力優勢,有望給國內智能客服領域的服務前、服務中、服務后各環節帶來效能提升。但由于存在效果不明、數據安全等問題,短期內大模型很難對現有智能客服體系實現完全替代和顛覆,廠商需要探索如何在融合大模型能力的同時實現模式突破。
大模型提升機器理解能力,優化人機交互方式。AI大模型是實現通用人工智能(AGI)的重要方向,包含自然語言處理(NLP)、計算機視覺(CV),多模態大模型等。ChatGPT推出兩個月MAU突破1億,是自然語言處理領域突破性的創新,大力出奇跡后出現涌現能力,更理解人類語言。大模型“預訓練+精調”即可對下游應用賦能。我們認為大模型優化人類與機器交互方式,是效率的革命。大模型是“大數據+大算力+強算法”結合的產物,對比國內外大模型,算力儲備上國內并無短板;算法上OpenAI有先發優勢;前期數據的豐富度和量對大模型的訓練至關重要。
百度文心大模型:包含NLP、CV等在內的系列大模型。文心大模型包含NLP大模型、CV大模型、跨模態大模型、生物計算大模型、行業大模型等。與Bing類似,文心一言有望優化C端用戶搜索、創作體驗;ToB方面,百度已開放大模型API接口,在文案、AI作畫、開放域對話方面賦能企業。對于具體行業,百度推出文心行業大模型,以“行業知識增強”為核心特色。 阿里巴巴通義大模型:由通義-M6模型融合語言模型和視覺模型組成,率先應用在硬件終端天貓精靈和軟件通義千問。通義大模型包括統一底座“M6-OFA”,三大通用模型“通義-M6”“通義-AliceMind”“通義-視覺大模型”,以及行業層面的不同垂直領域專業模型。在應用上,天貓精靈基于通義大模型推出擬聲助手“鳥鳥分鳥”;對話式通義千問已經開始內測。 騰訊混元大模型:采用熱啟動降低訓練成本,文字視頻等多領域表現優異,已在廣告游戲等多場景落地。目前騰訊混元大模型已在騰訊廣告、內容創作、游戲、對話式智能助手等方面實現落地,大幅提升工作效率并降低成本。 華為盤古大模型:基于ModelArts研發設計的系列模型,在物流、藥物研發、氣象預測等多領域已實現落地。目前盤古CV大模型已覆蓋了物流倉庫監控等領域;NLP大模型覆蓋了智能文檔檢索、智能ERP和小語種大模型;科學計算大模型則應用于氣象預報、海浪預測等方面。 字節跳動AI探索基礎扎實,在語言大模型和圖像大模型初步布局。字節跳動AIGC大模型將從語言和圖像兩種模態發力,預期在今年年中推出大模型。字節跳動在算力、算法、數據方面并無短板。目前模型可用于圖文、視頻內容生成等,飛書將推出智能AI助手“MyAI”。
本次演講將涵蓋大型語言模型中的三個概念——縮放、涌現和推理。縮放是增加 LLMs 模型容量的關鍵因素,最開始 GPT-3 將模型參數增至 1750 億,隨后 PaLM 進一步將模型參數增至 5400 億。大規模參數對于涌現能力至關重要。縮放不僅針對模型大小,還與數據大小和總計算量有關。大型語言模型中的突現能力是在小型模型中不存在,但在大型模型中存在的能力。涌現能力的存在意味著進一步的擴展可能會導致語言模型具有更多的新能力。推理是機器學習長期以來面臨的挑戰的關鍵,例如從少數示例或抽象指令中學習。大型語言模型僅通過思維鏈提示就顯示出了令人印象深刻的推理能力,這鼓勵模型在給出最終答案之前生成中間推理步驟。
縮放是一個簡單的想法,具有挑戰性,但可以預見地使模型更好。(“縮放法”)
由于規模的擴大,大型語言模型獲得了小型模型中不存在的新能力。(“涌現能力”)
巧妙的提示引出了語言模型中的多步驟推理,解鎖了更多的新任務。(“提示工程”)
Jason Wei是谷歌Brain的高級研究科學家。他的工作圍繞大型語言模型的三個方面:指令微調、思維鏈提示和突發能力。他之前在谷歌的AI實習項目中工作,在此之前他畢業于達特茅斯學院。//www.jasonwei.net/
1、AI模型從單模態向多模態演進,未來有望實現認知智能: AI模型走向多模態必然性的三大因素:跨模態任務需求+跨模態數據融合+對人類認知能力的模擬。 2、多模態AI融合多種數據,可大幅延伸應用場景: 多模態AI能夠實現基于文本、語音、圖片、視頻等多模態數據的綜合處理應用,完成跨模態領域任務。 3、多模態AI五大技術環節,模態融合為核心: 多模態AI以模態融合為核心技術環節,圍繞“表征-翻譯-對齊-融合-聯合學習”五大技術環節,解決實際場景下復雜問題的多模態解任務。 4、國內外多模態AI布局進展,關注OpenAI及谷歌動向: 國內外大廠及科研院所自2021年起相繼推出跨模態AI模型,目前OpenAI及谷歌(DeepMind)布局較完善,未來有望基于各任務模型,構建多模態AI生態。
事件:美國AI公司OpenAI推出基于大語言模型的對話模型ChatGPT,可提供高質量的回答,并能實現創作、編程等復雜功能,備受市場關注。不到兩個月的時間,ChatGPT全球日活用戶已突破千萬。
ChatGPT是突破式的創新技術ChatGPT是OpenAI公司推出的全新聊天機器人模型。通過引入人類反饋的強化學習,大幅提升了AI在人機對話時的準確度和可控性,具有強大的語言理解能力和語言表達能力。GPT模型仍在持續迭代,更先進大語言模型GPT-4有望在2023年推出,有望進一步推動AIGC產業發展。 ChatGPT應用及商業化落地加速科技公司紛紛涌入AIGC賽道,優秀的AIGC大模型層出不窮,我們認為基于AI文本生成的模型ChatGPT有望率先應用落地。AIGC賽道相關公司受到資本青睞,AIGC頭部初創公司OpenAI最新估值約為290億美元。作為AIGC領域領先的模型ChatGPT在對話機器人、智能創作等領域應用廣泛,亞馬遜、微軟、Jasper等公司已經開啟商業化之路,商業化前景廣闊。
作為數據結構和算法領域的介紹,開放數據結構涵蓋了序列(列表)、隊列、優先級隊列、無序字典、有序字典和圖表的數據結構的實現和分析。Morin專注于一種快速、實用和高效的數學嚴格方法,清晰而活潑地展示了指令和源代碼。
用Java分析和實現的數據結構包括棧、隊列、deque和以數組和鏈表形式實現的列表;列表的空間效率實現;跳躍表;哈希表和哈希碼; 二叉搜索樹包括樹簇、scapegoat 樹和紅黑樹;整數搜索結構,包括二進制嘗試,x-fast嘗試,和y-fast嘗試;堆,包括隱式二進制堆和隨機可融合堆;圖,包括鄰接矩陣和鄰接表表示;和b樹。
開放數據結構是對一個重要的計算機科學主題的現代處理,它是經典主題和最先進結構之間的衡量平衡,將服務于所有本科生或自主學習者的需求。
目錄內容: Acknowledgments Why This Book?
人類具有不斷從經驗中學習的非凡能力。我們不僅可以把以前學到的知識和技能運用到新的情況下,我們也可以把這些作為以后學習的基礎。人工智能(AI)的宏偉目標之一是構建一個人工的“持續學習”代理,通過自主增量開發越來越復雜的知識和技能,從自身經驗構建對世界的復雜理解(Parisi, 2019年)。然而,盡管有早期的推測和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010),很少有研究和努力致力于解決這一愿景。當前人工智能系統深受新數據或新環境的影響,這些新數據或新環境與他們所接受的訓練稍有不同(Goodfellow, 2013)。此外,學習過程通常被限制在限定和孤立的任務內的固定數據集,這可能很難導致出現更復雜和自主的智能行為。從本質上講,持續學習和適應能力,雖然經常被認為是每一個智能代理的基本支柱,但大多被排除在主要的人工智能研究重點之外。
在本教程中,我們提出根據機器學習研究和人工智能深度架構(Lomonaco, 2019)的最新進展總結這些想法的應用。從一個動機和一個簡短的歷史開始,我們將最近的持續學習進展與之前在相關主題上的研究努力聯系起來,并總結了主要方法、基準和關鍵結果方面的最新進展。在教程的第二部分,我們計劃涵蓋更多關于低監督信號的持續學習的探索性研究,以及與其他范式的關系,如無監督,半監督和強化學習。我們還將強調神經科學的最新發現對原始持續學習算法設計的影響,以及它們在現實應用中的部署。最后,我們將強調持續學習的概念,作為可持續機器學習的關鍵技術推動者及其社會影響,并概述有趣的研究問題和未來值得解決的方向。