AI產業研究框架&海外生態概覽 基建層:AI硬件及云服務。以NVIDIA為首的AI硬件算力進步使大模型的單次訓練成本降至可以接受的1000萬美元以下;同時以Azure為首的云服務廠商集成了算力資源和AI建模的能力,也將成為基礎設施的重要部分。 模型層:AI模型及算法。以OpenAI為首的研究機構連續發布了文本、圖片等多模態生成的高質量模型,其中對話和圖片產出內容質量之高使其短期內成為提高內容生產效率的工具,長期將引領下一代交互方式、成為新的流量入口。 中間件:MLOps等AIinfra。底層模型和上層應用之間的中間件,包括模型訓練、模型推理兩大板塊中的各個細分環節,代表公司包括scaleAI、pinecone等。中期,隨著上游大模型廠商“軍備競賽”,中間件作為“賣武器”的公司有望持續受益。 應用層:B端及C端AI應用。得益于上游分攤了大量研發成本,下游應用針對垂直應用場景定制小模型,滿足特定的用戶需求,實現商業化變現。目前從落地節奏來看,2B快于2C,工具類快于社交/內容類。由于基建層、模型層競爭格局已較為穩定,硅谷投資人主要關注中間件、應用層的初創企業。
大模型演進:工業革命級的生產力工具。目前,ANI已經廣泛應用,AGI處于研發階段,大模型是實現AGI的重要路徑。AI大模型通過預先在海量數據上進行大規模訓練,而后能通過微調以適應一系列下游任務的通用人工智能模型。在“大數據+大算力+強算法”的加持下,進一步通過“提示+指令微調+人類反饋”方式,實現一個模型應用在很多不同領域。人工智能的發展已經從“大煉模型”逐步邁向了“煉大模型”的階段,逐漸掀起多模態和多場景革命,重塑AI技術范式,提升模型能力天花板,應用價值顯著提升。大模型現狀:GPT引領,百模征戰。(1)ChatGPT加速迭代:從GPT-1至GPT3.5跨越4年多時間,ChatGPT發布僅一年,GPT迭代開啟“加速度”,現已具備多模態能力,并搭建GPTs生態,將定制化模型從ToB推廣到ToC,低門檻、低成本、定制化的特點,使得GPTs具備普及性和顛覆性。(2)他山之石:據業界不完全統計,23H1硅谷在人工智能領域共完成了42起融資,總金額約140億美元(占世界總融資金額的55%),應用方面的投資金額僅次于大模型,垂類場景應用的融資中對話機器人占據絕對優勢。(3)國內大模型:科技型企業包括人工智能企業、垂直大模型企業和數據智能服務商相繼進場,如商湯科技、度小滿和滴普科技等企業,以百度、騰訊和阿里為代表的互聯網云廠商占據中國通用大模型行業多數市場份額,在布局時間、基礎設施建設、應用場景等方面具備明顯優勢。(4)爆款應用:基于ChatGPT的火爆和大模型的迭代發展,海內外AI在對話、圖像、教育、辦公等多個領域出現爆款應用。大模型未來:應用多點開花,產業智能躍遷。(1)內容變革:擁有通用性、基礎性多模態、參數多、訓練數據量大、生成內容高質穩定等特征的AI大模型成為了自動化內容生產的“工廠”和“流水線”,隨著 GPTstore 的出現, AI 大模型將迎來自己的“APP Store”時代,AIGC 商業應用的前景愈發廣闊。(2)模型演繹:多模態模型核心目標是模擬人類大腦處理信息的方式,以更全面、綜合的方式理解和生成信息,底層通用大模型目前成為最受關注、建設和提升迫切性最強的領域,中間層模型國內目前尚未出現相關玩家。(3)AIGC主流的營收模式可分為四種:MaaS、按產出內容量付費、軟件訂閱付費、模型定制開發費。目前,按照產出量收費的模式占據主流,但隨著底層模型即AIGC生態的建立,最具長期增長潛力并將占據主要市場規模的為MaaS模式。據量子位預測,2023年AIGC不同商業模式規模約170億元,預期2026將翻一番,2030年有望突破萬億市場規模。
本次提議的教程旨在讓CIKM社區熟悉利用圖神經網絡(GNNs)的現代用戶畫像技術。最初,我們將深入探討用戶畫像和GNNs的基礎原理,并提供相關文獻概述。隨后,我們將系統地檢查專門為用戶畫像開發的尖端GNN架構,強調在這一背景下通常使用的數據。此外,將討論GNNs在用戶畫像潛在應用中的倫理考慮和超越準確性的視角,例如公平性和可解釋性。在實踐環節中,參與者將通過使用開源工具和公開可用的數據集,獲得構建和訓練最新GNN模型進行用戶畫像的實際見解。觀眾將通過專注于偏見分析和用戶畫像解釋的案例研究,積極探索這些模型的影響。在教程的最后,我們將分析該領域現有和新興的挑戰,并討論未來的研究方向。
模型層面,GPT-4領先,多模態演進趨勢加速。 ? ChatGPT推出以來,大語言模型(Large Language Model,LLM)技術的發展取得突破性發展,越來越多的大模型猶如雨后春筍般破土而 出,目前最為先進的模型為GPT-4,性能大幅領先市面上的其他模型。同時根據founder park,OpenAI估值目前也是此前微軟投資時近3倍。 ? 當下LLM模型的規模持續增長,參數量已遠遠超過千億級別,多模態嶄露頭角。1)模型規模的增長帶來性能的提升,但是同時對模型的訓練 和部署也帶來了挑戰。以Open AI為代表的人工智能公司,已經開始就模型訓練和部署提供收費服務,在推動LLM技術發展的同時,為企業帶 來營業收入。2)OpenAI、Google等大模型廠商或將紛紛推出多模態大模型,打開下游應用想象空間。 ? 應用層面,參照海外落地路徑,國內純模型端、教育、辦公、圖像、視頻、金融、醫療、社交類特別是C端應用值得關注。 ? 部分企業已經開始賺取收入,而新進入的公司仍然在積極拓寬業務的受眾范圍。 LLM技術的發展為其產業鏈中下游應用端的開發打下了堅實 的基礎,相關企業針對不同的場景開發應用產品,產品涉及語音、圖像、文本和多模態領域,覆蓋辦公、金融、多媒體、工業制造、社交和營 銷等多個行業。 ? 國內純模型端、教育、辦公、圖像、視頻、金融、醫療、社交類應用值得關注。參考海外AI應用成熟度發展情況,我們根據AI收入端、產品端、 案例端等綜合分析海外垂直應用進展,得到目前純模型端、辦公、圖像、視頻、金融、社交類應用商業化落地最快,國內模型端相對海外大概 滯后1年時間,參照海外應用發展情況,我們認為Q4或是國內應用商業化落地拐點。
大模型時代的AI AGENT=LLM+規劃能力+記憶+工具。AI領域AGENT概念由來已久,這一輪LLM給AI AGENT提供了突破性技術方案,對AI AGENT性能表現至關重要;同時需借助外部工具在實際應用中保持長期一致性和準確性。目前AI AGENT的探索大致分為自主智能體和智能體模擬。
方向一:自主智能體,力圖實現復雜流程自動化。自主智能體有望帶來軟件行業交互方式和商業模式變革。基座大模型能力解決下限問題,在實際企業應用場景中自主智能體的架構設計、工程能力、垂類數據質量等也至關重要,垂類/中間件玩家亦有機會。其中,單智能體相對更適用于較簡單的任務,在C端應用上有一定潛力,代表性玩家包括中心化應用的ChatGPT、去中心化應用的adept AI、可定制和平臺化的Cortex、MindOS等;但其在B端場景上略顯乏力,基本無法完成較為復雜的工作,多智能體優勢相對更加突出。代表性玩家包括MetaGPT、ChatDev、Showrunner。 方向二:智能體模擬,力圖更加擬人可信。1)陪伴類智能體強調情感情商等人類特征,具有“人格”,且能夠記住與用戶的歷史交流,代表應用如PI、Character ai、replica、glow等。我們認為國內情緒消費市場仍有較大想象空間,陪伴類智能體或受益于情緒消費趨勢紅利,成為LLM時代重要的AI原生應用。我們預計陪伴類智能體大部分商業價值集中在供給方而非平臺,我們更加看好具備豐富IP儲備或者能讓用戶定制智能體的玩家。2)交互智能體:強調與環境交互的能力,智能體之間/與虛擬世界內事物之間可互動,可能涌現出超越設計者規劃的場景和能力,大模型不確定性反而成為優勢,有望成為AIGC重要部分。特別是對開放世界游戲等行業,可增強玩家沉浸感,解決開放世界內容消耗快的問題;多可信agent技術成熟后可能會孵化出新的游戲品類。代表項目如斯坦福大學開源的Smallville小鎮,應用如網易《逆水寒》、昆侖萬維《Club Koala》。
近年來,人們對計算機視覺中的具身人工智能研究越來越感興趣。在研究界已經舉辦了多個嵌入式AI研討會和挑戰,包括ICLR 2022年物理世界的廣義策略學習、IROS 2020年的OCRTOC:開放云機器人表組織挑戰、CVPR 2019年的棲息地:嵌入式agent挑戰和研討會,以及CVPR 2020年和2021年的嵌入式AI研討會。計算機視覺現在是具身人工智能研究的一個重要模塊,但我們仍然缺少一個基本的教程來指導研究人員,尤其是那些有視覺和機器學習背景的研究人員,開始在這個領域。
特別是,在物理模擬和渲染技術的最新進展的推動下,虛擬環境中的具身AI已經取得了許多令人印象深刻的進展。這些平臺使得許多視覺機器人問題的研究成為可能,而這些問題在現實世界中是無法進行大規模研究的。更快的速度、更容易的并行化、更簡單的數據收集和更低的成本的本質允許模擬中的嵌入式AI研究建立更大的社區,具有不同的研究人員背景、改進的代碼共享和標準基準。但是,虛擬環境也有其自身的問題,例如模擬參數和域間隙,在構建和使用它們時值得注意。
我們的教程旨在為計算機視覺研究人員提供入門指南,以研究環境中具身代理的視覺問題,以及突出使用這些環境時遇到的常見問題。本教程將側重于跨平臺共享的原則,并教授使用多個模擬環境的概念。
//ai-workshops.github.io/building-and-working-in-environments-for-embodied-ai-cvpr-2022/
PyTorch是Facebook于2017年初在機器學習和科學計算工具Torch的基礎上,針對Python語言發布的一個全新的機器學習工具包,一經推出便受到了業界的廣泛關注和討論,目前已經成為機器學習從業人員的研發工具。
《PyTorch深度學習》是使用PyTorch構建神經網絡模型的實用指南,內容分為9章,包括PyTorch與深度學習的基礎知識、神經網絡的構成、神經網絡的知識、機器學習基礎知識、深度學習在電腦視覺中的應用、深度學習在序列數據和文本中的應用、生成網絡、現代網絡架構,以及PyTorch與深度學習的未來走向。
《PyTorch深度學習》適合對深度學習領域感興趣且希望一探PyTorch的業內人員閱讀;具備其他深度學習框架使用經驗的讀者,也可以通過本書掌握PyTorch的用法。
Vishnu Subramanian在領導、設計和實施大數據分析項目(人工智能、機器學習和深度學習)方面富有經驗。
擅長機器學習、深度學習、分布式機器學習和可視化等。 在零售、金融和旅行等行業頗具經驗,還善于理解和協調企業、人工智能和工程團隊之間的關系。
歐盟委員會在2020年2月19日發布《人工智能白皮書》,提出一系列政策措施,旨在大力促進歐洲人工智能研發,同時有效應對其可能帶來的風險。
人工智能戰略是歐盟數字戰略的核心支柱之一。歐盟提出要建立一個“可信賴的人工智能框架”,重點聚焦三大目標:研發以人為本的技術;打造公平且具有競爭力的經濟;建設開放、民主和可持續的社會。并提出了一項雄心勃勃的投資計劃,將在今后10年內每年投入高達200億歐元的技術研發和應用資金。歐盟在保護公民隱私和數據安全方面制定了一系列措施。例如,人工智能企業必須通過相關部門的安全測試和資質審核才能進入歐盟市場。
《人工智能白皮書》將在未來三個月內接受各界人士的公開咨詢,再根據反饋結果進行相應修訂。根據計劃,歐盟將于今年年底制定出臺《歐盟數字服務法》等具有法律約束力的數字規則,從而對規范市場準入、強化企業責任和保護基本權利等問題作出明確規定。
分析人士指出,歐盟此舉不僅是要補足前沿科技短板,更是要搶抓數字時代的全球規則主導權。
白皮書指出,人工智能 (AI) 是一項戰略性技術,有益于社會、公司和個人。AI以人為本,基于道德,可持續發展,尊重最基本的權利和價值。AI帶來的效率和生產率不僅能夠提升歐洲的產業競爭力,提升人們的生活福祉,還能夠有效應對氣候變化、環境退化、人口變化、民主權益、社會犯罪等一些急迫解決的社會問題。
在激烈的全球競爭大背景下,歐盟需要在2018年4月發布的《歐盟AI戰略》基礎上找到一條堅實可靠的歐洲路徑。面對AI帶來的機遇與挑戰,歐盟需要秉持歐洲價值觀,以自己獨有的方式行動起來,推動AI的發展和部署。歐盟委員會致力于推動AI科技創新,保持歐盟AI科技的領先地位,確保新技術為全歐洲服務,在提升人們生活質量的同時尊重相關權益。為了抓牢本次AI帶來的機遇,歐洲必須加強產業和技術能力建設。與歐洲AI戰略相呼應的《歐洲數據戰略》中指出,仍需要采取措施使得歐洲成為全球數據中心。《歐洲數據戰略》旨在讓歐洲成為世界上最具吸引力、最安全、最動態的數據經濟體。
歐盟委員會支持的這項投資導向的監管路徑有著雙重目標:一是推動AI進步;二是應對在使用AI過程中產生的相關風險。歐洲AI路徑旨在提升歐洲在AI領域的創新能力,同時提升貫穿歐盟經濟的道德性和可靠性。AI應該服務于人類生活福祉的提升和社會更好的發展。
白皮書分六個章節。一是引言,包含問題界定、可能需要修訂的現存與AI相關的歐盟立法框架、未來歐盟監管框架范圍、要求類型。二是“利用產業和專業市場的優勢”。三是“抓住面前的機遇—下一個數據浪潮”。四是“卓越生態系統”。五是“信任生態系統—AI監管框架”。六是結束語。
白皮書主要圍繞“卓越生態系統”(ecosystemof excellence)和“信任生態系統”(ecosystem of trust)兩個方面的建設展開:
一、“卓越生態系統”。是要建設一個歐洲、國家和地區三個不同層面措施協同的政策框架。公共部門和私營部門共同合作,調動資源,沿著整體價值鏈建設“卓越生態系統”,從研發創新開始,建設正確的激勵機制來加快AI解決方案的在包括中小企業在內的應用。
二、“信任生態系統”。它是歐洲AI未來監管框架的關鍵要素。要做到這一點,必須確保體系遵守歐盟的規則,包括保護基本權利和消費者權利,尤其是那些在歐盟運行的、風險較高的AI系統。這個政策為市民使用AI應用增添了信心,為企業和公共組織的AI創新提供了法律保障。歐洲委員會強烈贊同“以人為本”。
白皮書指出,歐盟資金項目(EU fundingprogramme)在集中力量辦大事上具有重要貢獻,能夠避免重復建設,并撬動歐盟成員國公共部門和私營部門的投資。在過去的三年中,歐盟資金用于AI研究和創新的費用15億歐元,與之前相比增長了70%。
然而,歐洲的AI投入在世界也僅占一小部分。2016年,歐洲用于AI的投入為32億歐元。北美為121億歐元。亞洲為65億歐元。作為回應,歐洲需要大幅度提高AI研究和創新領域投資水平。目標是在未來10年,歐盟資金每年在成員國范圍內吸引200億歐元的AI技術研發和應用資金。
//ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf
機器學習簡明指南,不可錯過!
A Machine Learning Primer
亞馬遜研究科學家Mihail Eric關于機器學習實踐重要經驗。包括監督學習、機器學習實踐、無監督學習以及深度學習。具體為:
監督學習
機器學習實踐
無監督學習
深度學習
課程名稱: Deep Learning
課程簡介:
深度機器學習的最新發展使視覺識別、語音和文本理解或自主智能體系統取得了前所未有的巨大進步。在此背景下,本課程將深入探討深度學習架構的細節,重點是學習這些任務的端到端模型。學生將學習實施、訓練和調試自己的神經網絡,并對該領域的前沿研究有詳細的了解。該課程還將介紹推理方法的最新創新,包括微分推理、對抗性訓練和貝葉斯深度學習。
課程大綱:
講師介紹:
Gilles Louppe是比利時列日大學人工智能和深度學習的副教授。他曾是紐約大學物理系和數據科學中心的博士后助理,與歐洲核子研究中心的阿特拉斯實驗關系密切。他的研究處于機器學習、人工智能和物理科學的交叉點上,他目前的研究興趣包括使用和設計新的機器學習算法,以新的和變革性的方式處理來自基礎科學的數據驅動的問題。個人官網:
下載索引:鏈接: