來源:中國信息通信研究院、人工智能關鍵技術和應用評測工業和信息化部重點實驗室
隨著“十四五”規劃等國家政策的深化落地,人工智能(AI)發展迎來又一輪紅利,特別是以ChatGPT為代表的生成AI產品預示著AI商業變現過程將進一步提速,AI工程化熱度進一步提升。人工智能研發運營體系(MLOps)作為AI工程化重要組成部分,呈現出方法論逐漸成熟、落地應用持續推進的態勢。
2023年3月16日,“AI工程化論壇暨MLOps實踐指南發布會”在京舉辦。會上,中國信息通信研究院(簡稱”中國信通院“)發布《人工智能研發運營體系(MLOps)實踐指南(2023年)》。
指南從組織如何布局和落地MLOps的角度出發,以模型的高質量、可持續交付作為核心邏輯,系統性梳理MLOps概念內涵、發展過程、落地挑戰,為組織高效構建MLOps框架體系和關鍵能力提供方法論和實踐案例的參考與借鑒,并研判MLOps未來發展趨勢。
指南核心觀點
**1. MLOps概念漸晰,為解決AI生產過程管理問題意義明顯。**MLOps是通過構建和運行機器學習流水線(Pipeline),統一機器學習(ML)項目研發(Dev)和運營(Ops)過程的一種方法,目的是為了提高AI模型生產質效,推動AI從滿足基本需求的“能用”變為滿足高效率、高性能的“好用”,有效化解模型全鏈路生命周期管理存在問題,包括跨團隊協作難度大、過程和資產管理欠缺、生產和交付周期長等。
**2. 國內外MLOps發展百花齊放,落地仍面臨問題和挑戰。**2015年至今,從業界意識到機器學習項目技術債給AI生產上線帶來的潛在巨大影響伊始,MLOps前后經歷了斟酌發酵、概念明確、落地應用三大階段,且隨著新工具不斷涌現,在IT、金融、電信等行業得到了廣泛應用和落地。但在這個漸進式發展過程中,MLOps落地面臨著諸多挑戰,包括組織落地驅動力不足、支撐工具選型難集成難、模型治理和可信道阻且長、環境間的交互難以平衡等。
**3. 圍繞流水線的構建,MLOps框架體系逐步完善。**基于機器學習項目全生命周期,以CI/CD/CT/CM為核心,通過構建各條機器學習流水線,包含需求分析與開發、數據工程流水線、模型實驗工程流水線、持續集成流水線、模型訓練流水線、模型服務流水線、持續監控流水線,MLOps全生命周期閉環框架逐步完善。
**4. 漸進式建設關鍵能力,MLOps落地效應逐步形成。**通過數據處理、模型訓練、構建繼承、模型服務、運營監控、模型重訓、實驗管理和流水線管理等能力的建設,形成MLOps過程管理能力的全面把控。通過特征管理、模型管理和倉庫管理等能力的建設,形成制品管理能力的提升。同時以模型安全作為AI生產過程中的關鍵保障之一,MLOps落地效應日益凸顯。
隨著國家新型基礎設施建設發展戰略(2020)、國家“十四五規劃和 2035 年遠景目標綱要”等系列政策的出臺,人工智能(AI)發展迎來新一輪紅利,科技革命和產業升級處于進行時。近年來,AI 工程化的研究熱度持續提升,其目的是幫助組織在數智化轉型過程中,更高效、大規模地利用 AI 創造業務價值。人工智能研發運營體系(MLOps)作為 AI 工程化重要組成部分,其核心思想是解決 AI 生產過程中團隊協作難、管理亂、交付周期長等問題,最終實現高質量、高效率、可持續的 AI 生產過程。 MLOps 的發展呈現出逐漸成熟的態勢,近幾年國內外 MLOps 落地應用正持續快速推進,特別是在 IT、銀行、電信等行業取得明顯效果。與此同時,MLOps 行業應用成熟度不足,使得組織在制度規范的建立、流程的打通、工具鏈的建設等諸多環節面臨困難。因此本指南旨在成為組織落地 MLOps 并賦能業務的“口袋書”,圍繞機器學習全生命周期,為模型的持續構建、持續交付、持續運營等過程提供參考,推進組織的 MLOps 落地進程,提高組織 AI 生產質效。 本指南由中國信通院云計算與大數據研究所、人工智能關鍵技術和應用評測工業和信息化部重點實驗室聯合發布。本指南站在組織如何布局和落地 MLOps 的視角,以模型的高質量、可持續交付作為核心邏輯,系統性梳理 MLOps 概念內涵、發展過程、落地挑戰等現狀,并基于 MLOps 的理論研究和實踐案例分析組織如何構建 MLOps 框架體系和關鍵能力,最后總結和展望其發展趨勢。由于 AI 產業的快速變革,MLOps 落地應用持續深入,工具市場不斷迭代,我們對 MLOps 的認識還有待繼續深化,本指南可能仍存在不足之處,歡迎大家批評指正。
2022年9月3日,城市大腦建設高峰論壇期間,《城市大腦標準體系建設指南(2022版)》(簡稱《指南》)正式發布(點擊閱讀原文下載)。在23家地方主管部門的指導和支持下,全國信標委智慧城市標準工作組組織中國電子技術標準化研究院、上海數字產業發展有限公司、山東浪潮新基建科技有限公司等45家產學研用單位共同編制形成。
《指南》明確了城市大腦標準體系建設總體要求,構建了城市大腦標準體系總體框架,從城市大腦總體標準、基礎設施標準、數據標準、關鍵支撐能力標準、應用服務標準、建設管理標準和安全保障標準等七大方面提出了具體建設內容,并圍繞機制建設、標準研制、標準實施、國際合作等方面提出了具體組織實施路徑。
《指南》是我國城市大腦標準化工作的總體性、體系性規劃,既可以為當前和未來一段時間內的城市大腦標準體系建設工作提供指導,也可以促進標準在支撐各地城市大腦項目建設、技術創新、產業發展等方面發揮實效。
為系統、有序推動城市大腦標準化工作,不斷完善城市大腦標準體系,全國信標委智慧城市標準工作組組織相關產學研用單位共同編制形成《城市大腦標準體系建設指南 (2022版)》。
1、《指南》明確了城市大腦標準體系建設總體要求,構建了城市大腦標準體系總體框架,從城市大腦總體標準、基礎設施標準、數據標準、關鍵支撐能力標準、應用服務標準、建設管理標準和安全保障標準等七大方面提出了具體建設內容,并圍繞機制建設、標準研制、標準實施、國際合作等方面提出了具體組織實施路徑。
2、《指南》是我國城市大腦標準化工作的總體性、體系性規劃,既可以為當前和未來一段時間內的城市大腦標準體系建設工作提供指導,也可以促進標準在支撐各地城市大腦項目建設、技術創新、產業發展等方面發揮實效。
3、標準體系層次結構。城市大腦標準體系層次結構包括“01總體”“02基礎設施”“03數據”“04關鍵支撐能力”“05應用服務”“06建設管理”“07安全保障”等七個部分,如圖所示。
4、標準體系總體框架。城市大腦標準體系總體框架主要由“01總體”“02基礎設施”“03數據”“04關鍵支撐能力”“05應用服務”“06建設管理”“07安全保障”等七個部分組成,如圖所示。
5、建設內容-總體標準。總體標準主要用于明確城市大腦定位、相關概念、邊界、應用及相互間關系,主要針對城市大腦基礎性、總體性的概念、框架、模型、等進行規范,包括術語定義、參考架構、評估評價、城市對象標識等……
隨著人工智能、大數據、云計算等技術的飛速發展,運行維護服務正從制度與流程驅動向數據與算 法驅動的智能運維時代演進,智能運維作為人工智能在運行維護領域的重要應用,是運維領域的全新方 式。 智能運維通用要求除包含GB/T 28827.1-2012的能力四要素外,突出了知識、數據、算法等要素, 以滿足智能運維能力構建的要求。在智能運維實現中,以智能運維應用場景作為切入點,將能力項應用 于具體場景,對場景進行數字化、自動化、智能化賦能,同時場景的實現過程也會對能力項提出改進要 求,這是基于智能運維最佳實踐提煉出的創新的、切實有效的方法。 鑒于此,本標準基于行業發展及組織實踐,制定了智能運維所需要的組織治理、智能運維場景實現 和能力域的通用要求;同時從數據、算法、技術三個能力要素角度出發進行了規范,其中數據是智能運 維的基石,算法是挖掘數據價值的關鍵,技術是實現智能運維的手段。各部分之間的關系如圖1所示。
GB/T XXXXX的本部分提出了智能運維的能力框架,描述智能運維的特征,明確智能運維所需要的組 織治理、智能運維場景實現和能力域的通用要求,通過場景分析、場景構建、場景交付和效果評估的過 程,實現運維場景所預定的目標,為智能運維的能力建設提供指導。 本部分的第4章提出了智能運維能力框架,解釋了組織治理、智能特征、智能運維場景實現、能力 域和能力要素之間的關系,并明確了智能特征。 本部分的第5章規定了組織戰略、管理方針、組織架構、組織文化及相關方需求和期望五方面的要 求。 本部分的第6章規定了場景分析、場景構建、場景交付及效果評估四個關鍵過程的要求。 本部分的第7章規定了數據管理能力域、分析決策能力域及自動控制能力域三大能力域的相關要求。 本部分的附錄A選取和描述了典型智能運維場景。
當前,以數據為關鍵生產要素的數字經濟已經進入全新時代,數據成為了推動社會經濟發展的核心動能, 數據驅動的數字中國、數字政府和企業數字化轉型正在悄然重塑經濟活動和社會活動。
數據治理作為數據的核心管理手段和管理范式,得到了政府、企業、個人的高度關注, 伴隨著 理論、法律、政策、產業的一系列實質性變化 ,各方正在將數據治理納入到 政務活動、企業治理、經營管理等領域, 數據治理的理念、法規、方法、工具也得到了蓬勃發展。
數字經濟的高質量發展有賴于科學完整的數據治理體系,業界需要 指導性強、可實踐落地的數據治理方法論。 中國通信標準化協會積極 將標準化 理念 引入數據治理,搭建了數據治理標準化體系框架,支撐各項法規政策落實、指導行業發展、引導技術進步、滿足全新需求,以數據標準推動建立全新的規則秩序。
本白皮書系統介紹了數據治理的概念、意義、治理范圍和治理原則,詳細闡述了數據治理標準化的總體進展、典型標準和需求挑戰,搭建了數據治理標準體系框架,提出了后續工作建議 。
來源:中國信息通信研究院
歷經多年發展,大數據從一個新興的技術產業,正在成為融入經濟社會發展各領域的要素、資源、動力、觀念。
近日,中國信息通信研究院正式發布《大數據白皮書(2021年)》。本白皮書以數據要素的價值釋放作為可信邏輯,重點探索大數據政策、法律、技術、管理、流通、安全等方面的內容,并對“十四五”期間我國大數據的發展進行展望。
2021年以來,全球各國大數據戰略持續推進,聚焦數據價值釋放,而國內圍繞數據要素的各個方面正在加速布局和創新發展。
政策方面,我國大數據戰略進一步深化,激活數據要素潛能、加快數據要素市場化建設成為核心議題。
“十四五”規劃全面布局大數據發展,為今后五年大數據的發展作出了總體部署,為各部門各地方進行大數據專項規劃提供了重要依據。“十四五”規劃對于大數據發展的布局,可以概括為突出數據在數字經濟中的關鍵作用、加強數據要素市場規則建設、重視大數據相關基礎設施建設。其中包括將大數據作為數字經濟的重要“原料”,加強供給能力;針對數據要素市場目前面臨的問題,提出加強規則;完善數據資源匯聚與流動的關鍵支撐底座,建設新興基礎設施。
法律方面,從基本法律、行業行政法規到地方立法,我國數據法律體系架構初步搭建完成。
法律制度是數據要素市場化建設的重要保障。2021年我國數據立法取得突飛猛進的進展,備受關注的《數據安全法》和《個人信息保護法》先后出臺,與《網絡安全法》共同形成了數據合規領域的“三駕馬車”,標志著數據合規的法律構架已初步搭建完成。在此基礎上,重點行業、新興技術的法律和司法解釋在今年密集出臺,地方性立法成果豐碩,為國家安全提供了有力的支撐,為產業、技術的發展提供了清晰的合規指引,也為人民提供了更全面的權益保障。
技術方面,大數據技術體系以提升效率、賦能業務、加強安全、促進流通為目標加速向各領域擴散,已形成支撐數據要素發展的整套工具體系。
2020年開始,隨著各行業數字化轉型的推進、數據安全事件的頻發,大數據技術的發展重點也從單一注重效率提升,演變為“效率提升、賦能業務、加強安全、促進流通”四者并重。其中。效率提升:利用云原生思想進行能力升級;賦能業務:利用開發平臺釋放業務潛能;加強安全:利用“零信任”不足內生安全;促進流通:利用隱私計算保障數據流通。
管理方面,數據資產管理實踐加速落地,并正在從提升數據資產質量向數據資產價值運營加速升級。
隨著理論研究和行業實踐的不但深入發展,數據資產管理的目標正在由數據質量的提升逐步轉向數據價值的釋放,數據資產確權、估值等“老大難”問題也出現了落地方案,數據資產管理迎來新的發展階段。
流通方面,數據流通的基礎制度與市場規則仍在起步探索階段,但各界力量正在從新模式、新技術、新規則等多角度加速探索變革思路。
數據流通是指以數據作為流通對象,按照一定規則從數據提供方法傳遞到數據需求方的過程,即數據資源先后被不同主體獲取、掌握或利用的過程。“數據要素市場市場化配置”提出后,各地繼續將設立數據交易機構作為促進數據要素流通的主要抓手,再次掀起建設熱潮。
安全方面,隨著監管力度和企業意識的強化,數據安全治理初見成效,數據安全的體系化建設逐步提升。
面對日益嚴峻的數據安全形勢,國家、行業、地方相繼出臺多項數據安全法律法規,并接連開展相應的審查整治行動,國內數據安全進入強監管新階段。當前企業數據安全治理組織架構以多樣化形式呈現,基本確立了企業內部的數據安全管理責任體系。數據分類分級工作穩步推進,為精細化數據安全防控打下堅實基礎。數據安全風險評估逐漸深入各業務線,提升了潛在風險的防范化解能力。
利用好數據要素是驅動數字經濟創新發展的重要抓手。“十四五”期間我國將立足新發展階段、貫徹新發展理念,進一步提升數字化發展水平,為數字經濟發展提供持久的新動力,進而為構建現代化經濟體系和新發展格局提供強大支撐。一是釋放數據價值將成為全球競爭戰略的重要組成部分;二是進一步發揮大數據技術在數據價值挖掘方面的效用;三是數據治理制度體系與技術工具雙軌并進;四是新數據流通業態與政策制度協同創新;五是數據合規法律體系將進一步完善成熟。
2021年9月28日,由全國信標委大數據標準工作組、中國電子技術標準化研究院、山東省工業和信息化廳主辦的2021全國大數據標準化工作會議在濟南成功舉辦。會上發布了《數據治理工具圖譜研究報告(2021版)》。今天在這里為大家揭開其神秘面紗。
研究報告概述
《數據治理工具圖譜研究報告(2021版)》基于數據管理能力成熟度評估模型、數據治理規范及數據質量評價等標準,結合重點行業數據治理工具的應用情況、典型數據治理工具廠商的功能架構研制而成。
研報詳細介紹
基本情況
本報告介紹了數據治理及數據治理工具的概念,以及數據治理工具在金融、政務、電力、交通、醫療、互聯網等重點行業的應用情況。
數據治理工具圖譜
本報告共研制了20個通用工具能力圖譜,包括圖譜全景圖、戰略層工具、管理層工具、操作層工具等,旨在通過工具能力圖譜,進一步增強我國各行業、各領域對數據治理工具的認知,有效發揮數據治理工具在數據治理工作中的降本增效作用。
數據治理工具實踐案例
本報告共收錄了6個案例工具能力圖譜,為各行業各領域提供數據治理工具的實踐參考,為推進后續數據治理工具標準化工作提供方法和思路。
數據治理工具圖譜研究報告(2021版)
數據作為推動經濟社會發展及數字化轉型的新動能已成為社會共識,受到越來越多企事業單位的重視。數據治理作為基礎性工作,最終目標是提升數據的價值,是組織推動戰略落實的基礎。為進一步增強我國各行業各領域對數據治理工具的認知,以數據治理工具為驅動,助推政企數字化轉型和數字經濟發展。全國信標委大數據標準工作組組織編制了《數據治理工具研究圖譜報告》,中國系統積極參與,汲取多個大型智慧城市項目中積累的政務數據治理經驗,為研究報告的編寫提供實踐參考。該《報告》詳細介紹了數據治理及數據治理工具的概念,對狹義數據治理和廣義數據治理兩種趨勢的理解進行了區分,主要是對廣義的數據治理進行闡述,報告中提到廣義數據治理更偏向數據治理工程,對狹義數據治理概念進行了延伸解讀,則更側重于技術平臺方面的研究,這一觀點更為契合中國系統的數據治理理念。
“十四五”時期,中國系統正當其時地選擇在數字產業鏈要求自主可控、自主創新的窗口期,推出了“飛瞰數據中臺2.0”產品,該產品布局大型政企的數據治理及數據運營市場,打造面向部委、省市政府、央企等海量數據(603138)客戶的數據治理工程解決方案,以及全棧數據中臺產品套件,涵蓋了廣義數據治理及分析應用的全棧能力,如數據集成、湖倉一體、輕量級數據工坊、共享交換、數據沙箱等,使得中國系統成為名副其實地“綜合平臺賦能型”頭部廠商。
在數字強國戰略推動下,各行各業進入了數字化轉型新征程,對數據治理工程提出了更高要求,同時不同的場景、以及不斷出臺的新政策引起業務變化,帶來了諸如數據智能、敏捷分析等新的需求,而這也對數據治理工具提出了更高的要求。
面對新時期的新要求,中國系統在數據實踐過程中,踩準時局節奏,通過全棧的數據治理工程能力,幫助真正擁有海量數據的客戶管好數據、用好數據、賦能業務創新。
2021年7月9日,由中國電子技術標準化研究院、全國信標委人工智能分委會和上海市人工智能標準化技術委員會主辦的2021世界人工智能大會“共話標準,驅動產業——標準化分論壇”在上海成功舉辦。分論壇發布了《人工智能標準化白皮書》。
黨中央、國務院高度重視新一代人工智能發展。習近平總書記指出:“人工智能是引領這一輪科技革命和產業變革的戰略性技術,具有溢出帶 動性很強的‘頭雁’效應”。“加快發展新一代人工智能是我們贏得全球 科技競爭主動權的重要戰略抓手”。為應對新冠肺炎疫情的沖擊,黨中央 國務院將新型基礎設施建設上升為國家戰略,其中重要的一項就是人工智 能。國務院發布實施了《新一代人工智能發展規劃》等文件,以新一代人 工智能技術的產業化和集成應用為重點,以加快人工智能與實體經濟融合 為主線,著力推動人工智能技術、產業全面健康發展。
在政產學研用各方共同努力下,我國人工智能產業發展的成果顯著。一是創新能力不斷增強,圖像識別、智能語音等技術達到全球領先水平, 人工智能論文和專利數量居全球前列。二是產業規模持續增長,京津冀、 長三角、珠三角等地形成了完備的人工智能產業鏈。三是融合應用不斷深 入,智能制造、智慧交通、智慧醫療等新業態、新模式不斷涌現,對行業 發展的賦能作用進一步凸顯。
我國人工智能產業發展取得顯著成績的同時,面臨著不少困難和挑戰,比如底層技術存在較大欠缺、能夠實現商業價值的應用較少、與實體經濟的融合存在較高門檻等。《中共中央關于堅持和完善中國特色社會主義制度推進國家治理體系和治理能力現代化若干重大問題的決定》指出 要“強化標準引領,提升產業基礎能力和產業鏈現代化水平”。人工智能 產業的發展離不開標準的引領,扎實做好人工智能標準化工作,對突破核 心技術、加快應用落地、完善產業生態具有重要意義。
本白皮書在《人工智能標準化白皮書(2018版)》的基礎上,進一步提出了以下內容:一是從產業鏈的角度,分析了人工智能產業現狀及發 展趨勢;二是介紹了當前國際上普遍認可的系統生命周期模型、人工智能 生態系統框架和機器學習技術框架;三是梳理了國內外主要人工智能標準 化組織的重點工作;四是落實《國家新一代人工智能標準體系建設指南》 (國標委聯〔2020〕35號),形成人工智能標準體系框架及標準體系明細 表;五是結合標準化工作進展及標準體系建設情況,提出我國人工智能標 準化重點工作建議。
數據安全問題由來已久,尤其在數據上升為新型生產要素后,面臨的數據泄露風險和監管要求力度越來越大。然而,當前的行業數據安全治理處于發展初期,企業整體數據安全治理能力參差不齊,提升數據安全治理能力成為數字經濟時代的緊迫議題。
日前,在2021中國互聯網大會——數據治理高峰論壇上,中國信通院發布了《數據安全治理實踐指南(1.0)》(以下簡稱“指南”)。
由于數據本身具有流動性、多樣性、可復制性等不同于傳統生產要素的特性,數據安全風險在數字經濟時代被不斷放大,因此對數據安全治理的要求也越來越高。如何協調政府、行業、企業、個人等多元主體,形成協同共治機制?如何平衡數據開發利用和數據安全保護,實現發展與安全的齊頭并進?如何構建覆蓋數據全生命周期安全的治理框架?如何在各組織中落實數據安全治理的具體要求?這些都是當前數據安全治理面臨的重要問題。
本指南參考數據安全領域的相關標準,重點以中國互聯網協會T/ISC-0011-2021《數據安全治理能力評估方法》為基礎,闡述了數據安全治理的內涵;從組織如何落實數據安全治理要求的角度出發,提出數據安全治理總體視圖;按照數據安全治理目標、治理框架、治理實踐路徑分別提出落地建議,并對未來發展進行展望。此外,指南還收錄了部分企業開展數據安全治理的實踐經驗。
//www.caict.ac.cn/kxyj/qwfb/ztbg/202107/t20210720_380788.htm
為落實黨中央、國務院關于發展人工智能的決策部署,推動人工智能技術在開源、開放的產業生態不斷自我優化,充分發揮基礎共性、倫理、安全隱私等方面標準的引領作用,指導人工智能國家標準、行業標準、團體標準等的制修訂和協調配套,形成標準引領人工智能產業全面規范化發展的新格局,制定《國家新一代人工智能標準體系建設指南》。
一、總體要求
(一)指導思想
全面貫徹黨的十九大和十九屆二中、三中、四中全會精神,落實黨中央、國務院關于發展新一代人工智能的決策部署,以市場驅動和政府引導相結合,按照“統籌規劃,分類施策,市場驅動,急用先行,跨界融合,協同推進,自主創新,開放合作”原則,立足國內需求,兼顧國際,建立國家新一代人工智能標準體系,加強標準頂層設計與宏觀指導。加快創新技術和應用向標準轉化,強化標準的實施與監督,促進創新成果與產業深度融合。注重與智能制造、工業互聯網、機器人、車聯網等相關標準體系的協調配套。深化人工智能標準國際交流與合作,注重國際國內標準協同性,充分發揮標準對人工智能發展的支撐引領作用,為高質量發展保駕護航。
(二)建設目標
到2021年,明確人工智能標準化頂層設計,研究標準體系建設和標準研制的總體規則,明確標準之間的關系,指導人工智能標準化工作的有序開展,完成關鍵通用技術、關鍵領域技術、倫理等20項以上重點標準的預研工作。
到2023年,初步建立人工智能標準體系,重點研制數據、算法、系統、服務等重點急需標準,并率先在制造、交通、金融、安防、家居、養老、環保、教育、醫療健康、司法等重點行業和領域進行推進。建設人工智能標準試驗驗證平臺,提供公共服務能力。
本白皮書分為四大部分:
本白皮書在《數據資產管理實踐白皮書3.0》的基礎上,以全面盤點數據資產、不斷提升數據質量、實現數據互聯互通、提高數據獲取效率、保障數據安全合規、數據價值持續釋放等角度,通過權威數據和典型事件,生動剖析了數據資產管理的重點內容和目標。在原有管理職能的介紹下,嘗試說明數據資產化管理的關鍵活動步驟,并在實施步驟方面,增加了各實施階段的具體輸出物,并增加了“數據價值管理工具”和“數據服務管理工具”,更好的指導企業搭建數據資產管理平臺,開展數據資產管理相關工作。