近年來,國內的云計算市場增速明顯,企業上云明顯提速。客戶的需求逐步從“資源型需求”轉向“智能型 需求”及“業務型需求”,意味著 PaaS、SaaS 等各行業各場景的云解決方案將受到更多關注。盡管該市場 呈現出了廣闊的前景,業務的龐大數量和場景種類夸張的多樣性也意味著巨大的難度。隨著市場的成熟上升, “一招鮮吃遍天”的套路相對于針對用戶需求定制化的解決方案已不具優勢,意味著在細分領域深耕的中小 型友商也具有瓜分市場的競爭力。因此,如何在保證市場占有率并支撐如此大量的業務的情況下,控制資源 和成本、保證交付效率和保證產品質量是云廠商要解決的核心難題。
另一方面,隨著工業生產越來越強調智能化,大量傳統行業開始積累領域數據,并尋求人工智能算法以解決 生產和研發過程中遇到的重復而冗雜的問題。這就意味著,人工智能算法在落地的過程中,將會面對大量不 同場景、不同需求的用戶。這對算法的通用性提出了很高的要求。然而我們注意到,當前業界大部分人工智 能開發者,正在沿用傳統的“小作坊模式”,即針對每個場景,獨立地完成模型選擇、數據處理、模型優化、 模型迭代等一系列開發環節。由于無法積累通用知識,同時不同領域的調試方法有所不同,這樣的開發模式 往往比較低效。特別地,當前人工智能領域存在大量專業水平不高的開發者,他們往往不能掌握規范的開發 模式和高效的調優技巧,從而使得模型的精度、性能、可擴展性等指標都不能達到令人滿意的水平。我們將 上述問題,稱為人工智能算法落地的碎片化困境。
為了解決這個困境,預訓練大模型應運而生。它收集大量圖像、文本等數據,利用無監督或者自監督學習方 法將數據中蘊含的知識提取出來,存儲在具有大量參數的神經網絡模型中。遇到特定任務時,只要調用一個 通用的流程,就能夠將這些知識釋放出來,并且與行業經驗結合,解決實際問題。近年來,預訓練大模型相 關研究和應用呈井噴態勢,大有一統人工智能領域的趨勢。不過我們也應該看到,預訓練大模型距離規模化 的商業應用,還有很長的路要走,這里不僅包含技術的演進,也包含商業模式的進化。按照我們的設想,大 模型是未來 AI 計算的“操作系統”,向下管理 AI 硬件,向上支撐 AI 算法,使得 AI 開發更加規范化、平民化。 我們希望通過編寫《預訓練大模型白皮書》,將我們團隊在研究和落地中獲得的經驗總結下來,更好地促進 行業的進步。
日前,新華社研究院中國企業發展研究中心發布的《人工智能大模型體驗報告2.0》(以下簡稱報告)顯示,訊飛星火、百度文心一言、商湯商量和智譜AI-ChatGLM均表現搶眼,AI大模型的發展為人類工作和生活的提質增效均帶來了正向積極的影響。
今年以來,國內科技企業紛紛布局人工智能大模型。據不完全統計,在新一輪生成式AI熱潮中,國內已經出現了上百個大模型。天眼查數據顯示,截至2023年上半年,與“大模型”直接相關的融資事件超20起。
為進一步直觀感受我國當前主流科技企業所推出的大模型產品的現狀、優勢和特點,新華社研究院中國企業發展研究中心于今年7月啟動了本次報告研究。與2023年6月首次發布的《人工智能大模型體驗報告》相比,本次測評在題目設計、對標Benchmark(人類)、打分權重、專家測評團隊四大維度進行了全面升級。
其中,在題目設計方面,測評題目由300道擴展至500道,并進一步完善了題目分類;在對標Benchmark方面,本次測評將接受過高等教育的人類作為對照,來考評大模型真實能力;在打分標準上,本次測評根據對產業、生活的實際價值,對基礎能力、智商能力、情商能力和工具提效四大測評維度進行了權重設計;在測評團隊方面,本次測評特邀北京大學文化與傳播研究所及其他產界、學界專家全程參與。
本次研究設置了用戶體驗項目,抓取了7月31日—8月4日數據,通過人機互動提問等形式,對國內主流大模型進行使用體驗評測,旨在為科技企業調整努力方向提供參考。
報告顯示,與2023年6月相比,當前中國大模型產品進步顯著。但與接受過高等教育的人類相比,大模型在智商、情商等方面還存在一定程度差距。具體來看,訊飛星火在工作提效方面優勢明顯,百度文心一言基礎能力仍處領軍水準,商湯商量則在情商方面表現優秀,智譜AI-ChatGLM整體表現優秀。
針對各維度能力測評,該報告還給出了相應的案例展示和分析。
在基礎能力方面,人類與AI之間的差距并不顯著。課題組分別從語言能力(35%)、AI向善(10%)、跨模態(20%)和多輪對話(35%)四大指標進行測評。測評顯示,科技企業大模型中,百度文心一言表現最為搶眼,商湯商量、智譜AI-ChatGLM、360智腦表現優良。
在智商評估方面,人類在智商方面仍然具有明顯優勢。課題組分別從常識知識(20%)、邏輯能力(50%)和專業知識(30%)方面對科技企業大模型進行考量。結果顯示,訊飛星火、智譜AI-ChatGLM表現突出,百度文心一言、昆侖萬維天工表現優良。
在情商方面,AI與人類之間的差距最為明顯。人類在情緒理解和處理方面通常具有更強的優勢,和更靈活的處理能力。通過對處理日常事項(35%)、一語雙關(30%)、人際關系(35%)問題進行分析發現,科技企業大模型中,商湯商量表現亮眼,百度文心一言、瀾舟科技Mchat、智譜AI-ChatGLM及360智腦均表現優良。
在工作效率提升方面,課題組重點在工具提效(50%)和生成創新(50%)方面進行考量。結果顯示,訊飛星火表現最為搶眼,百度文心一言、商湯商量、智譜AI-ChatGLM表現優良。不過,盡管AI具有高速度和高效率的優勢,但在某些復雜和具有創新性的任務中,人類的智慧和想象力仍然具有無法替代的作用。
報告認為,雖然在不同領域中,AI和人類表現出不同的優劣勢,但在整體上,AI大模型的發展為人類工作和生活的提質增效帶來了重要的積極影響,大模型正在加速走進生活、走進產業。在本次體驗測評基礎上,研究團隊將繼續深耕,加強在大模型安全可解釋性、工作提效能力、實際落地情況、產業優秀案例等維度上的探索與研究。
自ChatGPT、Bard、Claude、Midjourney以及其他內 容生成工具問世以來,人們對生成式AI抱有很高期 待。各企業CEO自然也在思考:這究竟是科技炒作, 還是顛覆行業格局的機遇?如果是后者,那生成式 AI能給自身業務帶來什么價值? ChatGPT的大眾版僅兩個月就吸引到1億用戶。它以 史無前例的方式推動了AI的普及,已成為迄今增長 最快的應用程序。無與倫比的易用性讓生成式AI有 別于以往所有AI技術。用戶不需要專修機器學習就 可以開展交互、獲取價值——只要會提問,幾乎人 人都能用。就像個人電腦或iPhone等其他突破性技 術一樣,一款生成式AI平臺可以衍生出許多應用程 序,適用于各個年齡段和教育水平的用戶群體,人 們無論身處何地,能夠上網即可使用。 而實現這一切,依靠的是驅動生成式AI聊天機器人 的基礎大模型,它們是經由大量非結構化、無標簽 數據(如文本、音頻等各類形式)訓練的龐大神經 網絡。基礎大模型可處理各種各樣的任務。相比之 下,以往的AI模型通常適用范圍更“窄”,往往只能執 行一項任務,如預測客戶流失率等。而一個基礎大 模型則既能為一份2萬字的量子計算技術報告生成 內容摘要,又能為園藝公司起草市場進入策略,還 能根據冰箱里的10種食材給出5張不同的食譜。不 過,在其豐富功能的背后,目前還存在結果不夠準 確的短板,這也讓人們再度關注起AI的風險管理 問題。 在監管得當的情況下,生成式AI不僅可以為企業開 辟新用例,還可以加速、擴展或改進現有用例。以 電銷場景為例,經過專門訓練的AI模型可以幫助銷 售人員發現追加銷售機會,但截至目前,這些模型 通常還只能根據通話前收集的人口統計信息和購買 規律等靜態客戶數據來判斷追加銷售的可能性。生 成式AI工具則可根據實際對話內容,利用內部客戶 數據、外部市場趨勢和社交媒體影響者數據,實時 為銷售人員提供追加銷售建議。同時,生成式AI還 可以為銷售人員撰寫銷售話稿,供其根據具體情況 進行調整。 上述例子只展示了AI技術對人類工作潛在影響的一 個側面,而實際上,幾乎所有知識工作者都有可能 因使用生成式AI而獲益。盡管生成式AI最終可能會 讓部分工作自動化,但其價值將更多來自于被嵌入 日常工具(如電子郵件或文字處理軟件)后知識工 作者對它的使用。這類升級后的工具可以大幅提高 生產力。 CEO們想知道是否應立即采取行動,以及如果采 取行動,該從何開始。有些人可能從中看到了機遇, 希望通過重塑人與生成式AI應用程序協同工作的 方式,在競爭中彎道超車。其他人則可能希望謹慎 行事,在進行大規模投資之前先嘗試幾個用例,增 進對生成式AI的理解。企業也需要評估自身是否具 備必要的技術專識、技術及數據架構、運營模式以 及風險管理流程,這些是更進一步部署生成式AI 時所需要的。 本文旨在幫助CEO及其團隊思考生成式AI的價值創 造場景以及如何開始應用。首先,我們總結了生成 式AI的入門指南,以幫助CEO更好了解AI日新月異的 發展現狀和可行技術選擇。第二部分將通過4個旨 在提高組織效能的案例,探討企業如何應用生成式 AI。這些案例來自我們對早期采用者的觀察,并介 紹了在技術、成本和運營模式要求等方面的各種選 擇。最后,我們將探討CEO如何發揮關鍵作用,利 用生成式AI帶領企業走向成功。 人們對生成式AI的期待顯而易見,企業高管自然希 望借此東風運籌帷幄,有計劃地快速推進。我們希 望本文能讓商業領袖更全面了解生成式AI未來潛力。
AI+辦公方面,隨著ChatGPT火爆全球,基于對圖像、視頻、音頻等進行處理的多模態大模型的應用也得到快速推廣。微軟已推出Microsoft 365 Copilot為用戶辦公模式帶了個革命式的變化,國產廠商也奮起直追,其中金山辦公是國內辦公軟件廠商探索AI技術應用的先行者之一,接入多個大模型供應商,可更精準滿足用戶AI創作需求。
AI全方位賦能,掀起內容創新浪潮。在游戲行業中,AI能夠幫助用戶體驗再升級,并助力大眾創作降本增效;在教育行業,智能教育邁向因材施教階段,AI服務在學生、教師兩端均有落地;在影視行業,AI可以助力特效內容生成;在電商行業,從產品上架到售后服務,AIGC將多方位賦能品牌商家;在營銷行業,創意文案能夠通過AI迅速生成,實現千人千面個性化推薦。
ChatGPT這一現象級產品橫空出世,拉開了大語言模型技術蓬勃發展的序幕。但實際上,自2017年大語言模型誕生,OpenAI、微軟、谷歌、Facebook、百度、華為等科技巨頭在大語言模型領域的探索持續不斷,ChatGPT只是將大語言模型技術推進至了爆發階段,當下大模型產品格局更是呈現出了新形勢——國外基礎模型積累深厚,國內應用側優先發力。
2022年年末以來,人工智能大模型成為技術領域乃至全球創新領域最炙手可熱的話題。以ChatGPT引領的大模型產品發展日新月異,有預測數據顯示,到2030年,AIGC的市場規模或將超過萬億人民幣。2023年國內主要廠商也相繼推出自研的大語言模型產品,另外國內也推出了大量的大語言模型應用,逐步構建起基于中文語言特色的大語言模型生態。
為此InfoQ研究中心基于桌面研究、專家訪談、科學分析三個研究方法,查找了大量文獻及資料,采訪了10+位領域內的技術專家,同時圍繞語言模型準確性、數據基礎、模型和算法的能力、安全和隱私四個大維度,拆分出語義理解、語法結構、知識問答、邏輯推理、代碼能力、上下文理解、語境感知、多語言能力、多模態能力、數據基礎、模型和算法的能力、安全和隱私12個細分維度。
分別對ChatGPTgpt-3.5-turbo、Claude-instant、Sagegpt-3.5-turbo、天工3.5、文心一言V2.0.1、通義千問V1.0.1、訊飛星火認知大模型、Moss-16B、ChatGLM-6B、vicuna-13B進行了超過3000+道題的評測,根據測評結果發布了《大語言模型綜合能力測評報告2023》。
來源:弗若斯特沙利文 近日,弗若斯特沙利文(Frost & Sullivan,簡稱“沙利文”)發布《AI 大模型市場研究報告(2023)——邁向通用人工智能,大模型拉開新時代序幕》。 報告認為,伴隨基于大模型發展的各類應用的爆發,尤其是生成式 AI,促使大模型帶來的價值進一步升級到人類生產力工具的顛覆式革新,逐漸拉開了通用人工智能(AGI)的發展序幕。 在通往AGI時代的旅程上,大模型和人類反饋的強化學習(RLHF)的結合,不僅重構了AI開發范式,未來軟件80% 的價值將由 AI 大模型提供,剩余 20% 會由提示工程和傳統業務開發組成,開發者的生產力將得到極大釋放;與此同時,AI的發展也將由之前單向發展的數據飛輪升級到不斷迭代進化的智慧飛輪,更高效的解決海量的開放式任務。 報告指出,中國大模型廠商的成功因素主要包括:全棧大模型訓練與研發能力、業務場景落地經驗、AI安全治理舉措、以及生態開放性4個方面,其中全棧大模型訓練與研發能力還包括數據管理經驗,AI基礎設施建設與運營,以及大模型系統和算法設計3個部分。這些成功因素分別體現著大模型廠商的產品技術能力、戰略愿景能力、生態開放能力三個維度。 基于這三個維度,沙利文制定了超過70個評估指標,對大模型廠商進行了全面的能力評估。 關鍵發現點
AI大模型的高速發展離不開底層技術支持和應用場景迭代。大模型作為AGI時代的曙光,相關廠商也將迎來廣闊的發展空間。本報告將呈現從發展現狀、驅動因素洞察AI大模型廠商競爭與發展關鍵點,并推演競爭格局的邏輯分析過程: 前瞻洞察:
通向AGI的技術路徑具有多元性,目前大模型是最佳實現方式。大模型具有強大的泛化性、通用性和實用性,能夠降低AI開發門檻、提高模型精度和泛化能力、提高內容生成質量和效率等多種價值,實現了對傳統AI技術的突破,并成為AGI的重要起點。 進而將AI發展由數據飛輪升級到智慧飛輪,最終邁向人機共智。大模型和人類反饋的強化學習(RLHF)的結合,進一步重構了AI開發范式,進入大模型主導的軟件2.0時代。另一方面,AI開發則形成新的“二八定律”,開發者的生產力將得到極大釋放。 驅動因素:
大模型“基礎設施-底層技術-基礎通用-垂直應用”發展路線逐漸清晰,國內各廠商加速戰略布局,加大資金和技術投入,迎頭趕上全球大模型產業化浪潮,本土化大模型迎來發展新機遇。整體上,行業驅動因素主要包含三個層面: (1)政策端:政策環境持續優化,賦能AI大模型市場高速發展。 (2)供給端:下一代AI基礎設施等快速發展,助力大模型應用落地。 (3)需求端:AI市場高景氣,大模型下游行業需求旺盛。 行業觀點:
大模型未來發展將趨于通用化與專用化并行、平臺化與簡易化并進。同時,MaaS模式將成為AI應用的全新形式且快速發展,重構AI產業的商業化結構生態,激發新的產業鏈分工和商業模式。未來,大模型將深入應用于用戶生活和企業生產模式,釋放創造力和生產力,活躍創造思維、重塑工作模式,助力企業的組織變革和經營效率,賦能產業變革。 關鍵成功因素:
大模型面臨算力需求大、訓練和推理成本高、數據質量不佳等挑戰。一個可對外商業化輸出的大模型的成功,要求其廠商擁有全棧大模型訓練與研發能力、業務場景落地經驗、AI安全治理舉措、以及生態開放性4大核心優勢,才能保證其在競爭中突出重圍。其中,全棧大模型訓練與研發能力還包括數據管理經驗,AI基礎設施建設與運營,以及大模型系統和算法設計3個關鍵要素。 競爭格局:
在競爭格局漸趨明晰的過程中,相關廠商需跨越技術、人才、資金等壁壘,在產品技術能力、戰略愿景能力、生態開放能力三大維度上展開角逐。通過遴選,報告選擇了5家大模型廠商,分別為商湯、百度、阿里巴巴、華為、騰訊,評價模型包含15個一級指標、56個二級指標,對廠商大模型的各個能力進行評估。 用戶建議:
通過此報告能夠了解大模型廠商的競爭態勢,關注領先廠商,內部創建大模型戰略文件,明確其優勢、帶來的風險和機遇,以及部署路線圖,針對具體的用例,權衡模型的優勢和風險,并選擇合適場景試點、評估大模型的應用價值。 具體內容如下
來源:中國通服數字基建產業研究院
經過20年的發展演進,國內數據中心產業發展進入了新的轉型階段。數字經濟、“東數西算”、“雙碳”、算力、AI等多元素影響下,數據中心產業發展呈現出“三體三化四樣”的時代特征。
在此背景下,面向全國產業供需走勢、聚焦產業主體未來發展,中國通服數字基建產業研究院發布《中國數據中心產業發展白皮書(2023)》。白皮書全文回溯全球數據中心產業20年發展歷程、深入分析國內數據中心產業市場供需、政策變化和技術演進,提出在數據中心產業進入高質量發展階段的當前環境下,產業鏈四大類主體(政府監管部門、設備供應商、工程服務商、IDC服務商)轉型提升的重要啟示及展望。
核心摘要
產業剖析
當前,在數字新科技引領下,全球數據中心產業呈現“科技潮涌期”,集群化、綠色化、智能化建設和存量整合升級同步推進,新型智算中心成為主流,產業增速階段性上揚。國內數據中心產業總體處于平穩增長期,“十四五”期間產業營收規模復合增速預計保持在25%左右。國內產業鏈將呈現計算智算化、液冷產業化、綠電要素化、設備國產化、產業垂直一體化發展趨勢。
政策解讀
國家“東數西算”政策統籌引導數據中心建設集約化、國家“雙碳戰略”政策要求數據中心綠色化發展、“新型數據中心”政策要求數據中心提升算力服務能力和系統優化算力設施布局。我國數據中心向西部遷移加快,迎來新一輪IDC布局良機,存量數據中心改造升級、算力方案需求推動服務升級、節能低碳技術迎來高速發展期。
市場預測
“十四五”期末國內數據中心機架規模預計近1400萬架,總增量投資約7000億元。以ChatGPT、元宇宙為代表的生產式AI等新業態帶動算力需求3年內或將超過10倍。以DCI、安全、運維為代表的增值業務需求旺盛,節能改造需求興起,未來3年全國IDC節能改造市場規模合計超340億元,主要集中在制冷(70%)、電力(20%)。消費互聯網腰部廠商、產業互聯網成為未來幾年新增長點,呈現高定制、高彈性、低成本、快交付資源要求。
技術演進
數據中心建筑技術將朝著低能耗、近零能耗方向發展,裝配式數據中心在東部地區率先規模應用;供配電技術由設備級向系統級融合演進、綠電儲能成為低碳化的重要方式;制冷技術蒸發冷卻、熱管、液冷多技術融合并進;基于體系化標準庫的智能化全周期運營數字化工程服務平臺應用成為趨勢。
產業主體發展啟示
政府監管部門將強化市場牽引,加強宏觀指導以實現資源、產業結構調整,地方政府加大鼓勵能力培育以扶植產業發展;工程服務商將從提供設計、工程服務為主轉向實現全生命周期一體化服務,通過打造或整合標準化組件,實現工程產品化和一體化交付;設備供應商將以客戶需求為導向,推動設備定制化、數智化、國產化;IDC服務商將持續增強自身能力建設,從供應型視角轉向生態型運營視角。
縱觀近五年來的AI技術商業落地發展脈絡,產品及服務提供商圍繞技術深耕、場景創新、商業價值創造、精細化服務不斷努力;需求側企業也在從單點試驗、數據積累到戰略改革的發展路線上與AI技術逐漸深度綁定。AI成為企業數字化、智能化改革的重要抓手,也是各行業領軍企業打造營收護城河的重要方向。落地AI應用對企業業務運營的商業價值與戰略意義越來越明確。供需向好趨勢下,艾瑞預計,2022年我國人工智能產業規模達到1958億元,人工智能的產品形態和應用邊界不斷拓寬。
選取預訓練大模型、AI芯片、決策智能和虛擬數字人作為2022年度AI產業發展具有代表性的模型架構、硬件產品、解決方案和軟件產品進行分析,闡述四者對未來AI產業發展的重要意義。如今AI產業的最大熱點,莫過于ChatGPT所帶來的搜索與問答功能提升和類人的交互體驗使AIGC這一概念徹底出圈。對于國內AI芯片公司、手握海量數據資源的互聯網巨頭、具備“數據飛輪”的解決方案商、瞄準AIGC賽道的創業企業,是挑戰也是機會,ChatGPT的熱潮帶來了資本市場和消費者對AI產業熱情的再次迸發。 選取計算機視覺、智能語音和人機交互、機器學習、知識圖譜、自然語言處理、AI基礎數據服務、面向AI的數據治理和智能機器人細分賽道,進行投融資、市場規模、典型產品及細分應用領域、產業鏈玩家、技術趨勢等分析。判斷各個細分賽道業務增長動力以及為廠商發展路徑提供思考。2022年中國AI產業規模年增長率7.8%,整體平穩向好。該年業務增長主要依靠智算中心建設以及大模型訓練等應用需求拉動的AI芯片市場、無接觸服務需求拉動的智能機器人及對話式AI市場。目前中國大型企業基本都已在持續規劃投入實施人工智能項目,未來,隨著中小型企業的普遍嘗試和大型企業的穩健部署,在AI成為數字經濟時代核心生產力的背景下,2027年相應規模可達到6122億元。 產業鏈的數據、算力、算法、工具、應用層各環節已逐步進入良性循環帶動期,AI產業鏈逐步成熟。如何在AI新一輪發展熱潮中搶抓機遇,是各環節企業關注的核心議題。從業務持續的角度考慮,把握技術變革與產品應用的融合界限,致力解決質量、ROI、安全可信等核心瓶頸;根據企業產業鏈角色和應用場景特點,定位各類型廠商的差異化路徑深耕實踐,或是AI企業的制勝之路。
自ChatGPT推出以來,國內學術界和科技企業相繼宣布或將推出類似機器人對話模型,有望推動大模型發展。2月7日,百度官宣“文心一言”。2月20日,復旦大學發布了類ChatGPT模型“MOSS”,并面向大眾公開邀請內測,國產大模型有望迎來爆發式增長。 需求和政策兩方面,合力推動AI產業增長。國內應用層面的需求推動AI產業的加速發展。根據IDC數據預測,2021年中國人工智能軟件及應用市場規模為51億美元,預計2026年將會達到211億美元。數據、算法、算力是AI發展的驅動力,其中數據是AI發展的基石,中國數據規模增速有望排名全球第一。政策方面,“十四五”規劃中提到“瞄準人工智能”,“聚焦人工智能關鍵算法”,加快推進“基礎算法”的“突破與迭代應用”;北京、上海、廣州等城市發布相關規劃。 頭部企業采取“模型+工具平臺+生態”三層共建模式,有助于業務的良性循環,也更容易借助長期積累形成競爭壁壘。大模型廠商主要包括百度(文心大模型)、騰訊(HunYuan大模型)、阿里(通義大模型)、商湯、華為(盤古大模型)等企業,也有智源研究院、中科院自動化所等研究機構,同時英偉達等芯片廠商也紛紛入局。大模型增強了AI技術的通用性,助力普惠AI的實現。未來,大模型有望于場景深度融合,配合專業工具和平臺支持應用落地,開放的生態來激發創新,形成良性循環。 技術發展有望促進生產效率提升,并進一步創造新的消費和需求,有利于文娛內容和互聯網行業。在AIGC和ChatGPT方面,我們建議持續關注技術發展和應用情況,把握技術催化和商業化落地帶來的投資機會:1)具備AIGC和ChatGPT的技術探索和應用的公司:百度集團-SW、商湯-W、萬興科技、拓爾思等;2)具有海量內容素材且具有AIGC探索布局的,圖片/文字/音樂/視頻內容及平臺公司騰訊控股,閱文集團、美圖公司、昆侖萬維、湯姆貓、神州泰岳、視覺中國、中文在線、漢儀股份、天娛數科、風語筑等。
主動學習試圖在具有盡可能少標注樣本的同時最大化模型的性能增益。深度學習(Deep learning, DL)需要大量標注數據,如果模型要學習如何提取高質量的特征,就需要大量的數據供應來優化大量的參數。近年來,由于互聯網技術的飛速發展,我們進入了一個以海量可用數據為特征的信息豐富性時代。因此,DL得到了研究者的極大關注,并得到了迅速的發展。但與DL相比,研究者對AL的興趣相對較低,這主要是因為在DL興起之前,傳統機器學習需要的標記樣本相對較少,這意味著早期的AL很少被賦予應有的價值。雖然DL在各個領域都取得了突破,但大部分的成功都要歸功于大量公開的帶標注的數據集。然而,獲取大量高質量的帶注釋數據集需要耗費大量人力,在需要較高專業知識水平的領域(如語音識別、信息提取、醫學圖像等)是不可行的,因此AL逐漸得到了它應該得到的重視。
因此,研究是否可以使用AL來降低數據標注的成本,同時保留DL強大的學習能力是很自然的。由于這些調研的結果,深度主動學習(DAL)出現了。雖然對這一課題的研究相當豐富,但至今還沒有對相關著作進行全面的調研; 因此,本文旨在填補這一空白。我們為現有的工作提供了一個正式的分類方法,以及一個全面和系統的概述。此外,我們還從應用的角度對DAL的發展進行了分析和總結。最后,我們討論了與DAL相關的問題,并提出了一些可能的發展方向。
概述:
深度學習(DL)和主動學習(AL)在機器學習領域都有重要的應用。由于其優良的特性,近年來引起了廣泛的研究興趣。更具體地說,DL在各種具有挑戰性的任務上取得了前所未有的突破;然而,這很大程度上是由于大量標簽數據集的發表[16,87]。因此,在一些需要豐富知識的專業領域,樣品標注成本高限制了DL的發展。相比之下,一種有效的AL算法在理論上可以實現標注效率的指數加速。這將極大地節省數據標注成本。然而,經典的AL算法也難以處理高維數據[160]。因此,DL和AL的結合被稱為DAL,有望取得更好的效果。DAL被廣泛應用于多個領域,包括圖像識別[35,47,53,68],文本分類[145,180,185],視覺答題[98],目標檢測[3,39,121]等。雖然已經發表了豐富的相關工作,DAL仍然缺乏一個統一的分類框架。為了填補這一空白,在本文中,我們將全面概述現有的DAL相關工作,以及一種正式的分類方法。下面我們將簡要回顧DL和AL在各自領域的發展現狀。隨后,在第二節中,進一步闡述了DL與AL結合的必要性和挑戰。
圖1所示。DL、AL和DAL的典型體系結構比較。(a)一種常見的DL模型:卷積神經網絡。(b) 基于池化的AL框架: 使用查詢策略查詢未標記的樣本池U和將其交給oracle進行標注,然后將查詢樣本添加到標記的訓練數據集L,然后使用新學到的知識查詢的下一輪。重復此過程,直到標簽預算耗盡或達到預定義的終止條件。(c) DAL的一個典型例子:在標簽訓練集L0上初始化或預訓練DL模型的參數的常變量,利用未標記池U的樣本通過DL模型提取特征。然后根據相應的查詢策略選擇樣本,在查詢時對標簽進行查詢,形成新的標簽訓練集L,然后在L上訓練DL模型,同時更新U。重復此過程,直到標簽預算耗盡或達到預定義的終止條件。
DAL結合了DL和AL的共同優勢:它不僅繼承了DL處理高維圖像數據和自動提取特征的能力,也繼承了AL有效降低標注成本的潛力。因此,DAL具有令人著迷的潛力,特別是在標簽需要高水平的專業知識和難以獲得的領域。
主題: Towards Automatic Machine Learning Pipeline Design
簡介: 數據收集量的迅速增加,使決策的瓶頸迅速從缺乏數據轉向缺乏數據科學家,以幫助分析收集的數據。此外,用于數據分析的新潛在解決方案和方法的發布速度已經超過了人類數據科學家所能遵循的速度。同時,我們注意到數據科學家在分析過程中執行的許多任務都可以自動化。自動機器學習(AutoML)研究和解決方案試圖使部分甚至整個數據分析過程自動化。我們解決了自動化研究中的兩個挑戰: 首先,如何表示適合元學習的ML程序;第二,如何改進自動系統的評估,使之能夠比較各種方法,而不僅僅是預測。為此,我們設計并實現了一個ML程序框架,該框架提供了以標準方式描述ML程序所需的所有組件。該框架是可擴展的,框架的組件之間是解耦的,例如,該框架可以用來描述使用神經網絡的ML程序。我們為執行框架中描述的程序提供參考工具。我們還設計并實現了一個服務,一個元學習數據庫,它存儲由不同的自動化系統生成的執行ML程序的信息。
我們通過測量使用框架與執行直接調用底層庫的ML程序的計算開銷來評估框架。我們注意到框架的ML程序執行時間比不使用該框架的ML程序慢一個數量級,內存使用量是不使用該框架的ML程序的兩倍。 通過比較使用我們的框架的10個不同的AutoML系統,我們展示了我們的框架評估AutoML系統的能力。結果表明,該框架既可以用來描述一組不同的ML程序,又可以用來明確地確定哪個自動化系統生成了最佳的ML程序。在許多情況下,生成的ML程序的性能優于由人類專家編寫的ML程序。