亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

智能規劃又叫自動規劃，主要研究在復雜環境下，如何通過自動化的方式生成可行的行動序列，以實現從初始狀態到達目標狀態。大語言模型是指使用大量文本數據訓練的深度學習生成式模型，可以生成自然語言文本或理解語言文本的含義。當前圍繞如何讓大語言模型在強大的常識性知識基礎上獲得生成式智能規劃能力已然成為當下研究的熱潮。本文從大語言模型的視角入手，首先對智能規劃的定義和發展進行概述、簡要介紹了傳統智能規劃的方法；其次基于大語言智能體與智能規劃的緊密關系，介紹了大語言模型的架構和典型的大模型智能體；再次重點圍繞大模型的智能規劃，梳理了規劃語言學習、思維鏈推理、反饋優化和流程自動化共4類規劃方法；最后結合當前的挑戰與困難，介紹大模型進行智能規劃的前沿研究展望。

在當前人工智能的發展浪潮中，基于大模型構建的人工智能體（AI Agent）已成為一項領先的技術，引起全球學術界和工業界的高度關注。與此同時，人工智能正從學術領域跨越到實際應用的新階段，大模型驅動的群體智能技術正成為推動革新的核心動力。 目前大模型已能夠構建出更具通用性和適應性的智能體，這些智能體不僅能獨立執行復雜任務，還能在群體中協同作業，展示出遠超單體智能體的集體智慧。 可以說，隨著新一代AI技術的發展，我們正步入一個由大模型驅動的“Internet of Agents (IoA)”智聯網時代，這個時代將由智能體的群體協作和互動定義，它們不僅服務于人類，更將與人類共創更加智慧和可持續的未來。 在汽車行業，群體智能的應用不僅能夠大幅提升生產效率，優化用戶體驗，更能孕育新的商業模式。這在近期發布的《大模型驅動的汽車行業群體智能技術白皮書》（以下簡稱白皮書）可窺詳貌。 4月12日，易慧智能聯合清華自然語言處理實驗室、面壁智能召開發布會，正式發布《大模型驅動的汽車行業群體智能技術白皮書》，這是國內首個關于大模型驅動的群體智能全面的研究報告和汽車行業應用探索。

此次白皮書發布會吸引了包括汽車行業專家、人工智能領域專家、咨詢行業專家、大數據/算力專家以及權威媒體在內的眾多嘉賓參與。 清華大學計算機科學與技術系助理研究員從鑫，面壁智能CEO李大海，易慧智能總裁李偉發表專業演講，論述大模型驅動的群體智能技術發展現狀及前景，探索AI賦能人類生產生活的最優解，為汽車行業的智能化發展提供關鍵的理論支撐與實踐引導。

白皮書：汽車行業將加速迎來一個更加智慧、高效、用戶至上的新時代****

白皮書分《戰略態勢：??智能時代的汽??業發展》、《科技突破：邁向通???智能的?模型群體智能技術體系》、《融創賦能：?模型群體智能在汽??業的融合創新與價值創造》、《?態矩陣：汽??業?模型群體智能?態矩陣建設》、《總結展望》五個章節系統性介紹了大模型驅動的智能體技術，特別是面向汽車行業提出了體系化的解決方案，對于未來通用人工智能賦能汽車行業提供了有益參考。 其中，白皮書全面回溯了AI技術的發展歷程和關鍵里程碑，對“大語言模型”“單體智能”“群體智能”等關鍵技術專題進行了深入、系統的總結和梳理，同時結合技術能力和汽車行業應用場景找到了技術在汽車行業中的場景應用價值：通過大模型驅動的群體智能協同工作臺和組織孿生技術路線，可以為行業客戶定義/開發/部署企業級的數字員工和數字團隊，在適合的場景下實現任務的智能化與自動化替代，為用戶提供及時、豐富、個性化的服務，為行業客戶帶來高性價比的智能化解決方案，提升整個行業的運營效率和效能。 白皮書還展望大模型驅動的群體智能技術將為汽車行業預見一個更加智慧、高效能、用戶至上的汽車新時代： 首先是智能化助力——汽車企業突破降本增效天花板。其認為在當前的經濟環境下，車企需要不斷檢索突破口來提高生產效率、降低運營成本。 通過使用群體智能和組織孿生技術，車企可以率先將明確標準作業程序（SOP）和專家知識的場景實現智能化與自動化落地應用，重塑效率之巔。這不僅有助于車企提升自身的競爭力，更能推動整個汽車行業的持續發展。 這也是汽車行業的群體智能和組織孿生技術的核心價值——為汽車行業帶來了前所未有的降本增效可能性。 其次是智能化賦能——開啟用戶運營新篇章。在以往用戶運營旅程中，與日俱增的紛繁觸媒環境下投入大量人力和財力成本也難以精準捕捉用戶多樣化需求。 群體智能不僅將極大地提高信息傳遞和決策的效率，更通過對海量用戶數據的深度挖掘和分析，令車企能夠為用戶提供更加貼心、個性化的產品和服務，從而構建起更加緊密的用戶關系，提升品牌影響力和市場競爭力。 最后是創新與合作——共建智慧汽車新生態。隨著技術的持續演化和應用場景的拓展，我們可以預見大模型驅動的群體智能和組織孿生技術，將在汽車行業得到更廣泛的應用與深度融合，釋放出巨大的數據價值，顯著增強車企在不確定環境下的競爭力和韌性。 作為白皮書發布方的清華大學自然語言處理實驗室、易慧智能和面壁智能共同認為，大模型和群體智能技術的應用將推動汽車行業從傳統生產方式向智能化生產方式的轉變，為汽車行業發展注入新活力。 專家重磅解讀：從技術前瞻、通用技術實踐到行業技術應用

清華大學計算機科學與技術系助理研究員從鑫從技術前瞻的角度發表了主題為《大模型驅動的群體智能技術正成為推動革新的核心動力》的演講。 他介紹道，大模型是人工智能的前沿制高點，將成為智能時代的基礎設施。同時大模型也存在諸如專業技能欠缺、協作意識薄弱等局限，需進行專業教育實現智能體化，并通過AI Agent（人工智能體）賦能行業應用。 清華大學計算機科學與技術系助理研究員 從鑫

清華大學計算機科學與技術系副教授劉知遠表示，大模型驅動的AI Agent 具備包括智商、情商、成長性、價值觀、感知、人設等六大特性，隨著 AI Agent 數量的增加和智能體間的協作能力提升，能夠呈現出超越單個智能體能力的集體智慧——群體智能，實現對更加復雜任務處理和場景建模，其被認為是邁向通用人工智能的重要途徑。 從單一大模型到多智能體群體智能的重要轉變為 AI 的未來應用打開了新的可能性，預示著更加智能和自適應的技術解決方案的出現。 據劉知遠介紹，組織孿生是大模型驅動的群體智能在業務場景下的應用框架，目前其團隊提出了崗位孿生、架構孿生和業務孿生的概念和技術框架，旨在綜合運用大模型的通用能力和智能體技術的靈活適配特性，實現智能科技服務人類。

面壁智能CEO李大海從通用技術實踐的角度發表了主題為《智周萬物，讓AI智能體釋放大模型無限潛能》的演講。

他表示，面壁智能持續引領“高效大模型”路線。除了大模型的高效訓練，在大模型高效落地方面，AI Agent是大模型落地應用的最后一公里，面壁智能引領AI 智能體（Agent）技術潮流， 持續推動建設大模型的高效建設、快步應用。

與決策相關的活動，如自下而上和自上而下的策略制定、分析和規劃，都將受益于基于計算機的模型的開發和應用，這些模型能夠在當地環境中表現人類的時空社會行為。在努力了解和尋找減緩氣候變化特定影響的方法時尤其如此，在這種情況下，此類模型需要包括相互影響的社會和生態要素。此類模型的開發和應用一直受到以下挑戰的嚴重阻礙：設計行為以經驗證據和理論為基礎的智能體，以及測試智能體代表現實世界決策者行為的能力。本論文通過以下方法克服了這些挑戰，從而提高了開發此類模型的能力： (a) 三個新框架，(b) 兩種新方法，以及 (c) 兩種新的開源建模工具。這三個新框架包括 (a) SOSIEL 框架，它為開發新一代認知、多智能體和基于知識的模型提供了一個有理論基礎的藍圖，這些模型由具有認知架構的智能體組成； (b) 一個分析決策者有界理性的新框架，它為分析決策情境與決策者決策之間的關系提供了洞察力和便利；以及 (c) 一個分析人工智能體雙重有界理性（DBR）的新框架，它對決策情境與人工智能體決策之間的關系做了同樣的分析。這兩種新方法包括 (a) 用于獲取和操作決策知識的 SOSIEL 方法，它提高了我們為認知模型、多智能體模型和基于知識的模型獲取、處理和表示決策知識的能力；以及 (b) 用于測試人工智能體表示人類決策能力的 DBR 方法。這兩個開源建模工具包括 (a) SOSIEL 平臺，這是一個基于認知、多智能體和知識的平臺，用于模擬人類決策；以及 (b) 將該平臺作為 SOSIEL 人類擴展（SHE）應用于現有的森林氣候變化模型，即 LANDIS-II，以便分析人類與森林氣候之間的共同進化互動。為了提供示例背景和知識獲取指南，論文包括烏克蘭喀爾巴阡山地區社會生態互動的案例研究，該地區目前正在應用 LANDIS-II 和 SHE。因此，本論文通過以下方式推動科學發展 (a) 為下一代基于認知、多智能體和知識的模型提供理論基礎并展示其實施；(b) 為理解、分析和測試人工智能體代表人類決策的能力提供植根于心理學的新視角。

現在，模擬被更頻繁地用于對現實世界或擬議系統進行實驗，以了解系統行為或評估改進策略。隨著時間的推移，大型企業越來越需要開發精密復雜的系統來與同行業競爭。而且，這些企業之間的聯系越來越緊密，就像一個網絡化的企業。這就進一步提高了開發能與其他企業互聯的越來越復雜的模擬的要求。在這方面，分布式仿真已廣泛應用于軍事領域，但在其他領域并沒有得到普及。這背后的原因是，在分布式仿真之間建立通信協議需要專業技術知識。科研行業一直在努力縮小這一差距，其中最重要的工作是制定高級架構（HLA）標準，為分布式仿真模型之間提供通用通信協議。

建模與仿真（M&S）行業也為開發人員提供了大量有關獨立仿真建模的文獻。在這種情況下，概念建模的重點是模型的準確性和效率，而不是互操作性。本研究也對此進行了詳細討論。直到最近，從業人員也一直在努力尋找對底層技術的支持。但隨著標準運行時基礎設施（RTI）和仿真開發平臺支持的引入，這一差距已經縮小。

HLA 標準承諾解決分布式仿真模型之間的互操作性問題，但只能提供語法層面的標準指南。因此，仿真互操作性標準組織（SISO）繼續開展研究，確定了從業人員在語義層面面臨的互操作性問題，并起草了一份互操作性問題清單。然而，已發布的 SISO-STD-006-2010 標準只指出了問題，卻沒有提供語義解決方案。

本研究的主要貢獻是提出了分布式仿真互操作性（DSI）框架，為《商用現成仿真包互操作性參考模型》（SISO-STD-006-2010）中列出的互操作性問題確定了語義解決方案。本研究建議將這些互操作性語義解決方案納入 HLA 對象建模模板規范。這樣做將有助于行業從業人員實現 HLA 的互操作性承諾，并使分布式仿真模型更具可重用性和可組合性。

社會技術系統是人類和算法的集合，它們在分散控制器的部分監督下進行交互。這些系統通常顯示出復雜的動態變化，并以其獨特的突發行為為特征。在這項工作中，我們描述、分析和模擬了三類不同的社會技術系統：金融市場、社交媒體平臺和選舉。雖然我們的工作在主題內容上多種多樣，但通過研究社會系統中由進化和適應驅動的變化以及開發用于推斷這種變化的方法，我們的工作是統一的。

首先在基于智能體的模型（ABM）中分析了金融市場微觀結構的進化動態。ABM 的匹配引擎實現了頻繁的批量拍賣，這是最近開發的一種價格發現機制。我們使用各種選擇機制讓智能體承受進化壓力，證明基于量化的選擇機制與較低的全市場波動性相關。然后，我們在 ABM 中進化深度神經網絡，并證明精英個體在真實外匯數據的回溯測試中是有利可圖的，盡管在進化過程中它們的適應性從未在任何真實金融數據上進行過評估。

然后，轉向從社會技術系統生成的大型時間序列面板中提取多時間尺度的功能信號。我們引入了離散小震子變換（DST）和相關的相似性搜索算法--小震子變換和排序算法（STAR）來完成這項任務。我們通過經驗證明了 STAR 算法對定量功能參數化的不變性，并提供了使用案例。在特征提取任務中，STAR 算法與 Twitter 的異常檢測算法進行了比較。最后，我們使用 STAR 算法，利用 Twitter 詞語使用時間序列面板，自動構建了社會重大事件的敘事時間軸。

最后，模擬了試圖干涉他國選舉的外國情報機構（紅隊）與選舉所在國國內情報機構（藍隊）之間的戰略互動。我們推導出紅方和藍方的亞博弈完全納什均衡策略，并展示了當任何一方對干涉事件的結果持 "全有或全無 "態度時，軍備競賽干涉動態的出現。然后，將 2016 年美國總統大選的數據與本文模型進行了對比，在這次大選中，俄羅斯軍事情報機構進行了干預。本文了證明，在研究的大部分時間里，本文了模型捕捉到了這種干預的定性動態。

多智能體機器人技術有望塑造工業的未來，有可能改變日常生活的許多方面。在未來十年中，它們預計將對運輸系統、軍事應用（如偵察和監視、搜救行動或太空任務）產生影響，并為急救人員提供支持。

在機器人領域最新發展的推動下，隨著新一代多智能體機器人系統變得更加智能、精確，應用領域也更加多樣化，本論文將為這些系統的發展做出貢獻。但是，為了實現這些目標，組成合作機器人系統的各個智能體需要在確保準確性和保留執行多樣化任務能力的同時，對它們所能完成的任務進行專業化。

本論文在考慮單個智能體專業化能力的特定背景下，探討了蜂群機器人技術中的任務分配問題。基于每個智能體都擁有專門的功能能力，以及分布在周圍環境中的預期任務提出了特定要求的假設，提出的任務分配機制在兩個不同的空間中制定。首先，團隊成員專業化的初級形式被表述為嵌入智能體動力學控制空間的合作控制問題。其次，定義了智能體專業化的高級表述，在專用的專業化空間中估計單個智能體的任務分配概率，這是本論文對蜂群機器人領域的進步和實踐的核心貢獻。

在專業化空間中制定的原始任務分配過程經歷了四個發展階段。首先，從概念上引入了任務特征識別階段，利用嵌入在智能體中的傳感層的輸出來驅動所提出的任務分配方案。其次，制定匹配方案，將每個智能體的專業能力與相應的檢測任務進行最佳匹配。在這一階段，智能體專業化的一般二進制定義是任務-智能體關聯的基礎。第三，將任務-智能體匹配方案擴展為創新的基于概率專業的任務-智能體分配框架，以推廣這一概念并挖掘智能體專業化考慮的潛力。第四，根據智能體的機械、物理結構和嵌入式資源對其專業化進行調制定義，進一步完善了總體框架。此外，還對原有框架進行了擴展，并引入了優先級層，以提高系統對復雜任務的響應能力，這些復雜任務的特點是基于對多個類別的識別。

在模擬和實際實驗中對所提出的基于專長的任務分配方法進行了實驗驗證，并結合潛在應用對結果進行了介紹和討論，以證明所提框架的有效性和效率。

這項工作旨在填補以往解決機器人群個體專業化問題的工作中的技術空白。本論文的成果通過開發一個創新框架，利用傳感能力來支持智能體之間專業化的概念化和實施，從而推動了蜂群機器人領域的發展。重點在于定義單個智能體的專長，并根據每個任務的特定約束條件，將其與這些單個智能體所要掌握的任務相匹配。為此，本研究打算回答以下研究問題：

問題 1：一群智能水平相對較低的機器人如何完成復雜的任務，這些任務需要單個機器人代理的專業化?

過去二十年來，多智能體系統的合作編隊控制受到了研究人員的極大關注。本論文以文獻綜述（第 2 章）中提到的方法為基礎，提出了一種解決方案，以填補機器人團隊中單個成員專業化方面的研究空白。本論文的重點是通過利用智能體的非同質性來增強蜂群的能力。為此，本論文擴展了合作蜂群的概念，并提出了一個嚴格的流程來利用單個智能體之間的專業異質性。

為了回答問題 1，我們首先進行了一項早期調查，以驗證這一概念。這一過程將機器人團隊工作空間的不同區域定義為分配給不同任務的獨立區域。所開發的解決方案可讓機器人順利安全地切換位置，并根據每個訪問區域要執行的特定任務動態調整整體隊形。它定義了如何在每個區域管理機器人群的編隊。作為一種初級的專業化形式，當智能體從一個區域轉移到另一個區域時，該框架會將智能體的領導角色從一個智能體切換到另一個智能體。在第一階段的研究中，假定一個特定的智能體（即蜂群中的一個成員）是每個區域中唯一專門執行領導任務的智能體。在任務完成之前，該智能體被指定為相關區域的專門領導者。第一部分研究的詳細情況將在第 3.4 節中報告。

問題 2：能否對最初的方法進行升級，讓專業化個體從環境中的自動目標識別中獲益，能否讓智能體之間的合作變得足夠穩健和靈活，以便在發現目標后自動將適當的專業化智能體分配到相應的任務中？

為了回答這個問題，我們進一步擴展了原有的協調系統，用于在專用機器人之間分配基于任務的領導權。通過對分布在機器人群工作空間中的專業化影響區域的定義進行演化，對問題進行了重新表述。受早期編隊方法的啟發，出現了一種有趣的解決方案。從使用機載傳感器自動識別工作區目標的假設出發，選擇有資格執行識別任務的智能體的過程應逐步經歷三個基本狀態，分別稱為搜索狀態、任務狀態和執行狀態。這種方法還可擴展到目標移動時的動態影響區域，以及多個任務共享同一區域時的動態影響區域。這更好地反映了移動機器人的實際干預場景。這方面的工作將在第 3.5 節中報告。

問題 3：為了改進蜂群的管理，能否根據智能體的專業化程度，在一定程度上適合響應給定任務的概率匹配機制中，適當定義和制定每個智能體的專業化功能？

為了解決這個問題，可以利用基于概率的建模來完善用于實現單個智能體角色專業化的框架設計。建立這樣一種智能體行為的概率表征，可以形成一種可擴展的機制。后者支持自動化流程，能夠處理任務和專業化定義中的不確定性，并應對任務約束和智能體能力之間的不完美匹配。所提出的智能體選擇方案是根據任務識別的置信度和特定智能體滿足任務特定要求的概率來制定的。所提出的基于專業的任務分配方案旨在根據所識別的任務約束條件，計算蜂群中各個智能體的匹配適合度，即任務-智能體專業匹配概率。本框架的開發過程詳見第 4.3 和 4.4 節。

問題 4：提議的框架能否應用于實際系統？

為了證明所提方法的有效性及其在現實世界中的應用潛力，我們從兩個方面對其進行了測試。首先，在仿真中對所提出的框架進行驗證，以證明其有效性。第 5 章介紹了大量的模擬實驗。然后，作為案例研究介紹了擬議方法的潛在應用，同時詳細介紹了擬議框架在真實機器人平臺上的實施情況，以驗證和檢驗基于專業的任務分配方案在實現預期協調水平方面的性能。這項工作將在第 6 章中介紹。

圖 3.12 任務執行的先后順序：（a-c）影響區重疊，操作員選擇任務 1（紅色）為優先任務，這促使紅色機器人繼續擔任領導者，直到紅色任務完成；（d-f）第二優先任務（藍色）正在執行，藍色機器人轉為領導者位置；（g-h）蜂群恢復到影響區重疊外的搜索狀態，然后搜索其他任務（綠色，然后是紅色），由相應的領導者機器人執行。

在本項目中，我們從多個方面研究了無人機自組織網絡的通信和安全挑戰：i) 我們為特設無人機網絡開發了一種新的路由協議，以處理此類網絡的高度動態性。我們的研究表明，所提出的路由算法在流量成功率、吞吐量和流量完成時間方面都優于所有知名基準；ii) 我們研究了自組織無人機網絡的安全挑戰，并表明現有的基于預分配的密鑰管理協議容易受到合作攻擊。我們設計了一種基于區塊鏈的密鑰交換算法，以提高網絡抵御此類攻擊的能力。

人工智能是數字經濟的核心驅動力，AI 大模型是人工智能的新引擎。AI 大模型指通過在海量數據上進行預訓練，能夠適應多種下游任務的模型，具有強大的泛化能力、自監督學習功能和精度突破性能。其已經在自然語言處理、計算機視覺、氣象預報等多個領域取得了令人矚目的成果。大模型的發展是大勢所趨，未來將會助推數字經濟，為智能化升級帶來新范式。

近年來，隨著 ChatGPT 等生成式人工智能（AIGC）的突飛猛進，全球范圍內的經濟價值預計將達到數萬億美元。尤其在中國市場，生成式 AI 的應用規模有望在 2025 年突破 2000億元。這一巨大的潛力不僅吸引著業內領軍企業競相推出萬億、10 萬億參數量級別的大模型，而且對底層 GPU 支撐規模提出了更高的要求，達到了萬卡級別。然而，如何滿足如此龐大規模的訓練任務，對網絡的規模、性能、可靠性和穩定性等方面提出了前所未有的挑戰。

以 GPT3.5 為例，其訓練過程依賴于微軟專門建設的 AI 超算系統，由 1 萬個 V100 GPU 組成的高性能網絡集群，總計算力消耗約為 3640 PF-days。在這種情況下，尋求提供極致高性能網絡已成為人工智能領域的重要研究方向之一。

日前，針對AI大模型帶來的挑戰，中國移動聯合華為、中興、銳捷、思博倫、云脈芯聯、星云智聯、中科馭數、博通公司、是德科技、大禹智芯等十余家合作伙伴發布《面向AI大模型的智算中心網絡演進白皮書》。

本白皮書將從 AI 業務發展的歷程出發，深入研究大模型對網絡能力的需求，分析當前網絡與業務需求的差距，并探索網絡技術發展趨勢以彌補這一差距。我們希望，通過本白皮書的研究和分析，為未來面向 AI 大模型的智能計算中心網絡發展提供有益的參考和啟示。

盡管近年來深度學習取得了巨大進展，但訓練神經網絡所帶來的爆炸式經濟和環境成本正變得不可持續。為了解決這個問題，已經有大量關于算法高效深度學習的研究，這些研究旨在通過改變訓練程序的語義，而不是在硬件或實現級別上降低訓練成本。本文對該領域的研究進行了系統、全面的綜述。首先，我們將算法加速問題形式化，然后我們使用算法高效訓練的基本構建塊來開發分類。我們的分類強調了看似不同的方法的共性，并揭示了當前的研究差距。接下來，我們將介紹評估最佳實踐，以實現對加速技術的全面、公平和可靠的比較。為進一步幫助研究和應用，討論了訓練管道中的常見瓶頸(通過實驗說明)，并為它們提供分類緩解策略。最后，我們強調了一些尚未解決的研究挑戰，并提出了有希望的未來方向。 //arxiv.org/abs/2210.06640

在過去的幾年里，深度學習(DL)在廣泛的應用領域取得了顯著的進展，如蛋白質結構預測(AlphaFold [Jumper et al。2021])、文本到圖像合成(DL - e [Ramesh et al。2021])、文本生成(GPT-3 [Brown等人。2020a])等。實現這些性能提升的關鍵策略是將DL模型擴展到非常大的規模，并對它們進行大量數據的訓練。對于大多數應用程序，可訓練參數的數量至少每18至24個月翻一番——語言模型以4至8個月的翻倍時間領先(Sevilla and Villalobos 2021)。大規模人工智能模型的著名例子包括:用于視覺應用的Swin Transformer-V2 [Liu等人2022a]，用于語言建模的PaLM [Chowdhery等人2022]，用于內容推薦的波斯[Lian等人2021]，具有100萬億參數。

盡管擴大DL模型正在實現前所未有的進步，但訓練大型模型已經變得極其昂貴。例如，GPT-3訓練成本估計為165萬美元，使用谷歌v3 TPU[Lohn和Musser 2022]，且transformer 模型的低效/幼稚開發將產生相當于5輛汽車終生碳足跡的二氧化碳(CO2) [Strubell等人，2019]。值得關注的是，DL仍然沒有達到許多應用所要求的性能水平:例如，在現實世界中部署全自動駕駛汽車需要人類水平的性能，但還沒有達到。不斷增長的模型和數據規模以達到所需的性能將使當前的訓練策略在金融、環境和其他方面不可持續。事實上，根據目前的趨勢推斷，2026年最大的人工智能模型的訓練成本將超過美國的GDP總量(Lohn and Musser 2022)。此外，DL對計算的高度依賴引發了人們對財務資源有限的用戶(如學者、學生和研究人員(特別是來自新興經濟體的人)的邊緣化的擔憂[Ahmed and Wahed 2020]。我們將在附錄A中更詳細地討論這些關鍵問題。考慮到其計算負擔的不可持續增長，DL的進步需要更多的計算效率訓練方法。一個自然的方向是消除學習過程中的算法效率低下，以減少DL訓練的時間、成本、能量和碳足跡。這種算法高效的深度學習方法可以通過多種方式改變訓練過程，包括:改變數據或樣本呈現給模型的順序;調整模型的結構;改變優化算法。這些算法改進對于實現有效深度學習訓練所需計算負擔的估計下界至關重要，目前的做法導致的負擔大大超過了該下界[Thompson等人，2020]。

此外，這些算法增益與軟件和硬件加速技術相結合[Hernandez和Brown 2020]。因此，我們相信算法高效的邏輯學習提供了一個巨大的機會來增加邏輯學習的收益并降低其成本。雖然最近涌現的算法效率論文支持了這一觀點，但這些論文也表明，算法效率方法的研究和應用受到碎片化的阻礙。不同的指標被用來量化效率，這產生了不一致的加速方法的排名。評估是在狹窄或特征不佳的環境中執行的，這將導致不正確或過于寬泛的結論。在討論算法效率方法時，缺乏反映它們的廣度和關系的分類法，這使得人們很難理解如何遍歷加速環境，將不同的方法結合起來并開發新的方法。因此，本文的核心貢獻是組織算法效率文獻(通過受[Von Rueden等人2019]啟發的分類法和調研)，以及對影響報告和實現加速的實際問題的技術描述(通過評估和實踐指南)。我們的討論始終強調這兩個重點的關鍵交集:例如，算法效率方法是否會導致實際的加速確實取決于方法(通過我們的分類法可以理解)和計算平臺(通過我們的從業者指南可以理解)之間的交互。

我們的貢獻總結如下:

• 形式化加速:我們回顧DNN效率指標，然后形式化算法加速問題。
• 分類和調研:我們通過適用于3個培訓管道組成部分的5個加速行動(5Rs)對200多篇論文進行分類(見表1和表3)。分類有助于為從業者選擇方法，為讀者消化文獻，并為研究人員識別機會。
• 最佳評估實踐:我們識別了文獻中常見的評估陷阱，并相應地提出最佳評估實踐，以實現對各種加速技術的全面、公平和可靠的比較。
• 從業者指南:我們討論了影響加速方法有效性的計算平臺瓶頸。根據訓練管道中瓶頸的位置，提出適當的方法和緩解措施。

有了這些貢獻，我們希望改進算法效率的研究和應用，這是計算效率深度學習的關鍵部分，需要克服現有研究面臨的經濟、環境和包容相關的障礙。本文主要分為四個部分:第2節概述了DNN訓練和效率度量以及算法加速問題的形式化。第3節使用廣泛適用的加速方法的構建塊以及它們影響的訓練管道組件來開發我們的分類法。第4節根據我們的分類法對加速文獻進行了全面的分類，并討論了研究機會和挑戰。第5節和第6節分別討論了比較不同方法的最佳評估實踐和選擇合適的加速方法的實際建議。最后，第7節總結并提出了算法效率領域的開放問題。