亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

異構多智能體系統為解決農業、軍事、裝配和倉庫自動化等不同領域的復雜問題提供了可能，否則單個智能體是無法解決這些問題的。要有效部署異構多機器人團隊，研究必須解決不同抽象程度的四個問題：任務規劃（是什么）、運動規劃（如何）、任務分配（誰）和調度（何時）。這些問題高度相互依存，先前的工作已經證明，利用這些問題的單個解決方案之間的協同作用的系統可以提高多機器人協調的效率和效益。

本文研究了在多智能體組隊應用中使用基于特質的模型來表示單個智能體，以及如何利用基于特質的建模來實現更穩健、更高效的多智能體聯盟組建解決方案。具體來說，我們研究了如何在聯盟組建算法中使用這些技術來回答任務分配、調度、運動規劃和任務規劃這四個問題。

我們的研究表明，利用基于機器人和任務特質建模的算法可以在異構多機器人團隊中實現高效的協調，并且在時間進度、分配質量和計算效率方面優于現有方法。本論文的貢獻如下：

• 創建一個建模框架，使現代任務分配算法能夠推理動態特征。通過使用基于轉換的建模框架，我們創建了對以往基于特質的建模技術的擴展，以更好地推理智能體的特質如何隨時間變化。

• 為異構多機器人系統開發基于時間擴展特質的任務分配和路徑規劃統一框架。我們引入了一種基于搜索的方法，用于基于特質的時間擴展任務分配和運動規劃，命名為增量任務分配圖搜索（ITAGS）。

• 整合任務規劃、任務分配、調度和運動規劃的新型多機器人協調問題的形式化和解決方案。我們形式化了一類新的多機器人協調問題，該問題融合了這些問題中的每一個，并提出了一種解決方案（圖形遞歸同步任務分配、規劃和調度（GRSTAPS））。

• 為 ITAGS 的動態變體創建框架，該變體能夠進行基于特征的任務分配修復： 我們對 ITAGS 進行了擴展，使用基于特質的動態時間擴展任務分配算法，如果智能體的特質或任務要求在執行過程中發生變化，該算法可以修復任務分配。

• 創建一個主動學習框架，用于學習多智能體任務分配問題的特質要求： 由于理解一個聯盟的特質與該聯盟在特定任務中的表現之間的關系可能具有挑戰性，因此我們提出了一種主動學習框架來學習任務與特質之間的關系。此外，我們還提供了一種新的時間擴展任務分配算法，該算法能夠優化學習到的質量模型。

圖 2.1： 顯示各種多機器人協調問題交叉點的維恩圖。

現有的決策計算模型往往局限于特定的實驗設置。造成這種限制的主要原因是無法捕捉決策者對情況的不確定性。本文提出了一個計算框架，用于研究神經科學和心理學中不確定情況下的決策制定。框架主要側重于決策者對世界狀況的概率評估，即他們的 “信念”。具體來說，它基于部分可觀測馬爾可夫決策過程（POMDPs），結合貝葉斯推理和獎勵最大化來選擇行動。利用感知決策和社會決策方面的各種實驗數據，證明了基于信念的決策框架的可行性。框架解釋了感知決策實驗中決策者的實際表現與他們對實際表現的信念（即決策信心）之間的關系。它還說明了為什么在許多情況下這種評估會偏離現實。這種偏差通常被解釋為次優決策的證據，或選擇和信心的不同過程。我們的框架對這些解釋提出了挑戰，它表明，一個優化收益的規范貝葉斯決策者也會產生同樣的偏差。此外，在定量預測人類在社會決策任務中的行為方面，方法優于現有模型，并提供了對潛在過程的洞察。結果表明，在涉及大型群體的決策任務中，人類采用貝葉斯推理來模擬 “群體心理”，并對他人的決策做出預測。最后，將方法擴展到關于他人的多個推理層次（心智理論層次），并將服從作為群體決策的一種策略聯系起來。這個擴展框架可以解釋人類在各種集體群體決策任務中的行為，為大型群體中的合作與協調提供了新的理論。

圖 1.1： 基于信念的決策框架。智能體通過行動、觀察和獎勵與世界互動。智能體無法完全觀測到世界的狀態，只能根據觀測結果和智能體的內部世界模型，以概率方式表示世界的狀態。智能體的目標是根據當前狀態的概率分布來制定策略，即所謂的信念

如今，許多機器人系統都是遠程操作的，需要不間斷的連接和安全的任務規劃。這類系統常見于軍用無人機、搜救行動、采礦機器人、農業和環境監測等領域。不同的機器人系統可能采用不同的通信方式，如無線電網絡、可見光通信、衛星、紅外線、Wi-Fi 等。然而，在機器人需要相互連接的自主任務中，由于信號超出范圍或不可用，經常會出現通信受限的環境。此外，一些自動化項目（建筑施工、裝配線）無法保證不間斷的通信，因此需要一個安全的項目計劃，以優化碰撞風險、成本和工期。在本論文中，我們提出了四管齊下的方法來緩解上述問題： 1) 通信感知世界地圖；2) 使用視線（LoS）進行通信保護；3) 通信感知安全規劃；以及 4) 用于導航的多目標運動規劃。

首先，重點開發了一種通信感知世界地圖，它將傳統的世界模型與多機器人位置規劃相結合。我們提出的通信地圖可選擇一連串中間中繼車輛的最佳位置，以便最大限度地提高與遠程單元的通信質量。我們還提出了一種算法，當有多個遠程單元需要服務時，可以建立一棵最小阿伯累樹（min-Arborescence tree）。 其次，在通信被剝奪的環境中，我們利用視線（LoS）在移動機器人之間建立通信，控制它們的移動并向其他自主單元轉發信息。我們提出并研究了多機器人中繼網絡定位問題的復雜性，并提出了近似算法，通過重新定位一個或多個機器人來恢復基于可見度的連接。

第三，開發了一個框架，用于量化全自動機器人任務的安全得分，在這種任務中，人與機器人的共存可能會帶來碰撞風險。我們使用運動規劃算法分析了一系列備用任務計劃，以選擇最安全的計劃。

最后，為機器人開發了一種基于多目標優化的高效路徑規劃，以處理若干帕累托最優成本屬性。

圖 2.1：(a) 由三個機器人組成的鏈，它們將操作員的通信轉發給遠程單元；(b) 包含三個中繼器的最小生成樹，優化了操作員與三個單元之間的通信。

近年來，計算機視覺和機器學習系統有了顯著改善，這主要是基于深度學習系統的發展，從而在目標檢測任務上取得了令人印象深刻的性能。理解圖像內容則要困難得多。即使是簡單的情況，如 "握手"、"遛狗"、"打乒乓球 "或 "人們在等公交車"，也會帶來巨大的挑戰。每種情況都由共同的目標組成，但既不能作為單一實體進行可靠的檢測，也不能通過其各部分的簡單共同出現進行檢測。

這篇論文將描述一個用于進行視覺情境識別的新型系統，其目標是開發能夠展示與理解相關特性的機器學習系統。該系統被稱為 Situate，它能在給出情況描述和少量標注訓練集的情況下，學習目標外觀模型以及捕捉情況預期空間關系的概率模型。給定一張新圖片后，Situate 會利用其學習到的模型和一系列智能體對輸入內容進行主動搜索，以找到情況模型與圖片內容之間最一致的對應關系。每個智能體都會開發模型與輸入內容之間可能存在的對應關系，而 Situate 會為智能體分配計算資源，以便盡早開發出有希望的解決方案，但也不會忽略其他對應關系。

將把 Situate 與更傳統的計算機視覺方法（該方法依賴于檢測情境中的組成目標）以及基于 "場景圖 "的相關圖像檢索系統進行比較。將在情境識別任務和圖像檢索中對每種方法進行評估。結果表明了圖像內容和該內容模型之間的反饋系統的價值。

現在，模擬被更頻繁地用于對現實世界或擬議系統進行實驗，以了解系統行為或評估改進策略。隨著時間的推移，大型企業越來越需要開發精密復雜的系統來與同行業競爭。而且，這些企業之間的聯系越來越緊密，就像一個網絡化的企業。這就進一步提高了開發能與其他企業互聯的越來越復雜的模擬的要求。在這方面，分布式仿真已廣泛應用于軍事領域，但在其他領域并沒有得到普及。這背后的原因是，在分布式仿真之間建立通信協議需要專業技術知識。科研行業一直在努力縮小這一差距，其中最重要的工作是制定高級架構（HLA）標準，為分布式仿真模型之間提供通用通信協議。

建模與仿真（M&S）行業也為開發人員提供了大量有關獨立仿真建模的文獻。在這種情況下，概念建模的重點是模型的準確性和效率，而不是互操作性。本研究也對此進行了詳細討論。直到最近，從業人員也一直在努力尋找對底層技術的支持。但隨著標準運行時基礎設施（RTI）和仿真開發平臺支持的引入，這一差距已經縮小。

HLA 標準承諾解決分布式仿真模型之間的互操作性問題，但只能提供語法層面的標準指南。因此，仿真互操作性標準組織（SISO）繼續開展研究，確定了從業人員在語義層面面臨的互操作性問題，并起草了一份互操作性問題清單。然而，已發布的 SISO-STD-006-2010 標準只指出了問題，卻沒有提供語義解決方案。

本研究的主要貢獻是提出了分布式仿真互操作性（DSI）框架，為《商用現成仿真包互操作性參考模型》（SISO-STD-006-2010）中列出的互操作性問題確定了語義解決方案。本研究建議將這些互操作性語義解決方案納入 HLA 對象建模模板規范。這樣做將有助于行業從業人員實現 HLA 的互操作性承諾，并使分布式仿真模型更具可重用性和可組合性。

社會技術系統是人類和算法的集合，它們在分散控制器的部分監督下進行交互。這些系統通常顯示出復雜的動態變化，并以其獨特的突發行為為特征。在這項工作中，我們描述、分析和模擬了三類不同的社會技術系統：金融市場、社交媒體平臺和選舉。雖然我們的工作在主題內容上多種多樣，但通過研究社會系統中由進化和適應驅動的變化以及開發用于推斷這種變化的方法，我們的工作是統一的。

首先在基于智能體的模型（ABM）中分析了金融市場微觀結構的進化動態。ABM 的匹配引擎實現了頻繁的批量拍賣，這是最近開發的一種價格發現機制。我們使用各種選擇機制讓智能體承受進化壓力，證明基于量化的選擇機制與較低的全市場波動性相關。然后，我們在 ABM 中進化深度神經網絡，并證明精英個體在真實外匯數據的回溯測試中是有利可圖的，盡管在進化過程中它們的適應性從未在任何真實金融數據上進行過評估。

然后，轉向從社會技術系統生成的大型時間序列面板中提取多時間尺度的功能信號。我們引入了離散小震子變換（DST）和相關的相似性搜索算法--小震子變換和排序算法（STAR）來完成這項任務。我們通過經驗證明了 STAR 算法對定量功能參數化的不變性，并提供了使用案例。在特征提取任務中，STAR 算法與 Twitter 的異常檢測算法進行了比較。最后，我們使用 STAR 算法，利用 Twitter 詞語使用時間序列面板，自動構建了社會重大事件的敘事時間軸。

最后，模擬了試圖干涉他國選舉的外國情報機構（紅隊）與選舉所在國國內情報機構（藍隊）之間的戰略互動。我們推導出紅方和藍方的亞博弈完全納什均衡策略，并展示了當任何一方對干涉事件的結果持 "全有或全無 "態度時，軍備競賽干涉動態的出現。然后，將 2016 年美國總統大選的數據與本文模型進行了對比，在這次大選中，俄羅斯軍事情報機構進行了干預。本文了證明，在研究的大部分時間里，本文了模型捕捉到了這種干預的定性動態。

近期在基礎模型上的發展，如大型語言模型（LLMs）和視覺-語言模型（VLMs），它們基于大量數據訓練，促進了跨不同任務和模態的靈活應用。它們的影響覆蓋了多個領域，包括健康護理、教育和機器人技術。本文提供了基礎模型在現實世界機器人應用中的概覽，主要強調在現有機器人系統中替換特定組件。總結包括了基礎模型中輸入輸出關系的視角，以及它們在機器人技術領域內的感知、運動規劃和控制中的作用。本文最后討論了實際機器人應用面臨的未來挑戰和含義。

近期在人工智能領域的進步顯著擴展了機器人的操作能力，使它們能夠承擔多種多樣的活動【1-5】。雖然最初機器人的部署主要限于大規模生產環境【6-11】，但現在工業機器人的適用性已經擴展到小批量和高多樣性生產領域，包括室內空間和災難現場【12-15】。這種擴散不僅僅限于環境多樣性的增加；它還擴展到了任務范圍的擴大，包括日常活動，如整理【16-18】、洗滌【19,20】、擦拭【21,22】和烹飪【23,24】。機器學習為滿足這些機器人系統的需求提供了一種方式。然而，僅僅在特定領域數據上訓練每個模型對于多樣的機器人、任務和環境來說是不夠的。越來越多地需要開發可以使用單一的、預訓練的系統或模塊應用于各種機體、任務和環境的機器人。 解決這一挑戰的一個方案是引入基礎模型【25】。基礎模型是在大量數據上訓練的模型，可以通過上下文學習、微調或甚至零樣本的方式輕松應用于廣泛的下游任務【26,27】。顯著的例子包括大型語言模型（LLMs）如GPT【27】和視覺-語言模型（VLMs）如CLIP【28】，其中語言是結合各種類型模態的粘合劑。這些基礎模型的影響是顯著的，有幾篇綜述文章討論了它們在不同領域的影響【29-32】。Wang等人【29】和Zeng等人【30】進行了關于大型語言模型在機器人學中應用的綜述，而Firoozi等人【31】和Hu等人【32】進行了更廣泛的綜述，關注于基礎模型在機器人學中的應用。在本文中，我們總結了基礎模型對現實世界機器人的適用性，旨在加速它們在實際機器人應用中的采用。與其他綜述文章相比，我們提供了如何從基礎模型的輸入輸出關系以及機器人學中的感知、運動規劃和控制的角度，用基礎模型替換現有機器人系統中的特定組件的總結。 本研究的結構如圖1所示。在第2節中，我們將描述基礎模型本身。特別地，我們將根據它們使用的模態類型，例如視覺【33,34】、語言【35-41】等，以及它們可以應用的下游任務類型進行分類。在第3節中，我們將基于當前應用【2,3,42】描述如何將基礎模型應用于機器人學。一般來說，機器人需要配備感知模塊、規劃模塊和控制模塊。從這個角度，我們分類了可以將基礎模型應用于現實世界機器人學的方式，包括低級感知、高級感知、高級規劃和低級規劃。此外，我們還將解釋在訓練直接連接低級感知和低級規劃的映射時，對機器人學的數據增強。在第4節中，我們將描述包括機器人實體在內的基礎模型，即機器人基礎模型，包括關于如何就模型架構、數據集和學習目標制作這些機器人基礎模型的討論。在第5節中，我們將描述使用基礎模型的機器人、任務和環境。我們將任務分類為導航、操縱、帶有操縱的導航、運動和交流。最后，我們將討論未來的挑戰并提出我們的結論。

“基礎模型”一詞最初在【25】中被引入。在這項綜述中，我們將簡單描述在機器人應用中使用的基礎模型的類型，以及下游任務，將關于基礎模型本身的討論推遲到【25】。在2012年，深度學習因ILSVRC-2012比賽的獲勝模型而獲得機器學習社區的主流關注【43】。2017年，由【44】介紹的Transformer模型，促進了自然語言處理（NLP）【45】和計算機視覺【46】領域的重大進步。到2021年，一個經過大量數據訓練、能夠輕松應用于廣泛下游任務的模型被稱為“基礎模型”【25】。基礎模型的特點主要有三個：

上下文學習 * 規模定律 * 同質化

上下文學習使得僅用幾個例子就能完成新任務成為可能，無需重新訓練或微調。規模定律允許隨著數據、計算資源和模型大小的增加而持續提升性能。同質化允許某些基礎模型架構以統一的方式處理多種模態。 在這一章中，我們從在機器人學中的適用性的角度對基礎模型進行分類。機器人利用基礎模型的最關鍵標準是選擇使用哪些模態。本章從語言、視覺、音頻、3D表示和各種其他模態的角度討論了基礎模型的類型和它們可以執行的下游任務。在利用每種模態的背景下，我們進一步從網絡輸入和輸出的角度對基礎模型進行分類。概覽顯示在圖2中。請注意，我們的目標不是在這里全面覆蓋基礎模型；我們的重點仍然在于解決模態差異和基礎模型的分類。

通常，機器人的行為由感知、規劃和控制組成。在本研究中，我們將感知分為兩個類別：低級感知和高級感知。同時，我們將規劃和控制分別稱為高級規劃和低級規劃。加上對學習這些組成部分的數據增強，我們將機器人對基礎模型的利用分為以下五個類別。 * 低級感知 * 高級感知 * 高級規劃 * 低級規劃 * 數據增強

這些類別之間的關系如圖3所示。用于低級感知的基礎模型包括在圖像或3D表示中的語義分割和邊界框提取，以及在各種模態中的特征提取。用于高級感知的基礎模型涉及將從低級感知獲得的結果轉換和利用成如地圖、獎勵和運動約束等形式。用于高級規劃的基礎模型執行更高級別的抽象任務規劃，不包括直接控制。用于低級規劃的基礎模型執行較低級別的運動控制，包括關節和末端執行器控制。用于數據增強的基礎模型在執行連接低級感知和低級規劃的學習時，通過數據增強增強魯棒性。 在實踐中，通過組合這五種利用方法創建了各種應用。主要分為四種類型，如圖4所示。 (i) 進行低級感知，然后用高級規劃規劃行為。 (ii) 通過低級感知和高級感知提取獎勵和運動約束，并用于強化學習和軌跡優化。 (iii) 通過低級感知和高級感知生成地圖、場景圖等，并將它們作為任務規劃的基礎。 (iv) 使用數據增強，穩健地進行直接關聯低級感知的特征提取和控制輸入的端到端學習。 值得注意的是，也有一些研究方法不適用于這一框架。 從這些角度出發，我們選取了幾篇具有代表性的論文并在表1中進行了總結。

長期目標

在決策或推理網絡中進行適當的推理，需要指揮官（融合中心）對每個下屬的輸入賦予相對權重。最近的工作解決了在復雜網絡中估計智能體行為的問題，其中社會網絡是一個突出的例子。這些工作在各種指揮和控制領域具有相當大的實際意義。然而，這些工作可能受限于理想化假設：指揮官（融合中心）擁有所有下屬歷史全部信息，并且可以假設這些歷史信息之間具有條件統計獨立性。在擬議的項目中，我們打算探索更普遍的情況：依賴性傳感器、（可能的）依賴性的未知結構、缺失的數據和下屬身份被掩蓋/摻雜/完全缺失。對于這樣的動態融合推理問題，我們建議在一些方向上擴展成果：探索數據源之間的依賴性（物理接近或 "群體思維"），在推理任務和量化不一定匹配的情況下，采用有用的通信策略，甚至在每個測量源的身份未知的情況下，采用無標簽的方式--這是數據關聯問題的一種形式。

我們還認識到，對動態情況的推斷是關鍵目標所在。考慮到一個涉及測量和物理 "目標 "的傳統框架，這是一個熟悉的跟蹤問題。但是，來自目標跟蹤和多傳感器數據關聯的技術能否應用于提取非物理狀態（物理狀態如雷達觀察到的飛機）？一個例子可能是恐怖主義威脅或作戰計劃--這些都是通過情報報告和遙測等測量手段從多個來源觀察到的，甚至可能被認為包含了新聞或金融交易等民用來源。這些都不是標準數據，這里所關注的動態系統也不是通常的運動學系統。盡管如此，我們注意到與傳統的目標追蹤有很多共同點（因此也有機會應用成熟的和新興的工具）：可能有多個 "目標"，有雜波，有可以通過統計學建模的行為。對于這種動態系統的融合推理，我們的目標是提取不尋常的動態模式，這些模式正在演變，值得密切關注。我們特別建議通過將雜波建模為類似活動的豐富集合，并將現代多傳感器數據關聯技術應用于這項任務，來提取特征（身份）信息。

目標

研究的重點是在具有融合觀測的動態系統中進行可靠推理。

方法

1.決策人身份不明。在作戰情況下，融合中心（指揮官）很可能從下屬那里收到無序的傳感器報告：他們的身份可能是混合的，甚至完全沒有。這種情況在 "大數據 "應用中可能是一個問題，在這種情況下，數據血統可能會丟失或由于存儲的原因被丟棄。前一種情況對任務1提出了一個有趣的轉折：身份信息有很強的先驗性，但必須推斷出身份錯誤的位置；建議使用EM算法。然而，這可能會使所有的身份信息都丟。在這種情況下，提出了類型的方法來完成對局部（無標簽）信念水平和正在進行的最佳決策的聯合推斷。

2.動態系統融合推理的操作點。在以前的支持下，我們已經探索了動態事件的提取：我們已經開發了一個合理的隱馬爾科夫模型，學會了提取（身份）特征，有一個多伯努利過濾器啟發的提取方法 - 甚至提供了一些理論分析。作為擬議工作的一部分，將以兩種方式進行擴展。首先，打算將測量結果作為一個融合的數據流，這些數據來自必須被估計的未知可信度的來源。第二，每個這樣的信息源必須被假定為雜亂無章的 "環境 "事件（如一個家庭去度假的財務和旅行足跡），這些事件雖然是良性的，可能也不復雜，但卻是動態的，在某種意義上與所尋求的威脅類似。這些必須被建模（從數據中）和抑制（由多目標追蹤器）。

3.數據融合中的身份不確定性。當數據要從多個來源融合時，當這些數據指的是多個真相對象時，一個關鍵的問題是要確定一個傳感器的哪些數據與另一個傳感器的哪些數據相匹配："數據關聯 "問題。實際上，這種融合的手段--甚至關聯過程的好方法--都是相當知名的。缺少的是對所做關聯的質量的理解。我們試圖提供這一點，并且我們打算探索傳感器偏差和定位的影響。

4.具有極端通信約束的傳感器網絡。考慮由位置未知、位置受漂移和擴散影響的傳感器網絡進行推理--一個泊松場。此外，假設在這樣的網絡中，傳感器雖然知道自己的身份和其他相關的數據，但為了保護帶寬，選擇不向融合中心傳輸這些數據。可以做什么？又會失去什么？我們研究這些問題，以及評估身份與觀察的作用（在信息論意義上）。也就是說，假設對兩個帶寬相等的網絡進行比較；一個有n個傳感器，只傳輸觀察；另一個有n/2個傳感器，同時傳輸數據和身份。哪一個更合適，什么時候更合適？

5.追蹤COVID-19的流行病狀況。誠然，流行病學并不在擬議研究的直接范圍內，但考慮到所代表的技能以及在目前的健康緊急情況下對這些技能的迫切需要，投機取巧似乎是合理的。通過美國和意大利研究人員組成的聯合小組，我們已經證明，我們可以從當局提供的每日--可能是不確定的--公開信息中可靠地估計和預測感染的演變，例如，每日感染者和康復者的數量。當應用于意大利倫巴第地區和美國的真實數據時，所提出的方法能夠估計感染和恢復參數，并能很準確地跟蹤和預測流行病學曲線。我們目前正在將我們的方法擴展到數據分割、變化檢測（如感染人數的增加/減少）和區域聚類。

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

機器學習(ML)最近的快速進展提出了一些科學問題，挑戰了該領域長期存在的教條。最重要的謎題之一是過度參數化模型的良好經驗泛化。過度參數化的模型對于訓練數據集的大小來說過于復雜，這導致它們完美地擬合(即插值)訓練數據，而訓練數據通常是有噪聲的。這種對噪聲數據的插值傳統上與有害的過擬合有關，但最近觀察到，從簡單的線性模型到深度神經網絡的各種插值模型在新測試數據上都能很好地泛化。事實上，最近發現的雙下降現象表明，在測試性能上，高度過度參數化的模型往往比最好的欠參數化模型更好。理解這種過度參數化的學習需要新的理論和基礎的實證研究，即使是最簡單的線性模型。這種理解的基礎已經在最近對過度參數化線性回歸和相關統計學習任務的分析中奠定，這導致了雙下降的精確分析特征。本文簡要概述了這一新興的過度參數化ML理論(以下簡稱為TOPML)，并從統計信號處理的角度解釋了這些最新發現。我們強調將TOPML研究領域定義為現代ML理論的一個子領域的獨特方面，并概述了仍然存在的有趣的未決問題。

//www.zhuanzhi.ai/paper/182ad6c4b994aa517d10319504e9bb3a

引言

深度學習技術已經徹底改變了許多工程和科學問題的解決方式，使數據驅動方法成為實踐成功的主要選擇。當前的深度學習方法是經典機器學習(ML)設置的極限開發版本，以前這些設置受到有限的計算資源和訓練數據可用性不足的限制。目前已建立的實踐是從一組訓練示例中學習高度復雜的深度神經網絡(DNN)，這些示例雖然本身很大，但相對于DNN中的參數數量來說相當小。雖然這種過度參數化的DNN在ML實踐中是最先進的，但這種實際成功的根本原因仍不清楚。特別神秘的是兩個經驗觀察結果: 1) 模型中添加更多參數的明顯益處(在泛化方面)，2) 這些模型即使完美地擬合了噪聲訓練數據，也能很好地泛化。這些觀察結果在現代ML的不同結構中都得到了體現——當它們首次被用于復雜的、最先進的DNN時(Neyshabur et al., 2014; Zhang et al., 2017))，它們已經在更簡單的模型家族中出土，包括寬神經網絡、核方法，甚至線性模型(Belkin et al., 2018b; Spigler et al., 2019; Geiger et al., 2020; Belkin et al., 2019a)。

在本文中，我們綜述了最近發展起來的過度參數化機器學習理論(簡稱TOPML)，該理論建立了與訓練數據插值(即完美擬合)相關的現象相關的基本數學原理。我們很快將提供一個過度參數化ML的正式定義，但在這里描述一些模型必須滿足的顯著屬性，以合格為過度參數化。首先，這樣的模型必須是高度復雜的，因為它的獨立可調參數的數量要遠遠高于訓練數據集中的示例數量。其次，這樣的模型絕不能以任何方式被明確地規范化。DNN是過度參數化模型的常見實例，這些模型通常沒有明確的正則化訓練(參見，例如，Neyshabur et al., 2014; Zhang et al., 2017)。這種過度參數化和缺乏顯式正則化的組合產生了一個可插值訓練示例的學習模型，因此在任何訓練數據集上都實現了零訓練誤差。訓練數據通常被認為是來自底層數據類(即噪聲數據模型)的噪聲實現。因此，插值模型完美地擬合了基礎數據和訓練示例中的噪聲。傳統的統計學習總是將噪聲的完美擬合與較差的泛化性能聯系在一起(例如，Friedman et al., 2001, p. 194);因此，值得注意的是，這些插值解決方案通常能很好地泛化到訓練數據集以外的新測試數據。

在本文中，我們回顧了TOPML研究的新興領域，主要關注在過去幾年發展的基本原理。與最近的其他綜述相比(Bartlett et al., 2021; Belkin, 2021)，我們從更基本的信號處理角度來闡明這些原則。形式上，我們將TOPML研究領域定義為ML理論的子領域，其中1. 明確考慮訓練數據的精確或近似插值 2. 相對于訓練數據集的大小，學習模型的復雜性較高。

本文組織如下。在第2節中，我們介紹了過度參數化學習中插值解的基礎知識，作為一個機器學習領域，它超出了經典偏方差權衡的范圍。在第3節中，我們概述了最近關于過度參數化回歸的結果。在這里，我們從信號處理的角度直觀地解釋了過度參數化學習的基本原理。在第4節中，我們回顧了關于過度參數化分類的最新發現。在第5節中，我們概述了最近關于過度參數化子空間學習的工作。在第6節中，我們考察了最近關于回歸和分類以外的過度參數化學習問題的研究。在第7節中，我們討論了過度參數化ML理論中的主要開放問題。