亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

普渡大學團隊的提案只針對技術領域（TA）1，該領域側重于使用機器學習模型檢測社會工程信息。普渡大學團隊加入了由伯克利大學和密歇根大學領導的團隊，組成了學習自動抵御社會工程（LASER）團隊。普渡團隊開發了針對社會工程電子郵件的分類模型訓練技術，并參與了模擬運行和評估。共開發了三個模型。兩個模型分析主題和正文中的文本。一個詞頻-反向文檔頻率（TF-IDF）模型使用標準的詞頻信息。第二個模型從文本中提取動機特征，以識別信息作者的意圖（如獲取信息、訪問社交網絡）。第三個模型是知識和圖模型，從發送者和接收者信息中提取相關特征。集合模型匯總了三個模型的輸出結果以進行預測，由邏輯回歸模型和神經網絡（NN）模型組成。該團隊對不同的模型、訓練技術及其對準確性的影響進行了廣泛的探索。

該項目是為了支持美國國防部高級研究計劃局（DARPA）的 "開放世界新奇事物的人工智能與學習科學"（SAIL-ON）計劃。在第二階段基期工作中，我們推進了第一階段 TALONS 框架的理論和實施，并收集了智能體在新奇事物生成器生成的新奇事物上的基線性能的初步實證結果。在第二階段的選擇階段，我們將基礎階段的工作擴展到更廣泛的新奇事物生成和實施形式。

這項工作的主要成果包括：完成了新奇事物生成器的開發；對來自 3 個不同 SAIL-ON TA1 團隊的新奇事物進行了性能分析；開發了自動且可最大程度減少人為偏差的新奇事物生成與實施流程；將我們的新奇事物生成流程應用于 Monopoly、Vizdoom 和 Blocksworld 領域，從而證明我們的新奇事物生成器與領域無關；以及為 SAIL-ON 計劃提供支持。下面的項目總結和后續報告將更詳細地介紹這些成就。

項目總結

目前最先進的人工智能可以在已知已知甚至未知的情況下穩健運行。然而，人工智能仍無法可靠地檢測、描述和適應開放世界中的新奇事物。隨著研究界不斷努力實現先進的自主性，我們需要有科學依據的方法來評估人工智能體在開放世界環境中的表現。

PacMar Technologies（PMT）和 Parallax 高級研究公司開發了一套獨立于領域的理論、原則性技術和軟件工具，用于生成、描述和評估新穎性。這些理論和技術涵蓋了與領域無關的新穎性。在合同基期內，我們開發了一個測試平臺，用于評估智能體在自動駕駛汽車領域對新奇事物的反應性能，我們還在南加州大學 SAIL-ON 團隊提供的大富翁領域中實施了由我們的軟件工具自動生成的新奇事物。

我們的新奇事物生成器方法使用原則性技術自動生成新奇場景。這些場景被加載到模擬環境中，與給定的第三方人工智能體對接，以收集該智能體的性能數據。然后評估智能體在各種不同情況下處理各類新奇事物的能力。

我們將新奇定義為環境中的變化。簡而言之，變化可以是過渡函數的變化，也可以是狀態空間的變化。我們的方法有能力在過渡函數（包括行動和事件）、狀態空間定義和觀察函數中生成新穎性。精確生成新穎性的計算方法可分為兩種類型的轉換，其方式與創造性系統框架（Wiggins，2006 年）一致。我們方法的關鍵在于從八個維度對新穎性進行表征，從而支持將情景生成的重點放在可能挑戰智能體魯棒性的情況上。

我們的方法目標如下
 1.為新奇性的特征描述奠定科學基礎。 2.開發生成可用于評估智能體的新情景的技術。 3.確定這些技術的可行性及其在各領域的適用性。

本報告旨在清晰地描述我們的方法，包括新穎性生成、模擬和評估的方法。將我們的方法應用于 CARLA 的自動駕駛汽車領域、Monopoly、VizDoom 和海洋領域，有助于進一步發展理論和測試平臺軟件。最后，我們對本報告進行了總結，并提出了進一步研究的思考和啟示。

在第一階段的工作中，我們開發了一個基于新穎性多維表征的新穎情景生成框架。我們正式規定了這一多維表征、收集受測智能體數據的指標，以及評估智能體對不同類型新穎性的魯棒性的方法。在使用轉換生成新穎性的過程中，我們定義了 24 個函數簽名，并計算了應用這些簽名生成新穎性的上限復雜度。我們的研究表明，根據我們對新穎性的多維表征，使用這兩種類型的變換來改變場景生成，我們能夠顯著減少新穎場景的空間。為了支持新穎性的精確生成，我們構思了 TALONS 模擬器抽象語言（T-SAL）來描述環境和這些環境中的各個場景。我們利用這些概念來支持第三方智能體對新奇事物的魯棒性評估。

在第二階段基期工作中，我們推進了 TALONS 框架的理論和實施，并收集了智能體在新奇事物生成器生成的新奇事物上的基線性能的初步實證結果。我們制作了三個源代碼庫，詳見基礎階段最終報告，其中包含以下內容的實現：(1) TSAL 語言；(2) 新穎性生成器（實現 R 變換）；(3) 使用 CARLA 自動駕駛汽車模擬器的評估框架。從理論角度來看，我們利用第一階段工作中開發的新穎性維度理論對新穎性進行了初步分析研究，并正式定義了 R 變換，然后利用這些定義正式定義了新穎性層次結構級別。

我們在第二階段選擇期內做出的獨特貢獻包括以下內容：

• 提供更新的 TSAL 解釋器 - 基于 python 的庫，可將 TSAL 語言文檔轉換為 python 類實例。其功能包括讀取、寫入和修改 TSAL 語言文檔。在選擇期內，我們為 TSAL 問題文件文檔解析組件添加了目標表示。
• 修訂了 T-SAL 規范定義。
• 完成了新穎性生成器的開發--這是一個基于 python 的庫，使用 R 變換和 T 變換生成新的 TSAL 領域和問題文件。功能包括
  • 用戶可以選擇要考慮的 R 變換，從而集中搜索特定類型的新穎性。
  • 初始 T 變換包括生成隨機情景和從種子情景生成情景，種子情景具有可選規格，可防止某些謂詞類型在新情景中發生變化。
  • 我們實現了與領域無關的過濾功能，以確定新穎性是否相關--如果不處理新穎性，智能體將會看到性能降低。
• R 變換的正式定義
• T 變換的正式定義
• 更新了大富翁領域的 TSAL 領域文件，并為 Vizdoom 領域、Blocksworld 領域和一個海事領域創建了 TSAL 領域文件。
• 在 Monopoly、Vizdoom 和 Blocksworld 域中進行了評估，以完善新穎性生成器的操作，并證明它可用于多個域。
• 為 Blocksworld 領域添加了 T 變換情景生成器示例
• 使用我們的新穎性維度對來自 SAIL-ON TA1 團隊（WSU、UTD 和 ISI）的新穎性進行了分析。
• 我們提供了嚴格定義的 SAIL-ON 創新水平邏輯定義。這些定義可用于檢驗新穎性是否屬于某一特定級別。
• 正式定義了發現有價值新奇事物的三個條件，我們將這些條件稱為 "可學性條件"，因為它們反映了智能體是否有望 "學會 "一個新奇事物：相關性、可注意性、可控性。
• 我們創建了一個 "人在回路中 "的流程，開發人員可以使用我們的新奇事物生成器在其他模擬器中創建新奇事物，這些模擬器是在 TSAL 之外定義的，例如 Monopoly 和 Vizdoom。
• 在整個執行期間出版了 4 份討論我們工作的出版物
• 支持第 36 個月和第 42 個月的 SAIL-On 會議，包括在這兩次會議上介紹我們的工作。

認知與神經人體工程學/神經工效學（CaN）協同技術聯盟（CTA）是一項為期 10 年的神經科學基礎科學研究和技術過渡計劃。該計劃由美國陸軍作戰能力發展司令部陸軍研究實驗室于 2010 年成立，是政府、行業和學術合作伙伴之間的一項合作計劃。在其任期內，CaN CTA 在神經科學、神經技術和相關領域取得了重大進展。CaN CTA 的工作影響了許多利用神經技術增強下一代士兵系統的陸軍項目。本報告對該計劃的愿景、方法和影響進行了高層次的概述，并詳細介紹了成員組織取得的科學進步和技術成果。

報告簡介

認知與神經工效學（CaN）合作技術聯盟（CTA）一直是美國陸軍在神經科學領域的旗艦基礎科學研究和技術過渡計劃。在過去的幾十年里，神經科學的進步極大地推動了我們對大腦功能如何支撐行為的認識，為理解我們如何感知、認知和與世界互動奠定了現代基礎。這些認識已經并將繼續帶來革命性的進步，促進技術解決方案的發展，以滿足軍隊的需求。

CaN CTA 于 2010 年 5 月啟動，匯集了世界一流的研究人員、經驗豐富的行業合作伙伴以及美國陸軍作戰能力發展司令部陸軍研究實驗室最優秀的科學家，以利用全球在神經科學研發方面的巨大投資。CaN CTA 的科學研究和開發計劃旨在推進和加速基于神經科學的方法的成熟，以了解士兵在作戰環境中的表現，并增強下一代自適應士兵系統。

本報告總結并重點介紹了整個聯盟在過去 10 年中取得的成就。更多信息，包括視頻演示和軟件工具，請訪問發展司令部陸軍研究實驗室 CaN CTA 網站。同樣，本報告的第 13 部分還包含了一份具有代表性的清單，其中列出了 CaN CTA 合作研究發表的 50 篇具有重大影響的論文。

1.1 組織

現代神經科學研究是一項真正的多學科研究。在全球領先的研究機構中，神經科學研究由來自不同領域的科學家進行，包括但不限于神經科學和神經生物學、遺傳學、心理學、運動學、統計學、應用數學、物理學、計算機科學和工程學。這些研究工作有賴于作為 ARL CTA 核心的合作關系。CaN CTA 的合作機構從臺灣到德國，真正體現了 CTA 的理念，匯聚了來自全球各地世界級研究機構的頂尖學者。

在行業合作伙伴 DCS 公司（DCS）的領導下，CaN CTA 聯合會的成員包括學術研究界公認的領軍機構。在其 10 年的執行過程中，CaN CTA 聯盟及其合作伙伴包括以下機構： 哥倫比亞大學、卡內基梅隆大學 (CMU)、加州大學圣地亞哥分校 (UCSD)、加州大學圣巴巴拉分校 (UCSB)、德克薩斯大學圣安東尼奧分校 (UTSA)、佛羅里達大學 (UFL)、密歇根大學 (UMI)、馬里蘭大學巴爾的摩郡分校 (UMBC)、 賓夕法尼亞大學 (UPenn)、約翰霍普金斯大學 (JHU)、臺灣國立交通大學 (NCTU)、澳大利亞悉尼科技大學 (UTS)、德國奧斯納布呂克大學 (UOs)、西班牙龐培法布拉大學 (UPF) 和 Syntrogi（現為 Intheon）。

1.2 技術轉移

即使進入該計劃的最后一年，CaN CTA 仍在繼續克服現實世界中神經成像和自然環境中人類表現建模所面臨的各種挑戰，這些挑戰可用于促進廣泛的神經技術。在這些努力中，有些工具和概念已過渡到 CTA 內外的學術、政府和行業合作伙伴。以下是一些例子：

• CTA 合作伙伴開發了新穎的機器學習 (ML) 方法，以前所未有的方式探索和利用神經生理學數據。CTA 合作伙伴展示了人工智能的概念驗證，該人工智能利用在多個不同數據集合中訓練的分類模型，在非結構化環境中檢測任務相關物體的感知，而無需特定用戶校準。

• CTA 合作伙伴已將干電極腦電圖 (EEG) 的創新解決方案原型提供給 ARL、其他學術實驗室和行業。ARL 已對無線干電極系統進行了測試，并將其集成到多個應用研究項目的儀器中。此外，一些商業干電極腦電圖產品也利用了這項研究，并被多個教育機構采用。這些機構包括加州大學圣地亞哥分校、馬來西亞大學、英屬哥倫比亞大學和韓國科學技術院。此外，一些干電極產品和評估方法已過渡到大型和小型行業利益相關者的實驗室，如日產汽車公司（日本）、NeuroRex 公司（美國）、Alchemy 公司（臺灣）、Neurocare 公司（新加坡）、Google X 公司（美國）和英特爾公司（美國）。

• 實驗室流層（LSL）是一種多視角數據采集（DAQ）和同步軟件骨干，目前正被神經行為系統公司采用，以集成到商業刺激演示工具 Presentation 中。此外，LSL 已成為 ARL 多個項目的關鍵集成和同步技術，包括下一代戰車和士兵致命性跨職能團隊支持的大規模研究工作。重要的是，全球越來越多的學術和工業實驗室正在使用 LSL，以創建一個統一的人類傳感生態系統。

• CTA 合作伙伴還開發了一系列其他軟件工具，用于對大腦功能進行無創調查（使用腦電圖和其他模式）。其中許多工具被納入更大的工具套件，如 BCILAB（即腦機接口 [BCI] 平臺）和 EEGLAB。

• CaN CTA 還在政府實驗室內外尋求技術轉讓和集成目標。特別是，我們開展了轉化研究，以實現未來汽車環境中人類自主集成的進步。我們通過在真實道路上對真實汽車進行調查，同時增加真實世界的社會效應，推進了我們的駕駛研究。與此同時，我們還與一個應用研究項目進行了協調，該項目正在調查駕駛員與現代駕駛輔助技術互動時的大腦過程。

• CaN CTA 的努力促成了一項新的應用研究計劃，該計劃將利用上述幾項技術，完善并驗證一個新概念，即通過對多人視覺感知相關信號的機會性感應，提高騎兵和下車士兵的戰術態勢感知能力。除其他計算技術外，該計劃還利用在先前數據集上訓練的深度學習方法來實現免校準操作，以協同改進計算機視覺算法（給定人類標記數據）。這項技術的目標是在不增加士兵認知負擔的情況下，通過人與自主系統的無縫集成來提高部隊效率。

1.3 愿景

認知神經科學的最新進展極大地促進了我們對大腦功能如何影響行為表現的了解。然而，迄今為止，包括認知神經科學在內的絕大多數人類科學研究工作所采用的方法論和分析方法都存在固有的局限性。CaN CTA指出的技術障礙概括了這些局限性，這些局限性導致人們只能了解人腦如何在高度受控的實驗室環境中執行高度受限的任務。反過來，這也意味著以往的系統開發方式和技術進步方法無法充分考慮士兵操作員的神經認知能力和局限性。

技術障礙：

• 實驗設計僅限于高度受控和貧乏的刺激-反應范式和環境。

• 缺乏便攜的、用戶可接受的、微創的、強大的大腦和身體動態監測系統。

• 未能足夠詳細地記錄大腦控制的整個行為，以及影響大腦功能的環境的物理和社會文化影響。

• 缺乏數學建模方法和軟件，無法找到環境、行為和大腦功能瞬間變化之間的統計關系。

• 缺乏足夠的數據檔案和資源，無法系統地研究認知監測所得出的個性化模型與不同任務中個體差異之間的關系。

• 缺乏利用生理信號的實時測量來影響操作者認知狀態或為適應性技術提供信息的原則和方法，從而在不同時間和不同個體之間提高人類系統的性能。

嫻熟的認知和傳感運動性能是有效利用先進技術能力執行任務的基礎，這種性能顯然是在神經系統層面上組織起來的。特別是，傳感器部署、自動化和通信帶寬方面的技術進步將強化對士兵的信息處理要求。任務的成功與否將取決于士兵能否很好地認識到所積累的信息對正在發生的事件的重要意義，以及他們能否將相關信息整合到能夠支持有效決策和行動的態勢感知中。相反，面對日益復雜的信息流，士兵在理解和決策方面的認知障礙將成為有效利用先進戰場技術的關鍵瓶頸。隨著士兵在戰場上與適應性更強的 "智能 "系統互動，這些挑戰只會愈演愈烈。

因此，CaN CTA 的科學愿景認為，要滿足士兵的關鍵需求，陸軍神經科學工作必須能夠提供并利用對人腦在真實世界作戰環境中面對真實任務時如何運作的清晰工作理解。這一愿景源于生態心理學的既定理論基礎以及具身或情景認知的概念，這些概念認為，在脫離個人背景的人工場景中，要理解自然的、有動機的行為實際上是不可能的。

為了實現這一愿景，我們需要新的神經科學探究方法和新的能力，以便在操作相關的環境中開展神經科學研究。CaN CTA 通過以下方式直接解決這六大技術障礙：

• 開發實驗范式，捕捉真實世界環境中經歷的多感官刺激流的展開性質

• 開發和使用新型可穿戴傳感器套件，用于監測自然行為期間的大腦和身體動態，以及用于實現綜合監測能力的軟件系統

• 獲取和處理高維數據集，這些數據集能足夠詳細地描述各種情況下的身體、心理和生理行為及其環境背景

• 發現模型和新方法，用于識別和解釋高維數據集之間的統計關系，這些數據集描述了復雜任務執行過程中環境、行為和大腦功能的動態變化。

• 獲取和分析來自大量參與者樣本的數據，以確定個體間和個體內的差異，從而系統地研究為認知監測而推導的個性化模型與績效、認知能力和個性方面的個體差異之間的關系。

• 概念框架和功能架構，可獲取和解釋多視角數據，以便實時集成到人機系統中

自這一方法推出以來所取得的成功反過來又促成了神經科學在將基礎研究轉化為軍事相關領域方面取得進展所依據的原則的確立，即確立和闡明基本的轉化原則。這些原則指導了技術解決方案的開發，這些解決方案與人類神經系統在其動態、復雜環境中的能力和局限性相協調。

1.4 走向愿景之旅

自計劃開始以來，CaN CTA 始終牢記上述愿景，并努力降低障礙。在計劃實施過程中，CaN CTA 通過以下方式降低了障礙：

• 先進計算方法的獨特發展，以提取現實世界行為的神經信號相關性，以及由此產生的一套促進研究和應用的多樣化軟件工具
• 在各種現實模擬或真實世界環境中，對受到最小限制或不受限制的受試者進行前所未有的多模態數據收集
• 腦電圖非侵入式和移動式傳感器的進步，以及促進傳感器性能評估方法的開發
• 制定和測試概念，利用上述所有功能增強士兵系統的能力

在整個計劃期間，這些成就可以看作是在前一階段基礎上開展的一系列研究階段。在此，我們重點介紹計劃的這些階段。

計劃第 1 年：CTA 致力于制定合作計劃愿景和研究項目，為許多研究想法播下種子，并為未來幾年更雄心勃勃的探索奠定基礎。在這一階段，計劃確定了之前闡明的愿景和科學障礙。如圖 1.2 所示，研究分為三類：神經認知性能、先進計算方法和神經技術。在逼真和逐漸復雜的環境中進行無創神經成像，并配合先進的計算方法來探索數據，是研究的基本主題。

計劃第 2 年：重新評估和調整研究計劃和進度，以提高效率，實現更有效的過渡。此外，CTA 開始詳細制定計劃，在限制較少的實驗范例中開展全 CTA 范圍內的合作神經生理學數據收集工作。為使實驗環境更加逼真，滿足軍隊環境的需要，一些實驗被設計成代表安裝（車內）環境，而另一些實驗則設計成代表下裝、行走環境。與此同時，在整個 CTA 中繼續開展需要較少方法準備的小型實驗和分析。

計劃第 3 年：計算方法的研究凝聚成可供社區使用的工具，整個 CTA 神經生理學數據收集的實驗裝置也已投入使用（圖 1.3）。CTA 開發了多受試者和單受試者車輛操作人員站，每個站都有多模態數據收集（包括高通道腦電圖）和運動模擬。此外，CTA 還采用了單受試者流動儀器，用于在實驗室和戶外收集數據。此外，CTA 還繼續完善數據的收集、組織和管理方法，以及促進探索大量、多樣的多模態神經生理學數據的方法。

計劃第 4 年：獨特的實驗系統和數據收集工具在多個 CTA 站點投入使用，以收集真實或現實環境中的多模態數據（見圖 1.3）。與此同時，在計算方法、真實世界傳感器和采集方法方面繼續取得進展，以促進對數據的探索。

計劃第 5-6 年：為了更直接地實現過渡目標，對前四年為推進整體感知和探索真實世界腦體數據而進行的累積研究進行了重新聚焦。特別是，如圖 1.4 所示，對研究進行了重組，以彌補在實現更強大的腦機交互技術 (BCIT) 方面的差距。隨著剩余的大規模數據收集工作的完成，該計劃將其項目重新調整為三個新的科學領域：高級計算方法（ACA）、腦機交互技術（BCIT）和真實世界神經成像（RWN）。隨著越來越多的多模態、真實行為神經生理學數據可用，組織、管理、探索和利用數據集的方法得到了更多的重視。因此，ACA 領域依然存在，但與其他兩個科學領域的聯系更加直接。此外，考慮到重要的研究工作從開始到結束至少需要兩年的時間，計劃規劃周期被延長為兩年一周期，一些重要的項目被規劃為三年執行一次。

三個新科學領域背后的驅動問題如下：

• ACA： 解碼、跟蹤和融合神經和非神經信息源以推斷狀態的最佳方式是什么？

• RWN：在實驗室的限制之外，大腦在現實世界中是如何運作的？

• BCI：我們如何利用神經信號改善人類與計算機、自主代理、環境甚至其他人的交互？

反過來，這三個領域又通過一個總體目標相互關聯：

• 對復雜任務和真實世界環境中的認知狀態進行持續、穩健的估計

計劃第 7-8 年：這一階段的重點是穩健型 BCIT（圖 1.5）。這項工作在閉環 BCI 系統方面取得了可喜的研究成果，為利用實時神經活動優化人機系統聯合性能奠定了基礎。與此同時，隨著合作者們繼續處理大量不同的 RWN 數據（主要包括腦電圖和其他表面傳感器數據），標記和預處理的方法也得到了標準化，從而為更廣泛的研究社區帶來了益處。

計劃第 9-10 年：聯盟將研究重點放在真實世界實驗（如高速公路駕駛）上，同時使早期的神經成像數據探索和利用方法達到真實世界應用所需的成熟度。特別是，在被動閉環技術背景下，對解讀多模態人體神經和生理數據的 ML 方法進行了改進和測試，以提高士兵的態勢感知能力（上馬或下馬）和操作安全性（圖 1.6）。此外，DAQ 和同步中間件 LSL 獲得了工業界和學術界的廣泛認可，并被整合到陸軍的應用和高級研究項目中，以調查未來行動中的有人-無人編隊協作情況。

美國海軍研究生院（NPS）機器人和無人系統教育與研究聯盟（CRUSER）的多線程實驗（MTX）計劃包含多個研究目標，其總體目標是開發通用的 UxV 網絡化控制系統（NCS）。本報告包括過去四年的工作。首先是2017年11月1日至17日在加利福尼亞州圣克萊門特島進行的初步概念演示，使用（4）無人機（UAV）、（2）無人水面航行器（USV）和（2）無人水下航行器（UUV）支持海軍特種作戰（NSW）直接行動任務場景，由COMTHIRDFLT艦提供指揮和控制以及模擬隨時可用的分布式火力支援。報告介紹了結果以及為實現美國防部任務目標而部署 UxV NCS 的潛在挑戰和未來挑戰。

引言

移動式無人系統具有無與倫比的收集信息和抵消戰場上數量劣勢的能力，同時還能降低人員風險。這些優勢在阿塞拜疆和亞美尼亞最近的納戈爾諾-卡拉巴赫戰爭中表現得淋漓盡致。阿塞拜疆兵力在之前的戰爭中輸給了亞美尼亞，他們能夠利用無人機系統通過精確射擊迅速建立空中優勢，從而實現地面機動。這些行動的規模和速度可能預示著頂尖對手的未來戰略。

美國海軍司令部的《2021 年海軍計劃》[1] 承認了這一現實，并將對無人系統的依賴作為海軍力量投送的基本組成部分......

"無人平臺在我們未來的艦隊中發揮著至關重要的作用。成功整合海下、海上和空中的無人平臺，將為我們的指揮官提供更好的選擇，以便在有爭議的空間作戰并取得勝利。它們將擴大我們在情報、監視和偵察方面的優勢，增加我們導彈庫的深度，并為我們的分布式兵力提供額外的補給手段。此外，向小型平臺發展可提高我們的攻擊力，同時也為海軍的發展提供了經濟實惠的解決方案。通過分析、模擬、原型設計和演示，我們將系統地部署和運行具有耐久性和復原力的系統，使其能夠在不經常與人互動的情況下運行。到本十年末，我們的水兵必須具備在海上與經過驗證的無人平臺一起操作的高度信心和技能"。

在這一新的現實情況下，由無人駕駛系統組成的網絡化協作團隊可以通過共享信息和責任來進一步提高任務效率，從而改進作戰知識、速度和精確度。從 2017 年開始，我們在海軍研究生院（NPS）的工作重點是研究和實驗無人機、水面、地面和海底平臺的協作配對--UxV 網絡化控制系統。

根據海軍最近發布的 "UNMANNED "活動計劃[2]，由 NPS CRUSER 資助的 "多線程實驗（MTX）"計劃旨在開發一個初步的移動式 UxV 網絡化控制系統（NCS）。NCS 是一個由移動代理（有人和無人系統）組成的分布式系統，通過無線網絡交換傳感、制導、導航、控制和通信信息，以支持任務目標。從系統控制的角度來看，由于引入了時變延遲、不完善的信息交換和信息丟失，增加了無線網絡的復雜性。

無人系統的異質組合包括不同的通信、傳感和導航模式。這增加了非接觸式控制系統的多樣性和魯棒性。通信可通過多種方式傳輸，包括聲學、無線電和光學設備。每種模式都具有影響整體網絡性能的性能特征。另外需要考慮的是代理的定位，以優化這些通信鏈路；這包括在領域之間提供中繼的代理（例如，USV 可以充當聲學和射頻傳輸路徑之間的移動通信網關浮標）。

傳感設備通常針對其運行的物理環境。非接觸式傳感器可能包括聲納、雷達、激光雷達和照相機。它可以產生大量數據。為了避免移動代理之間有限的網絡帶寬超載，對傳感器數據進行處理以過濾掉多余的信息可大大減輕網絡負荷。在 UxV 的導航和控制方面，每輛 UxV 都有不同的特點，包括在站時間、機動性、速度、可探測性和覆蓋率。這些車輛可以協同工作，以取得更好的效果，其中包括定位和多傳感器檢測與分類。

總體而言，移動式 UxV NCS 支持傳統的軍事任務領域，其中包括：協同搜索、協同覆蓋、分布式火力、混合控制和編隊控制，但該方法的核心原則是系統多樣性可增強魯棒性，并為更廣泛的軍事任務提供有用的方法。

與 UxV NCS 相關的一些最關鍵的一般性研究問題包括以下幾個方面：

1.如何控制系統？系統控制的考慮因素包括集中式、分布式還是組合式。另一個考慮因素是人類在系統控制中的作用。可供選擇的方案包括 "人在回路"（HITL）和 "人在回路"（HOTL）。"人在回路 "是指系統能夠自主行動，但人類可以觀察系統，并在需要時進行指揮和控制（C2）。

2.如何優化系統？令人感興趣的是如何安置無人系統以支持地面行動。例如，在能力（如通信和傳感）、任務目標、持續時間、穩健性和靈活性方面進行優化。

3.這些系統有哪些特性和弱點？弱點的一個例子可能是敵對兵力摸清任務目標或部隊演習的能力。

4.自主性在系統開發中的作用是什么？在可預見的未來，軍用 UxV NCS 將需要人類決策。鑒于將有一個人工智能/機器學習（AI/ML）系統自治組件來定位無人系統，一個重要的問題將是設計控制自治和人類決策者之間的接口，以允許透明度、靈活性和控制。

系統結構

圖 (1.1) 顯示了系統結構。它強調模塊化方法，類似于開放系統互連（OSI）模型[3]。它由以下幾層組成：

1.第 1 層：移動代理--組成網絡的有人和無人系統。每個節點都有與其能力相關的獨特參數。這包括但不限于節點的移動性、能量、速度、傳感、通信和計算處理能力。

2.第 2 層：通信--通信能力對于 NCS 的可控性和可觀測性至關重要。它并不局限于單一的通信基礎設施（如無線通信），而是可以由多種模式組成。對于 MTX，既有射頻通信，也有聲學通信。射頻網絡由 Persistent Systems 公司的網狀中繼無線電代表。網狀中繼包括一個路由發現服務軟件組件，可自動為代理之間的信息通信確定路由。通信的一個重要組成部分是能夠使用與通信介質相關的連接指標，以確保系統的可控性。例如，通過應用程序接口，可以測量無線電之間的信道統計數據，如信噪比（SNR）。這可用于優化網絡內的系統定位，確保控制和感知數據能通過網絡可靠傳輸。

3.第 3 層：信息--信息層是一個抽象層，代表通過網絡傳輸的協議和內容。信息層包括 UxV 狀態、傳感器數據和互連數據。狀態數據提供了代理的位置、方向（及其導數）和物質條件。互聯數據（來自通信應用程序接口）用于控制和導航。它是網絡中本地可行的路徑。這為確定適當的控制策略提供了必要的輸入，以完成在節點之間創建穩健的通信路徑等任務。信息層支持與 AI/ML 方法相關的自主推理，特別是在多傳感器融合方面。

4.第 4 層：控制與導航--這是系統在通信、傳感、能源、時間和車輛動態等限制條件下實現任務目標的能力。系統控制可以是集中式和/或分布式的。集中式和分布式控制能力可能會增加處理多種任務場景的靈活性。它包括所有系統節點的軌跡或路徑規劃，包括對載人系統的建議。

5.第 5 層：人類/機器人接口（HRI）--HRI 包括人類控制系統的潛力和 NCS 向用戶提供及時信息的能力。設計的一個重點是能夠以較少的人員控制更多的代理。

6.第 6 層：賽博安全--保護所有層的是一個賽博安全模型。這包括應用安全、信息安全、網絡安全、算法安全、災難恢復和最終用戶合規性。

技術三要素

機器人技術、互聯網-網絡和人工智能/移動語言三位一體的技術（圖 1.2）推動了更高水平的自主性。每項技術都會對上述所有系統架構層產生影響。對于 UxV NCS 而言，機器人技術的關鍵問題包括 1). 實現后勤和維護自動化，以便快速部署和恢復多個無人系統。2). 減少操作和維護無人系統所需的兵力。提高 "齒-尾 "比，通過提高作戰靈活性和降低兵力保護要求來提高任務效率。

AI/ML 的突出問題圍繞信任展開。這些問題包括：透明度/可解釋性、倫理考慮、系統可控性、穩健性和可靠性 [4]，[5]。互聯網絡的問題包括：開發通用靈活的通信模型，以支持系統效用最大化；開發用于動態數據包路由規劃的網狀無線電算法；開發面向服務的架構，以根據數據包的重要性確定網絡流的優先級。

三要素的核心是計算。它強調了計算對系統性能的影響。無人平臺的類型會影響機載可用計算量。較小的無人飛行器和無人潛航器的機載計算量往往有限，而 USV 和 UGV 在安裝額外計算機方面可能更具靈活性。在設計和使用系統時，可能需要明確考慮相應的卸載處理和定位代理。

圖 1.2：技術三要素--機器人技術、互聯網技術和人工智能/移動通信技術影響著非接觸式傳感器模型堆棧的各個層面，同時也凸顯出非接觸式傳感器的設計和信息流受到每個平臺上可用計算能力的重大影響。

無人系統概述

MTX 的無人駕駛系統幾乎全部由 NPS 自主車輛研究中心 (CAVR) 提供。所有系統都具有 WiFi 功能，UUV 是唯一沒有 Persistent Systems 網狀中繼無線電的航行器。它們在海底使用聲學調制解調器傳遞信息。NCS 無人系統包括以下設備：

1.(2) NPS REMUS 無人潛航器--這些 Hydroid 系統是專門的 REMUS 100 無人潛航器，包括以下傳感和導航功能： 導航級慣性導航系統（INS）、上下視聲學多普勒海流剖面儀（ADCP）、900/1800 KHz 側掃聲納、Blueview 450 前視聲納和 2.25 GHz 微型測深聲納、WHOI 聲學微型調制解調器、GPS 和 WiFi。

2.(2) NPS SeaFox USV--該系統由 Northwind Marine 制造。第一個船體作為移動通信中繼浮標，能夠將聲學調制解調器插入水中，用于收集 UUV 的聲學數據并通過 UAV 傳播給用戶。第二個船體用于插入海豹突擊隊，并安裝有雷達，用于探測水面交通。SeaFoxs 采用噴水發動機，使用 JP-5 燃料，航速超過 40 節。

3.(2) NPS ScanEagles--由 Insitu 公司制造，這些無人機由 NPS 和 NAVSPECWAR 第一特種偵察隊共同操作。無人駕駛飛行器經過改裝，安裝了國家航空航天研究所中國湖制造的電源控制板（PCB）和國家航空航天研究所的二級控制器中央處理器。這樣就能夠收集狀態信息，并通過網狀無線電分發數據。

4.(1) Shield AI 四旋翼飛行器--四旋翼飛行器用于在建筑物內搜索，以探測名義上的放射性設備，這是新南威爾士州任務場景的目標。在沒有 GPS 的情況下，僅使用照相機和基本的死算算法進行導航的能力被稱為 SLAM（同步定位和繪圖），對于室內、太空和海底等 GPS 信號衰減或被拒絕的環境至關重要。

所有 NPS UxV 系統的一個關鍵設計考慮因素是采用二級控制器架構。所有 NPS 系統都是軍用級系統。這些系統現在或過去一直是軍事庫存中的作戰兵力。二級控制器是一臺已安裝的計算機，通過通信應用程序員接口（API），可以發送控制無人系統的超控命令，并接收主控制器發送的狀態信息。一般來說，這允許將較高層次的自主性（如路線規劃）與低層次的指令（如控制系統執行器沿路徑運行）分離開來。這種方法假定制造商提供 "底層 "控制和通信 API。這可以大大加快開發過程，無論無人系統制造商是誰，都可將其視為擴展多代理系統不可或缺的組成部分。這種方法的一個例子是 Hydroid REMUS RECON 或遠程控制協議 (RCP) API。

圖1.3:CAVR ROS架構

圖 (1.3) 顯示了 CAVR 二級控制器架構的整體軟件架構。它使用 Linux 操作系統（Ubuntu 18.04）和機器人操作系統（ROS）Melodic Morenia 作為軟件中間件。每個方框代表一個 ROS 節點。信息從左到右流動。方框的顏色反映了 ROS 節點的功能。從各種傳感器（紫色）收集數據。感知器處理傳感器數據（粉色），并將這些信息輸入映射組件（綠色）。這些信息將作為路徑規劃和狀態估計（橙色）的輸入。

還有用于管理飛行器導航的流程（淺藍色）。其中包括任務管理器、任務管理器、規劃器和控制器。此外，還有一個健康監測器（淺黃色）。最后還有一些流程，包括主控制器發送和接收信息，以及模擬和執行器（深綠色）。

其余文件詳細描述了與 MTX 相關的研究和實驗。其中包括圣克萊門特島（SCI）演示，但也包括在加利福尼亞州尤馬試驗場（YPG）和羅伯茨營使用 NPS ScanEagle 進行的測試、在加利福尼亞州蒙特雷灣進行的 UUV 和 USV 測試，以及與整個 NCS 系統方法相關的最新進展。實驗 "主線 "包括 用于 NCS 優化的高級自主性、UxV 通信優化、支持道路網絡攔截的最佳無人機軌跡、移動網狀網絡性能和分析、使用適應領域的卷積神經網絡進行道路網絡的跨領域識別，以及自動創建標簽點云數據集以支持基于機器學習的感知。

威斯康星大學（UW）在 2017 年 6 月至 2021 年 5 月期間得到了國土安全部（DHS）網絡風險與信任政策和分析信息市場（IMPACT）計劃的支持。技術專題領域 #1 數據提供者 (DP) 和 #2 決策分析即服務 (DASP) 的研發工作已經完成。這些活動的方法是從網絡協議棧的不同層收集和組合數據集，以提供關于網絡安全風險、降低風險的機會、用戶行為以及網絡安全研究和企業所有者和運營商感興趣的事件的取證調查的獨特和重要的視角。

我們的數據提供商活動主要集中在擴展和增強互聯網 Atlas 存儲庫和門戶網站上，這些存儲庫和門戶網站最初是在上一代 IMPACT 計劃/防御網絡威脅基礎設施保護存儲庫 (PREDICT) 計劃期間開發的（參見第 8 節中的參考文獻 #22）。除 Internet Atlas 外，威斯康星大學還開發并分發了其他幾個數據集，包括 DShield 入侵檢測系統 (IDS)/ 防火墻日志、邊界網關協議 (BGP) 更新日志、網絡時間服務器日志和網絡抓取日志。

我們的 "決策分析即服務"（decision-analytics-as-a-service）工作重點是開發基于網絡時間協議（NTP）數據實時識別互聯網事件（包括中斷、攻擊、路由變化等）的能力，這些數據是從 14 臺 NTP 服務器收集的，它們在整個執行期間提供數據。我們還致力于開發各種方法和工具，將協議棧不同層的數據融合在一起，以深入了解性能、連接性和風險，這在其他情況下是不可能實現的。我們還花費大量時間開發了一個系統，用于從愿意提供數據的用戶那里收集網絡瀏覽數據。我們與威斯康星大學機構審查委員會 (IRB) 和法律部門合作，確保這些活動獲得適當授權。

在執行期間，我們向研究界分發了數百個數據集。在 17 年 6 月至 21 年 5 月期間，互聯網 Atlas 門戶網站的頁面訪問量超過 2.7 萬次，來自世界各地的獨立訪客超過 1.6 萬人。提供了 21 個詳細訪問 Atlas 的賬戶。同期，根據通過 IMPACT 門戶網站（impactcybertrust.org）提出的請求，提供了 117 個數據集（主要是互聯網長途基礎設施數據）。

除了分發數據集和開發決策分析即服務功能外，我們的研究工作還在高質量刊物上發表了 15 篇論文，2 篇論文已發布到 arxiv.org 公共檔案庫并將提交發表，另有 4 篇手稿正在準備中，不久將提交發表。這些正在準備的論文的主題包括：域名系統（DNS）的實證分析、基于端到端延遲測量的互聯網連接識別新方法、停電對美國互聯網客戶端可用性的影響分析以及互聯網路由超圖的地理定位方法。第 8 節提供了該資助項目發表的論文、arXiv 論文和正在準備的論文的完整清單。我們還做了 25 場與這些研究論文和數據集相關的技術演講。最后，我們的互聯網地圖集及相關地圖和研究成果已成為技術和大眾媒體上眾多文章的主題。

本資料基于國土安全部和空軍研究實驗室 (AFRL) 贊助的研究，協議編號為 FA8750-18-2-0036。

圖 1：BigBen 的系統架構。測量組件位于每個提供數據的遠程 NTP 服務器上，其余組件在云基礎設施中運行。(csv - 逗號分隔值，OWD - 單向延遲，RPCA - 強健主成分分析，API - 應用程序編程接口）

本最終技術報告總結了 2018 年 9 月至 2022 年 9 月期間 AFRL 項目 "嵌入式深度學習和高級計算 "的研發工作。該項目涉及兩個重要的技術趨勢：使用深度神經網絡（DNN）的深度學習正迅速成為許多機器學習應用的首選方法，而網絡邊緣的嵌入式設備正變得越來越廣泛。通過這兩種技術的融合，我們可以看到新一代嵌入式設備的出現，它們可以執行智能任務，如學習未知環境和感興趣的目標、周圍環境的三維映射、執行數據分析以及根據本地數據進行預測。這些設備構成了所謂的人工智能物聯網（AIoT）[1]。

本研究項目研究的基礎技術可促進未來嵌入式深度學習的高效訓練和推理計算系統。研究的主要方法包括 (1) 使用隨機舍入的可變精度分塊浮點；(2) 采用術語量化，將浮點數量化為 2 次冪術語，而不是傳統的均勻量化；(3) 使用特定領域詞匯對預訓練語言模型進行調整；(4) 通過使用恒定帶寬塊的調度最大限度地減少內存訪問；(5) 在算法的協同設計中應用全棧優化、 (6) 為可穿戴計算拆分神經網絡，(7) 設計用于檢測輸入到 DNN 的非分布式輸入的算法，(8) 為高效的 DNN 系統陣列實現打包稀疏 DNN，(9) 為 DNN 的 3DIC 實現設計內存邏輯架構和系統構建模塊，以及 (10) 在內存計算中利用位級稀疏性。

引言

卷積神經網絡（CNN）等深度神經網絡（DNN）實現了深度學習。它們具有多層非線性特征轉換，每增加一層就能提取出越來越好的特征。然而，訓練一個大型 DNN 并在這樣的網絡上執行推理需要耗費大量的時間和精力。對于大型語言模型（LLM）和生成式對抗網絡（GAN）等大型深度網絡來說，訓練成本很高。由于小型人工智能物聯網（AIoT）設備在處理能力、內存占用和功耗預算方面存在嚴格的資源限制，因此在這些設備上進行訓練和推理更具挑戰性。有必要共同設計算法、模型和硬件參數，以便在這些嵌入式設備上執行高效的訓練和推理。在為嵌入式設備訓練復雜的深度模型時，并行處理、管理內存訪問時間表和利用數據稀疏性等高級計算技術至關重要。

本項目旨在針對嵌入式深度學習和推理中的關鍵挑戰開展廣泛研究。例如，我們探索了嵌入式深度學習與基于并行和分布式計算的高級計算之間的相互作用。該項目利用了 PI 在相關領域的經驗，包括他早期在系統陣列以及分布式和嵌入式神經網絡架構方面的工作。我們將在本報告的其余部分重點介紹我們已發表的部分成果。

本研究的重點是評估海軍信息戰中心（NIWC）太平洋分部通過有效的項目管理（PM）實踐建立知識管理（KM）基礎設施的方法的發展。評估的主要重點是NIWC太平洋分部的需求收集和管理以及它的流程管理方法，因為它開發了一個全面和可擴展的知識管理框架。研究人員將這一努力與各種專業和學術研究進行了比較，這些研究綜合了在一個有凝聚力的知識管理框架中需要尋找的東西并奠定了基礎。研究人員還深入研究了NIWC太平洋分部的方法和以前通過使用各種平臺傳播內容的嘗試，并將其與目前的狀態進行對比，研究用于評估信息傳播和使用的熟練程度的定性和定量屬性。

這種比較方法將說明指揮部用戶群體在當前狀態之前利用松散的管理、配置和重復的平臺所產生的低效率。之前分享信息的努力缺乏嚴謹性，隨著過時的材料在整個指揮部的傳播，增加了許多領導層對業務領域或項目是否利用了最新信息的懷疑，這是不有效的。另一個需要審查的因素是，如何將系統合理化為一套一致的平臺，以滿足NIWC Pacific領導層和內部客戶提出的要求，這也改善了內容和業務數據的整理。

事實證明，平臺數據收集是一個缺失的功能，或者說是不容易被用戶和高級領導所使用的功能。與其目前的框架相比，收集用戶流量和內容信息以建立一個基線，結合更新或添加/刪除內容的審核過程來策劃產品和內容是很麻煩的。這項研究還將說明所制定的業務規則和做法，確保相關的知識和信息被有目的地提供給員工。研究結果闡明了通過變更配置委員會（CCB）來管理業務產品擴散的執行機制，以及它們所處的系統。

NIWC太平洋分部在以混亂的方式部署內容管理系統（CMS）方面也贏得了內部聲譽。不僅是在導致選擇平臺的決策方面，而且在部署平臺的時間框架和方法方面。終端用戶感到沮喪，并最終對平臺的快速引入和替換感到疲勞--在許多情況下，幾乎沒有警告或準備。這項研究將分享為什么這對健全的知識管理實踐的有效性不利的見解。

NIWC太平洋分部的信息策劃轉型的另一個重要方面是高級領導層的認同。指揮部有各種擴散信息的方法。指定的團隊被允許使用和管理經批準的COTS平臺作為內容管理系統。不幸的是，給了系統管理員完全的自由權，造成了一個意想不到的后果。各個系統管理員和內容管理員在不同的平臺上有一種放任自流的心態，這使得策劃和管理信息變得困難。這也助長了一種沒有納入強大訪問控制的環境。

這項分析將觸及NIWC太平洋分部的高級領導層做出的關鍵決定，即對其系統進行合理化調整，并倡導收集需求以有效地創建一個可行的知識管理框架。這項研究建議NIWC太平洋分部繼續遵循其內部和有機的方法來維持知識管理框架，因為我的評估表明，其方法不僅迎合了該中心的獨特需求，而且還建立在健全的計劃和知識管理原則之上。

1.1 報告的目的

本報告的目的是描述位于加利福尼亞州洛杉磯的美國陸軍作戰能力發展司令部（CCDC）西部陸軍研究實驗室（ARL-West）用于人類與機器人群互動研究的物理測試平臺，并介紹未來利用該測試平臺進行能力和實驗的機會。這是因為19財年ARL的集群項目，這是美國防部資助的研究人類與群體互動工作的一部分。

1.2 ARL集群項目

這里描述的ARL集群項目是ARL的車輛技術局（VTD）、傳感器和電子設備局（SEDD，現在的CCDC數據和分析中心[DAC]）以及人類研究和工程局（HRED）的一項聯合工作。我們將集群定義為一組完全或基本自主的智能體，以集體的方式進行互動，以完成一項任務。在我們的工作定義中，我們也會偶爾提到一些場景，在這些場景中，智能體是合作運作的，但不一定是一個集體的整體（例如，當機器人被分配單獨的任務，形成合作目標的組成部分）。這些通常被稱為多智能體或多機器人系統。智能體群體可能是同質的或異質的。

結合團隊成員在車輛技術、傳感器/機器視覺、處理器芯片和功耗、人類因素和感知/認知心理學方面的經驗，我們對人與群的互動有了深入的了解，并推動了建立人與群互動測試平臺。我們合作的一個主要見解是，電源需求、芯片限制和傳感器能力可能會大大影響人類的表現或人類對機器人群或其他多Agent系統的反應，但在人類-自主-群體互動的模型中很少充分考慮這些因素。為了推動研究，并為在這些領域和相關領域的繼續探索奠定基礎，ARL集群團隊在ARL-West創建了一個實體集群測試平臺：集群與人互動性能室內研究平臺（AIRSHIP）。這個測試平臺將允許研究界面、物理限制、人類因素及其相互作用如何影響人類-集群的任務表現和人類心理/生理反應。為了適應廣泛的實驗可能性，該試驗臺可以高度定制一系列的任務場景、自主資產的數量和多樣性，以及固有的和強加的物理約束。

從我們的討論和文獻回顧中，從創意技術研究所（ICT）開發的虛擬試驗臺中，以及從建模工作（例如Humann和Pollard 2019）中得到的啟示，強調了開發一個物理試驗臺以解決人與機器人群的互動研究問題的必要性。在我們設計的測試平臺中，我們旨在實現以下特點：室內、小型、便攜、高度可定制、靈活，以適應廣泛的實驗。

在此，我們描述了AIRSHIP測試平臺的現有能力，并闡明了在目前可用的硬件和軟件條件下，可以在這樣一個物理測試平臺上進行的各類實驗，以及未來可能對測試平臺進行的改進。

1.2.1 相關的ICT項目

一個關于人與機器人群互動的聯盟項目正在由ICT進行，ICT是由南加州大學管理的陸軍大學附屬研究中心（UARC）。該項目正在研究使用帶有虛擬人類發言人的自然語言對話界面，該發言人作為人類操作員和機器人群之間的中間人。在ARL的投入和指導下，ICT創建了一個基于模擬的測試平臺，在用戶與虛擬發言人和機器人群互動時，收集他們的自然語言數據。

基于模擬的測試平臺運行一個虛擬的搜索和救援場景，其中人類用戶指揮一個由無人機和地面車輛（分別為UAV和UGV）組成的異質團隊。在模擬中，一個小鎮受到野火侵襲的威脅，鎮上的居民必須通過利用無人機和UGV的不同方式來拯救。例如，一些居民迷路了，必須被指示跟隨無人機到安全地帶。必須調遣一輛UGV來清除道路堵塞物。除非人類指揮官通過附近的無人機拍下他或她的聲音，并親自與這對夫婦交談，否則無法拯救一對 "頑固的夫婦"。一個虛擬的人類發言人可以作為人類指揮官和自主車輛之間的中介，但人類也可以單獨指示這些資產。野火隨著時間的推移而蔓延，目標是盡可能多地救援城鎮居民。不同的居民和其他挑戰可以隨機分布在城鎮地圖上，并且可以進行修改，以改變可用資產的數量、野火侵襲的速度和方向，并增加進一步的挑戰（如無人機的損失）。人類指揮官使用一個語音麥克風和兩個電腦屏幕與系統互動。一個屏幕顯示虛擬的人類代言人，另一個屏幕顯示城鎮的地圖。(見圖1指揮官的工作區。)如果參與者指定他們的一些無人機提供監視，那么火力的進展在地圖上是可見的。無人機的行為和虛擬人類發言人的行為是由兩個奧茲國的巫師在幕后控制的。該測試平臺的早期版本在Chaffey等人（2019）中有所描述。

圖1 ICT的人-機器人群互動虛擬試驗臺，顯示了野火地圖、模擬無人機和通過自然語言與用戶互動的虛擬人類報告員

1.2.2 機器人群測試平臺的需求和概念

虛擬測試平臺有很多優點，包括可移植性、快速修改，在某些情況下成本較低。然而，人類對模擬機器人群的反應與人類對物理機器人群的反應不同。Podevijn等人（2016a，2016b）表明了這一點，與模擬機器人相比，與物理機器人互動時，壓力的心理生理學標志物升高。與較大的群組和較小的群組互動，也產生了類似的模式（Podevijn等人，2016a；Podevijn等人，2016b）。

一個虛擬的機器人群可能看起來與真實的機器人群的虛擬表現相同，只要指揮官不與實際的代理人在一起就可以了。然而，在許多情況下，人類指揮官和其他互動的人將處于戰術邊緣，與機器人代理一起在現場。從這些場景的虛擬模擬機器人群中得出的結論可能不完全代表實際物理機器人群的結論，在物理機器人群測試平臺中復制之前，也許最好將其視為初步結論。

使用物理機器人群測試平臺的另一個原因是為了更好地包括與機器人代理一起工作的現實世界的挑戰--即他們的物理需求和限制。異質組隊模擬很容易對飛行時間、電力使用、機械堅固性、有效載荷能力、相機分辨率等做出不現實的假設。當這些不切實際的假設在模擬中實現時，其結果是無法復制人類與多人合作的許多重大挑戰的情景。我們承認，仔細考慮這些參數可以使它們在模擬中得到更忠實的實現，我們也承認，我們的物理測試平臺不能完全復制所有這些問題。例如，使用微小的、低成本的、可移動的無人機有一個警告，即它們不能在室外飛行。因此，實際的天氣影響不能包括在我們的測試平臺中。然而，我們的測試平臺天生提供了關于飛行時間、電力使用、有效載荷能力、機械堅固性等方面的現實物理約束。

為了不同的實驗目的，已經開發了各種虛擬和物理的異質組隊測試平臺。我們將在下面的章節中強調幾個關鍵的例子。

1.3 相關工作

在本節中，我們提供了一個不全面的概述，介紹了具有多機器人/蜂群測試平臺的研究項目，這些項目可以檢驗人與機器人群的交互性能。全面的回顧超出了本報告的范圍，因此在這里我們只提供與ARL研究密切相關或合作的項目的細節。

用于人與多Agent交互的多功能虛擬現實（VR）測試平臺是加速用戶推理操作、研究和分析（AURORA）-XR界面，該界面正在由ARL為戰場物聯網開發（Dennison等人，2019）。AURORA-XR目前有一個虛擬的城市街區，有一系列的傳感器和代理，可以虛擬地檢測虛擬友軍和敵軍的運動。人類指揮官可以通過虛擬攝像機畫面和虛擬傳感器數據，從視覺空間角度調出不同傳感器和無人駕駛車輛的視圖。這個設置可以在圖2中看到。該模擬可被修改以執行不同的模擬任務，并被建議由HRED用于研究訓練人類在人-代理團隊合作中的相關技能（例如，不確定性量化和視覺空間透視）。

AURORA-XR的一個主要目標是作為一個可視化工具和異地協作工具（通過AURORA-NET），其中不同地點的多個人類可以同時與VR中的沙盤表示進行互動，以參與多領域行動的協作決策。

混合倡議實驗（MIX）測試平臺（Barber等人，2008年）將無人車和攝像機的模擬與操作員控制單元（OCU）界面相結合，如圖3所示，允許用戶控制無人系統。OCU是可定制的，底層的自主性模擬器軟件（無人系統模擬器[USSIM]）可用于模擬各種自動化程度不同的任務類型，包括偵察、目標識別和路線規劃等場景。MIX已經被用于各種研究中，用于智能代理的修改的OCU也是擴展研究的主題（Chen和Barnes 2014；Barnes等人2015）。

圖2 AURORA-XR的界面與實例的進給和攝像機角度

圖3 MIX測試平臺的OCU界面

在我們正在進行的工作中（Humann和Spero 2018；Humann和Pollard 2019），我們使用一個虛擬測試平臺來設計人類與無人機互動的適當算法并選擇適當的團隊規模。該工具可以模擬任何數量的人類、四旋翼無人機和固定翼無人機。人類被模擬為具有疲勞和工作負荷的現實效果。人類和自主資產執行監視任務，必須用相機掃過一個場地，以發現可能的危險，如車輛和火災（由固定翼無人機執行），然后對感興趣的點進行拍照（四旋翼無人機），最后分析以評估威脅程度（人類）。從這個分析中，可以從評估現場的整體準確性和速度方面分析向系統添加資產的回報。圖4顯示了模擬的一個例子截圖。

圖4 模擬截圖（Humann和Pollard 2019），顯示三個固定翼無人機、四個四旋翼無人機和兩個操作員合作執行監視任務

在ARL有兩項正在進行的工作，涉及多個分布式智能資產，正在為未來的工作開發測試平臺。第一個是分布式協作智能系統和技術（DCIST）的合作研究聯盟。這個項目將 "創建自主的、有彈性的、認知的、異質的群組，使人類能夠在動態變化的、惡劣的和有爭議的環境中參與廣泛的任務"（www.dcist.org）。DCIST的執行者已經討論了建立一個測試平臺（虛擬和/或物理）來測試智能系統的算法。雖然許多參與的學術機構都有自己的測試平臺供個人研究使用（例如，Pickem等人，2017年），但DCIST測試平臺的一個目標是使來自各合作機構的研究產品得到綜合實驗。

ARL正在進行的第二項工作是一個潛在的測試平臺，用于探索人類與智能系統的互動，將不同的人類互動模式與強化學習相結合，稱為自主系統的學習周期框架（Waytowich等人，2018；Goecks等人，2019）。他們實施了一個模擬，以探索使用人類示范來提高智能系統的能力（在引用的案例中，一個小型四旋翼無人機）。他們計劃繼續研究使用Crazyflie無人機在物理測試平臺上進行聯合互動的強化學習。

隸屬于南加州大學和ICT的研究人員在正在進行的研究中展示了多個機器人的協調行為（Tran等人，2018），同時自主飛行多達49架微型無人機（Preiss等人，2017）。他們還展示了最多三個人和六個無人機之間的用戶互動，這些無人機在房間里相互靠近導航（Phan等人，2018）。

這項研究的目的是討論目前最先進的在點云數據上執行的機器學習算法的方法。所進行的研究將應用于三維激光雷達可視化和開發（3DLIVE）團隊的內部工作，其主要目標是為目標坐標測量（TCM）創建一個可視化和與點云數據互動的新系統。所提出的機器學習方法與三維點云和計算機視覺的機器學習的三個主要課題有關，每個課題都有自己研究的論文部分。這些主題是分割、分類和目標檢測，所選的論文是最近的研究，取得了最先進的性能。這項研究的結果是選定的幾種方法，它們向3DLIVE團隊展示了最有希望的結果和有效性。有效性在很大程度上取決于算法對3DLIVE使用案例的可擴展性和適用性，以及其準確性和精確性。

引言

在傳統的計算機視覺問題中，二維數據一直是用于推理的主要信息形式。隨著近來價格低廉且廣泛使用的3D傳感器（如蘋果深度相機、Kinect和飛行時間相機）的發展，3D數據已經變得非常豐富，并為解決計算機視覺問題提供了許多優勢。也就是說，它包含了更多的拓撲信息（深度維度、形狀和比例信息），這些信息對場景的理解至關重要，并提供了一個更自然的世界表現。由于這一技術層面的原因，將三維數據應用于自動駕駛、機器人、遙感和醫療等領域已經成為近期研究的重點，并將繼續擴展到其他領域[1]。

三維數據可以有很多格式，包括網格、深度圖像、體積網格和點云。場景理解應用中最常見的格式是點云-結構化數據，因為這種數據形式保留了三維空間中的原始幾何信息，沒有任何離散化損失。在進行分析之前，需要對點云進行定義：點云是一組數據點（x,y,z），通常代表一個（多個）三維物體的外表面，由合成或三維掃描器產生。三維數據面臨的一個挑戰是存儲要求--三維場景比二維的同一場景需要多出幾個數量級的存儲。點云解決了這個問題，因為它不需要存儲多邊形網格，因此提高了性能并降低了開銷--這是對時間敏感的應用的關鍵考慮[2]。

三維LiDAR可視化和開發（3DLIVE）項目旨在為目標坐標測量（TCM）和三維分析創建一個新系統。目前的TCM方法使用立體圖像，利用英偉達3D視覺眼鏡以及專門的GPU和顯示器來查看重疊的二維圖像，給人一種三維的感覺。然而，這種方法很難訓練，而且會造成眼睛疲勞；此外，它所使用的英偉達軟件和硬件已經達到了使用壽命的終點，不再得到支持或生產。因此，需要開發一種新的3D數據開發解決方案。

用于TCM的3DLIVE方法旨在利用主要由LiDAR傳感器收集的3D點云。然后使用游戲引擎Unity將這些數據可視化。此外，由于上述數據可以通過Octree格式有效地加載到Unity中，因此可以使用大規模的數據集。點的元數據信息可以在查看器中查看和分析，用戶可以在整個大的地理區域內導航并選擇點進行分析。有多種方法可以與數據互動，從在某一地點投放一個感興趣的點到測量距離、長度和面積。

有多種模式可以與3D點云數據互動。它們包括標準的鼠標和鍵盤、虛擬現實和增強現實（使用Hololens 2）。增強現實的互動是3DLIVE團隊的主要開發重點，因為它使用戶沉浸在數據中，同時仍然類似于立體眼鏡的方法。我們目前還在尋求使用機器學習（ML），使我們能夠自動獲得這些點云數據集中的物體信息，例如它們是什么物體，在空間內有什么界限，并進行自動目標識別（ATR）。

在過去的10-20年里，大多數深度學習計算機視覺研究都集中在2D圖像上，但隨著更多可用的3D數據的興起，最近的研究著眼于將傳統的深度學習技術應用于計算機視覺的3D數據。這項新的研究使得場景理解的場景有了重大的進展，但是在將模型從二維過渡到三維的過程中，仍然存在著一些障礙。具體到點云，數據是非結構化和無序的，這意味著以點云為輸入的深度學習網絡不能直接應用標準的深度學習方法，如卷積神經網絡（CNN）[1]。相反，必須開發定制的解決方案，使其具有包絡不變性，通常用對稱函數實現。另一個挑戰是從點云中捕捉局部和全局結構信息。通過單個點來評估點云會失去點與點之間的局部和整體結構信息，因此網絡在設計時必須通過查看鄰近的數據來考慮這一點。由于直接處理點云的困難，許多方法將點云數據轉化為一種中間格式，如將點云投影到二維圖像中，這樣就可以應用傳統的深度學習方法[1]。最后，從三維傳感器收集的點云數據并不完美--由于傳感器的局限性，采集設備的固有噪聲，以及被采集表面的反射性質，往往存在噪聲污染和異常值，會破壞數據采集[1]。從上面可以看出，在點云數據上應用深度學習方法并不簡單，需要對現有的技術進行重新設計，以便在網絡中使用，但是三維點云比二維數據的描述能力的提升超過了負面因素。

計算機視覺任務通常被分成3個不同的類別：分類、目標檢測和分割。對于點云，這些類別通常被定義為： 三維形狀分類，三維目標檢測和跟蹤，以及三維點云分割[1]。

三維形狀分類方法試圖通過首先學習每個點的嵌入，然后使用聚合方法從整個點云中提取一個全局形狀嵌入，來對點云中的物體進行分類（標記）。這個全局嵌入被輸入到幾個完全連接的層中以實現分類[1]。

三維目標檢測和跟蹤方法可以分為3類： 1）目標檢測，2）物體跟蹤，以及3）場景流估計。對于目標檢測方法，它們在每個檢測到的物體周圍為輸入的點云產生定向的三維邊界盒。接下來，三維物體跟蹤的目的是預測物體的狀態，因為它以前的狀態。與物體跟蹤相關的是三維場景流估計，即給定同一場景在兩個不同時刻的兩個點云，描述每個點從第一個點云到第二個點云的運動[1]。

與目標檢測和跟蹤一樣，三維點云的分割也可以根據所需的粒度分為三類。這些類別從最普遍到最不普遍：語義分割（場景級別）、實例分割（物體級別）和部分分割（部分級別）。給定一個點云，三維點云語義分割的目標是根據點的語義將點云分成幾個子集（例如，將場景中的所有椅子涂成相同的顏色）。更低一級的是三維點云實例分割，它比語義分割更具挑戰性，因為它需要對點進行更準確和精細的推理。實例分割不僅需要區分具有不同語義的點，還需要區分具有相同語義的獨立實例（例如，給每把椅子涂上不同的顏色，而不是所有椅子都是同一顏色）。最后，在最細微的層面上，部分分割試圖將具有相同語義的物體的各個部分分開（例如，給椅子的各個部分涂上不同的顏色），由于具有相同語義標簽的形狀部分具有較大的幾何變化和模糊性，因此這項任務特別困難[1]。

3DLIVE努力的目標之一是創建一個系統（利用機器學習），該系統接收一個地理區域的點云，將具有類似屬性的點分組為對象，并為每個組成對象和結構貼上標簽，使數據更容易使用和分析。在我們著手實現這些目標之前，我們確定研究當前點云數據集的分割和分類技術狀況將是有價值的。Guo等人在2019年完成了一項關于點云的深度學習方法的調查[1]。我們的目的是確認研究中提出的信息仍然是準確和相關的（針對點云數據集的ML是一個快速發展的領域），進行我們自己的研究并創建一個類似的調查，并決定在研究的分類、分割和目標檢測的方法中，哪些是最適合我們的使用案例的。AFRL RIEA/RIED內部研究小組（IHURT）被召集起來，與3DLIVE團隊一起做這項研究，并回答以下研究問題：

目前3D點云分割和分類的技術水平如何，哪些方法對3DLIVE的工作最有效？我們能否開始為我們打算使用的大規模三維城市點云的分割、分類和目標檢測奠定框架并制定行動方案？

這項研究的結果將使3DLIVE團隊能夠推進ML點云的分析工作。我們希望最終能復制出性能最高、最相關的分割、分類和目標檢測方法，并將其用于NGA地理空間存儲和數據管理（GRID）服務器的地理3D點云數據。此外，3DLIVE團隊已經開發了一種生成大規模合成城市點云數據集的方法，我們可以利用這種合成數據作為我們創建和使用的模型的額外訓練數據。這項研究將為3DLIVE團隊使用ML創建額外的工具來幫助作戰人員分析和衡量三維數據奠定基礎。這將最終實現上述目標，即創建一個新的TCM系統，供目標人員（如第363 ISR聯隊和其他目標部門的人員）使用，用一種利用越來越多的本地3D數據的替代技術取代目前已被淘汰的技術。

圖2. RPVNet的概述。它是一個具有多種交互作用的三分支網絡，其中體素分支和范圍分支共享類似的Unet架構，而點分支只利用每點的MLPs。

美國戰略與預算評估中心（CSBA）在2017年9月至2019年1月進行了一項全面的研究，其中涉及美海軍部研究與開發（R&D）生態系統的很大一部分。具體而言，采訪并訪問了超過145名主題專家和50多個在全領域無人自主系統（UxS）和人工智能（AI）方面開展工作的組織。這些組織包括聯邦資助的研發中心（FFRDCs）、大學附屬研究中心（UARCs）、工業界、學術界、智囊團和獨立組織、海軍和國防部實驗室/作戰中心、海軍艦隊和作戰指揮部、以及海軍政策和研究資助辦公室。通過這些訪問，可以了解到這個研發生態系統（該生態系統被定義為上述所有致力于為海軍推進自主性和人工智能技術的組織的總和，包括無人平臺）在這方面的表現。在個人、組織層面上，這些組織容納了大量的人才，并在廣泛的學科和技術的最前沿從事創新研究，可以保持美國海軍的技術優勢。

然而，海軍目前的UXS研發結構有機會繼續改進這一工作的組織，以進一步擴大和利用其最近的工作。盡管海軍的服務精神支持權力下放，但本報告將說明，為了實現能力發展，利用商業和學術部門在自主系統方面的進展，強有力的集中努力是必要的。正是在這種具有挑戰性的環境中，美國海軍正在競爭，以便在所有物理領域提供無人自主平臺。美國目前在人工智能和其他關鍵的無人系統支持技術方面相對于同行/近鄰對手所享有的技術優勢可能會被削弱，因為這種結構對創新造成了障礙，阻礙了美國海軍在無人駕駛系統方面開發、保持或擴大優勢的努力。因此，由此產生的摩擦正在降低快速發明、創新和原型的能力。這些不利因素使得無人駕駛系統研發的成功在沒有巨大的努力和巨大的高級領導層參與的情況下是很難實現的。

近年來，美國海軍在組織和追求無人平臺及其關鍵使能技術--人工智能方面取得了顯著的進展。然而，為了超越潛在的對手，海軍必須在這些努力的基礎上加速發展，不僅要保持而且要提高其技術優勢。海軍部已經公布了一份簽署的無人系統戰略路線圖，以制定有意研發和采購無人平臺的戰略和愿景。然而，這些計劃可以從對無人平臺系統研發機構的全面重組中獲益，以使海軍過渡到一個最佳的成功軌道。如果沒有這種重組，現有的結構可能不足以完成任務，阻礙了UxS的技術進步。以下是這種困境的癥狀：

• 資源過度集中于某些研發工作線（LOE），而在其他關鍵的工作線上處于饑餓狀態。
• 對研發生態系統內的關鍵組織專家中心缺乏認識。
• 官僚主義、行政管理和風險規避對研發的阻礙。
• 評估UXS研發和S&T能力展示的程序不一致，無法進行原型設計。
• 研發生態系統不能靈活地利用新興技術；以及
• 艦隊運行商和研發生態系統之間的合作不足。

隨著同行競爭者在UXS和AI方面的研發激增，包括軍事應用，美國海軍將全面重組其工作，以確保其持續的技術優勢和超越潛在對手。鑒于自主系統的潛在影響和本報告中確定的障礙，海軍的一個選擇是進行類似于過去成功實施的組織變革，以開發和部署先進系統，如核反應堆、潛射彈道導彈和宙斯盾武器系統。在所有這三個案例中，海軍創建了強大的、跨職能的、跨學科的組織，由來自軍隊、文職政府服務部門、工業界和學術界的人員組成，他們被賦予了廣泛的、強有力的任務和權力，以研究、開發、制作原型和操作轉型戰略能力。這種重組的最佳方式是建立一個專門的多領域自主項目辦公室（APO），專注于推進和交付UXS操作原型的實驗、測試，并最終在艦隊中投入使用和收購。通過建立一個APO，海軍可以在目前在這一努力中扮演不同角色的廣泛的組織、參謀和指揮部之間建立統一的方向和努力。建議APO的主要任務應該是統一監督、授權和指導整個UxS生態系統的所有研發工作，以不斷將最新的技術進步轉化為無人機、水面和海底飛行器原型的自主能力的流水線，并可以展示和應用于戰爭價值。一個以交付UxS原型為主要任務的APO可以大大減少官僚主義的摩擦，增加部件和系統的通用性，加快發展勢頭，真正利用工程師、科學家和水兵的巨大創新和才能，從而加快海軍的技術進步。

APO不需要重復優秀的創新和現有的研發、科學、工程、系統集成和T&E組織，它們已經存在于UxS研發生態系統中。相反，APO的存在是為了更好地促進他們之間的協調和合作，以產生統一的努力/方向，從而更迅速地提供UXS原型。它必須由來自UXS研發生態系統各個角落的科學家、工程師、研究人員、專家和管理人員組成，包括海軍和國防部實驗室/作戰中心、FFRDCs、UARCs、行業和學術界。與其責任和義務相稱的是，APO必須被賦予指導生態系統中所有與UXS、自主和人工智能研發、原型設計和T&E有關的事項的權力，包括資金的分配和配置。APO的領導層和工作人員必須表現出靈巧、輕巧的觸覺，從而促進生態系統各組成部分之間的適當協調，以實現更多的協調，而不同時扼殺創新。建立一個APO有一些明確的優勢，這將有利于海軍對無人自主車輛進行原型設計和操作。這些優勢包括：

• 清晰、一致的權力和統一的方向。
• 鞏固和擴大已建立的無人駕駛系統的成果。
• 更有效地利用革命性的技術突破。
• 大幅提高實驗和技術進步的速度；以及
• 更有效地將UxS運用到艦隊中。

海軍應建立APO，以更好地交付UxS技術，包括自主性、機器人技術和人工智能，并避免進一步削弱美國海上優勢所依賴的技術優勢。一個以交付UxS原型為任務的APO可以減少摩擦，加快研發勢頭，并充分利用生態系統內UxS研究人員的才能。