異常檢測對于許多不同的使用案例都至關重要，例如識別安全隱患以防止潛在災難的發生。開發人類-機器人團隊提出有針對性問題的能力對于快速識別違反協議的情況并迅速采取行動糾正這種情況至關重要。在本報告中，試驗了如何利用視覺問題解答算法和一組精心設計的問題來檢測虛擬制造空間和真實世界小巷中的異常情況。我們的探索結果表明，與隨機基線相比，該算法的性能有所提高，還討論了未來工作面臨的挑戰。

圖 1 兩種視覺刺激：虛擬創客空間（左）和現實世界的小巷（右）。向 VQA 提出的問題是 "滅火器周圍是否有任何東西阻擋地面？"VQA 對兩個刺激分別做出了 "是 "和 "否 "的正確回答。

由人類引導的機器人探索有助于在偏遠地區收集信息，特別是那些由于危險條件或自然災害而可能過于危險、荒涼或人類無法進入的地區。現場條件可能是未知的，而且在不斷變化；因此，讓機器人對不斷變化的情況進行可視化監控和報告，將有助于人類伙伴決定機器人下一步應采取什么行動或進一步調查什么。當某一場景違反安全協議或預期時，具有自動檢測功能的機器人或許能實現這一目標。

之前的研究已經在單個實體層面（如一塊布料上的一個洞）、與特定任務相關的場景層面（如自動駕駛汽車的避障）和事件層面（如視頻過程中的意外移動）對異常情況的檢測進行了探索。我們將我們的工作置于場景層面，并在人類-機器人團隊中加入了異常檢測的互動元素。

在本報告中，我們圍繞安全協議和隨后的違規檢測設計了一種視覺場景分析范例。我們收集有關特定領域預期（創客空間安全協議）的背景知識，然后向系統提出有關環境快照的問題，以評估其是否異常。我們的方法將視覺問題解答（VQA）算法的最新進展應用于視覺感官異常檢測的重點研究。我們為研究確定了兩組視覺刺激：一組是虛擬創客空間，我們操縱它違反我們策劃的安全協議；另一組是現實世界中的小巷，它顯示出異常的配置和屬性。兩個領域、問題和 VQA 答案如圖 1 所示。

在這項工作中，提出了以下研究問題： 提出有針對性的問題是否能比要求對圖像進行一般描述（例如，從圖像標題算法中）更準確地識別和評估視覺異常？

貢獻如下： 1) 從安全協議中設計了異常分類，以指導環境設計和 VQA 算法的提問路線；2) 評估了最先進的 VQA 在非典型和非領域環境中的表現。在概念驗證實驗中，以 VQA 為目標的提問方法對創客空間圖像中的異常情況的準確率達到了 70%，而使用標題生成和純描述基線的隨機性為 50%，準確率為 0%。討論了通過提問來評估異常情況的潛力，并介紹了擴大測試規模的未來工作。

為了解決如何利用現有數據的增長來建立有用的模型的問題，一個自動發現模型和管道的方法是有序的，它可以利用這些數據。我們已經探索了自動發現模型和管道所需的許多方面：建立一個模型知識庫和基于推薦系統方法的模型排名，通過數據集的圖形表示進行模型推薦，通過擴展基于樹的管道優化工具（TPOT）和基于強化學習的方法進行管道生成。我們探索了一種預算意識到的超參數調整算法和神經網絡的不確定性估計。我們探索了不同的訓練方法，包括無梯度優化、零點學習和持續學習。我們還解決了神經網絡架構的問題。我們將所有這些結合起來，形成了一個模塊化的自動機器學習（AutoML）系統，該系統支持廣泛的任務類型，在項目評估中一直處于前三名。

本報告記錄了通過利用深度學習（DL）和模糊邏輯在空間和光譜領域之間整合信息，來加強多模態傳感器融合的研究成果。總的來說，這種方法通過融合不同的傳感器數據豐富了信息獲取，這對情報收集、數據傳輸和遙感信息的可視化產生了積極的影響。總體方法是利用最先進的數據融合數據集，為并發的多模態傳感器數據實施DL架構，然后通過整合模糊邏輯和模糊聚合來擴展這些DL能力，以擴大可攝入信息的范圍。這項研究取得的幾項進展包括：

• 將DL模型實施到片上系統（SoC）硬件中
• 高光譜圖像（HSI）數據的DL
  • 1.在HSI上建立DL，以獲得水的特性和底層深度
  • 2.在HSI上使用開放集識別方法
• 框架內融合方法的消融研究
• 使用DL和模糊聚合的HSI和LiDAR多模態傳感器融合的新框架
• 探討神經模糊邏輯在遙感數據中復雜場景的不確定性下自動推理的作用和實用性

出版物[1, 2, 3, 4, 5]進一步詳細介紹了取得的進展。

美國空軍轉型能力辦公室 （TCO） 的一個關鍵目標是在各種舉措中培養轉型能力。若要提出、開發和選擇要推進到轉換功能管道中的概念，TCO 必須從許多數據源中提取信息。機器學習和自然語言處理可用于從文本源中提取信息;但是，還必須有效地應用和利用主題專業知識，以提供創造性的見解并充分利用提取的信息。

為了了解如何使用以人為本的數據增強（HCDE）決策流程來確定哪些概念要進入管道，作者使用了一種多方法定性方法，其中包括對發展規劃相關文獻的回顧以及對高級領導人的采訪，技術專家，以及來自空軍和國防界的主題專家。他們的分析綜合揭示了TCO使用數據科學工具從能力差距，能力需求和技術解決方案的龐大數據庫中提取信息的機會，并使用更多樣化的面向未來的決策方法（稱為預見方法）來利用人類的專業知識和創造力。他們開發并實施了概念驗證語義聚類分析和主題探索工具，以從能力差距和技術的自由文本描述中提取信息，并將數據提取與前瞻性方法相結合，作為HCDE決策過程的一部分。作者在三個案例研究中展示了數據科學工具和遠見方法。

研究問題

• 可以使用哪些方法來決定將哪些概念推進到空軍轉型能力管道中？

• 數據科學工具能否用于從龐大的數據庫中提取有關能力差距、能力需求和技術解決方案的信息？

• 在這些工作中，可以使用哪些方法來利用人類的專業知識和創造力？

主要發現

• TCO的異常廣泛的任務要求使用不同于空軍其他部（DAF）和國防部組織使用的工具和方法。

• 能力差距的一些數據源被廣泛引用，但它們沒有得到集中管理;科學和技術解決方案的數據源更加多樣化和多樣化，這些來源中包含的數據量非常龐大。

• 沒有軟件工具系統地用于解析、提取和總結能力差距和技術解決方案來源的內容。

• 現代數據科學技術可用于從這些源中包含的自由文本描述中提取信息。

• 發展規劃是一項以人為本的工作，取決于領域知識、創造力和社交網絡。

• 預見方法可用于利用人類的專業知識和創造力。

• 數據科學技術和預見方法可以集成在一起，形成HCDE決策過程。

建議

• 空軍研究實驗室（AFRL）和TCO應使用本報告中描述的概念開發和選擇過程。

• AFRL和TCO應該使用軟件工具，如本報告中所述，從自然語言數據源中提取信息。當他們這樣做時，他們應該進行用戶測試和驗證研究，以改進軟件工具。

• AFRL應探索替代的自然語言處理方法，以最大限度地提高從自由文本來源提取信息的效用。

• DAF 應整理和標準化關鍵的運營能力差距數據源。

• AFRL、DAF 和 TCO 應通過購買或開發清理記錄并將其與元數據合并的功能來豐富關鍵的科學和技術數據源。

• TCO應擴大創造性、互動性、專家驅動和循證預測方法的使用。

• 作為實現HCDE能力發展規劃全面管理和標準化的墊腳石，AFRL和TCO應記錄人為生成的技術配對，以彌補能力差距。

本文總結了關于自主軍事系統的測試、評估、驗證和確認（TEV&V）的挑戰和建議的部分文獻。本文獻綜述僅用于提供信息，并不提出任何建議。

對文獻的綜合分析確定了以下幾類TEV&V挑戰：

1.自主系統的復雜性產生的問題。

2.當前采購系統的結構所帶來的挑戰。

3.缺少測試的方法、工具和基礎設施。

4.新的安全和保障問題。

5.在政策、標準和衡量標準方面缺乏共識。

6.圍繞如何將人類融入這些系統的操作和測試的問題。

關于如何測試自主軍事系統的建議可以分為五大類：

1.使用某些程序來編寫需求，或設計和開發系統。

2.進行有針對性的投資，以開發方法或工具，改善我們的測試基礎設施，或提高我們勞動力的人工智能技能組合。

3.使用特定的擬議測試框架。

4.采用新的方法來實現系統安全或網絡安全。

5.采用具體的建議政策、標準或衡量標準。

在過去的十年中，計算和機器學習的進步導致了工業、民用和學術應用中人工智能（AI）能力的激增（例如，Gil & Selman，2019；Narla, Kuprel, Sarin, Novoa, & Ko, 2018；Silver等人，2016；Templeton，2019）。由人工智能促成的系統往往在某種意義上表現得很自主：它們可能會接管傳統上由人類做出的決定，或者在較少的監督下執行任務。然而，與武裝沖突期間的錯誤決定相比，一個真空機器人、一個高頻股票交易系統，甚至一輛自主汽車做出錯誤的選擇是可以通過糾正措施相對恢復的。軍事系統將面臨與民用系統相同的大部分挑戰，但更多地是在結構化程度較低的環境中運作，所需的反應時間較短，而且是在對手積極尋求利用錯誤的情況下。人工智能和自主軍事系統將需要強有力的測試，以保證不理想的結果，如自相殘殺、附帶損害和糟糕的任務表現是不太可能的，并且在可接受的風險參數范圍內。

為了自信地投入使用自主軍事系統（AMS），必須相信它們會對設計時可預見的問題和它們必須適應的不可預見的情況做出適當的決定。簡而言之，這些系統必須是熟練的、靈活的和值得信賴的。 當AMS要在狹義的情況下運行時（例如，要求一個 "智能"地雷在一天中的特定時間內施加特定的壓力時爆炸），要保證系統的行為符合要求就容易多了。它能遇到的相關不同情況的數量和它的行為反應（即其決策的狀態空間）都是有限的。擴大這個狀態空間會使保證更加困難。例如，一個自主的基地防御系統旨在根據目前的ROE用適當的武力來應對任何可能的威脅，預計會遇到更多的情況，包括設計的和不可預見的。要在這種情況下適當地運作，需要更多的靈活性，這反過來又要求系統更加熟練，允許它運作的人類更加信任。這些需求的相互作用是這些系統的許多T&E困難的一個核心驅動因素。

人工智能技術為美國防部（DoD）內的采購項目的測試和評估過程帶來了一系列的挑戰。首先，這些系統純粹的技術復雜性和新穎性可能難以駕馭。此外，美國防部的采購流程是在假設的基礎上進行優化的，而自主權可能不再成立（Tate & Sparrow, 2018）。例如，將承包商、開發和操作測試分開，假設我們有離散的、相對線性的開發階段，導致系統的 "生產代表 "版本。對于AMS來說，這可能不是真的，特別是如果它們在整個生命周期中繼續學習。此外，在我們擁有一個系統之前就寫需求，是假設我們事先了解它將如何被使用。因為AMS的熟練度、靈活性和可信度會隨著時間的推移而發展，并會影響人類如何使用或與系統互動，所以與標準系統相比，作戰概念（CONOPS）和戰術、技術和程序（TTPs）將需要與系統共同開發，其程度更高（Haugh, Sparrow, & Tate, 2018; Hill & Thompson, 2016; Porter, McAnally, Bieber, & Wojton, 2020; Zacharias, 2019b）。

然而，即使美國防部的采購流程被更新，美國防部員工用于測試和評估（T&E）的具體方法、工具和基礎設施將無法保證系統的性能達到預期。開發和設計工作包含了測試，通過內部儀器建立可測試性；提高軟件的透明度、可追溯性或可解釋性；對培訓和其他數據進行良好的管理和驗證，可以改善開發過程，同時也為測試和評估鋪平道路，但它們沒有被普遍采用。此外，能夠幫助項目克服所有這些挑戰的政策和標準要么缺乏，要么不存在。

什么是自主性？

自主性的定義繁雜眾多，有些定義對美國防部來說不如其他定義有用。許多定義包含了獨立、不受外部控制或監督、或與其他實體分離的概念（例如，牛津英語詞典，2020年）。然而，假設任何參與者將在沒有控制或監督的情況下運作，甚至是人類作戰人員，這與美國防部的政策和指揮與控制（C2）的思想相悖。不希望自主系統擁有選擇行動路線的完全自由，而是在其分配的任務中擁有一些受約束的自由。

與作戰人員一樣，可能希望與自主系統有一個C2或智能體關系。希望：1. 明確具體任務和/或整體任務的目標或目的，可能還有這些目標的更大原因，如指揮官的意圖（即做什么和為什么）。2.明確與任務相關的約束，如交戰規則（ROE，即不能做什么）。3. 不指定使用的方法或對每一種情況給出明確的應急措施，如對對手的反應做出反應（即如何完成任務）。

一個系統是否被授權為一項任務做出這些 "如何 "的決定，是本文將區分自主系統和非自主系統的方法。

在 "是什么"、"不是什么 "和 "為什么 "的限制下，為 "如何 "做出有用的、理想的選擇，假定了某種程度的智能。因為這些是機器，這就意味著存在某種程度的人工智能。需要人工智能來實現對非瑣碎任務的有用的自主性，這可能解釋了為什么人工智能和自主性經常被混為一談。在本文件中，我們將自主性稱為系統在其操作環境中的行為，而人工智能則是與該環境進行有意義的互動的 "內在 "促成因素。

目的

美國政府面臨著保持作為世界上空間物體編目數據提供者的步伐挑戰。用非傳統的傳感器來增強能力，是一種快速和低成本的改進。然而，巨大的交易空間和未開發的系統性能要求給成功的資本化帶來了挑戰。本文旨在通過一個多學科的研究，更好地定義和評估增強功能的效用。

設計/方法/途徑

假設的望遠鏡架構在不同的時間里被建模和模擬，然后在啟發式算法中使用多目標優化對性能措施和約束進行評估。決策分析和帕累托優化確定了一套高性能的架構，同時保留了決策者設計的靈活性。

研究結果

建議將容量、覆蓋率和未觀察到的最大時間作為關鍵性能指標。在1017個架構中，共有187個被確定為最佳表現者。總共有29%的傳感器被發現在80%以上的頂級架構中。其他考慮因素進一步將交易空間減少到19個最佳選擇，這些選擇為每個空間物體平均收集49-51個觀測數據，平均最大未觀測時間為595-630分鐘，提供地球同步軌道帶的冗余覆蓋。這意味著與模擬的僅有政府的基線結構相比，能力和覆蓋面增加了三倍，未觀察到的最大時間減少了2小時（16%）。

原創性/價值

這項研究利用基于物理學的模型和現代分析技術，驗證了增強型網絡概念的效用。它客觀地回應了要求改進編目工作的政策，而不是僅僅依靠專家得出的點解決方案。

本報告總結了迄今為止在路線偵察領域的本體開發的進展，重點是空間抽象。我們的重點是一個簡單的機器人，一個能夠感知并在其環境中導航的自主系統。該機器人的任務是路線偵察：通過觀察和推理，獲得有關條件、障礙物、關鍵地形特征和指定路線上的敵人的必要信息。路線偵察通常是由一個排的騎兵和非騎兵進行的。這項研究探討了機器人執行部分或全部必要任務的合理性，包括與指揮官進行溝通。

1.1 背景與動機

這是一項具有挑戰性的對抗性任務，即地形穿越加上信息收集和解釋。偵察的解釋方面需要考慮語義學--確定相關的信息和確定它如何相關（即有意義）。語義信息在本質上是定性的：例如，危險是一個定性的概念。為了將危險與某些特定的區域聯系起來，我們需要一種方法來指代該區域。這意味著至少能夠給空間的某些部分附上定性的標簽。

Kuipers在他的空間語義層次的早期工作中指出了空間的定性表示對機器人探索的重要性。例如，層次結構的拓撲層次包含了 "地方、路徑和區域的本體"，歸納產生了對較低層次的因果模式的解釋。

最近，Izmirlioglu和Erdem為定性空間概念在機器人技術中的應用提供了以下理由：

• 各種任務，如導航到一個目的地或描述一個物體的位置，涉及處理物體的空間屬性和關系。......或某些應用（如探索未知環境），由于對環境的不完全了解，可能并不總是有定量的數據。......可理解的相互作用和可接受的解釋往往比高精確度更可取（Kuipers 1983）。對于這些應用，定性的空間關系似乎更適合。

對于負責路線偵察的無人地面車輛（UGV）來說，其架構中的不同模塊將消費和產生語義信息：負責語義感知和目標識別、計劃和執行、自然語言對話等的模塊，加上主要負責維護信息的語義世界模型。例如，在美國陸軍作戰能力發展司令部陸軍研究實驗室的自主架構中，語義/符號世界模型被用來 "實現符號目標（例如，去接近一個特定的物體）"，*其中接近是一個語義概念。

一個關鍵問題是如何在世界模型和其他模塊之間分配維護和處理不同類型語義信息的責任。從語義世界模型的角度來看，這取決于有多少符號推理是合適的。例如，假設要接近的物體位于一個給定區域的某個位置，而不是靠近該區域的外部邊界。一旦機器人靠近物體，就可以推斷出機器人在物體的位置附近，而且也在同一區域內。如果有公制信息，就可以用幾何例程得出這個結論。在沒有公制信息的情況下，是否會出現在純粹的定性空間中推斷有用的情況？

本報告不涉及這個問題。我們的目標是確定什么應該被代表，而把如何代表和在哪里代表留給未來的工作。

1.2 路線偵察

以下片段取自FM7-92中對路線偵察的描述。空間表達是彩色的，周圍有一些文字作為背景。

• 路線偵察的重點是獲得關于一條指定路線和敵人可能影響沿該路線移動的所有地形的信息。路線偵察的方向可以是一條道路、一條狹窄的軸線（如滲透通道），或一個總的攻擊方向......防御陣地。......部隊可以機動的可用空間......所有障礙物的位置和類型以及任何可用的繞道位置。障礙物可包括雷區、障礙物、陡峭的峽谷、沼澤地或核生化污染 ......沿途和鄰近地形的觀察和火力范圍 ......沿途提供良好掩護和隱蔽的地點 ......。橋梁的結構類型、尺寸和分類。著陸區和接駁區。與路線相交或穿越的道路和小徑。. . 如果建議路線的全部或部分是道路，則該排認為該道路是一個危險區域。它使用有掩護和隱蔽的路線與道路平行移動。當需要時，偵察和安全小組靠近道路，以偵察關鍵區域。

路線偵察的結果是一份報告，以圖表的形式，并附有文字說明。FM7-92給出了一個例子，我們可以從中提取一些更必要的概念：

• 網格參考。磁性北方箭頭..道路彎道..陡峭的坡度..道路寬度的限制（橋梁，隧道等）..岔道的位置..隧道..

讓我們把這段關于路線偵察的描述中提到的概念建立一個綜合清單，重點放在空間概念上，并盡可能地保留軍事術語:

1）必須指定環境中的位置、路線、區域和感興趣的物體。稱這些為 "實體"。

2）這些實體之間的空間關系是相關的（例如，一個地點在另一個地點的北邊）。值得注意的是，不同類型的實體之間的關系是被指定的。

a. 物體（例如，障礙物）在位置或區域。

b. 一些地點在空間上與路線有關（例如，沿著路線，毗鄰，或靠近道路）。

c. 地點可能代表更大的區域（例如，雷區的位置）。

d. 道路和小徑可以與路線相關：它們可能相交、重疊（部分疊加），或平行運行。

3. 一些實體對路線具有戰術價值，無論是進攻還是防御（例如，雷區）。

a. 一些地點相對于其他地點或區域有方向性的定位（例如，一個防御性的位置）。

b. 有些區域是由其與另一個區域或地點的關系來定義的，這可能不是一種局部的關系（例如，觀察和火力場是由一個潛在的遠程位置來定義的，該位置有一條通往路線上的一個區域的線路）。

4）路線可能被障礙物阻擋，障礙物可能是明確的物體或更大的區域（例如，一個障礙物與一個雷區）。

5. 路線和地形的三維幾何特性是相關的：道路上的急轉彎，陡峭的坡度，等等。

6）有時，描述物理基礎設施（如道路、橋梁）及其屬性是很重要的。

1.3 路線偵察抽象

路線偵查收集和解釋不同種類和不同來源的信息:

• 背景知識。這包括關于環境特征的類型和預期成為任務一部分的物體的信息，包括道路、障礙物、溝壑、橋梁等等。

• 任務規范。確定偵查的區域和路線，以及當時可獲得的任何信息。

• 環境。通過空間分析（包括幾何學、拓撲學等）、感知、地圖衛星數據的離線圖像處理和其他類型的分析，確定環境的相關特征。

• 任務執行期間的通信。我們假設指揮官或人類操作員在偵察過程中可以向UGV提出詢問或命令，提供新信息或集中注意力。

• 如前所述，一份報告。

原則上，所有這些信息都以某種抽象的形式組合在一個語義世界模型中。我們把環境的物理屬性和特征稱為 "實體"。把我們用來表示這些實體和它們之間關系的抽象概念稱為 "概念"。

不同類型的實體的概念。層次結構在語義表征中很常見，用來捕捉關于世界上遇到的實體類型的一般知識。一個類型就是一個概念，類型被組織在一個層次中：MRZR是一種輕型的、戰術性的、全地形的車輛，它是一種輪式地面車輛，它是一種地面車輛的類型，等等。屬性和關系可以與一個給定的概念相關聯，而下級概念則繼承這些屬性。在路線偵察中，如果有信息說某一地區有一條道路，但沒有更多的細節，仍然可以從道路的概念中推斷出它的預期屬性：它比它的寬度長得多；它在人們感興趣的地點之間通向；在其他條件相同的情況下，它可能比周圍的地形行駛得快。從實用的角度來看，這意味著如果有可能將某物歸類為一個已知的概念，那么語義世界模型就不需要記錄關于該物的每一條相關信息。

用于實體的目的和用途的概念。一個代表道路典型用途的概念可以進一步區分其長度和寬度的語義，這反過來又導致了跨越和沿途、穿越和跟隨等概念之間的區別。這將使UGV能夠以不同的方式對待 "偵察道路對面的區域 "和 "偵察前方的道路 "的命令。前方的道路也是一個語義概念：它取決于對過去去過的地方的了解。

代表部分信息的概念。有時可能會有定性的信息。想象一下，任務規范的一部分是關于雷區在計劃路線上存在的信息，但不知道具體位置，或者知道雷區的位置，但不知道其范圍。這種無知可以很容易地在代表實體的概念中得到體現。

新概念適用于新環境。另一個交流的例子可能是信息性的。想象一下，當一輛UGV穿越一條東西走向的道路時，它與遠程指揮官進行交流，指揮官問道："道路北側是什么？"* 需要識別的物體可能不在道路和地形的邊界上（與 "建筑物的一側 "形成對比），而是在以道路邊緣為界的某個感興趣的區域內，距離UGV的位置向北不遠，向東和向西也有一些距離。這個區域可能沒有事先作為一個概念被劃定；相反，它是在當前的背景下構建或推斷出來的。這是一個有趣的例子，一個概念不是從公制數據中抽象出來的，而是被強加在公制數據上的。

背景中的概念的適應和組合。想象一下，對一張地圖的分析產生了對代表區域、道路等等的概念的分解。這些概念可能直接適用于某些目的。例如，與道路相聯系的概念在推理兩點之間的導航時是有用的。然而，在其他情況下，這些概念可能需要調整或與其他概念相結合。例如，如果一條道路被指定為 "危險區域"，那么這個區域的概念可能會超出道路的邊界，延伸到周圍的地形。

本報告詳細介紹了我們開發技術的方法，即在一個自動框架內調查受自適應系統的自我修復計劃影響的關鍵屬性的再驗證潛力，該框架還測量了自我修復發生時被侵犯屬性的風險。從這項調查中，我們1）設計了一個框架，使基于組件的系統同時具有架構和驗證意識，并能對自我修復計劃進行動態的再驗證狀態評估；2）設計了一個風險評估機制，如果自我修復計劃導致違反關鍵要求，則對系統可能進入的潛在風險狀態發出警報；3）在該框架內測試了Genprog自我修復計劃的應用。該框架已被嵌入到兩個內部案例研究和一個為模仿可穿戴設備操作和通信而開發的測試平臺中并進行了評估。

圖 1：基于元數據的驗證和認證框架

彈性要求自動適應阻礙任務的情況。一個自適應的軟件系統可以監控自己，分析故障的發生，并通過改變其狀態、邏輯或結構來恢復。這樣的自主系統依賴于對系統和環境的持續監測，分析性能異常，根據環境和可用資源規劃最可行的適應策略，并在部署的系統上執行適應。在自適應系統的各個層面都存在大量的研究，例如，架構的重新配置、界面的改變和嵌入式系統的改變，但它主要側重于在不中斷的情況下執行功能或架構改變（Cheng，2009），（Lemos，2013）。一旦改變，強加在最初部署的系統上的同樣的要求合規性保證過程也應該同樣強加在適應的系統上。在系統適應期間和之后的自我驗證方面的研究嚴重不足，特別是對于分布式系統、面向服務的架構和嵌入式系統（Calinescu，2012），（Tamura，2013）。軟件驗證和確認，以及安全認證，都是困難而繁瑣的過程，需要明確的要求、清晰的評估策略，以及不需要比被評估功能更多代碼的自動化方法（Zuo，2011）。本項目定義了一個技術框架，以確定改編是否會抑制用于驗證或認證的原始合規性保證流程的重用，其中驗證指的是正式的方法流程，而認證則專門用于保證安全控制的合規性，如NIST SP800-53（NIST，2013）。它從這些流程中提取關鍵屬性和評估或檢查的流程，以確定適應性將如何影響它們（Jahan, 2017）。影響的破壞性越大，合規保證流程被重用的可能性就越低。流程重用的可能性越低，合規性違反的可能性就越高，因為很少能有替代的合規性保證流程被用于需求（Marshall，2018）。

要構建和部署這項技術，有多個研究問題需要解決。一個主要的研究問題是定義一個策略，以確定在設計和選擇適應計劃時，是否可以通過對適應系統的驗證或認證來重新保證一個需求。面臨的挑戰是要超越識別關鍵屬性和通過驗證或認證確定系統的符合性水平，捕捉和建模最初進行驗證或認證的符合性保證過程。驗證和認證的形式化過程在運行時部署的資源成本太高。盡管模型檢查在合規性保證過程中引入了一個抽象層次，但它在可以表達和評估的內容方面也是有限的（Sharifloo，2015）、（Calinescu，2012）、（Cordy，2013）、（Weyns，2012）。為了解決這個研究問題，我們主張將驗證和認證過程（即合規性保證過程）以一種可以嵌入系統的方式建模，使其具有合規性意識。有了這種意識，就可以開發技術來評估它是如何被保證符合要求的，以及適應性如何影響符合性保證過程的再利用。本報告展示了一個體現這種技術的初始框架。

另一個研究問題是，需要定義衡量標準，將風險水平與確定適應性計劃如何抑制合規性保證過程的再利用聯系起來。此外，一旦計算出一個風險系數，就必須了解該風險是如何在整個系統需求中傳播的。這個項目將風險評估與重新驗證和重新認證的狀態評估結合起來。通過該框架，風險指標直接與受影響的屬性的關鍵性以及這些影響對一個或多個合規性保證過程的再利用的程度相聯系。

第三個研究問題是如何在運行時將合規意識和風險評估編碼到動態適應性計劃分析中（Abie，2012）、（Almeida，2011）、（Camara，2013）、（Cheng，2009）。所開發的框架定義了表達內部處理和外部交互性能參數及其依賴關系的建模抽象。它為每個關鍵需求嵌入了一個可執行的彩色Petri網（CPN）（Jensen，2009），（Jensen，2015），表示合規性保證過程的架構以及用于驗證和認證的屬性。每個CPN的輸出被匯總以計算適應計劃與替代計劃的風險。總的來說，本項目開發的建模和評估機制將為在設計時捕獲相關元數據提供信息，從而在彈性系統中實現更好的合規意識表示和操作。

摘要--基于模擬的訓練有可能大幅提高空戰領域的訓練價值。然而，合成對手必須由高質量的行為模型控制，以表現出類似人類的行為。手工建立這種模型被認為是一項非常具有挑戰性的任務。在這項工作中，我們研究了如何利用多智能體深度強化學習來構建空戰模擬中合成飛行員的行為模型。我們在兩個空戰場景中對一些方法進行了實證評估，并證明課程學習是處理空戰領域高維狀態空間的一種有前途的方法，多目標學習可以產生具有不同特征的合成智能體，這可以刺激人類飛行員的訓練。

索引詞：基于智能體的建模，智能體，機器學習，多智能體系統

I. 引言

只使用真實的飛機進行空戰訓練是很困難的，因為飛行的成本很高，空域的規定，以及代表對方部隊使用的平臺的有限可用性。取而代之的是，可以用合成的、計算機控制的實體來代替一些人類角色。這可以降低訓練成本，減少對人類訓練提供者的依賴（見圖1），并提高訓練價值[1]。理想情況下，受訓飛行員的對手應該都是合成實體，這樣就不需要角色扮演者和真實飛機來支持訓練。然而，為了達到較高的訓練價值，合成對手必須由高質量的行為模型控制，并表現出類似人類的行為。手工建立這樣的模型被認為是一項非常具有挑戰性的任務[2], [3]。

圖1. 空戰訓練系統的用戶。通過構建更智能的合成智能體，可以減少對人類訓練提供者的需求。

近年來，強化學習算法的性能得到了迅速提高。通過將強化學習與深度學習相結合，在復雜的控制任務[4]-[6]、經典的棋盤游戲[7]-[9]以及具有挑戰性的實時、多人計算機游戲[10],[11]中取得令人印象深刻的結果成為可能。這使我們相信，強化學習也可以成為構建空戰模擬中合成智能體行為模型的一個可行的選擇。有了這種方法，訓練系統的用戶就不需要明確地對智能體的行為進行編程，而是可以簡單地指定他們所需的目標和特征。然而，目前還沒有很多研究來評估空戰領域中最新的多智能體學習方法的性能。

在這項工作中，我們研究了如何在空戰模擬中使用多智能體深度強化學習來學習協調。在空戰領域，多個智能體的協調是很重要的，因為飛行員從來不會單獨飛行。我們的貢獻可以總結為以下幾點:

• 首先，我們討論了用于訓練飛行員的空戰模擬領域的強化學習算法的用例、設計原則和挑戰

• 其次，我們使用高保真模擬引擎，對有助于實現所確定的用例的方法進行了廣泛的實證評估。

具體來說，我們研究了空戰模擬場景中學習算法的兩個挑戰。1）用稀疏的獎勵學習，以及2）創建具有可調整行為的智能體。我們的實驗表明，在空戰的高維狀態空間中，課程學習可以促進稀疏獎勵的學習，而多目標學習可以產生具有不同行為特征的智能體，這可以刺激飛行員的訓練。

本報告從技術角度對一份有關人工智能（AI）系統輔助空軍指揮和控制（C2）的潛力的報告進行了分析。作者詳細介紹了10個 C2 問題特征的分類法。他們展示了結構化訪談協議的結果，該協議能與主題專家一起對 C2 流程的問題特征進行評分。使用問題分類法和結構化訪談協議，作者分析了10個推演和10個 C2 流程。為了演示 C2 問題的分類法和結構化訪談協議，他們隨后將其應用于由空戰管理人員執行的傳感器管理。

作者隨后轉向了8項人工智能系統解決方案能力。至于 C2 問題的特征，他們創建了一個結構化協議，以便對給定的人工智能系統的解決方案能力進行有效和可靠的評分。使用解決方案分類法和結構化訪談協議，作者分析了10個人工智能系統。

作者提供了有關專家小組設計、實施和結果的更多細節，由該小組在8種解決方案能力中擇一處理10個問題特征中的每個特征。最后，作者展示了3個技術案例研究，針對各種 C2 問題演示了廣泛的計算、人工智能和人工解決方案。

目錄

第一章 問題特征分析

第二章 解決方案能力分析

第三章 專家小組設計、實施和其他結果

第四章 評估人工智能解決方案的指標

第五章 案例研究 1：主空襲計劃

第六章 案例研究 2：自動目標識別與學習

第七章 案例研究 3：人員恢復的人機協作

附錄 A 人工智能歷史

附錄 B 閉環自動目標識別的數學細節