亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

引言和目標

盡管機器人系統在深海干預中無處不在，但這種方法對淺水未爆彈藥修復的影響有限，這在很大程度上是由于目前遠程操作技術相對粗糙且不靈巧。計算機輔助或控制方法為解決水下遙控操作的基本問題提供了巨大的希望，可以安全有效地執行未爆炸彈藥修復任務；但是，這種計算機輔助需要準確的海底未爆炸彈藥數字模型。雖然陸地研究可以依靠各種基于結構光和激光雷達的傳感器來近乎實時地生成此類模型，但對于水下應用，尤其是在未爆彈藥修復工作最為重要的淺層渾濁水域中的操作，目前還沒有此類交鑰匙解決方案。本計劃研究如何利用可見光立體攝像機和高頻前視聲納，結合平臺運動，構建和更新海底未爆彈藥的三維重建。

技術方法

這項工作包括四項主要任務：(1) 建造包含 4K 立體相機和 2.1 MHz 成像聲納的傳感器平臺，以及允許所有傳感器數據時間同步記錄的軟件。該系統安裝在攝影機龍門架上，可進行重復、有限制的運動，近似于在操作前和操作過程中對未爆彈藥進行近距離檢查。(2) 利用傳感器捕捉系統收集數據集；包括相關的元數據以及對地面真實世界結構和攝像機軌跡的估計。(3) 開發所有傳感器之間的重投影模型，特別是使用觀測數據估算攝像機中心與聲納數據原點之間機械偏移的程序。最后，(4) 擴展 LSD-SLAM（一種單目同時定位和繪圖（SLAM）算法），以滿足所述應用的特殊要求，包括利用立體聲進行直接比例測量，在攝像機運動相對較小的情況下改進模型收斂性，以及納入聲納數據。

結果

結果表明，改進后的 LSD-SLAM 算法能利用立體視頻實時生成測試場景的收斂三維模型，包括對攝像機軌跡的估計。除了未發現的比例誤差外，該軌跡與獨立測量的地面實況軌跡在攝像機位置和姿態方面都具有很高的一致性。此外，還演示了一種有效的攝像機到聲納校準程序，包括將聲納數據投射到視覺框架中的初步結果。

效益

該計劃開發了用于收集物體同步立體視頻和成像聲納數據的硬件和軟件工具，包括估計地面真實場景結構和攝像機軌跡。它還展示了立體視覺方法在低湍流條件下進行三維重建的有效性，從而在原始應用（輔助遙控潛水器操作）方面繼續取得進展。在確保視覺重建的穩健性以及利用聲學數據補充或替代光學數據方面，仍有大量工作要做。

圖 1：計算出的聲納到相機的外在校準可將聲納數據（左）中的高強度點重新投影到相機（右）的視角中，注意投影點位于聲納光束圖案的垂直中心線上；在聲納垂直孔徑內觀察到的目標的真實垂直位置無法從數據中測量。

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

戰斗機飛行員通常使用模擬器來練習他們需要的戰術、技術和程序。訓練可能涉及計算機生成的力量，由預定的行為模型控制。這種行為模型通常是通過從有經驗的飛行員那里獲取知識而手工制作的，并且需要很長的時間來開發。盡管如此，這些行為模型由于其可預測性和缺乏適應性而通常是不夠的，教官必須花時間手動監測和控制這些力量的各個方面。然而，最近人工智能（Al）研究的進展已經開發出能夠產生智能代理的方法，在復雜的游戲（如圍棋和《星際爭霸II》）中擊敗人類專家玩家。

同樣，人們可以利用人工智能的方法來組成空戰的高級行為模型，使教官能夠更專注于飛行員的訓練進展，而不是手動控制他們的對手和隊友。這種智能行為必須表現得逼真，并遵循正確的軍事理論，以證明對飛行員訓練是有用的。實現這一目標的一個可能方法是通過模仿學習，這是一種機器學習（ML）類型，代理學習模仿專家飛行員提供的例子。

本報告總結了使用模仿學習技術優化空戰行為模型的工作。這些行為模型被表述為控制計算機生成的部隊的行為轉換網絡（BTN），由下一代威脅系統（NGTS）模擬，這是一個主要針對空域的軍事模擬應用。遺傳算法Neuroevolution of Augmenting Topologies (NEAT)的一個改編版本優化了BTNs，使其行為與飛行員行為的演示相似。與大多數ML方法一樣，NEAT需要許多連續的行為模擬來產生滿意的解決方案。NGTS不是為ML目的而設計的，因此圍繞NGTS開發了一個系統，該系統自動處理模擬和數據管理并控制優化過程。

進行了一組實驗，其中開發的ML系統對BTN進行了優化，以模仿三個簡單空戰場景中的例子行為。實驗表明，NEAT的改編版本（BTN-NEAT）產生的BTN能成功地模仿簡單的示范行為。然而，優化過程需要相當長的時間，計算時間長達44小時或模擬飛行時間為92天。緩慢的優化主要是受NGTS不能快速運行同時保持可靠的影響。這個可靠性問題是由NGTS缺乏時間管理造成的，它可以將代理人的狀態與模擬時間戳聯系起來。為了在更復雜的場景和演示中實現成功的行為優化，人們應該在高可靠性的前提下以比實時快得多的速度模擬行為。因此，我們認為NGTS并不適合于未來的ML工作。相反，需要一個為ML目的設計的輕量級空戰模擬，能夠快速可靠地運行。

引言

戰斗機飛行員通過嚴格的訓練學習并保持他們的戰術技能。相當多的訓練是以模擬為基礎的，在訓練中，受訓者面對友軍和敵軍，他們的行為最好能加速訓練并建立起理想的能力。計算機生成的部隊（CGFs），是自主的、計算機控制的實體，被用來扮演這些友軍和敵軍的角色。理想情況下，在基于模擬的訓練中使用CGF應該提供一些好處，如增加飛行員的訓練可用性，減少訓練中對主題專家（SME）的需求。然而，手動模擬CGF的行為，使其對教學作用有足夠的代表性，這是很繁瑣的，而且已被證明具有挑戰性。因此，目前手工制作的行為模型往往是可預測的，不能適應新的情況或在軍事理論、戰術、技術和程序（TTP）方面表現得很真實。在基于模擬的空戰訓練中保持真實的體驗對于確保受訓者獲得必要的技能至關重要。然而，由于CGF的表現和行為被認為是不足的，中小企業往往在訓練中對CGF進行微觀管理，這是不幸的，因為中小企業的成本很高，他們的時間很寶貴，而且數量有限。

人工智能研究的最新進展已經開發出能夠產生智能代理的方法，在復雜的游戲中擊敗人類專家玩家，如圍棋[1]和星際爭霸II[2]。隨著這些進展，學習用于空戰的指導性和適應性代理行為已成為一個越來越受關注的研究領域。然而，為了發揮作用，飛行員模擬的對手和盟友的行為必須是真實的，并符合軍事理論，而不是，例如，試圖不惜一切代價贏得交戰。該研究領域的一些貢獻集中在強化學習方法上，并且已經顯示出一些有希望的結果。然而，即使仔細設計目標函數，強化學習代理也有可能學習到用于飛行員訓練的次優政策，這意味著他們的行為與根據既定理論和TTP所期望的不同。另一種方法是向ML算法提供專家示范，從中提取飛行員的具體知識，并將其納入代理人使用的行為模型。據我們所知，在空戰領域，很少或沒有先前的研究探討過這種方法。

本報告介紹了基于達爾文自然選擇原則的模仿學習算法被用來產生以行為轉換網絡（BTNs）表示的空戰行為模型。雖然BTNs已經出現在之前使用強化學習的空戰行為建模的相關工作中，但這項工作研究了BTNs是否適合模仿學習。下一代威脅系統（NGTS）被用來模擬BTNs，并進行了評估以考慮該模擬系統對機器學習（ML）的適用性。已經開發了一個ML系統，包括使用NGTS和選定的學習算法成功生產空中戰斗機代理所需的工具和方法。這個ML系統自動處理模擬和數據管理并控制學習算法。簡單的空戰場景被定義，并在使用該ML系統進行的一系列實驗中使用，在這些實驗中產生了反映示范飛行員行為的BTN。

為了限制這項工作的范圍，我們做了一些限定。開發的ML系統不是生產級的，而是一個概念驗證。因此，實驗中使用的場景和試點演示保持簡單。具體來說，這些都是一對一的場景，演示僅限于二維空間的運動。此外，行為演示是基于報告作者手工制作的BTN，而不是由專業飛行員制作的。

本報告是為從事軍事訓練和人工智能相關課題的研究人員準備的，最好具有空戰和行為建模的知識，其組織結構如下。第2章介紹了工作的背景，包括與空戰訓練和模擬有關的概念、人工智能理論和相關工作。第3章涵蓋了實驗中使用的選定的學習算法及其配置，而第4章介紹了構成ML系統的過程和工具。第5章和第6章通過定義空戰場景和行為演示來回顧實驗的設置和執行，并介紹了結果。第7章討論了這些結果，以及ML系統和NGTS的性能。第8章本報告的總結和對未來工作的思考。

圖5.2 第一個場景的總結： 逃亡。CGF從它們的初始位置向對方飛去。一旦藍色飛機進入紅色飛機的導彈射擊范圍內，紅色飛機就會轉身向相反方向逃離。

高超聲速導彈仍需克服技術挑戰

基本挑戰涉及管理高超音速導彈在大氣層中以超過五倍音速（5馬赫）的速度飛行所暴露的極端熱量。(對于在大氣層中以較低速度飛行的巡航導彈和主要在大氣層上方飛行的彈道導彈來說，高熱是一個較小的問題）。廣泛的飛行測試是必要的，以保護高超音速導彈的敏感電子器件，了解各種材料的性能，并預測持續溫度高達3000華氏度時的空氣動力學。測試正在進行中，但近年來的失敗已經推遲了進展。

高超音速導彈和彈道導彈都非常適合在潛在對手的反介入/區域拒止區內作戰

美國防部已經制定了一項戰略，在沖突早期使用精確的高速導彈，以化解潛在對手，如俄羅斯正在開發的反介入和區域拒止（A2/AD）能力。高超音速導彈和配備機動彈頭的彈道導彈都可以提供速度、精度、射程和生存能力（到達目標而不被攔截的能力），這在CBO考慮的軍事場景中是有用的。然而，許多任務并不要求快速打擊。對于這些任務，存在成本較低的高超音速導彈和彈道導彈的替代選項，包括亞音速巡航導彈。高超音速武器主要用于應對防御力強且時間極其敏感的威脅。

除非彈道導彈遇到高效的遠程防御，否則高超音速導彈在沖突中不會比具有可機動彈頭的彈道導彈更具生存能力

高超音速導彈可以抵消遠程（中程）防御系統，因為它們在大氣層內飛行，低于中程彈道導彈防御系統通常運行的高度。高超音速武器還能以不可預測的高速機動來對付目標附近的短程防御系統，使其更難追蹤和攔截。彈道導彈也很難防御，特別是如果它們配備了混淆中程導彈防御系統的反措施和擊敗短程導彈防御系統的可操縱彈頭。只有非常有效的遠程防御系統才有可能威脅到中途的彈道導彈。迄今為止，沒有任何潛在的美國對手部署過這種防御系統。

高超音速導彈的采購和部署成本可能比相同射程的機動彈頭彈道導彈多三分之一

CBO估計，購買300枚帶有機動彈頭的地面或海上發射的中程彈道導彈，并將導彈系統維持20年，將總共花費134億美元（按2023年美元計算）。CBO估計，同樣數量的可比高超音速導彈的成本將增加約三分之一，即179億美元。(這兩項估計都不包括通常與技術上具有挑戰性的項目有關的成本超支。） 高超音速導彈的較高成本部分反映了建立能夠承受高超音速飛行熱量的系統的復雜性。CBO的估計不包括導彈的研究和開發費用。

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

未來的 MDO 概念：

• 需要機動以滲透并在復雜和有爭議的地區開展行動。
• 嚴重依賴RAS。

正在探索的RAS是為了：

• 在所有陸軍相關環境中運行。
• 提供更好的態勢感知。
• 增加作戰人員的距離。
• 增加對敵方的覆蓋和困境。
• 實現更快的決策。
• 以尚未想象到的方式擴展機動性。

RAS將被要求：

• 評估場景并創建和分享本地和共同世界模型。
• 以戰斗的規模和速度協調各梯隊、團隊、分隊和單個系統（包括人類）的行動、決策和機動。
• 適應環境和敵方行動中的巨大干擾和變化，并具有復原力。

在有環境因素的城市區域內安全有效地使用四旋翼飛行器，對美國軍事和民用部門具有巨大的重要性。本技術報告探討了一個高度適應性的模擬設置，其中有一個包含學習元素的非線性控制器。其他模型因素--如無人機的幾何形狀、權重和風的力量--在所提出的框架內很容易被修改。用虛幻引擎進行的模擬，可以結合現實世界的城市數據、現實的風和現有的開源軟件。

引言及與美國陸軍的相關性

無人系統和無人駕駛航空系統（UAS）的使用在全世界的軍隊中激增，在通信、監視、偵察和戰斗中都有應用（Nacouzi等人，2018）。在敵對地區，無人機系統將受到多種威脅，包括網絡和物理威脅，以及環境危害。生存和任務的成功往往取決于以最小的通信或依賴全球導航衛星系統（GNSS）的能力，如GPS（Guvenc等人，2018；Sathyamoorthy等人，2020；Fan等人，2022）。例如，無人機系統的通信可用于檢測和獲得無人機系統的位置，而基于衛星的導航很容易被欺騙或干擾，因為信號非常弱。其他傳感器也經常被用來增強GNSS的位置分析，并可以用來取代它，如光學系統--包括照相機、雷達、光探測和測距（LiDAR）系統和慣性測量單元（IMU）（Angelino等人，2012）。這些都提出了自己的挑戰。慣性測量單元是標準設備，但只能檢測線性和角加速度，同時通過檢測地球的局部磁場來確定方向（共9個自由度）。因此，位置誤差，即測量的加速度的第二個時間積分，會隨著時間的推移而累積。在使用IMU進行UAS導航時，其他令人擔憂的來源包括環境影響（即風或降水）。 UAS結構的物理變化，如增加一個傳感器或武器包，包括武器發射后的變化，使工作進一步復雜化。這種質量和質量分布的變化改變了UAS的質量中心和慣性張量。光學傳感器、雷達和LiDAR系統增加了重量，并經常發射射頻或光，使它們更容易被探測到和/或需要處理資源。增加的重量和/或處理可能對電池壽命產生不利影響，從而影響運行時間和整體可靠性。

為了解決這些問題，我們正在研究在大風環境中使用控制算法，以了解IMU信號如何在控制中被用來考慮（和/或改變）UAS的位置計算。再加上不確定性措施，這些最終可用于檢測UAS飛行性能的變化，或對GNSS信號的欺騙。

城市環境是安全和可靠的無人機系統運行的第二個關注領域（Watkins 2020）。它們被認為是國防部行動的一個挑戰領域，也是政府和商業服務的一個巨大的技術增長領域。在這份報告中，我們展示了一個模擬空間，我們正在建立專門用于模擬城市環境中的無人機系統，以解決自主和半自主控制的問題，重點是環境的相互作用，包括風和靜態碰撞威脅。物理學和控制的關鍵部分直接用C++實現。除此之外，在可能的情況下，我們正在利用當前的免費和開源資源（即軟件、軟件框架和數據），但要注意的是，我們包括使用一些在產品商業化成功后需要付費的工具。我們采取了一種模塊化的方法，隨著其他軟件框架和系統的成熟，將能夠靈活地過渡到其他軟件框架和系統。我們目前的系統已經基于用于小型無人機系統的PX4控制器庫和實時發布-訂閱（RTPS）數據傳輸協議。RTPS應能使我們的發展在其他工具成熟時過渡到其他工具，并使用通用的應用編程接口（即API）過渡到其他工具和數據，如計算的風數據。對于圖形和用戶界面，我們使用虛幻引擎（UE）（Matej 2016），這是一個游戲引擎，提供最先進的圖形功能和我們的模型中使用的一些物理學--最重要的是無人機系統和其環境之間的碰撞檢測。

第2-4節詳細介紹了整個模擬的主要計算部分：納入現實世界的城市數據，生成現實的風模型，無人機的幾何和物理建模，以及線性和非線性控制。我們對整體模擬的這些主要部分中的每一個都依賴開源軟件，如UE、OpenStreetMap（OSM）（Anderson等人，2019年）、Mapbox和AirSim（Shah等人，2017年），并根據需要詳細說明（見圖1；例如，真實城市的模型導入游戲引擎中）。第5節和第6節提供了樣本結果和結語。

圖1 將城市數據納入UE進行大規模模擬的兩個例子。伊利諾伊州的芝加哥（上）；弗吉尼亞州的水晶城（下）。這兩張圖片都是使用開源工具創建的，將開源的Mapbox城市數據導入UE中。

目前，人工智能（AI）為改造許多軍事行動領域提供了巨大的機會，包括作戰、指揮與控制（C2）、后勤、安全和維護，以提高其整體作戰效率。空中和導彈防御（AMD）是一個特別復雜的任務領域，人工智能的應用至關重要。空中導彈防御任務指的是保衛國土、保護區、地面基地、地面部隊或艦艇免受敵對的空中或導彈威脅。AMD的威脅包括敵對的飛機、無人駕駛飛行器（UAV）或機載導彈。AMD行動的復雜性源于威脅的嚴重性、威脅的意外性、對形勢認識的不確定性以及事件的快速發展，因為作戰人員必須迅速評估形勢，制定適當的行動方案，并最好地利用他們的戰爭資產來應對。美國國防部（U.S. DOD）正在研究使用AI系統（或AI-enabled AMD[AI-AMD]系統）作為AMD作戰人員的自動決策輔助工具，以大大減少他們的認知負荷（Jones等人，2020），使AMD決策更快、更好。

人工智能的一個關鍵方面已經聚集了大量的研究興趣，那就是信任。信任是有效團隊的一個基本原則。它同時適用于人類和人機團隊。信任使團隊成員能夠很好地合作，是有效團隊表現的基礎（Lee and See 2004）。與人工智能系統的成功合作將需要人類對人工智能系統有一個校準的信任和依賴程度（泰勒等人，2016）。

隨著更先進和更快的空中和導彈威脅彈藥的發展和投入使用，操作人員更需要在AMD行動中迅速作出監測。不及時的決策和反應將導致災難性的后果。因此，人工智能是一個可能的解決方案，通過自動決策輔助工具加快和加強決策過程。這些AMD自動戰斗管理輔助工具可以幫助戰術操作人員應對更快的決策周期、大量的數據以及需要觀察的幾個系統或屏幕（Galdorisi 2019）。然而，為了有效地利用人工智能能力的潛力，需要操作員的高度信任。操作員對系統的信任程度低，可能會導致人工智能-AMD系統利用不足，受到不適當的監控，或者根本不使用（Floyd, Drinkwater, and Aha 2016）。這些問題中的任何一個都可能導致操作者的工作量不必要的增加，或者任務失敗的可能性。

論文對信任的定義、人機交互（HMI）的概念、信任因素以及包括AMD殺傷鏈模型、威脅場景、架構、模型和功能在內的概念模型進行了廣泛的回顧。有了這樣的認識，論文提出了人工智能-AMD系統的信任框架，對人機交互和人工智能-AMD系統信任因素的描述。論文最后提出了在人類操作者和AI-AMD系統之間實現校準信任的策略。

信任框架始于對系統背景的分析。圖1顯示了AI-AMD指揮與控制（C2）系統（包括AI-AMD操作員和決策輔助工具）及其他與之互動的子系統的背景圖，這些子系統有助于操作員和AI-AMD決策輔助工具之間信任的發展。背景圖使我們能夠研究各系統之間的相互作用，以及它們對AI-AMD操作員和決策輔助工具之間信任動態的影響。

圖1. AI-AMD系統框架圖。

這篇論文將信任定義為操作者的態度，即AI-AMD決策輔助工具將有助于實現操作者的目標，即在一個以不確定性和脆弱性為特征的作戰環境中迅速摧毀來襲威脅的任務。這種信任的定義表明，它是對操作者相信或感知AI-AMD決策輔助工具的一種情感評估。為了積極地影響信任，操作者必須親自看到并感受到AI-AMD決策輔助行動的優勢。AI-AMD行動涉及很多不確定因素，以及天氣、電磁干擾和地形等環境因素以及不斷變化的威脅的性質所帶來的脆弱性。操作員將預期AI-AMD決策輔助系統按照 "合同 "執行，以處理這些不確定性和脆弱性。這些合同將是人工智能-AMD決策輔助工具應該執行的感知功能或任務，以及執行這些功能或任務的理想表現。

圖2說明了操作員和AI-AMD決策輔助工具之間的信任框架。y軸代表人類對AI-AMD決策輔助系統的信任程度，x軸代表AI-AMD決策輔助系統的能力。綠色的45°虛線表示最佳的信任水平或校準的信任線，其中的信任與AI-AMD的能力相對應，導致正確的利用（Lee and See 2004）。過度信任由最佳信任水平線以上的區域表示，此時的信任超過了系統能力，導致誤用。低于理想信任水平線的區域表示不信任，這時的信任沒有達到系統能力，導致濫用。假設存在一些默認的信任水平（如黃框所示），目標是制定一個策略，以提高AI-AMD輔助決策能力的信任。在使用該系統時，可能會發生違反信任的情況，從而降低操作員的信任。因此，信任修復行動必須被納入，以保持信任在最佳水平。

圖2. 人類操作員和AI-AMD決策輔助工具之間的信任。

基于功能分配的操作員和AI-AMD決策輔助工具之間的人機交互研究表明，操作員和AI-AMD決策輔助工具應該被設計成在大多數殺戮鏈功能中作為一個 "團隊"運作。這引導論文研究了單獨和集體考慮人類和決策輔助的信任因素。對操作員和人工智能-AMD決策之間的人機交互的研究還顯示，操作員的角色已經從手動控制器變成了監督控制器。因此，一個值得信賴的決策輔助工具是很重要的，因為操作者會期望系統的表現符合預期，以幫助操作者更好地履行他的角色。另外，為了進一步幫助減輕操作者的認知工作量，信息的外部表示、決策輔助工具的建議必須易于閱讀和理解。

關于信任因素，本論文提出了一個 "由外而內 "的框架，如圖3所示。論文首先考慮了與操作環境相關的因素，這些因素描述了AMD操作系統的背景。第二，它研究了與組織環境相關的因素，操作人員和人工智能-AMD系統得到了培訓和發展。第三，論文研究了操作人員和人工智能-AMD決策輔助工具之間的交互，以提出與操作人員、人工智能-AMD、單獨和集體相關的因素。

圖3. 建議的信任因素

圖4顯示了擬議的戰略銜接圖，以實現操作者和AI-AMD輔助決策之間的校準信任。對信任定義、人機界面和信任因素的審查表明，該戰略應關注三個關鍵領域：（1）人類對自動化技術和AI-AMD決策輔助系統的集體和個人感知；（2）增強操作員和AI-AMD決策輔助系統的團隊活力；（3）AI-AMD決策輔助系統的可信度，重點是系統開發。該戰略利用DOTMLPF-P框架提出了三個關鍵原則和五個支持原則。首先，軍事作戰人員需要被告知自動化技術的真正能力和局限性，特別是AI-AMD輔助決策。第二，操作員的培訓要求必須增加，以應對新的工作范圍和不斷變化的威脅。第三，必須在人工智能-AMD決策輔助系統的開發中加入新的要求，以提高系統的可感知的可信度。這三個關鍵原則得到了DOTMLPF-P框架其他方面的支持，如組織、領導、人員、設施和政策。

圖4. 實現操作員和人工智能-AMD決策輔助工具之間校準信任的戰略銜接圖

態勢感知是作戰人員的必需能力。一種常見的監視方法是利用傳感器。電子光學/紅外（EOIR）傳感器同時使用可見光和紅外傳感器，使其能夠在光照和黑暗（日/夜）情況下使用。這些系統經常被用來探測無人駕駛飛機系統（UAS）。識別天空中的這些物體需要監測該系統的人員開展大量工作。本報告的目的是研究在紅外數據上使用卷積神經網絡來識別天空中的無人機系統圖像的可行性。本項目使用的數據是由作戰能力發展司令部軍備中心的精確瞄準和集成小組提供的。

該報告考慮了來自紅外傳感器的圖像數據。這些圖像被送入一個前饋卷積神經網絡，該網絡將圖像分類為有無無人機系統。卷積模型被證明是處理這些數據的第一次嘗試。本報告提供了一個未來的方向，以便在未來進行擴展。建議包括微調這個模型，以及在這個數據集上使用其他機器學習方法，如目標檢測和 YOLO算法。

當前的海軍作戰要求水手們根據動態作戰環境中的不確定態勢信息做出時間緊迫和高風險的決策。最近的悲慘事件導致了不必要的傷亡，海軍行動中涉及決策復雜性，并特別突出了 OODA 循環（觀察、定向、決策和評估）中的挑戰。涉及使用武器系統的殺傷鏈決策是 OODA 循環中一個特別緊張的類別——具有難以確定的意外威脅、縮短的決策反應時間和致命的后果。有效的殺傷鏈需要正確設置和使用船上傳感器；未知接觸者的識別和分類；基于運動學和智能的接觸意圖分析；環境意識；以及決策分析和資源選擇。

該項目探索了使用自動化和人工智能 (AI) 來改進海軍殺傷鏈決策。該團隊研究了海軍殺傷鏈功能，并為每個功能制定了特定的評估標準，以確定特定 AI 方法的功效。該團隊確定并研究了 AI 方法，并應用評估標準將特定的 AI 方法映射到特定的殺傷鏈功能。

圖：利用人工智能改進海軍殺傷鏈的作戰概念

總結

當前的海軍行動通常是快節奏的、關鍵的，并且需要做出高風險的決策，這些決策有時基于非常動態的戰區中的不確定信息。許多例子強調了提高決策效率的必要性以及減輕觀察團隊負擔的必要性。缺乏上述情況的例子包括 2017 年的菲茨杰拉德號航空母艦 (DDG 62) 和 MV ACX Crystal相撞，以及 2009 年皇家港口號航空母艦 (CG 73) 的擱淺。一些根本原因是相關人員缺乏經驗、疲勞和壓力.

上述事故展示了軍事行動的難度，并展示了 OODA（觀察、定向、決策和評估）循環中的挑戰（Jones 等人，2020 年）。人為錯誤、人的認知限制和海軍作戰固有的決策復雜性導致了 OODA 循環中的挑戰，更具體地說，是殺傷鏈過程中的挑戰。

現代戰斗空間由來自常規陸地、空中和海洋等多個領域以及來自太空和網絡空間的大量數據組成。決策者需要考慮許多因素，包括交戰規則 (ROE)、要使用的武器、傳感器和意圖評估。發現、修復、跟蹤、瞄準、參與、評估 (F2T2EA) 殺傷鏈模型緩解了該過程的一些困難（參謀長聯席會議，2013 年）。人工智能 (AI) 和機器學習 (ML) 可以通過分析備選方案和使用評估標準將 AI 方法映射到殺傷鏈功能，從而幫助海軍在戰術領域做出殺傷鏈決策。這是在本報告的五個章節中分三個階段完成的。

本報告利用了數百個資源，主要利用了美海軍研究生院 AI-OODA 團隊在其 Capstone 報告（2020 年）中進行的先前研究，“利用人工智能 (AI) 進行空中和導彈防御 (AMD)：以結果為導向的決策援助。”他們將他們的工作與 John Boyd 的觀察、定向、決定和行動決策框架相結合。作為他們分析的初步步驟，AI-OODA 團隊將特定的 OODA 功能明確且緊密地耦合到特定的 F2T2EA 功能。然而，本報告斷言 OODA 循環是一個決策循環，它嵌套在殺傷鏈的每個功能中，而不是在高壓力或低壓力情況下專門映射到一個或多個殺傷鏈功能。團隊基于 F2T2EA 模型開發了一組 28 個殺傷鏈功能。

在制定將 AI 方法映射到殺傷鏈的評估標準時，很難確定一個好的決策，這對于決策評估至關重要。在評估決策時，必須考慮選擇行動時的知識意識狀態以及解釋能力。使用了幾種對決策進行評分的方法，從定義和優先考慮感興趣的“武器-目標”到制定評分標準和報告評估結果，以供其他人審查。

目前，人工智能的狀態非常廣泛，必須對其進行解釋，以了解人工智能對殺傷鏈中功能的適用性。本報告討論了所選 AI 方法的高級概述，并突出顯示了部分最流行的方法。首先，沒有普遍接受的定義，這很難定義人工智能。其次，人工智能與機器學習 (ML) 存在差異。 ML 允許在準確性和可預測性方面取得增量收益； AI 接收數據并通過算法提供輸出。人工智能的歷史從 1940 年代艾倫·圖靈 (Alan Turing) 的加密機器到 1980 年代美國政府在戰略計算計劃中的使用，再到今天在聯合人工智能中心 (JAIC) 中的人工智能戰略五個支柱，從領先的人工智能人力到安全和倫理。美國國防高級研究計劃局 (DARPA) 在 3-wave 框架中描述了 AI 的發展方向，分為手工知識 (Wave 1)、統計學習 (Wave 2) 和上下文推理 (Wave 3) 在 1-4 個維度內情報參數的屬性（Launchbury 2017）。這些屬性包括感知、推理、抽象和學習。

人工智能涉及可以根據輸入值預測結果的監督學習。有幾種使用監督學習進行學習的技術。包括線性回歸和分類。此外，許多數值方法可以分析發生的學習有效性，例如 F-score 和 Accuracy score。人工智能還可以使用無監督學習，它使用算法來發現未標記數據集中的數據模式或分組。在分析未知（y）響應以揭示標記（x）數據中的模式時，無監督學習是有益的。數據分析界的一個著名例子是鳶尾花（Iris flower）數據集。僅使用標記的數據，可以看到響應聚集在一起，并且可以確定響應中存在模式（花的種類）。無監督學習的方法包括聚類和 K-means，但還有其他方法。強化學習有一個代理能夠接收來自環境的反饋并理解基本目標。此外，正如 Sutton 和 Barto 在（2018 年）中解釋的那樣，探索和開發之間存在權衡。最后，生成對抗網絡 (GAN) 利用無監督學習和強化學習，通常用于神經網絡 (NN)。神經網絡是機器學習算法的極好來源，它有大量的輸入，而這些輸入又會產生大量的計算。 NN 非常適合用于模擬、自然語言處理、博弈論和計算機視覺。 NN 只是一種將輸入映射到輸出的簡單方法，可以在此過程中進行學習。然而，NN 可以被描述為一種“黑盒”學習技術，因為很難解釋正在發生的事情，并且通常需要一種可解釋的 AI (XAI) 技術。 XAI 的三個主要組成部分是可解釋模型、解釋界面和解釋心理學（Gunning 2019）。數據安全必須與“大數據”一起考慮，“大數據”是指非結構化、復雜和大型數據集，具有五個 v 特征：數量、速度（數據量隨時間變化的增加）、多樣性、真實性和價值。其他理論包括決策理論、模糊邏輯和效用函數

使用上述文獻綜述，該團隊開發了一個框架，用于將 AI/ML 映射到 AMD（空中導彈防御）殺傷鏈。采取了四個步驟：1) 建立模型框架，2) 確定決策點，3) 應用 AI/ML 方法，以及 4) 分析結果。該團隊確定了以下用于殺傷鏈映射分析的 AI/ML 方法：線性回歸、邏輯回歸、聚類、關聯、隨機森林、神經網絡、GAN 和樸素貝葉斯。評估標準被稱為“決策點”并提出四個問題：（1）所需輸出的類型是什么，（2）所需的學習類型是什么，（3）可解釋性（XAI）是什么水平需要，以及 (4) 需要多少個預測變量？該團隊通過基于一組決策點和評分過程評估每個殺傷鏈功能的每種方法來執行映射。對于被認為非常適合某項任務的方法，得分為+1，如果該方法適合但次優，則為0，如果該方法不適合該任務，則為–1。

該團隊進行了映射分析，根據與殺傷鏈的 28 個功能中的每一個功能相關的評估標準（決策點）分析 AI 方法。該團隊使用評分方法來確定每個殺傷鏈功能的最佳整體 AI/ML 分數。團隊的映射顯示為 0。

該團隊的 AI/ML 映射到殺傷鏈功能為國防部和海軍提供了兩個關鍵好處。首先，映射本身是設計和開發支持殺傷鏈決策的人工智能戰術決策輔助工具的重要起點和基礎。其次，該團隊將 AI 方法映射到殺傷鏈的分析過程可用于了解 AI 在許多其他軍事和非軍事領域的應用。識別適當的人工智能方法、制定評估標準和評分過程以及制定過程功能以進行分析映射的過程對于支持許多不同人工智能系統的工程具有深遠的潛力。

表1：AI/ML方法到殺傷鏈的映射