亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在需要做出重大決策的關鍵系統中，通常無法實現或不希望實現完全自動化。相反，人類-人工智能團隊可以取得更好的效果。為了研究、開發、評估和驗證適合這種團隊合作的算法，有必要建立輕量級實驗平臺，實現人類與多個智能體之間的互動。然而，此類平臺在國防環境中的應用實例非常有限。為了填補這一空白，我們提出了 Cogment 人機協同實驗平臺，該平臺實現了以異構多智能體系統為特征的人機協同（HMT）用例，可涉及學習型人工智能智能體、靜態人工智能智能體和人類。它建立在 Cogment 平臺上，已被用于學術研究，包括在今年的 AAMAS 的 ALA 研討會上展示的工作。希望通過這個平臺，進一步促進關鍵系統和國防環境中的人機協作研究。

圖 1：該圖顯示了 Cogment HMT 實驗平臺的主用戶界面。左側帶帽的圓圈是由五個藍色智能體組成的團隊防守的禁區。右側的單個紅點是無人機攻擊者。

嵌入式人工智能體，如無人駕駛飛行器（UAV，或無人機），有可能徹底改變各行各業，包括交通、農業和安防。然而，這些智能體在物理世界中發展，因此可能會產生危險影響，尤其是在無人監管的情況下。例如，無人機可能會出現故障或無法識別潛在危險，從而造成財產損失甚至人員傷亡。此外，智能體可以根據算法做出決策，而算法可能不會考慮倫理、道德或法律方面的影響。因此，人類必須有能力對這些智能體進行有意義的控制[2]和監督，以確保它們的安全和負責任的使用。人類操作員可以監控和干預系統故障，評估潛在風險，并在需要其判斷的復雜情況下做出道德或法律決定。

除了監督，人類還可以通過協作在幫助智能體實現任務方面發揮關鍵作用。例如，對于無人機，控制中心的人類操作員可以提供實時指導和支持，確保無人機準確、高效地執行所需的功能。此外，人類還可以在現場充當隊友，與具身的人工智能體并肩作戰，實現既需要人類判斷又需要機器精確度的復雜目標。

此外，必須認識到，人機協作（HMT），即人類與具身智能體建立雙向協作的能力，是安全有效使用人工智能的一個關鍵方面。這類人工智能體的設計、訓練、驗證和操作不能孤立地進行，必須考慮它們如何融入包括它們在內的更大系統中。人類，尤其是作為操作員或隊友的人類，從一開始就應被視為該系統不可分割的一部分。

除了這種雙向協作之外，具身人工智能系統在運行過程中往往沒有考慮到 “道德責任 ”和 “社會技術 ”因素[2]。有意義人類控制（MHC）的概念是由 Santoni de Sio 和 van den Hoven 提出的，目的是讓人類能夠影響具身人工智能體的行為[3]。然而，MHC 的原始定義并不一致，因為人類可能缺乏專業技能或知識，無法完全有效地控制人工智能系統。Cavalcante Siebert 等人[2]提出了四個附加屬性來改進 MHC 的原始定義：“明確的道德操作設計領域”、“適當且相互兼容的表征”、“控制能力和權限 ”以及 “人工智能與人類行動之間的明確聯系”。因此，至關重要的是設計一個協調平臺，將有意義的人類控制和人類在環相結合，以確保人工智能系統的訓練和操作方式符合人類價值觀、社會規范和道德行為。

Cogment HMT 提供了一個設計和實驗人機團隊的平臺，尤其是涉及無人機的人機團隊。它以我們的 Cogment [4] 平臺為基礎，解決了協調自動決策系統（包括人工智能體）、人類之間的協作及其對數據的訪問和對環境的影響等難題。Cogment HMT 實驗平臺目前使用一個模擬環境，可以很容易地進行調整，以適應更真實的模擬和現實世界的部署。我們將在第三節介紹該平臺及其特性。

利用 Cogment HMT 實驗平臺，人工智能從業者可以開發出能夠與人類協同工作的智能體，并從人類的知識和期望中學習，同時考慮有意義的人類控制、信任和認知負荷管理等因素，實現有效的雙向人機協作。我們將在第四部分介紹早期成果。

無人駕駛飛行器（UAV）的結構由幾個關鍵組件組成，以優化其效率以及在空戰或空中監視應用等關鍵環境中的可操作性。本研究工作是在自主協作智能體中實施一種創新的人類專家評估策略，以確定無人飛行器的威脅等級。因此，目標是使用一種稱為 “策略捕捉 ”的認知工程技術，配置與人類認知相一致的作戰威脅評估能力。這包括以下兩個步驟。第一步是將認知建模系統集成到智能體中。該系統根據專家先前的決定，提供有關威脅等級評估的建議和警告。因此，它可以利用從人類推理中提取的真實決策模式，提供透明和可解釋的能力。換句話說，這種認知建模系統有助于將專家決策中的一些隱含要素顯性化。此外，還采用并部署了一種多模型方法，使用七種同步監督機器學習算法，通過模仿專家決策來預測威脅程度，而不會受到疲勞、壓力或分心的影響。這些算法基于經過增強和微調的 python scikit-learn 模塊： 邏輯回歸（LR）、決策樹（DT）、K-近鄰（KNN）、多層感知器神經網絡（MLPNN）、奈夫貝葉斯（NB）、支持向量分類器（SVC）以及隨機森林（RF）。第二步是將專家策略提供的響應傳送給智能體的態勢感知模塊。為此，我們將專家策略確定的威脅等級與自主代理已確定的初始威脅等級進行融合。為實現這一目標，我們利用模擬環境提供了一個關鍵資產保護用例。該使用案例由四個威脅等級組成，從犯罪意圖到毫無頭緒不等。該解決方案試圖通過根據威脅等級管理或優先處理要跟蹤和消除的目標無人機數量，最大限度地提高 “真實 ”威脅的消除率。換句話說，防御性無人機蜂群通過首先處理犯罪特征來確定其響應的優先級，目的是以最高優先級解除威脅，然后繼續處理粗心大意的特征，最后是無知的特征。防御蜂群采取 “看門狗 ”行為，適應威脅級別的突然變化，例如，當任何威脅過于接近保護區時。值得一提的是，在沒有專家策略的情況下，所有敵方無人機都被視為具有同等威脅，沒有優先級之分，從而導致無法消除實際威脅的更大風險。未來的工作方向包括研究如何通過在線學習和可解釋的人工智能方法實現相互理解和預測能力，從而改善人類-自動駕駛團隊合作。此外，通過這種方法實現的另一種潛在破壞性能力可能是讓無人機蜂群學會在線預測對手無人機的行為模式，以便在飛行中進行調整，實現認知空中優勢。

圖 1：SE-STAR 模擬展示了紅方和藍方力量以及地面控制站。

自主系統的發展被視為提高人類操作員效率和性能的工具，有助于減少人類的工作量、壓力和失誤[1]。自主協作智能體的興起引發了監視和偵察領域的重大轉變[2]。一個常見的誤解是，這種協作型智能體將取代人類或消除人為錯誤。自動化悖論指的是，事實上自動化會引發新類型的錯誤和新類型的問題，例如由于濫用自動化而導致人類技能和性能下降[3]。此外，能否信任自主系統通常也是一個問題，尤其是在國防和安全領域，在這些領域，通常必須讓人類參與其中。然而，這也引發了諸如 “環路中人類的虛假保證 ”等問題，在這種情況下，人類往往被賦予監督者的角色，對非常復雜的完全自主系統進行監控，但卻導致了態勢感知（SA）的缺失，甚至降低了人類的整體影響力，即使人類仍然需要對系統進行驗證或下達某些指令。態勢感知不僅對人類的表現至關重要，而且也是自主系統和人類-自主團隊合作中的一項挑戰。

1.1 團隊態勢感知（TSA）

團隊態勢感知（TSA）是團隊協作性能的關鍵組成部分。它可以被描述為 “知道你周圍發生了什么”，并知道如何理解、解釋和提取有關環境的信息[4]。當涉及到決策時，SA 還與人類的一些偏差有關，例如：i) 注意力狹窄/鈍化；ii) 記憶力不足；iii) 工作量、疲勞、壓力、反應時間；iv) 數據超載；v) 不適應的心理模型（例如，非邏輯推理或不當行為）；vi) 不使用或濫用自動化系統 [5，6]。在此，我們尤其關注的是如何讓控制無人駕駛飛機的智能體進行有效的情況評估這一挑戰[5]。在這項研究中，我們開發了一種新的潛在方法，不僅能為人類提供決策支持，還能為自動系統提供決策支持，有助于在協作式自動無人機系統的應用中保持高水平的 SA。

1.2 無人機的態勢感知與人機協作

人機協同（HAT）是指人類與自動化系統之間能夠相互依賴地協調合作，以完成共同的任務或目標[5]。人類和機器都缺乏 SA 會對團隊的表現產生不利影響。對無人系統在軍事上的使用進行的研究發現，33% 的事故是由人類直接造成的，67% 是由于機器的問題造成的[8]。美國國防部的其他統計數據稱，人為失誤造成的事故占軍方無人機系統事故的 20%- 70%[9]。這些指標因 HAT 而異，但人類常見的錯誤模式有：基于技能的錯誤、程序性錯誤、核對表錯誤、操作不當或對自主系統控制過度或不足，而機器則往往在設置、監控、檢測和診斷失敗等方面出現問題 [8]。研究人員證明，混合主動目標識別，即由一個智能體提供協助，在視覺搜索空間中定位潛在目標，實際上隨著時間的推移，性能持續惡化[10]。他們認為，接受過檢測特定刺激訓練的智能體，其表現可能不如機警的人類[10]。因此，在設計 HAT 框架時，必須根據每個智能體的局限性和優勢，探索降低風險、提高安全性和可靠性的方法。自主系統在可解釋性方面面臨著重大的信任挑戰，因為有時這類系統往往難以提供可靠、可理解的信息，以確保充分的合作與協作[11]。缺乏對智能體的認識和理解只會強化環外現象[12]。

1.3 目標

提出了一個原型解決方案，旨在讓智能體向人類專家學習如何評估特定類型的情況。本研究選擇的用例包括在反無人機場景中進行威脅評估，以保護關鍵資產。這項概念驗證調查是認知系統工程（CSE）研究工作的第一步，旨在利用人在回路合成測試環境反復測試和改進 HAT 能力。認知系統工程方法側重于提高人類理解和控制系統的能力，通常在開發自適應/智能/學習框架方面發揮關鍵作用[13]。雖然過去的工作推進了用于人類與無人機協作的可調節自主方法[13, 14, 15, 16, 17]，但適應性大多基于環境、使用案例和任務目標（例如，改變每個操作員的無人機數量）[14]。然而，還沒有研究通過使用專家建模將情況評估策略轉移到智能體以增強系統自主性和 HAT 協作能力來證明這種可調整性。本文第 2 節介紹了擬議框架，第 3 節介紹了威脅檢測應用案例，第 4 節介紹了方法，第 5 節介紹了結果，第 6 節介紹了結論。

框架與設計：專家建模與自主智能體

本文研究的新解決方案結合使用了基于人工智能的決策支持系統 “認知陰影”（專家陰影和自動學習觀察到的決策/行為模式；[18, 19]）和人工智能強化智商協同合作伙伴（SPARQ），后者是一個用于實施和優化協作自主系統的平臺。這兩個系統被合并成一個聯合能力框架，在這個框架中，人類操作員和智能體可以共同學習、協調和共享信息。這種 HAT 使智能體能夠為完成聯合任務而協作，并反映了具有高度自主性的任務管理互補自適應框架[17]。

2.1 SPARQ

SPARQ 是一種人工智能體解決方案，能夠與人類操作員協同工作，并創建復雜的多功能協作平臺。SPARQ 可實現多智能體用例的開發、部署和測試，其中其他智能體可以是人工的，也可以是人類的。通過使用其相關的組隊框架，它允許人類和智能體朝著共同的目標合作。SPARQ 的 “數字孿生 ”由三個主要部分組成：i) 感知能力，包括利用傳感器和仿真模型來表示和理解人工智能體的當前情況及其歷史；ii) 預測能力，包括根據假設情景預測當前情況可能如何發展的能力；iii) 決策能力，包括根據感知和預測模塊的輸入制定行動計劃的能力。該系統已利用無人機群、地面控制站和智能傳感器等真實硬件或操作系統進行了實施和測試。它能夠讓有組織的團隊組成蜂群。這些由人工智能驅動的系統具有實時適應和重新配置的能力，可以自主執行復雜多樣的任務。

2.2 認知陰影

Cognitive Shadow 使用最先進的策略捕捉方法，結合多種監督機器學習算法，實現了專家決策和行為模式的自動建模[20- 21]。這種源自專家的認知模型支持一種稱為 “判斷引導 ”的過程，在該過程中，模型往往比人類更可靠，因為這些模型不受疲勞、壓力、分心和精神超負荷的影響[22, 23]。使用認知影子技術多次觀察到這種效果，從而成功降低了 4% 到 36% 的錯誤率 [22-24]。將 Cognitive Shadow 集成到 SPARQ 中可實現決策支持系統的個性化，使團隊伙伴（智能體和人類飛行員或操作員）在優化任務性能的同時獲得實時建議。此外，它還能根據專家政策對信息進行優先排序，并提取上下文信息需求。它通過兩種方式讓人類參與到智能體的決策中：i) 使用經過人類專家訓練的人工智能算法；ii) 實時建議和互動[25]。這種方法支持可解釋性和透明度，因為每個決策都是基于人類的專業知識和理解。它不僅為人類在容易出錯的挑戰性條件下提供支持，也為無人機蜂群等自主協作智能體提供支持。

威脅分類

本次調查選擇的使用案例側重于利用無人機系統探測受保護設施周圍的威脅，從而加強國土安全。使用數字孿生無人機架構在情況監控和異常檢測方面邁出了重要一步，從而增強了安全性[27]。

3.1 威脅檢測類型

威脅評估在很大程度上取決于環境和情況。在本研究中，我們將重點關注用于保護禁區的無人機對抗措施。重要的是要考慮環境中可能存在的不同類型的威脅，以便模仿和復制其發生的現實。威脅類型通常基于無人機的不同用途，如民用、恐怖主義、軍事或犯罪用途[26]。恐怖分子惡意使用無人機的例子可能是監視或自殺，而對平民的體貼使用可能是災難響應、旅游使用和電影拍攝、援助和供應，甚至是商業廣告[26]。然而，其他研究則側重于不同類型的威脅，如黑客攻擊、欺騙、干擾、惡意軟件感染、硬件攻擊等[26, 27]。對于本用例，我們依靠過去的威脅等級評估工作來確定威脅等級和因素[28]。

3.2 現有的無人機威脅評估方法

已研究出多種威脅評估和檢測技術。一種方法側重于非合作無人機監控的惡意意圖和最終目的地估計[29]。還有一些方法使用基于規則的入侵檢測，這種方法是通過定義所關注的攻擊類型并將其實施為 “魯莽攻擊”、“隨機攻擊”、“機會主義攻擊”，從而最大限度地減少檢測誤差，包括假陽性率和假陰性率。不過，這種方法往往過于簡單，無法識別未知類型的攻擊 [26]。根據某些傳感器（如聲學檢測、運動或攝像頭檢測、熱檢測和雷達探測）的優先級，方法可能會有所不同[8]。這些方法的威脅評估流程基本相同。它包括：i) 檢測階段，涉及識別實體的能力；ii) 鑒別能力，即接受某些輸入模式并拒絕其他模式的能力；iii) 基于飛機類型（戰斗機和轟炸機）的分類步驟；iv) 識別不同類型或級別威脅的步驟；以及 v) 確定需要采取的應對行動類型。

3.3 威脅評估算法與特征

部署智能和 HAT 平臺可以改善國土安全和任務安全，其中 SA 被認為是多飛機任務的戰術優勢和戰術軌跡規劃的主要組成部分[28]。貝葉斯網絡模型是利用人工智能進行威脅評估的最常用方法之一。文獻[28]中的一個例子利用四個事件節點證明了這種方法的可行性：i) 識別類型（如雷達成像、電子、紅外或可見光成像偵察）；ii) 地形特征（如敵方武器位置的地形和地貌特征數據）；iii) 天氣類型（如天空能見度）；iv) 電磁環境（EE），如輻射、被敵方設備探測到的概率。這些特征有助于評估威脅程度或探測到惡意無人機的概率。同樣，文獻[30]證明了在 HAT 場景中戰術無人機決策需要動態貝葉斯網絡和馬爾科夫決策過程。這項工作還強調了專家指揮官如何進行評估，如推理和決策如何/何處/何時部署可用資源，以提高生存能力和完成既定任務的概率[30]。這與目標類型、武器類型、所屬關系（敵、友、神經或未知）、與所關注實體的距離、探測半徑、武器射程、速度、方向和地形類型等特征相結合。他們將這些特征編碼到基于規則的模型中，以評估分類效果。文獻[31]中的其他工作展示了針對無人機威脅的輔助決策支持系統。該系統利用基于知識和基于傳感器的融合分類性能來劃分威脅等級。他們測試了三種策略：i) 基于速度的規則，純粹使用四個等級的加速度變化，其中加速度是風險指標；ii) 距離受保護設施的距離；iii) 速度和速度變化模式，分為 5 個等級。[32] 使用動態貝葉斯網絡模型，使用了類似的特征。不過，根據領域專家的知識，他們增加了飛行器的類型和特征：轟炸機需要俯沖到中等高度進行精確定位轟炸，電子干擾機和預警機通常處于高空[32]。最后，[33] 利用貝葉斯網絡使用了 EE 類型（軍用、民用、無發射）、雷達類型（民用、軍用）、干擾器（開與關）以及任務類型（偵察、輕型商用、非法飛行、其他）和速度（亞音速、跨音速、超音速、高超聲速）。

圖 3：認知陰影模型對四種可能類別的威脅檢測結果。

方法

4.1 專家

第一步是對四位專家進行訪談。我們采訪了來自泰雷茲陸地和航空系統公司的三位航空航天和導航領域專家，以及泰雷茲加拿大防務與安全公司和加拿大皇家騎警反無人機專家。第四位專家是一名戰斗機飛行員。這些專家幫助提供了對情景的反饋意見，并幫助驗證了專家政策建模的輸入。除專家反饋外，我們還借鑒了上述先前的研究成果，以確保概念驗證研究基于現實的假設。

4.2 模擬和無人機

這項研究涉及使用人工智能體和模擬敵方無人機，這些無人機需要根據定義的使用案例和專家反饋意見進行中和。每個模擬無人機都是由自主機器人航空（ARA）提供和開發的四旋翼無人機。為了訓練我們的 HAT，我們使用了 SE-STAR 模擬器[34]，它使我們能夠開發反無人機模擬場景。這樣，我們就可以利用可定制的地形（具有特定尺寸的土地和保護區域）來模擬不同的威脅級別。模擬涉及藍色智能體（防御小組）、紅色無人機（需要評估的威脅）、地面控制站和雷達。通過將 SPARQ 與無人機模擬器連接，我們可以模擬無人機與環境之間的互動（即模擬傳感和物理）。這種設置為我們的 HAT 團隊框架和專家策略模型提供了一個測試平臺。通過這種實現方式，我們可以擁有一個動態環境，并有可能進行人機交互。它還允許生成培訓和測試數據、態勢感知指標和團隊協作性能。這種模擬測試有助于發現我們的框架和政策中潛在的差距、功能障礙和謬誤，需要在隨后的實地測試階段之前加以解決。

由于近年來無人駕駛飛行器技術的蓬勃發展，這些飛行器正被用于許多涉及復雜任務的領域。其中一些任務對車輛駕駛員來說具有很高的風險，例如火災監控和救援任務，這使得無人機成為避免人類風險的最佳選擇。無人飛行器的任務規劃是對飛行器的位置和行動（裝載/投放載荷、拍攝視頻/照片、獲取信息）進行規劃的過程，通常在一段時間內進行。這些飛行器由地面控制站（GCS）控制，人類操作員在地面控制站使用最基本的系統。本文介紹了一種新的多目標遺傳算法，用于解決涉及一組無人飛行器和一組地面控制站的復雜任務規劃問題（MPP）。我們設計了一種混合擬合函數，使用約束滿足問題（CSP）來檢查解決方案是否有效，并使用基于帕累托的方法來尋找最佳解決方案。該算法已在多個數據集上進行了測試，優化了任務的不同變量，如時間跨度、燃料消耗、距離等。實驗結果表明，新算法能夠獲得良好的解決方案，但隨著問題變得越來越復雜，最佳解決方案也變得越來越難找到。

本研究項目提出了一種新穎的 "蜂群對蜂群"（swarm versus swarm）方法，利用相同或更多數量的協作式自主無人機，有效地抵御可能以蜂群形式進化的入侵無人機。蜂群中的每架無人機都與蜂群中的其他無人機協調，獨立執行行動，每次任務最多可對抗五架敵方無人機。我們的方法利用順序決策過程，將任務劃分為不同的階段--接近、跟蹤和中和--以盡量減少蜂群互動過程中的沖突，并加強自主操作過程中的控制。此外，我們還劃定了一個飛行保護區，嚴禁任何敵方無人機侵入，否則將視為任務失敗。為了確保在復雜環境中的安全導航，我們建議將防御蜂群的飛行限制在一個被稱為緩沖區的劃定空域內，緩沖區包括保護區。緩沖區內的任何入侵都會觸發我們系統的響應，進而使防御蜂群采取一系列協調行動，阻止敵方無人機進入保護區。我們采用多智能體深度強化學習框架，在模擬器上集中訓練，分散執行，在簡單的模擬環境中優化決策過程，然后在現實模擬器中進行測試，并部署真正的無人機進行實地操作。

我們的方法集成了優化的動態目標定位算法，可在每個時間步驟重新規劃最短路徑分配。分配完成后，在每個時間步長，蜂群中的每個智能體都會使用多智能體深度強化學習模型來接近和跟蹤目標。當一個智能體滿足開始中和階段的標準時，被選中的智能體的自主導航控制會切換到捕捉導航模式，而如果緩沖區內沒有其他威脅，蜂群的其他智能體則繼續跟蹤。此外，導航決策過程還與自適應防撞功能相結合，防撞功能取決于任務階段和預訓練人工智能導航模型的決策。防撞功能可降低與同一防御群的其他智能體、探測到的目標定位實體和其他探測到的物體（如鳥類）發生碰撞的風險。這確保了在復雜環境中的穩健導航和高效跟蹤。這些功能與傳感功能相協調，通過算法控制偏航和俯仰方向，以及嵌入在每架無人機上的萬向節安裝的 EO 傳感器的變焦。

在模擬中，從探測到中和，擬議的系統在保持安全導航的同時，通過切換算法的順序決策過程，展示了抵消小型蜂群的有效性能。在仿真過程中，防御型無人機利用網狀機制捕捉入侵者，并取得了很高的性能。此外，我們在野外部署了無人機，面對地面雷達探測到的敵方無人機進行實際飛行演示，并驗證了這一自主決策過程。我們的研究為推動基于蜂群的決策戰術的發展做出了貢獻，并為在北約范圍內的防御和軍事行動中使用協作蜂群開辟了新的途徑。

圖 2：在二維模擬器上，針對五架防御無人機（藍色）與一架目標無人機（紅色）的使用案例，經過 MARL 訓練的協作導航模型表現出不同的防御行為。在（a）中，無人機以凹形隊形接近目標定位。在某些情況下會產生一個線性障礙（ b）。捕捉目標的典型行為是包圍目標，如 (c) 所示。至少有一架無人機作為蜂群的后援也是常見現象（d）。

本文提出了一種名為 "自適應蜂群智能體"（ASI）的新范例，在這種范例中，異構設備（或 "智能體"）參與協作 "蜂群 "計算，以實現穩健的自適應實時操作。自適應群集智能是受自然界某些系統的協作和分散行為啟發而產生的一種范式，可應用于物聯網、移動計算和分布式系統等領域的各種場景。例如，網絡安全、聯網/自動駕駛汽車和其他類型的無人駕駛車輛，如 "智能 "無人機群。這絕不是一份詳盡無遺的清單，但卻說明了可以從這一范例中獲益的眾多不同領域。本文介紹了在未來聯網/自動駕駛車輛中進行合作傳感器融合的具體人工智能案例研究，該案例構成了由 IBM 主導的 DARPA DSSoC 計劃下的 "認知異構系統的高效可編程性"（EPOCHS）項目的驅動應用。鑒于 EPOCHS 的規模，我們將重點關注項目的一個具體部分：用于多車輛傳感器融合的 EPOCHS 參考應用 (ERA)。我們展示了 x86 系統上的特性分析結果，從而得出了有關 ERA 性能特征和實時需求的初步結論。本文簡要介紹了 EPOCHS 的路線圖和未來工作。

圖 4：作為 DARPA 贊助的 EPOCHS 項目的一部分，互聯/自動駕駛車輛中基于蜂群的傳感器融合。

這項工作旨在利用無線音頻傳感器網絡為無人駕駛航空器系統（UAS）提出一種探測、識別和跟蹤解決方案。根據適用于無人機系統的技術趨勢（更小、更便宜、更合作），我們提出了一種采用與 "攻擊者 "相同技術方法的分布式監控解決方案。特別是，由于無人機會引起周圍聲學環境的變化，我們研究了音頻傳感器網絡的使用。更確切地說，我們采用了一種三階段算法來檢測監控環境中音頻能量的存在，識別特定的音頻特征，然后與多節點方法合作跟蹤無人機。通過實驗獲取的音頻信號，我們展示了所提方法的初步性能。我們還討論了改進實際實施的未來工作。

參考場景

微型和小型無人機（1 千歐元及以下）成本低，易于采購，使恐怖分子使用這種技術的障礙降至零。此外，開放源碼技術通常用于設計無人機系統的某些組件，這就為設計專用有效載荷的人填補了一個很小的知識空白。如此易于采購和個性化的飛行平臺最終可以接近合理的目標。根據這一趨勢，協調無人機中隊很快就會成為任何人都可以利用的資源。應對這種威脅的措施不可能是集中式的。目前，我們看到的非對稱解決方案適用于前沿作戰基地或安裝了大型無人機探測器的沙漠場景。然而，這種威脅在城市場景中可能無處不在，因此建議采用對稱的對策，即分布式、小型和廉價的對策。

特別是近年來無線傳感器網絡的不斷發展，以及節點的小型化和低成本化，可以為城市環境或復雜場景提供最合適的解決方案，因為在城市環境或復雜場景中，可能會有平民存在，而固定的軍事設施可能并不合適。

如圖 2-1 所示，這項工作將以大量廉價音頻傳感器為參考場景，每個傳感器都能夠識別無人機的音頻特征，并在發現匹配時，通過與其他節點協作定位惡意來源。研究的重點是在空曠場地場景中，利用音頻陣列檢測、識別和跟蹤單架無人機或小型無人機群，即可與單個大型單元同化。

方法

由于所提方法的目標具有三重性（即檢測、識別和跟蹤惡意無人機），因此我們的方法采用了三層算法疊加的方式。圖 3-1 給出了所追求的研究方法的總體描述。我們依靠獲取音頻信號來準確描述無人機系統的存在。第一層用于檢測無人機系統的存在。在這一階段，音頻傳感器從環境中采集少量樣本，例如每秒一次，以揭示從環境中感知到的音頻能量異常。

當這一層檢測到匹配時，第二層就會在短時間內（如約 240 毫秒[3]）通過連續采樣進行識別。識別階段的目標是區分異常聲音是否與飛越音頻傳感器網絡的無人機有關，并最終確定其類型。我們將研究兩種主要方法：一些作者在 [1] 中提出的方法和循環神經網絡 (RNN) [6]。第二識別層中的正匹配將啟用第三階段的跟蹤算法。在這一階段，發出警報的節點（在識別階段匹配成功的節點）會喚醒鄰居節點，以執行波束形成跟蹤。這是耗電量最大的階段，因為需要維護音頻傳感器網絡與其遠程控制中心之間的通信鏈路，以及音頻傳感器的連續采樣階段。

所采用的分層策略應能優化計算能力和電池需求。事實上，始終處于活動狀態的第一層執行的是低復雜度、低消耗的數學計算。另一方面，只有在出現異常音頻時，才會執行更強大的計算，即細粒度簽名識別和音頻跟蹤。

這項工作提出了一個在歐盟項目FOLDOUT中開發的融合和跟蹤系統，旨在通過融合不同的傳感器信息和提出對監視區域內檢測到的目標自動跟蹤來促進邊防工作。FOLDOUT的重點是歐盟內部和外部地區的穿透式樹葉檢測。融合多個傳感器信號可以提高檢測的有效性，特別是在森林和其他被樹葉遮擋的地區。我們使用加權地圖（也稱為熱圖）來結合多傳感器信息；對所產生的融合目標進行跟蹤；根據對融合檢測的時間關聯的成本計算來創建或更新跟蹤。我們比較了來自單個傳感器的跟蹤結果和來自融合目標的跟蹤結果，這些數據是在模擬邊界收集的，代表了保加利亞的實際歐盟邊界。結果表明，如果根據融合后的數據而不是單個傳感器的信息進行追蹤，追蹤效果會得到加強。

檢測與跟蹤方法

邊防軍的主要興趣是在全球地圖上對監視區域內檢測到的人員進行定位和跟蹤。為了實現這一目標，首先要將不同傳感器系統觀察到的單個人的探測結果進行融合。當檢測結果相互關聯并保持一致時，就可以在一個共同的地圖上對單獨的目標進行跟蹤。

圖2：指導動作（紅線），扮演一個非法越境的場景：1.一個人通過步行越過邊境。2.該人沿著邊境小路向大路走去。3.此人停下腳步，在路上停留很長時間（可能是在等待汽車中的走私者）。4.在某一時刻離開道路，躲進樹叢中。5. 在樹葉中，該人再次回到路上（可能再次尋找汽車）

A.單傳感器檢測

RGB和熱像儀中的人員檢測

基于深度學習的綜合物體檢測被應用于相機圖像上。深度學習方法已被證明優于以前的最先進的機器學習技術。深度神經網絡（DNNs）模仿了大腦感知和處理信息的方式。與以前的方法相比，DNNs學習了諸如人物檢測等任務所需的特征。近年來，DNN在物體檢測和分類任務上表現出突出的性能[9, 10]。在這項工作中，物體檢測是基于一個著名的DNN實現，即YOLO檢測器[11]。

PIR傳感器中的人員檢測

探測器經過調整，使被動紅外傳感器在PIR周圍7.5米的半徑內觸發人的存在。

B.異質傳感器融合

在這項工作中，我們使用加權地圖來提供傳感器數據的層次（也稱為HeatMaps），并以邏輯和數學的方式組合它們。它的動態是完全使用不同傳感器模式的傳感器檢測假設的事件驅動。這些傳感器假設包括位置（WGS84基準）、時間戳（Unix時間戳）和權重（例如，從傳感器檢測中獲取的信心）。為了實現這一點，有兩個組件是必不可少的：加權分布圖（HeatMaps）；線性意見庫。圖3顯示了這種方法的基本概念。

圖3：融合方法的基本概念（左），作為使用兩個加權分布圖（熱力圖）的例子。應用不同的衰減函數（右）來建立加權分布圖的時間動態行為。

加權分布圖(熱圖)

加權分布圖是我們數據融合方法的兩個基本組成部分中的第一個。加權地圖的基本思想是，保持和更新關于不同傳感器探測假設的時空信息。加權地圖來自于概率占用網格，但以加權的形式解釋傳入的數據。此外，還采用了時間上的衰減來模擬傳感器數據的及時行為。權重被存儲在一個可選擇分辨率的數組中，代表WGS84坐標中感興趣的矩形區域。圖3展示了用于模擬加權分布圖動態行為的可能衰減函數。

通常，加權分布圖對應于任何一種傳感器數據或傳感器模式（例如，從攝像機圖像中檢測人的邊界框）的時空。傳感器數據被攝取到一個專門的加權圖中，這導致加權圖的值根據傳入的傳感器假設的權重而增加（替換）。相對而言，衰減將及時應用到加權分布圖的值矩陣中。每次傳感器假設被攝入分布圖，它將通過重新計算加權分布圖的權重和衰減以前狀態的值來更新。

最后，線性意見庫允許我們結合多個加權分布圖，從而結合多傳感器模式，目的是減少傳感器系統的整體錯誤發現率。

線性意見庫(LOP)

我們融合方法的第二個重要組成部分是線性意見庫[8]。

每當一個加權分布圖的狀態由于新的傳感器檢測假設而被更新時，就會應用LOP。在評估了LOP之后，閾值處理使我們能夠產生警報。為了確定警報的位置，在組合值矩陣中超過閾值的區域使用分割算法（blob檢測）。這些警報是由多個傳感器假設產生的，用于為跟蹤提供必要的輸入數據，這將在下一節中描述。

C.多目標跟蹤

為了跟蹤越境進入禁區或敏感區域的入侵者的行動，我們開發了一種基于空間和時間上關聯目標檢測的成本計算的定制算法。該跟蹤系統的工作原理是完全基于目標的位置和時間戳建立一個模型。

在第一次檢測目標時，該模型以該檢測的位置和時間戳進行初始化。軌跡模型是用以下元組定義的：???? = (????,????,????)。

如果幾個目標檢測同時發生，那么創建的模型模板數量與同時收到的檢測數量相同。后續的檢測被添加到一個給定的軌道模型中，這取決于將檢測添加到軌道中的成本。該成本被定義為傳入的檢測和軌跡候選者之間的距離。

在有多個傳入的檢測和多個軌跡候選者的情況下，已經實施了匈牙利算法[12]，使檢測和軌跡之間的關聯產生最小的成本。

許多研究實驗室和政府機構對開發機器人系統集群的興趣日益濃厚，這些系統有能力協調它們的行動，為執行一個共同的目標而集體工作。作為一個團體，機器人群可以執行簡單和復雜的任務，這是單個機器人無法做到的。蜂群中的每個機器人單元都可以被視為一個自主成員，根據內部規則和環境狀態做出反應。然而，正是機器人的這種自主決策能力（單獨或作為一個群體），引起了國際社會的關注。

2014年，各國政府在《聯合國特定常規武器公約》（CCW）的主持下，開始就致命性自主武器系統（LAWS）領域的新興技術進行國際討論。在這種情況下，對蜂群進行了討論--盡管是小范圍的。各個國家和民間社會行動者都對蜂群作為（致命的自主）武器進行部署表示關切。在2017年《特定常規武器公約》締約國會議期間，民間社會行為者發布了一個虛構的視頻，說明他們對蜂群的擴散以及惡意行為者可能利用蜂群對個人進行大規模致命攻擊的擔憂。

雖然不清楚各國是否也有這種擔憂，但各國至少認識到，在未來的情況下，進攻性措施不太可能由一個單一的系統組成。相反，它們將由具有互補能力的此類系統群組成。機器人群尚未投入使用，而且技術相當脆弱，但機器人群的前景是非常真實的。蜂群可用于情報、監視和偵察行動；周邊監視和保護；分布式攻擊；壓倒敵人的防空設施；部隊保護；欺騙；搜索和救援行動；反擊蜂群；以及枯燥、骯臟和危險的任務。因此，國際社會正在努力解決關于如何--如果有的話--在未來的沖突中負責任地、合法地和安全地使用機器人群的問題。

與機器人群和致命性自主武器系統有關的一個關鍵問題是圍繞著 "人機互動 "和 "人類控制 "等概念的含義和運行。正如主席在2016年《特定常規武器公約》專家會議的總結中所述，在未來的情況下，"如果致命性自主武器系統群作為武力倍增器發揮作用，如何對武力的使用保持有意義的人類控制將是不清楚的"。隨著《特定常規武器公約》致命性武器系統政府專家組進入關鍵的兩年，除其他活動外，它將審查和制定致命性武器系統領域新興技術的規范和操作框架的各個方面，了解這一領域的研究和發展方向至關重要。

本研究報告通過研究蜂群機器人技術對人機互動的影響來支持和指導這些審議工作。本報告對人類控制蜂群的各種方法進行了分析：（1）通過指令進行人機互動；（2）通過設計和使用特定的控制架構，將人機和機機互動結合起來；以及（3）通過設計和使用特定的蜂群內合作方法，實現機機互動。此外，它將人類控制的概念放在軍事決策的背景下，從而引入了一個指揮和控制的框架，在這個框架內可以進一步討論、分析和發展諸如人機互動和人類控制等概念。這項研究的結果與各種各樣的關鍵利益相關者有關，包括政策制定者、軍事組織、外交界、技術界、學術界、私營部門和民間社會組織。

現有的蜂群--在民用和軍用領域--要么正在開發，要么仍處于測試和演示階段。過去和正在進行的項目主要表明，蜂群能夠執行特定的（狹窄的）任務（形成形狀、編隊飛行、前往和搜索或繪制一個區域、在周邊巡邏、保護一個邊界）。因此，蜂群可以被認為是一種新興技術，因此，可以作為一個有用的案例來討論人類控制的方法。

在軍事背景下操作蜂群的主要挑戰涉及到設計和實施適當的人機和機機互動。研究人員和開發人員已經采取了許多方法將人的參與注入蜂群中。在蜂群的背景下，人的參與或控制通常是指指揮、控制或協調：

指揮：人類發出什么命令？(與人機關系有關。)雖然機器人群被期望在大多數情況下自主運作，但它們不會在真空中或沒有指令的情況下運作。機器人群最終在人類決策者的指導下運作。這些指令可能以各種形式出現，包括預編程的行為集或高級或低級的指令。

控制：哪些控制架構決定了蜂群內的任務分配？ 與機器-機器關系有關）在人類發出指令后，蜂群依靠算法進行編隊、監測、間隔、飛行路徑、任務分配、目標識別等。這些算法，或如它們也被稱為控制架構，決定了蜂群內的任務分配。例如，命令可以下達給作為中央控制器的一個機器人，但它們也可以下達給幾個小隊長或整個蜂群組合。

協調：蜂群如何執行這些任務？(與機器-機器的關系有關）在人類向蜂群（或蜂群中的特定單元）提供了命令，控制架構也確定了命令的分配方式后，蜂群必須協調其集體行為和分配的任務。蜂群如何行動這些分配的任務，部分取決于協調方法。例子包括領導者-追隨者（一個機器人單元是領導者，其他機器人作為追隨者），以及共識算法（單個機器人相互溝通，通過投票或基于拍賣的方法收斂于一個解決方案）。

目前缺乏研究調查人類如何有效地指揮、控制和協調蜂群，如何對蜂群進行有效和負責任的參與仍然是蜂群機器人技術的一個新興研究領域。關于人類控制致命性自主武器系統和蜂群的討論有許多相似之處。然而，由于兩個原因，蜂群可能使討論進一步復雜化。

首先，在致命性自主武器系統領域關于人機互動的辯論主要集中在人類操作員和一個（或至少是有限數量的）致命性自主武器系統之間的關系。當只有一個車輛（或有限數量的車輛）時，傳統的控制形式是可能的。然而，對于機器人群來說，直接控制單個機器人單元是不可能的，而且會適得其反。對于蜂群，有必要依靠算法來進行編隊、監測、間隔、飛行路徑、任務分配、目標識別等等。因此，為了使人類的參與保持有效，必須越來越多地轉移到蜂群整體上。

第二，除了人機互動，蜂群不可避免地要進行機-機互動。單個機器人與蜂群中的其他機器人互動以完成任務，在此過程中，可能出現集體行為。雖然本報告顯示，有不同的方法來設計指揮、控制架構和合作方法，以幫助減輕蜂群帶來的一些挑戰，但似乎沒有一般的方法來解釋個人規則和（期望的）群體行為之間的關系。有些人可能會爭辯說，蜂群中的機器-機器行為不可避免地意味著沒有人類控制。雖然在某些情況下這可能是真的，但這并不是蜂群技術的必然結果。

隨著國際社會在2020年和2021年繼續討論致命性自主武器系統，并將重點放在指導原則的進一步發展和運作上，人類決策的作用無疑仍將是核心問題之一。通過在審議人類控制和人機互動時利用蜂群等近期技術和相關的指揮和控制模式，國際社會可以著手對軍事實踐中如何行使或不行使控制權有一個更全面的了解--現在和未來的行動。

本報告結構

本研究報告的目的是支持目前關于致命性自主武器系統領域的新興技術和相關概念（如人機互動）的討論并為其提供信息。這項研究的結果與各種關鍵利益相關者有關，包括政策制定者、軍事組織、外交界、技術界、學術界、私營部門和民間社會組織。在此背景下，本報告研究了在蜂群機器人領域的指揮、控制和協調方法。

首先在第2章中闡述了包括蜂群在內的武器將被使用以及人類將行使控制權的背景。了解軍事決策中C2的這一背景框架與討論 "有意義的人類控制 "和 "人機互動 "等概念有關，這與致命性自主武器系統和蜂群有關。

第3章從技術角度介紹了蜂群的定義特征，而第4章解釋了在正在進行的蜂群研發中如何考慮和應用指揮、控制和協調。第5章介紹了不同類型的蜂群及其特征之間的權衡概念，其依據是一些技術屬性。

由于蜂群機器人技術仍然是一門相對年輕的學科，而且目前還沒有（軍事）蜂群投入使用，因此第6章闡述了潛在的軍事應用、蜂群投入使用的挑戰和脆弱性。第7章是本報告的結尾，提出了在目前政府專家組關于致命性自主武器系統討論的背景下，對未來發展的相關考慮。

多種類無人駕駛飛行器（UAV）的使用越來越重要。因此，人類和機器人之間的互動及其互動設計變得越來越重要，特別是在戰場上的軍事偵察。然而，越來越大的無人機蜂群導致許多需要解決的挑戰，例如，具有高動態的復雜情況增加了對用戶的要求。在這項工作中，研究了以應用為導向的人類與蜂群互動的展示方案，其重點是作戰管理系統中的蜂群。在一項文獻調查中，確定了潛在的應用和當單個操作者監控作為高度自動化系統的大型蜂群時可能出現的挑戰。此外，還確定了已經存在的設計準則。基于這些結果，為獲得全面的態勢感知，對蜂群的可視化的四種不同布局進行了原型設計。

概念可視化

根據收集到的文獻，定義了四種群組可視化的布局。這些都是在原型人機界面中實現的。可視化的重點是戰斗管理系統中的蜂群。人機交互是通過傳統的顯示器和鼠標/鍵盤或觸摸控制實現的。首先，介紹了四個布局，之后解釋了不同的組件。

• 基于蜂群的表示

基于蜂群的顯示器將整個蜂群作為一個單元來顯示，而不是每個智能體單獨顯示（見圖2-2）。用戶通過高級命令控制整個蜂群，蜂群則自行組織。仍然可以從蜂群中分離出個別的智能體，或發送個別的命令；這些可以單獨顯示或啟用。