將分布式仿真和工具集成到可互操作的系統聯盟中是一項復雜而耗時的任務，需要對單個組件、接口和綜合解決方案進行廣泛測試。為了支持這項任務，北約依靠標準和協議以及它們的一致應用。在整合解決方案以支持北約和國家仿真和訓練時，提高建模和仿真（M&S）的互操作性、重用性和成本效益，是一個長期的目標，有幾個挑戰。需要采取漸進和迭代的方法來協調分布式仿真聯盟協議，以應對與遺留系統、多種架構、信息技術（IT）和軟件技術的新進展、行業標準的采用、新的商業模式以及開發開放標準的過程有關的問題。

標準、聯盟協議、符合性測試和認證是重要的工具，可以減少集成時間，降低風險，增加現有系統的重復使用，并支持采購新的可互操作的仿真組件。新的和更新的仿真互操作性標準，如高級架構（HLA），要求北約仿真認證服務持續維護和更新，以使用適用標準的最新版本管理更復雜的測試案例。仿真組件的認證需要在核心HLA服務接口之外進行額外的測試，還應該包括符合聯盟協議的測試。

在M&S界，人們普遍認為系統之間的技術互操作性不再是一個基本問題。然而，高水平的互操作性仍然被認為是建立可靠和可信的分布式仿真聯盟的一個主要挑戰。所需的互操作性程度不僅取決于仿真系統的目的和目標，而且還取決于聯盟設計和具體系統組件的互操作能力。早期識別互操作性問題可以降低風險，以及減少與互操作性系統組件相關的成本。高度的互操作性允許更靈活的聯合設計，以及仿真系統的可組合性，而不會大大增加與測試和集成有關的風險和成本。

根據參與的仿真組件之間的互操作性程度，將聯合體集成到復雜的聯合體中可能是一項耗時且雄心勃勃的任務。支持早期檢測互操作性問題的工具、流程和服務將大大減少集成時間和成本。符合標準和接口的驗證不僅與支持認證有關，而且對系統集成商和仿真系統開發商也有價值。

對系統組件進行符合互操作性標準和協議的測試是驗證互操作性的基礎。測試和驗證仿真組件的互操作能力是實現異構分布式仿真系統快速設計和集成的基礎。隨時可用的、最新的、可信賴的工具是支持合規性測試的關鍵。

認證服務可以根據一套基于一致性聲明的互操作性要求（IR），對被測系統（SuT）提供無偏見的符合性測試。證書由授權的認證機構（CE）提供，是符合互操作性要求的標志。根據STANAG 4603的規定，仿真組件必須擁有或獲得證書才能成為采購或驗收測試的候選者。

MSG-134的任務是根據現有的標準和使用以前的工具和認證程序的經驗，建立一個北約仿真互操作性測試和認證服務。MSG-134項目的重點和優先事項是提供基于HLA和北約教育和培訓網絡（NETN）聯邦架構和FOM設計（FAFD）的認證服務工具。該服務由工具、流程和組織組成，管理和提供仿真組件的測試、驗證和認證，以實現高效集成。

2016年，MSG-134建立了認證服務，并在CWIX 2017實驗中首次使用，證明了其功能能力。

美陸軍技術出版物（ATP）3-01.81反無人駕駛飛機系統（C-UAS）技術提供了在行動中防御低、慢、小（LSS）無人駕駛飛機威脅的計劃考慮。這個ATP還提供了關于如何計劃并將C-UAS士兵的任務納入單位訓練活動的指導。當區域威脅估計包括較小的無人機系統（UAS）平臺時，本ATP為旅級及以下部隊提供規劃指導。

ATP 3-01.81的主要受眾是在其行動中采用聯合武器規劃技術的機動旅及以下級別的指揮官和參謀人員、下級領導、排級和班級。然而，所有部署組織的領導人都可以從本出版物規定的補充信息和C-UAS技術中受益。此外，培訓人員和教育工作者也將使用本出版物來支持將聯合武器防空納入他們的課程。

指揮官、參謀部和下屬確保他們的決定和行動符合適用的美國、國際，以及在某些情況下，東道國的法律和法規。各級指揮官確保他們的士兵按照戰爭法和交戰規則行動。(見FM27-10)。

ATP 3-01.81在適用的情況下使用聯合術語。部分聯合和陸軍術語和定義同時出現在詞匯表和正文中。ATP 3-01.81并沒有規定本出版物中的任何支持者術語。對于文本中顯示的其他定義，該術語為斜體，并在定義后注明了提議者出版物的編號。

除非另有說明，ATP 3-01.81適用于現役陸軍、陸軍國民警衛隊和美國陸軍預備役。

防御無人機系統是一項艱巨的任務，沒有單一的解決方案可以擊敗所有類別的LSS威脅。

傳感器和預警能力的協作和綜合規劃以及各梯隊之間的情報共享是至關重要的。與空地一體化或空域管理人員協調，以獲得最新的情報和防御支持，有助于最大限度地減少空中威脅的影響，減少損失，保護人員和設備，以及在行動區內作業的友好無人機系統。本出版物由四章和一個附錄組成，集中討論了對不可預測的威脅環境的規劃，這種環境有可能在LSS無人機系統的協助下進行協調攻擊。支持性附錄提供了旅級及以下的訓練策略。

第1章。行動環境

第2章。旅級規劃的考慮因素

第3章。營級規劃的考慮因素

第4章。連級C-UAS行動

附錄A. C-UAS訓練策略

人工智能（AI）在國防領域的使用帶來了重大的倫理問題和風險。隨著人工智能系統的開發和部署，澳國防部將需要解決這些問題，以維護澳大利亞國防軍的聲譽，維護澳大利亞的國內和國際法律義務，并支持國際人工智能制度的發展。

這份報告《案例研究：國防中的倫理人工智能方法應用于戰術指揮和控制系統》是總理與內閣部（PM&C）、澳國防部和澳大利亞國立大學（ANU）3A研究所之間的科技（S&T）合作的產物。它使用《國防中的倫理人工智能方法》[1]來探討設想中的人工智能戰術指揮和控制（C2）系統的倫理風險，該系統整合了各種自主功能，以協助單個人類操作員同時管理多個無人駕駛車輛。

使用 "國防中的倫理人工智能方法 "對這一設想的C2系統進行分析，為三個利益相關者群體提供了關鍵的發現：澳國防部；人工智能技術開發者，以及那些尋求使用或迭代 "國防中的倫理人工智能方法 "的人。

對于澳國防部，該報告確定了關鍵的政策差距，并建議在以下方面采取行動。

• 對人工智能所做的決定和使用人工智能所做的決定制定一個問責框架

• 對操作員、指揮和系統開發人員的教育和培訓

• 管理支撐許多人工智能應用的數據，包括其收集、轉換、存儲和使用。

如果不采取行動，這些差距使澳國防部容易受到重大的聲譽和業務損害。

對人工智能技術開發者的其他關鍵發現涉及到有效性、整合、授權途徑、信心和復原力等主題。總的來說，這些發現鼓勵開發者考慮最有效的系統或算法（例如，在速度或準確性方面），是否一定是為決策者提供幫助的最佳選擇。在某些情況下，與規范性決策更一致的效率較低的算法可能更合適。此外，顯然需要研究哪些信息是做出好的判斷所必需的（特別是在問題復雜、背景重要的情況下）；以及應該如何快速傳達這些信息。通過考慮作為分析的一部分而開發的七種假設的道德風險情景，可以進一步探討這些關鍵的發現。

對于那些尋求應用或迭代《國防倫理人工智能方法》的人來說，報告建議開發更多的工具，以幫助從業者確定對其特定需求具有最大相關性和效用的領域；以及一套全面的定義，以幫助應用該方法。

這個頂點項目評估了使用區塊鏈技術來解決一些挑戰，即越來越多的不同的傳感器數據和一個信息豐富的環境，可以迅速壓倒有效的決策過程。該團隊探討了區塊鏈如何用于各種國防應用，以驗證用戶，驗證輸入人工智能模型的傳感器數據，限制對數據的訪問，并在數據生命周期內提供審計跟蹤。該團隊為實施區塊鏈的戰術數據、人工智能和機器學習應用開發了一個概念設計；確定了在戰術領域實施區塊鏈所涉及的挑戰和限制；描述了區塊鏈對這些不同應用的好處；并評估了這個項目的發現，以提出未來對更廣泛的區塊鏈應用的研究。該團隊通過開發三個用例來實現這一目標。一個用例展示了區塊鏈在 "輕數據"信息環境中的戰術邊緣使用。第二個用例探索了區塊鏈在電子健康記錄中對醫療信息的保護。第三個用例研究了區塊鏈在使用多個傳感器收集化學武器防御數據方面的應用，以支持使用人工智能和機器學習的測量和簽名智能分析。

未來針對同級或近級對手的大規模作戰行動，除了更傳統的空中、陸地、海上和空間等物理領域外，還將涉及網絡空間領域。數據和信息在這個連續體中的每一個點上所發揮的作用都不能被低估。此外，同時在多個領域進行有效溝通和協調的能力--擁有必要的指揮和控制--取決于可獲得的和可靠的信息。美國陸軍正在起草一份新的陸軍學說出版物3-13，標題為 "信息"，"將信息的軍事應用與所有作戰功能、部門和戰爭形式聯系起來"（美國陸軍聯合武器中心2022，2）。陸軍如何在戰場上保持優勢的這些轉變，強調了數據和信息作為戰爭工具的關鍵作用。

這個頂點項目的主要目標是探索區塊鏈在與國防部相關的各種情況下的使用。首先，該團隊研究了目前關于區塊鏈和相鄰主題的工作，如物聯網（IoT）、大數據、人工智能（AI）和機器學習（ML）。研究揭示了一個名為 "戰場物聯網"（IoBT）的新興概念。Tosh等人（2018）寫道，IoBT可以滿足 "對分散框架的強烈需求......以服務于戰場環境的目的"（2）。Kott、Ananthram和West（2016）強調了與IoBT可用性、保密性和完整性相關的幾個網絡安全挑戰，而Tosh等人（2018）討論了區塊鏈技術如何有利于IoBT架構。

除了網絡上的無數設備（如IoBT），數據存儲是管理數據的另一個關鍵方面，無論是現在還是未來以去中心化信息為標志的環境。區塊鏈，當與數據存儲機制的使用相結合時，可以幫助IoBT設備及其數據的可用性、保密性和完整性。該團隊研究了使用戰術數據結構作為 "鏈外 "數據存儲機制的潛力。數據結構使數據的發現、治理和消費自動化，使用戶能夠在他們需要的時候和地點訪問數據，而不需要對數據的存放地點有任何了解。數據結構是一種機制，可以將眾多的數據管理源連接在一起，以促進數據的可訪問性--無論其位于何處。這些數據管理源可以是傳統的數據庫、數據湖（IBM 2018），或數據倉庫（IBM 2021）。因此，戰術數據結構可能是一個可行的解決方案，以促進跨作戰人員功能和任務指揮系統的數據訪問（Patel等人，2021）。

這項研究的洞察力與現有的概念重疊，如數據生命周期和國防部的共同決策框架：觀察-定向-決定-行動（OODA）循環。數據生命周期一般有四個階段：數據創建（或生成）、數據閱讀（或消費）、數據更新（或修改）和數據刪除（或歸檔）。這些階段幾乎適用于任何類型系統中的每一種數據。了解在生命周期的每個階段與數據的互動如何影響數據的固有可靠性是很重要的。追蹤數據在這個數據生命周期中的運動提供了數據來源，這使得潛在的數據消費者能夠確定數據的可靠性和有效性。隨著決策者在實施OODA循環框架中使用數據（以及對該數據的下游分析，例如在人工智能的協助下），數據出處的關鍵性變得很明顯。區塊鏈的使用可以提供數據可靠性的內在保證，這反過來又減少了OODA循環的時間，改善了決策。

接下來，該團隊開發了一些通用的系統工程架構，以說明區塊鏈如何解決數據出處并確保這些數據的信任。這個過程確定了從各種用戶（例如，如數據所有者和消費者）到需要的軟件系統，以及數據結構，和Hyperledger Fabric（HLF）網絡（即區塊鏈組件）的各種行為者。此外，可能需要幾個應用編程接口（API）：一個訪問API，一個數據出處API，和一個企業API。利用區塊鏈提供可靠的數據出處的總體重點是提供一種新的方法，運營商可以跟蹤設備和數據的編輯者。

然后通過開發三個用例來擴展這個架構，每個用例都有其特定的架構，這進一步說明了區塊鏈的實施可以如何運作，并評估其效用和局限性。這些用例使團隊能夠探索區塊鏈在驗證用戶、驗證輸入人工智能模型的傳感器數據、限制對數據的訪問以及提供整個數據生命周期的審計跟蹤方面的潛力。

在第一個用例中，我們探討了區塊鏈如何在戰術邊緣促進安全和可信的數據傳輸，以利用遠程火力。第二個用例在更多的操作背景下提供了一個例子，區塊鏈提供了一個審計跟蹤，以實現一個強大的電子健康記錄（EHR），可以在醫療服務的連續過程中的任何點進行訪問。最后，該團隊的第三個用例是管理來自現場傳感器的數據流，并進入人工智能模型，以支持特定類型的情報（例如，用于化學防御工作的測量和簽名情報（MASINT））。這個用例既有業務背景，也有戰略背景，并展示了區塊鏈如何確保輸入人工智能模型的數據是有效和可靠的。

雖然這些用例利用了一個簡化的架構來促進區塊鏈的名義應用，但它還是展示了這項技術在解決或至少緩解當前和未來管理和保護大量數據的挑戰方面的真正潛力。該團隊能夠探索在區塊鏈上和區塊鏈外存儲數據的選項。這些選擇表明，區塊鏈技術如何能夠適應具體情況--不僅是在戰略、作戰和戰術背景下，而且是在各軍種之間，以滿足其獨特的任務需求。未來的聯合部隊在生成和消費數據方面需要精明，這些數據對于確保戰場上的優勢是必不可少的，但在武裝沖突之間的和平時期也是至關重要的，但競爭激烈。

美海軍部依靠目前海軍的方式，如簡報、聊天和語音報告來提供艦隊的整體作戰評估。這包括網絡領域，或戰斗空間，描繪了艦船的網絡設備和服務狀態的單一快照。然而，這些信息可能是過時的和不準確的，在決策者了解網絡領域的設備服務和可用性方面造成了混亂。我們研究了持久性增強環境（PAE）和三維可視化的能力，以支持通信和網絡操作、報告和資源管理決策。我們設計和開發了一個PAE原型，并測試了其界面的可用性。我們的研究考察了用戶對多艘艦艇上的海軍網絡戰斗空間的三維可視化理解，并評估了PAE在戰術層面上協助有效任務規劃的能力。結果是非常令人鼓舞的：參與者能夠成功地完成他們的任務。他們發現界面很容易理解和操作，原型被認為是他們目前做法的一個有價值的選擇。我們的研究提供了對新型數據表示形式的可行性和有效性的密切洞察，以及它在不同社區之間復雜的操作技術（OT）環境中支持更快和更好的態勢感知和決策能力。

引言

A.研究領域

持久性增強環境（PAE）是一個系統，它使用共享（多用戶）環境、增強現實（AR）技術和一系列傳感器的概念來創建過程和數據集的可視化表示，這些數據集被持久地（在很長一段時間內）添加、操作、可視化和分析，以支持人類操作員所做的一系列任務[1]。PAE被認為有可能給許多領域和人類任務帶來好處，包括網絡系統的可視化、網絡態勢感知和決策工作領域。

PAE的重要概念包括將實時信息傳遞給人類操作者，并以一種比傳統的信息記錄和傳遞形式更容易理解的格式。后者提高了解決整個海軍領域不同社區的許多用戶的需求的潛力，減少了錯誤的數量，并將大部分時間用于決策過程。

由于用戶數量眾多，社區各異，必須準確及時地解決收集、處理和操作大量數據的需求。此外，網絡領域的復雜性促使人們需要簡化、準確和及時的信息。與AR系統非常相似，PAE允許用戶在現實世界中處理和操縱虛擬物體，并同時看到眾多用戶之間的系統實時自動同步變化。這種虛擬和現實信息的實時無縫整合解決了網絡領域的復雜性，最終在大量用戶和不同社區之間提供了行動的準確性和及時性。

我們設計和開發了一個PAE系統原型，并分析了它如何支持海軍領域的網絡系統可視化和任務規劃操作。我們努力的主要目標是提高單用戶對水面資產上復雜網絡的理解和態勢感知，以及對設備當前網絡狀態的實時表示，從而使海軍部（DON）的任務規劃更加有效。在戰術層面上，這項研究將使我們進一步了解為支持有效的任務規劃而需要建立的技術基礎設施和流程。該系統有可能為美國防部所有部門帶來明顯的好處。

B.研究問題和動機

在美國海軍中，為了完成不同的任務，多個作戰群體依靠網絡群體來顯示網絡和通信狀態，以維持作戰畫面并提供通信。美國水面艦艇上的網絡和作戰系統的整合，在將信息和網絡狀態顯示為二維（2D）物體時，會在作戰人員中造成混亂。特別是當網絡設備發生意外變化時（即失去電力、拒絕服務、失去衛星覆蓋等），情況更是如此。設備的變化不僅影響到船上的通信，而且還影響到領導人的整體態勢感知。利用PAE系統整合三維（3D）數據和立體顯示，有可能通過實時自動顯示系統變化，大大幫助決策者了解復雜的網絡。

1. 網絡對通信至關重要（我們為什么關心）

網絡對于海軍資產之間在作戰層面的通信是至關重要的。如果沒有網絡設備，一艘水面艦艇就失去了與指揮系統（CoC）進行快速和準確溝通的能力。同樣，CoC也不能有效地將他們的信息傳達給各個水面艦艇。現在，我們可以把單艦沒有能力接收任務或發送狀態更新的想法，然后把可用的水面資產數量增加到一個多資產的航母打擊群（CSG）。這導致整個CSG中的五到六艘艦艇沒有能力與CSG指揮官就當前的任務甚至是日常行動進行溝通。即使海軍可以使用傳統的通信方式，如摩爾斯電碼和旗語信號來傳遞簡單的信息，但更復雜的信息必須以容易消化的格式來表示，以便決策者能夠了解當前的行動并迅速作出最佳決策。

通過在地面資產之間利用PAE系統，PAE系統有可能改善對復雜信息的理解，它將從紙質手冊或電子圖書館中獲取的二維信息轉化為三維可視化系統，并不斷更新三維可視化，以反映用戶的互動和該系統接收和生成的數據集的不斷更新。PAE系統也有可能訪問歷史數據，這在分析歷史趨勢或行動后報告（AAR）中可能是至關重要的。歸根結底，網絡領域值得采用新技術并尋找更好的解決方案。

2. 網絡設備狀態

為了了解單位層面的網絡設備狀態，戰略層面的決策者依賴于目前海軍傳統上使用簡報、聊天和語音報告的做法。然而，這些信息可能是過時的和不準確的，最終在需要了解網絡領域的服務和設備可用性的決策者中造成了混亂。網絡領域是一個復雜的領域，需要有效的管理和理解網絡操作，包括海軍艦隊之間的共享態勢感知（SA）。網絡設備在不斷變化，這取決于設備的狀態和水面艦艇的地理位置，這些都會影響連接性。

海軍操作員和領導傳統上使用各種格式的二維網絡拓撲圖和微軟文件來描述網絡系統的運行狀態并維護資源管理。這些二維模型最初是為了協助領導和操作員對網絡進行清晰的可視化；然而，隨著時間的推移，網絡資產的增加，從而增加了二維模型的復雜性，使得理解這些綜合系統變得更加困難。正因為如此，二維網絡圖和拓撲結構的顯示更成為理解新系統集成或系統變化的障礙。理解傳統的、印刷的二維信息（圖1）所花費的時間已經不能滿足操作人員和作戰人員的需要，也不能及時為決策者提供簡明清晰的信息。

3. 從PowerPoint幻燈片（2D信息）到增強現實（3D信息）

當代支持人類操作和決策的技術已經從過去適度的形式上有了飛速的發展。數據的表現形式現在可以采取三維信息的形式，不再是靜態的，而是動態變化的，支持用戶與相同數據集的實時互動。然而，今天大多數水面資產的重要通信包括不同級別的互聯網連接，便于分享PowerPoint簡報和接收在二維空間表示的語音或書面報告。這些傳統的通信途徑是艦艇當前作戰狀態的快照或對即將到來的任務的一系列預期；它們推動了美國海軍 "維持、訓練和裝備能夠贏得戰爭、阻止侵略和維護海洋自由的戰斗準備的海軍部隊 "的能力[3]。正如Timmerman的論文研究[4]中所認識到的，目前的二維可視化將復雜的操作技術（OT）系統顯示為網絡社區所習慣的平面信息技術（IT）圖，從而過度簡化了這些系統。另一種更優越的表示方法是在三維空間中顯示邏輯網絡元素，反映這些網絡的物理和邏輯的復雜性。通過研究數據的三維表示法，海軍可以加快關鍵的時間敏感數據的流動，這些數據原本是在二維空間，變成更容易理解的三維信息。

研究的總體目標是對PAE系統原型進行定量評估，通過可用性研究分析其如何支持海軍領域的網絡系統可視化和任務規劃操作。對復雜網絡及其相應拓撲結構的傳統理解是基于技術手冊中的藍圖的二維圖紙。這種信息的翻譯再由非主題專家（SME）通過PPT簡報（或口頭簡報）進一步稀釋，以告知高層決策者的指揮系統當前在水面資產上的通信狀態。最終，在二維信息、口頭或PowerPoint簡報和向高層決策者提供綜合信息之間會有時間損失。向決策者展示復雜系統的解決方案是通過PAE將二維信息表現為三維信息。

C. 研究問題?

本論文探討了以下問題。

• 什么是有可能為任務規劃提供更有效支持的技術框架？

• 網絡通信能力的三維可視化和PAE系統能否為網絡領域特定的任務規劃要素提供有效支持？

• PAE系統能否有效地協助戰術層面的任務規劃任務，具體到網絡通信的管理？

D. 范圍?

本論文將限于開發一個PAE系統原型，以幫助可視化用戶研究所需的網絡基礎設施。可用性研究有兩個不同的目的：檢查用戶對海軍網絡戰斗空間的三維可視化的理解，跨越多個艦艇的通信和網絡基礎設施，并評估PAE在戰術層面上有效協助任務規劃的能力。雖然海軍領域的PAE的大概念被設想為支持許多作戰任務和訓練情況[1]，并包括與作戰系統的互連性，但為本論文開發的原型系統將有足夠的功能來支持用戶研究。

E. 研究方法

本研究的研究方法包括以下步驟:

1. 進行文獻回顧。在AR、虛擬現實（VR）、SA、潛在多用戶環境、網絡可視化實踐以及應用于AR的持久性系統等領域進行文獻回顧。

2. 執行任務分析。進行任務分析，分析當前網絡操作、決策以及整個艦隊的設備和服務可用性的資源管理的做法。這包括但不限于詳細分析航母上的戰斗值班長（BWC）與巡洋艦或驅逐艦上的作戰指揮官（CRUDES）之間的報告和互動，當前的網絡可視化做法，以及PAE的有效性。我們還將對目前的報告標準和現有的SA任務和實踐進行詳細的任務分析。

3. 確定三維模型。確定一套支持虛擬環境和可用性研究所需的用戶任務的三維模型。

4. 設計和開發一個PAE原型。設計和開發一個支持可用性研究的PAE系統原型。

5. 設計和執行可用性研究。設計一個可用性研究，制定機構審查委員會（IRB）文件，對人類參與者進行研究，并檢查用戶執行所需任務的經驗。可用性研究的設計將針對網絡領域的可視化，側重于用戶更好地理解網絡設備如何與其他系統相互連接的能力，并實時描述網絡戰斗空間。此外，該設計將被定制為展示多艦情況下的決策，并衡量界面在支持任務規劃和資源管理方面的有效性。

6. 分析數據。分析研究中收集的人類性能數據，并檢查PAE原型系統的技術性能。

7. 確定建議和未來工作。收集并確定對未來可能的工作的建議。

F. 論文結構

第一章：導言。本章介紹了研究空間的最關鍵要素：領域、問題、研究問題、范圍和用于解決所有研究問題的方法。

第二章：背景和文獻回顧。本章強調了VR、AR、混合現實（MR）、持久性系統和SA的定義。文中回顧了關注AR和VR技術的研究經驗，并討論了多用戶環境、現有網絡可視化實踐和持久性系統與AR技術結合應用時帶來的潛力。

第三章：任務分析。本章分析了目前整個艦隊的網絡操作、決策以及設備和服務可用性的資源管理的做法。

第四章：系統原型。本章闡述了PAE系統的設計和開發、系統結構和模擬環境。本章還描述了訓練場景和一套支持建立可用性研究所需的虛擬環境的三維模型。

第五章。可用性研究。本章介紹了可用性研究的要素，文中還討論了從可用性研究中收集的數據集中得出的結果。

第六章：結論和未來工作。本章概述了本研究的主要內容，并對未來的工作提出了建議。

全文概覽

第2節描述了人工智能在影像學中的潛在應用，特別是要認識到從圖像分析中生成候選臨床結果以外的應用。還介紹了白皮書其他部分所提及的人員、系統和結構。第3節描述了為第2節所述的目的開發和使用人工智能時的步驟和互操作性需求。這些 "用例 "大致按時間順序組織，從數據集儲存庫的建立和運行，到數據集的準備及其在訓練和測試人工智能模型中的使用，再到訓練過的人工智能模型的打包、部署、測試和臨床使用。一個 "共同機制 "部分討論了在多個用例背景下反復出現的主題。第4節是首次對與一些關鍵實體相關的元數據進行建模，如用例中出現的數據集、數據存儲庫和AI模型。

引言

本文件是IHE放射學AI互操作性白皮書，描述了一個組織框架和路線圖，用于創建支持AI數據集、AI模型和AI應用的創建、生命周期和使用的配置文件。

1.1 影像中的AI互操作性白皮書的目的

本白皮書旨在記錄 "影像學中的人工智能 "所包含的內容，并提供一份全面的互操作性需求、問題和挑戰路線圖，以實現一個可互操作產品的生態系統，支持構成影像學中的人工智能所有過程和任務。本文使用 "影像"作為速記，旨在涵蓋所有形式的醫學影像。該文件將被IHE規劃和技術委員會用來確定構成功能概況的需求邏輯組。列舉的需求、問題和挑戰將有助于確保 "概況"的范圍正確，不會忽略那些在 "大局"中或經過更仔細考慮后才會出現的問題。有了這個路線圖，就可以更容易地選擇和適當地確定概況建議的范圍，也可以幫助確定工作的優先次序/順序。敲定一些基本的協議點可能會導致在開發配置文件時取得更快的進展。供應商和用戶將從任何程度的一致/協調中受益。白皮書并沒有描述具體的行為者或交易。這樣的定義將是后續配置文件的工作。一般來說，這里的重點是確定關鍵問題和需求，從而使概況的工作有一個良好的范圍。在此基礎上，配置文件的開發將致力于開發基于共識的可互操作的答案，以滿足這些需求。

1.2 預期受眾

IHE放射學AI互操作性白皮書的目標受眾是：

• IHE規劃和技術委員會的成員
• 創建和支持人工智能所需標準的其他標準機構的成員（如DICOM、HL7、LOINC等）。

許多試圖了解影像學中的人工智能范圍以及各種需求、問題和挑戰的用戶群體，應該會發現這份白皮書很有用（并強烈鼓勵他們提出見解），包括：

• 人工智能產品的消費者（放射科醫生、技術員、信息員、轉診/主治醫生）。
• 人工智能產品的管理者（PACS管理員、IT運營、放射科領導、健康記錄和質量團隊）。
• 人工智能產品的開發者（包括分析員和數據科學家）
• 影像產品的供應商（圖像管理器、圖像顯示器、RIS、影像模式）。
• AI產品和服務的供應商（AI Orchestrator和AI Performer產品）。
• 人工智能相關標準的制定者
• 戰略規劃成員、產品經理、研發工程負責人
• 衛生政策機構和專家、國家學會

本報告描述了北約STO RTG IST-149無人地面系統和C2內互操作性能力概念演示器的研究和實驗工作。無人地面車輛（UGVs）在現代戰斗空間中正變得越來越重要。這些系統可以攜帶大量的傳感器套件，從前線提供前所未有的數據流。另一方面，這些系統在大多數情況下仍然需要遠程操作。重要的是要認識到，如果沒有適當的方式在聯盟伙伴之間交換信息和/或將其納入C2系統，ISR數據在很大程度上將是無用的。該小組的主要目的是找到改善這種情況的方法，更具體地說，調查從操作員控制單元（OCU）控制UGV和接收數據的可能標準，并在現實世界的場景中測試它們。

該項目的努力有兩個方面。比利時的貢獻是在歐盟項目ICARUS中所做的工作。這個項目涉及一個用于搜索和救援的輔助性無人駕駛空中、地面和海上車輛團隊。互操作性在幾個不同的實驗中得到了驗證。ICARUS聯盟由幾個國際合作伙伴組成，其中比利時是這個小組的鏈接。第二項工作是該小組的聯合努力，在小組內進行實驗，展示UGV和OCU之間的互操作性。該小組于2018年在挪威的Rena進行了最后的演示。

這兩項工作都使用了無人系統聯合架構（JAUS）和互操作性配置文件（IOP），以成功實現系統間的互操作性。試驗表明，有可能相當容易地擴展系統，并在相對較短的時間內實現與部分標準的兼容。弗勞恩霍夫FKIE和TARDEC都開發了軟件，將信息從IOP域傳遞到機器人操作系統（ROS），并從該系統中獲取信息。ROS是一個廣泛使用的軟件，用于開發UGV和其他類型機器人的自主性，并被該小組的許多合作伙伴所使用。Fraunhofer FKIE和TARDEC提供的軟件對試驗的成功至關重要。

報告還討論了如何在采購前利用IOP標準來定義系統的要求。該標準本身定義了一套屬性，可以在采購新系統時作為要求來指定，可以是強制性要求，也可以是選擇性要求。這使得采購部門更容易定義要求，供應商也更容易符合要求，同時也明確了OCU在連接到系統時，在控制系統和可視化系統中的數據方面需要具備哪些能力。

該小組2018年在挪威瑞納的試驗重點是對UGV進行遠程操作，以及接收UGV的位置和視頻反饋。由于這是一次成功的試驗，下一步將是使用更高層次的控制輸入和反饋來測試互操作性，例如，向UGVs發送航點，并根據系統的感知接收系統周圍環境的地圖。

摘要

建模與仿真（M&S）是作戰分析人員用來支持決策者的一種關鍵方法，因為它有能力對復雜的問題提供清晰的見解。鑒于其好處，許多北約國家和北約內部的組織擁有大量的M&S專業知識，并將其應用于廣泛的問題。然而，這些模擬，特別是那些具有高度復雜性的模擬，可能是昂貴的，開發和驗證需要時間，并且需要專業知識和資源來使用。雖然在整個北約共享這些專業知識和這些模擬可能會導致更有效的決策支持，但它充滿了障礙，包括與項目時間表有關的時間壓力、知識產權，有時還需要共享機密材料。克服這些障礙將有助于北約從整個聯盟的M&S投資和專業知識中獲得應有的決策優勢。然而，為了克服這些障礙，需要有切實可行的解決方案。

在本文中，我們概述了MSG-SAS-178的工作，其目的是開發一種方法來減少這些障礙。我們討論了該小組的兩個主要貢獻。首先，該小組對北約內部共享M&S軟件、資源和模擬本身的常見障礙進行了識別和分類。其次，我們提出了一個障礙交換框架，在考慮數據、軟件、供應商和決策者等多個方面的障礙時，它可以作為決策支持工具。該框架提供了一種可操作的方式，通過仔細考慮模型和數據交換的要求以及交換帶來的障礙來塑造合作。這使得整個聯盟的M&S共享得到加強。

引言

幾十年來，建模與仿真（M&S）已被成功地用于支持北約的決策，是一種關鍵的分析能力。應用的領域包括先進的作戰計劃、基于能力的計劃、能力和/或概念開發，以及支持實驗和戰爭游戲。M&S有多種形式，從設計多年的大型復雜戰役模擬，到為單一目的快速建立的模擬。大型復雜模型的開發和維護成本很高，而且許多模型需要專家的專業知識，而這些專業知識是供不應求的。成本和所需的專業知識使M&S成為北約集體能力和合作意愿的一個領域，應使聯盟比其對手更有優勢。

通常情況下，有四個來源可以提供模擬服務。(1）北約實體，（2）國家政府，（3）工業，和（4）學術界。這四個方面都有專業知識、工具和數據。專業知識和工具的開發和維護可能是昂貴和費時的，特別是在專業或利基領域。對于數據來說，國防中使用的分類級別可能是一個問題，限制了工業界和學術界，并影響了國家和北約層面的共享。

北約實體和國家政府已經成為北約仿真服務的首選。在北約內部簽訂服務合同相對容易，但經驗表明，與國家政府或其他實體簽訂合同則充滿了困難。在整個北約提供模擬服務方面存在障礙，導致爐灶和低效率。在北約的科學和技術組織（STO）下，2019年啟動了一個聯合建模與仿真小組（MSG）和系統分析與研究（SAS）活動（MSG-SAS-178）。該活動的目的是考慮如何克服障礙，使北約及其所有成員受益。本文討論了該小組的兩個主要貢獻。首先，該小組對在北約內部共享M&S軟件、資源和模擬本身的共同障礙進行了識別和分類。第二，一個障礙交換框架，在考慮數據、軟件、供應商和決策者等多個方面的障礙時，可作為決策支持工具。該框架提供了一種可操作的方式，通過仔細考慮模型和數據交換的要求以及交換帶來的障礙，來塑造合作并為成功創造條件。這使得整個聯盟的M&S共享得到加強。

本文的其余部分組織如下。第2節概述了本研究中使用的方法。接下來，第3節討論了共享的障礙：首先是通過對知識共享文獻的回顧而發現的障礙，其次是通過MSG-SAS-178活動而發現的與北約內部和國家之間共享模擬有關的障礙。第4節介紹了一種引導模型和數據交換的方法，這也許是國防領域最重要的一組障礙。從MSG-SAS-178更詳細的案例研究庫中，我們介紹了數據和模型交換框架如何在現實世界的場景中使用。第5節提供了結論意見。

?

對于群體智能中的人類操作員來說，關鍵情況下的決策支持至關重要。自主系統共享的大量數據很容易使人類決策者不堪重負，因此需要支持以智能方式分析數據。為此，使用了用于評估情況和指示可疑行為或統計異常值的自主系統。這增強了他們的態勢感知能力并減少了工作量。因此，在這項工作中，強調為檢測監視任務中的異常而開發的數據融合服務，例如在海事領域，可以適應支持集群智能的運營商。此外，為了使人類操作員能夠理解群體的行為和數據融合服務的結果，引入了可解釋的人工智能 (XAI) 概念。通過為某些決策提供解釋，這使得自主系統的行為更容易被人類理解。

作者解決了由于自主系統共享大量數據而導致的信息過載問題。為了緩解這個問題，他們建議通過兩種智能數據分析方式來幫助人類操作員。第一種方法是自動異常檢測，這可能會加強人類操作員的 態勢感知SA 并減少他們的工作量。第二種方法是可解釋的人工智能 (XAI) 概念；它們有可能使群體行為以及異常檢測結果更易于理解。

作者認為，控制一群無人機仍然具有挑戰性。一方面，（半自動化）群體代理“必須決定行動方案”；另一方面，人類操作員必須決定他們的行動，例如與群體互動。提出的建議力求改善人在循環中。考慮到海上監視的應用，使用非固定代理的動態方法具有幾個優點。首先，某些場景只能使用動態方法進行管理；其次，與固定監視傳感器相比，代理更便宜；第三，在多個地點靈活使用代理可以減少操作群體所需的人員數量。然而，情況評估仍然需要知情的操作員。

作者認為，在海洋領域用于船舶分析的異常檢測算法可能適用于引入以下場景的群體。“假設我們有一個群體來支持海上船只，這些船只不僅會收集它們自己的傳感器系統可用的數據，還會收集所有資產的數據。所有來源收集的信息都需要融合成一幅連貫的畫面。這不應僅限于 JDL 數據融合的第一級，而應包括更高級別的數據融合過程，以獲取有關附近所有對象的可用信息。” 數據驅動的方法能夠應對這種情況。文獻提供了三種檢測位置和運動異常的方法：統計解釋為與正常行為相比的異常值；聚類分析聚類相似的軌跡和確切的路線；用于建模正常移動模式的深度學習方法。為了應對更復雜的場景，包括船舶周圍環境（基礎設施、地理、天氣等）在內的算法是必要的。在某些復雜異常的情況下，區分正常和異常行為需要基于規則、基于模糊、多智能體或基于概率圖形模型的算法。對于所有提到的算法類別，作者都指出了大量的示例算法。

一些算法是黑盒模型，因此，它們的解釋對于人類操作員來說是復雜的。XAI 概念可以幫助緩解這個問題。XAI 概念旨在“提供道德、隱私、信心、信任和安全”，并努力在“它已經做了什么、現在正在做什么以及接下來會發生什么”中明確決策。，從而提高了人工操作員的 SA。考慮到 XAI 模型，模型特定方法（僅限于某些數學模型）可以與模型無關（適用于任何類型的模型）方法區分開來。

在目前的貢獻中，重點是與模型無關的方法。考慮到這些，局部解釋方法（解釋整個模型的單個預測結果）可以與全局解釋方法（解釋整個模型的行為，例如以規則列表的形式）區分開來。此外，作者使用特征屬性、路徑屬性和關聯規則挖掘來區分方法。通過特征屬性，“用戶將能夠了解他們的網絡依賴于哪些特征”；方法示例是提供全局和局部可解釋性的 Shapley Additive Explanations (SHAP) 和指示“模型在進行預測時考慮的輸入特征” 的局部可解釋模型無關解釋 (LIME)。路徑集成梯度（PIG，使用局部解釋）等路徑屬性提供了對模型預測貢獻最大的特征，從而深入了解導致決策的推理。關聯規則挖掘（ARM）是另一種使用全局解釋的方法，發現大型數據集中特征之間的相關性和共現。ARM 方法使用簡單的 if-then 規則，因此被認為是最可解釋的預測模型。可伸縮貝葉斯規則列表 (SBRL)、基尼正則化 (GiniReg) 和規則正則化 (RuleReg) 技術被認為適用于監視任務。

作者認為，使用這樣的 XAI 概念，人類操作員（決策者）可以更好地理解、更好地控制和更好地與一群自主代理進行通信，尤其是在具有挑戰性的環境中。總而言之，將異常檢測和 XAI 概念這兩種方法應用于人類在環、用戶對群體智能的理解和信任可能會得到改善。