該項目的研究目標是放大預測數據分析的力量,并開發一個全面、集成和可擴展的數據分析與推理基礎設施。軍事大數據情報研究與教育卓越中心(CREDIT)的使命是加快科學和工程預測分析的研究和教育,以改變有效處理和解決大數據帶來的許多復雜問題的能力,特別是在軍事應用方面。
2015年4月,美國國防部負責研究與工程的副部長辦公室(OUSD(R&E))出資500萬美元,并于2020年追加100萬美元,在普拉里維尤農工大學成立了軍事大數據情報研究與教育卓越中心(CREDIT)。CREDIT 中心的使命是加速科學和工程預測分析的研究和教育,以改變有效應對和解決大數據帶來的許多復雜問題的能力,并將學生培養成下一代數據科學家和工程師。
CREDIT 中心擁有一支多學科團隊,成員包括電子與計算機工程系和計算機科學系的教師研究人員、研究科學家和博士后,以及普拉里維尤農工大學(Prairie View A&M University,HBCU)的許多研究生和本科生研究助理。核心設施已經建成,包括深度學習實驗室和云計算實驗室。CREDIT 中心的團隊和計算資源使團隊能夠解決大數據分析和人工智能方面的許多挑戰性問題,并且 CREDIT 中心正在引領 PVAMU 大數據科學和深度學習方面的課程開發。CREDIT 中心與許多學術機構、政府機構和行業合作伙伴積極合作,共同應對大數據分析方面的挑戰,并為未來以數據為中心的經濟培養人才。它在推動 PVAMU 成為 R2 方面發揮了重要作用: 博士大學--高研究活動機構。
在本項目資助期間,普拉利維亞農工大學 CREDIT 中心團隊與石溪大學和內華達大學里諾分校的合作者完成了所有建議的研究、教育和推廣活動。取得了重要的研究成果。具體而言,(i) 發表了45篇期刊論文和2本著作,(ii) 發表和提交了104篇同行評審會議論文(包括兩篇最佳論文獎),(iii) 提交了3篇期刊論文并正在審查之中。出版物的詳細清單見附錄 A。
如今,軍事情報分析人員面臨著處理來自多個來源的海量復雜數據的艱巨任務,而且任務量還在不斷增加。其中包括傳感器數據、移動社交網絡數據、監視數據(如無人機或衛星拍攝的圖像和視頻)以及公共領域數據。圖 1 給出了一個示例場景。必須對這些數據進行匯總、評估、關聯,并最終用于支持指揮官的關鍵決策和行動。然而,目前缺乏處理軍事行動中來自異構來源的海量數據的能力[1, 2]。目前存在許多挑戰,例如:(1)需要設計和優化用于軍事大數據的實時計算平臺,因為海量數據分布在不同地點;(2)必須在敵對環境中聚合異構數據并妥善存儲;(3)需要以最小的延遲完成分布式態勢感知和決策制定;(4)必須呈現海量數據集和復雜結果,以便分析人員輕松感知。
CREDIT 中心旨在應對這些基本挑戰,并為美國國防部的關鍵任務應用提供傳感、感知和決策支持。具體而言,提出并開發了一種集成計算、通信和信息融合的方法。目前已經開展了四項研究: (1) 實時軍事大數據云計算系統的系統架構設計;(2) 利用邊緣計算和計算卸載實現安全、穩健的數據收集和聚合;(3) 新型機器學習和深度學習算法,用于使用高維數據集進行自動檢測,以及在標記數據有限的情況下進行半監督學習;(4) 在云上實時實現海量數據集的可視化,并通過實驗驗證研究成果。它們共同提供了對動態環境中感興趣的對象和事件之間關系的研究,并利用特定功能流程或應用中的數據來實現可操作的特定背景洞察力。所提出的設計和方法已通過大量模擬和實驗進行了驗證,并以無人駕駛飛行器進行物體檢測和跟蹤為案例進行了研究。
圖 1:用于近實時檢測和決策的協作式信息匯總和處理概念
圖 2:擬議研究重點之間的協同作用
如圖 1 所示,當海量數據流進入軍事云時,云需要動態分配足夠的資源來存儲和處理數據。為了滿足實時性要求,需要探索如何在云基礎設施上更好地分配數據和任務,如何實現彈性計算以滿足動態計算工作負載,以及如何有效利用額外的加速器來加速節點內的任務(研究重點 1)。
鑒于戰場環境瞬息萬變,需要可靠地收集數據,并以分散和多層次的方式進行分析。例如,士兵 B3 在與 D2 通信時受到干擾,可以使用認知無線電切換信道,并通過 C2 報告數據。因此,必須利用認知無線電傳感器網絡進行穩健的數據匯總(研究重點 2)。
收集到的大量數據可能是多余或無用的,需要在早期階段過濾掉,而一些有用的數據可能會丟失或缺失,需要從附近的其他設備獲取或收集。例如,可以在坦克 A1、A2 和無人機 C1 之間使用信念傳播來處理各自收集到的數據,然后當 D1 轉發來自 A1、A2 和 C1 的更新信念時,可以使用軍事云中的最快檢測速度以最小延遲執行敵方目標檢測。這種建議的方法利用了數據的時空相關性,有效減輕了數據缺失或錯誤的影響(研究重點 3)。此外,還建議在研究重點 4 中開展戰場特定可視化研究,以直觀地實時呈現大量復雜信息。理論結果已通過大量模擬和試驗臺實驗得到驗證。各研究方向之間的協同作用如圖 2 所示。從信息擁有的角度來看,來自不同來源的各類數據將以安全、穩健的方式匯聚到云計算系統中進行實時處理。將應用機器學習技術,以最小的延遲和較低的誤報率進行檢測。然后,在交互式可視化工具的幫助下做出適當的決策。它們共同提供對關鍵信息需求的實時響應、準確的知識提取和風險意識決策。因此,擬議架構中各研究方向之間的協作滿足了軍事行動中有效和高效的信息共享和決策制定需求。
技術貢獻要點概述如下:
在研究重點 1 中,為 CREDIT 研究建立了一個定制的特定領域大數據分析云。提出了將最先進的高性能計算技術集成到大數據分析中以提高性能和規模的概念。它已在 Apache Spark 上的分布式體積數據分析工具包中實施和測試。
圖 3:實時戰場數據分析云
在研究重點 2 中,提出并實施了一個高效的隱私保護智能邊緣計算框架。為了實現穩健的數據收集和聚合,提出了計算卸載,以共同優化通信和計算。然后將多任務學習方法應用于計算卸載優化,在實現更高精度的同時將推理時間縮短了 4 個數量級。
圖 15:為邊緣計算系統圖像分類提出的高效隱私保護框架。
在研究重點 3 中,探索了使用 Dempster-Shafer 理論(DST)和 Dezert-Smarandache 理論(DSmT)進行大數據處理的可行性,并提出和研究了使用證據理論(DST - DSmT)和 KullbackLeibler(KL)發散進行距離測量以減輕不確定性影響的檢測框架。在標注數據有限的情況下,即使使用非常有限的標注數據,所提出的半監督學習也能獲得很高的推理精度,這對于實時機器學習應用來說是一個很有前景的解決方案。
圖 24:擬議的多數據源 DST 和 DSmT 決策平臺
在研究重點 4 中,設計并測試了一種基于多任務學習的新型深度學習模型,用于無人機上的目標識別和目標跟蹤。在實際實驗中,該模型實現了實時處理(> 20 fps)和高 IoU(> 60%)。
此外,還構建了基于云的大數據可視化系統,并在云上實現了實時數據可視化。本報告第 2-4 章詳細介紹了研究背景、文獻綜述、問題提出、方法建議以及實驗和結果分析。
圖 20:擬議 MTFNN 模型的多任務學習框架
CREDIT 中心與美國國防部的項目管理人員和研究人員保持著密切的合作關系,并為美國國防部和國家的勞動力發展做出了巨大貢獻。大量研究生和本科生積極參與了 CREDIT 中心的研究活動,10 名博士生、34 名碩士生和 100 多名本科生在 CREDIT 中心的支持下畢業。所有畢業的學生都在政府機構和私營企業找到了很好的工作,如 AFRL、NAVSEA、IBM、Intel、Microsoft、Apple、Amazon、HPE 和 Dell。在 CREDIT 中心從事研究的所有學生都在人工智能、機器學習和大數據分析方面獲得了深厚的知識和廣泛的培訓。他們在高質量的期刊上發表了重要的研究成果,并在解決極具挑戰性的現實問題方面表現出了卓越的能力。例如,CREDIT團隊包括六名研究生助理,在首席研究員(錢)和共同首席研究員(奧比蒙)的指導下,參加了2020年秋季由美國海軍組織的海上人工智能挑戰賽(AI Tracks at Sea Challenge)。CREDIT 團隊從包括全國頂尖研究型大學在內的 31 所參賽大學中脫穎而出,榮獲第一名。除了學生成為美國國防部的全職雇員外,還有二十多名預備役學生在 CREDIT 中心接受了數據分析技能培訓。此外,CREDIT 中心的許多學生還參加了美國國防部提供的暑期實習生計劃。
隨著 CREDIT 中心的成立,研究基礎設施也得到了極大的改善。具體來說,深度學習實驗室配備了 4 臺英偉達 DGX-1 系統,共有 32 個 P100 GPU,超過 112,000 個 CUDA 內核,以及 4 臺 120TB 的戴爾存儲服務器。云計算實驗室擁有一個高性能計算機集群,由 4 個機架組成,包括 56 個 IBM 雙核刀片服務器、8 個惠普 16 核節點、24 個帶 GPU 的 IBM 16 核節點,以及用于建立云虛擬機農場的 4 個戴爾節點。這些高性能計算設施為教師和學生提供了寶貴的機會,使他們能夠使用最先進的設備探索前沿技術。
CREDIT 中心一直領導著 PVAMU 的課程開發,以確保學生得到充分的指導和培訓,并確保中心和 PVAMU 始終走在人工智能和大數據教育的前沿。具體而言,德克薩斯農工大學系統和德克薩斯州高等教育協調委員會(THECB)已經開發并批準了人工智能深度學習證書課程。第一批14名學生剛剛于 2021 年獲得該證書。CREDIT 中心還開展了許多外聯活動,如組織年度關鍵任務大數據分析研討會、系列研討會和 CREDIT 中心高中生夏令營。
憑借 CREDIT 中心的研究和教育能力,最近在積極研究的基礎上又獲得了許多新的資助,使中心得以持續發展。在政府機構(尤其是美國國防部)以及學術和工業合作伙伴的大力支持下,團隊認為 CREDIT 中心將進一步提高其研究和教育能力,并繼續培養學生成為高素質的勞動力,在未來為美國國防部的任務做出支撐。
作為分布式海上作戰(DMO)的一個關鍵原則,盡管有人和無人、水面和空中、作戰人員和傳感器在物理時空上都有分布,但它們需要整合成為一支有凝聚力的網絡化兵力。本研究項目旨在了解如何為 DMO 實現有凝聚力的作戰人員-傳感器集成,并模擬和概述集成實施所需的系統能力和行為類型。作為一個多年期項目,本報告所述的第一項工作重點是建立一個適用于 DMO 建模、模擬和分析的計算環境,尤其側重于有人和無人飛機的情報、監視和偵察 (ISR) 任務。
在半個世紀的建模和仿真研究與實踐(例如,見 Forrester, 1961; Law & Kelton, 1991),特別是四分之一世紀的組織建模和仿真工作(例如,見 Carley & Prietula, 1994)的基礎上,獲得了代表當前技術水平的計算建模和仿真技術(即 VDT [虛擬設計團隊];見 Levitt 等人, 1999)。這種技術利用了人們熟知的組織微觀理論和通過基于代理的互動而產生的行為(例如,見 Jin & Levitt, 1996)。
通過這種技術開發的基于代理的組織模型在大約三十年的時間里也經過了數十次驗證,能夠忠實地反映對應的真實世界組織的結構、行為和績效(例如,參見 Levitt, 2004)。此外,幾年來,已將同樣的計算建模和仿真技術應用到軍事領域(例如,見 Nissen, 2007),以研究聯合特遣部隊、分布式作戰、計算機網絡行動和其他任務,這些任務反映了日益普遍的聯合和聯盟努力。
本報告中描述的研究項目旨在利用計算建模來了解如何為 DMO 實現有凝聚力的戰斗傳感器集成,并建模和概述集成實施所需的系統能力和行為類型。作為一個多年期項目,本報告所述的第一項工作重點是建立一個適用于 DMO 建模、模擬和分析的計算環境。在這第一項工作中,將對當今的海上行動進行建模、模擬和分析,重點是有人駕駛和無人駕駛飛機的情報、監視和偵察(ISR)任務。這為與執行 ISR 任務的一個或多個 DMO 組織進行比較確立了基線。這也為與其他任務(如打擊、防空、水面戰)進行比較建立了基線。第二階段接著對一個或多個備用 DMO 組織進行建模、模擬和分析。
在本技術報告的其余部分,首先概述了 POWer 計算實驗環境,并列舉了一個實例,以幫助界定 DMO 組織和現象的計算建模。依次總結了研究方法。最后,總結了沿著這些方向繼續開展研究的議程。這些成果將極大地提高理解和能力,使能夠為 DMO 實現戰斗員與傳感器的集成,并為集成實施所需的系統能力和行為建模和概述。
認知與神經人體工程學/神經工效學(CaN)協同技術聯盟(CTA)是一項為期 10 年的神經科學基礎科學研究和技術過渡計劃。該計劃由美國陸軍作戰能力發展司令部陸軍研究實驗室于 2010 年成立,是政府、行業和學術合作伙伴之間的一項合作計劃。在其任期內,CaN CTA 在神經科學、神經技術和相關領域取得了重大進展。CaN CTA 的工作影響了許多利用神經技術增強下一代士兵系統的陸軍項目。本報告對該計劃的愿景、方法和影響進行了高層次的概述,并詳細介紹了成員組織取得的科學進步和技術成果。
認知與神經工效學(CaN)合作技術聯盟(CTA)一直是美國陸軍在神經科學領域的旗艦基礎科學研究和技術過渡計劃。在過去的幾十年里,神經科學的進步極大地推動了我們對大腦功能如何支撐行為的認識,為理解我們如何感知、認知和與世界互動奠定了現代基礎。這些認識已經并將繼續帶來革命性的進步,促進技術解決方案的發展,以滿足軍隊的需求。
CaN CTA 于 2010 年 5 月啟動,匯集了世界一流的研究人員、經驗豐富的行業合作伙伴以及美國陸軍作戰能力發展司令部陸軍研究實驗室最優秀的科學家,以利用全球在神經科學研發方面的巨大投資。CaN CTA 的科學研究和開發計劃旨在推進和加速基于神經科學的方法的成熟,以了解士兵在作戰環境中的表現,并增強下一代自適應士兵系統。
本報告總結并重點介紹了整個聯盟在過去 10 年中取得的成就。更多信息,包括視頻演示和軟件工具,請訪問發展司令部陸軍研究實驗室 CaN CTA 網站。同樣,本報告的第 13 部分還包含了一份具有代表性的清單,其中列出了 CaN CTA 合作研究發表的 50 篇具有重大影響的論文。
現代神經科學研究是一項真正的多學科研究。在全球領先的研究機構中,神經科學研究由來自不同領域的科學家進行,包括但不限于神經科學和神經生物學、遺傳學、心理學、運動學、統計學、應用數學、物理學、計算機科學和工程學。這些研究工作有賴于作為 ARL CTA 核心的合作關系。CaN CTA 的合作機構從臺灣到德國,真正體現了 CTA 的理念,匯聚了來自全球各地世界級研究機構的頂尖學者。
在行業合作伙伴 DCS 公司(DCS)的領導下,CaN CTA 聯合會的成員包括學術研究界公認的領軍機構。在其 10 年的執行過程中,CaN CTA 聯盟及其合作伙伴包括以下機構: 哥倫比亞大學、卡內基梅隆大學 (CMU)、加州大學圣地亞哥分校 (UCSD)、加州大學圣巴巴拉分校 (UCSB)、德克薩斯大學圣安東尼奧分校 (UTSA)、佛羅里達大學 (UFL)、密歇根大學 (UMI)、馬里蘭大學巴爾的摩郡分校 (UMBC)、 賓夕法尼亞大學 (UPenn)、約翰霍普金斯大學 (JHU)、臺灣國立交通大學 (NCTU)、澳大利亞悉尼科技大學 (UTS)、德國奧斯納布呂克大學 (UOs)、西班牙龐培法布拉大學 (UPF) 和 Syntrogi(現為 Intheon)。
即使進入該計劃的最后一年,CaN CTA 仍在繼續克服現實世界中神經成像和自然環境中人類表現建模所面臨的各種挑戰,這些挑戰可用于促進廣泛的神經技術。在這些努力中,有些工具和概念已過渡到 CTA 內外的學術、政府和行業合作伙伴。以下是一些例子:
CTA 合作伙伴開發了新穎的機器學習 (ML) 方法,以前所未有的方式探索和利用神經生理學數據。CTA 合作伙伴展示了人工智能的概念驗證,該人工智能利用在多個不同數據集合中訓練的分類模型,在非結構化環境中檢測任務相關物體的感知,而無需特定用戶校準。
CTA 合作伙伴已將干電極腦電圖 (EEG) 的創新解決方案原型提供給 ARL、其他學術實驗室和行業。ARL 已對無線干電極系統進行了測試,并將其集成到多個應用研究項目的儀器中。此外,一些商業干電極腦電圖產品也利用了這項研究,并被多個教育機構采用。這些機構包括加州大學圣地亞哥分校、馬來西亞大學、英屬哥倫比亞大學和韓國科學技術院。此外,一些干電極產品和評估方法已過渡到大型和小型行業利益相關者的實驗室,如日產汽車公司(日本)、NeuroRex 公司(美國)、Alchemy 公司(臺灣)、Neurocare 公司(新加坡)、Google X 公司(美國)和英特爾公司(美國)。
實驗室流層(LSL)是一種多視角數據采集(DAQ)和同步軟件骨干,目前正被神經行為系統公司采用,以集成到商業刺激演示工具 Presentation 中。此外,LSL 已成為 ARL 多個項目的關鍵集成和同步技術,包括下一代戰車和士兵致命性跨職能團隊支持的大規模研究工作。重要的是,全球越來越多的學術和工業實驗室正在使用 LSL,以創建一個統一的人類傳感生態系統。
CTA 合作伙伴還開發了一系列其他軟件工具,用于對大腦功能進行無創調查(使用腦電圖和其他模式)。其中許多工具被納入更大的工具套件,如 BCILAB(即腦機接口 [BCI] 平臺)和 EEGLAB。
CaN CTA 還在政府實驗室內外尋求技術轉讓和集成目標。特別是,我們開展了轉化研究,以實現未來汽車環境中人類自主集成的進步。我們通過在真實道路上對真實汽車進行調查,同時增加真實世界的社會效應,推進了我們的駕駛研究。與此同時,我們還與一個應用研究項目進行了協調,該項目正在調查駕駛員與現代駕駛輔助技術互動時的大腦過程。
CaN CTA 的努力促成了一項新的應用研究計劃,該計劃將利用上述幾項技術,完善并驗證一個新概念,即通過對多人視覺感知相關信號的機會性感應,提高騎兵和下車士兵的戰術態勢感知能力。除其他計算技術外,該計劃還利用在先前數據集上訓練的深度學習方法來實現免校準操作,以協同改進計算機視覺算法(給定人類標記數據)。這項技術的目標是在不增加士兵認知負擔的情況下,通過人與自主系統的無縫集成來提高部隊效率。
認知神經科學的最新進展極大地促進了我們對大腦功能如何影響行為表現的了解。然而,迄今為止,包括認知神經科學在內的絕大多數人類科學研究工作所采用的方法論和分析方法都存在固有的局限性。CaN CTA指出的技術障礙概括了這些局限性,這些局限性導致人們只能了解人腦如何在高度受控的實驗室環境中執行高度受限的任務。反過來,這也意味著以往的系統開發方式和技術進步方法無法充分考慮士兵操作員的神經認知能力和局限性。
技術障礙:
實驗設計僅限于高度受控和貧乏的刺激-反應范式和環境。
缺乏便攜的、用戶可接受的、微創的、強大的大腦和身體動態監測系統。
未能足夠詳細地記錄大腦控制的整個行為,以及影響大腦功能的環境的物理和社會文化影響。
缺乏數學建模方法和軟件,無法找到環境、行為和大腦功能瞬間變化之間的統計關系。
缺乏足夠的數據檔案和資源,無法系統地研究認知監測所得出的個性化模型與不同任務中個體差異之間的關系。
缺乏利用生理信號的實時測量來影響操作者認知狀態或為適應性技術提供信息的原則和方法,從而在不同時間和不同個體之間提高人類系統的性能。
嫻熟的認知和傳感運動性能是有效利用先進技術能力執行任務的基礎,這種性能顯然是在神經系統層面上組織起來的。特別是,傳感器部署、自動化和通信帶寬方面的技術進步將強化對士兵的信息處理要求。任務的成功與否將取決于士兵能否很好地認識到所積累的信息對正在發生的事件的重要意義,以及他們能否將相關信息整合到能夠支持有效決策和行動的態勢感知中。相反,面對日益復雜的信息流,士兵在理解和決策方面的認知障礙將成為有效利用先進戰場技術的關鍵瓶頸。隨著士兵在戰場上與適應性更強的 "智能 "系統互動,這些挑戰只會愈演愈烈。
因此,CaN CTA 的科學愿景認為,要滿足士兵的關鍵需求,陸軍神經科學工作必須能夠提供并利用對人腦在真實世界作戰環境中面對真實任務時如何運作的清晰工作理解。這一愿景源于生態心理學的既定理論基礎以及具身或情景認知的概念,這些概念認為,在脫離個人背景的人工場景中,要理解自然的、有動機的行為實際上是不可能的。
為了實現這一愿景,我們需要新的神經科學探究方法和新的能力,以便在操作相關的環境中開展神經科學研究。CaN CTA 通過以下方式直接解決這六大技術障礙:
開發實驗范式,捕捉真實世界環境中經歷的多感官刺激流的展開性質
開發和使用新型可穿戴傳感器套件,用于監測自然行為期間的大腦和身體動態,以及用于實現綜合監測能力的軟件系統
獲取和處理高維數據集,這些數據集能足夠詳細地描述各種情況下的身體、心理和生理行為及其環境背景
發現模型和新方法,用于識別和解釋高維數據集之間的統計關系,這些數據集描述了復雜任務執行過程中環境、行為和大腦功能的動態變化。
獲取和分析來自大量參與者樣本的數據,以確定個體間和個體內的差異,從而系統地研究為認知監測而推導的個性化模型與績效、認知能力和個性方面的個體差異之間的關系。
概念框架和功能架構,可獲取和解釋多視角數據,以便實時集成到人機系統中
自這一方法推出以來所取得的成功反過來又促成了神經科學在將基礎研究轉化為軍事相關領域方面取得進展所依據的原則的確立,即確立和闡明基本的轉化原則。這些原則指導了技術解決方案的開發,這些解決方案與人類神經系統在其動態、復雜環境中的能力和局限性相協調。
自計劃開始以來,CaN CTA 始終牢記上述愿景,并努力降低障礙。在計劃實施過程中,CaN CTA 通過以下方式降低了障礙:
在整個計劃期間,這些成就可以看作是在前一階段基礎上開展的一系列研究階段。在此,我們重點介紹計劃的這些階段。
計劃第 1 年:CTA 致力于制定合作計劃愿景和研究項目,為許多研究想法播下種子,并為未來幾年更雄心勃勃的探索奠定基礎。在這一階段,計劃確定了之前闡明的愿景和科學障礙。如圖 1.2 所示,研究分為三類:神經認知性能、先進計算方法和神經技術。在逼真和逐漸復雜的環境中進行無創神經成像,并配合先進的計算方法來探索數據,是研究的基本主題。
計劃第 2 年:重新評估和調整研究計劃和進度,以提高效率,實現更有效的過渡。此外,CTA 開始詳細制定計劃,在限制較少的實驗范例中開展全 CTA 范圍內的合作神經生理學數據收集工作。為使實驗環境更加逼真,滿足軍隊環境的需要,一些實驗被設計成代表安裝(車內)環境,而另一些實驗則設計成代表下裝、行走環境。與此同時,在整個 CTA 中繼續開展需要較少方法準備的小型實驗和分析。
計劃第 3 年:計算方法的研究凝聚成可供社區使用的工具,整個 CTA 神經生理學數據收集的實驗裝置也已投入使用(圖 1.3)。CTA 開發了多受試者和單受試者車輛操作人員站,每個站都有多模態數據收集(包括高通道腦電圖)和運動模擬。此外,CTA 還采用了單受試者流動儀器,用于在實驗室和戶外收集數據。此外,CTA 還繼續完善數據的收集、組織和管理方法,以及促進探索大量、多樣的多模態神經生理學數據的方法。
計劃第 4 年:獨特的實驗系統和數據收集工具在多個 CTA 站點投入使用,以收集真實或現實環境中的多模態數據(見圖 1.3)。與此同時,在計算方法、真實世界傳感器和采集方法方面繼續取得進展,以促進對數據的探索。
計劃第 5-6 年:為了更直接地實現過渡目標,對前四年為推進整體感知和探索真實世界腦體數據而進行的累積研究進行了重新聚焦。特別是,如圖 1.4 所示,對研究進行了重組,以彌補在實現更強大的腦機交互技術 (BCIT) 方面的差距。隨著剩余的大規模數據收集工作的完成,該計劃將其項目重新調整為三個新的科學領域:高級計算方法(ACA)、腦機交互技術(BCIT)和真實世界神經成像(RWN)。隨著越來越多的多模態、真實行為神經生理學數據可用,組織、管理、探索和利用數據集的方法得到了更多的重視。因此,ACA 領域依然存在,但與其他兩個科學領域的聯系更加直接。此外,考慮到重要的研究工作從開始到結束至少需要兩年的時間,計劃規劃周期被延長為兩年一周期,一些重要的項目被規劃為三年執行一次。
三個新科學領域背后的驅動問題如下:
ACA: 解碼、跟蹤和融合神經和非神經信息源以推斷狀態的最佳方式是什么?
RWN:在實驗室的限制之外,大腦在現實世界中是如何運作的?
BCI:我們如何利用神經信號改善人類與計算機、自主代理、環境甚至其他人的交互?
反過來,這三個領域又通過一個總體目標相互關聯:
計劃第 7-8 年:這一階段的重點是穩健型 BCIT(圖 1.5)。這項工作在閉環 BCI 系統方面取得了可喜的研究成果,為利用實時神經活動優化人機系統聯合性能奠定了基礎。與此同時,隨著合作者們繼續處理大量不同的 RWN 數據(主要包括腦電圖和其他表面傳感器數據),標記和預處理的方法也得到了標準化,從而為更廣泛的研究社區帶來了益處。
計劃第 9-10 年:聯盟將研究重點放在真實世界實驗(如高速公路駕駛)上,同時使早期的神經成像數據探索和利用方法達到真實世界應用所需的成熟度。特別是,在被動閉環技術背景下,對解讀多模態人體神經和生理數據的 ML 方法進行了改進和測試,以提高士兵的態勢感知能力(上馬或下馬)和操作安全性(圖 1.6)。此外,DAQ 和同步中間件 LSL 獲得了工業界和學術界的廣泛認可,并被整合到陸軍的應用和高級研究項目中,以調查未來行動中的有人-無人編隊協作情況。
2019年,美國空軍(USAF)要求美國國家科學、工程和醫學研究院進行一項研究,以審查與未來戰術邊緣數據驅動行動能源需求有關的挑戰和機會。因此,國家研究院在其空軍研究委員會(AFSB)的主持下,成立了美國空軍未來數據驅動行動的能源挑戰和機遇委員會。該跨學科委員會的成員都是志愿者,他們被任命為代表這一高度專業化課題的相關學術、研究和操作經驗。本報告是該委員會的工作成果。
正如《2020年國防未來工作組報告》所指出的,"人工智能、生物技術、量子計算以及空間、網絡和電子戰等方面的進步正在使傳統戰場和邊界變得越來越不重要"。報告中的一個重要發現是,需要取得重大進展,通過利用信息技術日益增長的力量,如人工智能(AI)和機器人技術,提高國家安全和競爭力。
美國空軍(USAF)內部正在進行重大努力,以做到這一點。正在研究和試驗產品和工藝技術,并將其納入未來作戰概念和計劃。這一工作的一個重要部分集中在整合行動上,從戰略到戰術,跨越所有的工作。在考慮這些未來作戰概念時,必須提出的一個問題是:實現以知識為基礎的未來的設備將如何供電?
更確切地說,離穩定和永久地點最遠的設備將如何管理其能源需求?和平時期作戰環境的豐富能源供應,在沖突期間可能無法在部隊預測的最遠處--戰術邊緣--輕易獲得。了解與戰術邊緣的持續數據收集、處理、存儲、分析和通信相關的能源挑戰是制定滿足未來戰場競爭的計劃的重要部分。
委員會咨詢了學術界、政府和工業界的技術專家,以確定與戰術邊緣的能源需求有關的挑戰和問題,以及未來為幫助解決這些挑戰而考慮的任何潛在解決方案。為了理解、解決和常規化將能源因素納入作戰能力,需要進行近期、中期和長期努力。本文件中的建議涉及理解這些需求和不滿足這些需求的連帶效應,將數據處理的能源需求納入任務和單位準備評估,以及研究產品和工藝技術以解決節能計算、彈性、互操作性和戰術邊緣能源管理的替代解決方案。這些建議總結如下。
這些建議的核心問題是,在戰術邊緣的數據處理和支持作戰行動的功能上需要多少能源。從根本上說,這個問題的答案目前還沒有全面的了解。有理由認為,一個明顯的建議是系統地分析和記錄與支持這些任務的數據處理有關的能源需求。
在全面分析與戰術邊緣數據處理相關的能源需求的同時,重要的是了解能源可用性和質量對這些功能的影響,以及如果能源需求完全或及時得不到滿足,對更大的任務功能和武器系統會產生什么影響。必須了解戰術邊緣的數據能力暫時或持續失去電力對行動的影響,包括從后勤、管理到對目標的有利影響。單位執行任務要求的能力可能會因為無法收集、處理、分析和交流關鍵數據而大打折扣,從而影響到單位和任務的準備。
實地演習和培訓通常假定在任何時候和任何需求下都有電源。這也是對通信系統、網絡和其他支持性基礎設施的一個標準假設。在前線部署的情況下或在有爭議的戰斗空間中,應該預計到電力和其他基礎設施將成為攻擊的目標,因此將不會持續提供或斷斷續續。損失可能來自于現有的不良商業基礎設施或敵人的拒絕;缺乏維護;缺乏燃料;或人為錯誤。為了模擬一個現實的未來環境,美國空軍必須在訓練和演習中包括 "熄燈 "情況。這些針對戰術單位和動態基地的拔掉插頭的演習可以揭示出與對戰術邊緣任務的數據可用性預期相關的依賴性。
建議3:美國空軍應該對所有現實的實地演習進行“拔掉插頭的演習”,對戰術邊緣數據預期的影響應該被記錄下來并轉達給任務計劃制定者。
建議4:關于戰術邊緣數據能力“拔掉插頭的演習”的結果應被用于修訂和更新任務準備度評估。
目前,計算支持的能源需求,無論是內部還是外部,目前在任何主要武器系統或任務簡介中都沒有定義。先進的信息技術(IT)能力,如人工智能,以及大規模分布的小型設備和通信節點的使用,影響了戰術邊緣的能源需求,并對任務和武器系統的作戰準備和性能產生影響。這些能源需求必須被定義為所有任務和系統的要求。
建議5:美國空軍應將與數據預期有關的能源需求,包括支持和任務或系統內部的能源需求,作為所有任務和系統的明確要求。合同的條款和條件應包括要求具體和完整描述能源需求、類型以及與后勤支持的兼容性的語言。
建議6:美國空軍應明確解決戰術邊緣信息環境的能源最小化、功耗監測和能源生成問題,包括所有小型設備和物聯網能力。
支持與分散在戰術、作戰和戰略層面的計算/存儲功能相關的能源需求所需的人力技能是非常重要的,是成功實施數據驅動行動的一個障礙。美國空軍不具備管理、領導、監督或解決與數據驅動行動相關的能源消耗挑戰的有機人力(已經在組織內的人力)。如果沒有了解整個能源需求的有機人力,包括高度專業化的領域,如射頻(RF)工程,美國空軍可能永遠不會實現加強其行動目標的解決方案,而會使自己遭受大量的戰術、行動和戰略風險。這一人力挑戰包括招募、教育、培訓和優化承包商/軍隊的混合,以及對教育的激勵。
建議7:美國空軍應建立一個人力計劃,招募、教育、分配和培訓軍事和文職人員,以應對與數據驅動行動相關的能源挑戰。
建議8:美國空軍應激勵能源工程師,特別是天線和無線電頻率工程師等專家。
雖然在外國部署的美國部隊的技術互操作性是一個眾所周知的問題,但在開發或采購新的電源或分配系統時,這些問題必須是一個具體的考慮。理想情況下,新系統應該自動適應并與外國環境互操作,很少或沒有機械切換或重新配置。
向部署的部隊提供能源的挑戰因物流而變得復雜,物流往往傾向于簡單而不是復雜,大用戶而不是小用戶。在戰術邊緣,小型用戶在全域聯合行動(JADO)概念下的數據收集、分析和通信方面可能有更大的作用,這將使他們成為大型單位作戰準備的依賴。這對需要分析的聯合或多軍種行動有影響,包括所有軍種在戰略制定上的合作。
建議9:美國空軍應該開發一個經濟效益模型,探索不同能源輸送模式的效用、機會成本、風險和效益。
建議10:美國空軍應探索在戰術性野外演習中實施車聯網(V2G)的相關選擇。
建議11:美國空軍應從能源交付的成本效益和與單一能源來源相關的運營成本的角度考慮能源類型和交付方式的后勤尾巴(例如,使用無人機向小用戶交付電池,而不是傳統的燃料車隊)。
建議12:美國空軍在設計電力系統(超過變壓器)時,應考慮與外國電力系統和伙伴軍事部隊(如北大西洋公約組織)的互操作性,包括某些元素的標準化和 "即插即用 "能力。
隨著數據驅動的行動對作戰概念變得更加關鍵,能源影響應明確成為規劃過程的一部分,包括研究如何減少能源使用、能源來源暴露于敵對活動,以及提高能源復原力。
減少能源消耗的算法和應用空間已被證明是非常有前途的。已經進行了研究,在操作系統層面和應用層面創建能源消耗意識的算法,看來這一工作路線對于減少在戰術邊緣運行的計算系統的能源需求有很大潛力。雖然眾所周知,聰明的算法設計可以產生能源節約,但仍有更多的研究需要進行,以產生實用的和部署的能源意識算法。需要的研究包括將理論算法轉換為實際可部署的軟件。此外,還需要進一步研究近似技術的作用,以減少能源使用,同時不影響準確性。人們還知道,系統如何架構,包括天線類型和傳輸策略等細節,會對能源使用產生全面影響,這意味著對能源的系統性使用的研究將是有益的。這些研究工作可以支持減少信號發射和熱信號的操作安全目標。
建議13:美國空軍應投資于未來與減少能源使用相關的產品和工藝技術的研究,最大限度地減少能源物流風險,并提高與戰術邊緣數據操作相關的能源復原力。
建議14:美國空軍應投資研究在實際可部署的軟件中使用能源意識算法。
建議15:美國空軍應投資開發軟件算法中的近似技術,在不影響精度的情況下有效降低能耗,達到不可接受的水平。
建議16:美國空軍應在現實場景中開展實驗活動,包括各種系統和戰術邊緣單位的部署特點,以指導研究方向和實施潛力。
這些建議為美國空軍提供了一種將能源需求納入未來戰場規劃的方法。如果不對能源需求進行明確的規劃并將其納入作戰準備評估,就有可能發生關鍵的故障,從而對整個相連的戰場產生連帶影響。通過建議來執行所描述的議程將是具有挑戰性的,但其結果將大大改善成功部署下一代技術到戰術邊緣的可能性。
這項研究的目的是討論目前最先進的在點云數據上執行的機器學習算法的方法。所進行的研究將應用于三維激光雷達可視化和開發(3DLIVE)團隊的內部工作,其主要目標是為目標坐標測量(TCM)創建一個可視化和與點云數據互動的新系統。所提出的機器學習方法與三維點云和計算機視覺的機器學習的三個主要課題有關,每個課題都有自己研究的論文部分。這些主題是分割、分類和目標檢測,所選的論文是最近的研究,取得了最先進的性能。這項研究的結果是選定的幾種方法,它們向3DLIVE團隊展示了最有希望的結果和有效性。有效性在很大程度上取決于算法對3DLIVE使用案例的可擴展性和適用性,以及其準確性和精確性。
在傳統的計算機視覺問題中,二維數據一直是用于推理的主要信息形式。隨著近來價格低廉且廣泛使用的3D傳感器(如蘋果深度相機、Kinect和飛行時間相機)的發展,3D數據已經變得非常豐富,并為解決計算機視覺問題提供了許多優勢。也就是說,它包含了更多的拓撲信息(深度維度、形狀和比例信息),這些信息對場景的理解至關重要,并提供了一個更自然的世界表現。由于這一技術層面的原因,將三維數據應用于自動駕駛、機器人、遙感和醫療等領域已經成為近期研究的重點,并將繼續擴展到其他領域[1]。
三維數據可以有很多格式,包括網格、深度圖像、體積網格和點云。場景理解應用中最常見的格式是點云-結構化數據,因為這種數據形式保留了三維空間中的原始幾何信息,沒有任何離散化損失。在進行分析之前,需要對點云進行定義:點云是一組數據點(x,y,z),通常代表一個(多個)三維物體的外表面,由合成或三維掃描器產生。三維數據面臨的一個挑戰是存儲要求--三維場景比二維的同一場景需要多出幾個數量級的存儲。點云解決了這個問題,因為它不需要存儲多邊形網格,因此提高了性能并降低了開銷--這是對時間敏感的應用的關鍵考慮[2]。
三維LiDAR可視化和開發(3DLIVE)項目旨在為目標坐標測量(TCM)和三維分析創建一個新系統。目前的TCM方法使用立體圖像,利用英偉達3D視覺眼鏡以及專門的GPU和顯示器來查看重疊的二維圖像,給人一種三維的感覺。然而,這種方法很難訓練,而且會造成眼睛疲勞;此外,它所使用的英偉達軟件和硬件已經達到了使用壽命的終點,不再得到支持或生產。因此,需要開發一種新的3D數據開發解決方案。
用于TCM的3DLIVE方法旨在利用主要由LiDAR傳感器收集的3D點云。然后使用游戲引擎Unity將這些數據可視化。此外,由于上述數據可以通過Octree格式有效地加載到Unity中,因此可以使用大規模的數據集。點的元數據信息可以在查看器中查看和分析,用戶可以在整個大的地理區域內導航并選擇點進行分析。有多種方法可以與數據互動,從在某一地點投放一個感興趣的點到測量距離、長度和面積。
有多種模式可以與3D點云數據互動。它們包括標準的鼠標和鍵盤、虛擬現實和增強現實(使用Hololens 2)。增強現實的互動是3DLIVE團隊的主要開發重點,因為它使用戶沉浸在數據中,同時仍然類似于立體眼鏡的方法。我們目前還在尋求使用機器學習(ML),使我們能夠自動獲得這些點云數據集中的物體信息,例如它們是什么物體,在空間內有什么界限,并進行自動目標識別(ATR)。
在過去的10-20年里,大多數深度學習計算機視覺研究都集中在2D圖像上,但隨著更多可用的3D數據的興起,最近的研究著眼于將傳統的深度學習技術應用于計算機視覺的3D數據。這項新的研究使得場景理解的場景有了重大的進展,但是在將模型從二維過渡到三維的過程中,仍然存在著一些障礙。具體到點云,數據是非結構化和無序的,這意味著以點云為輸入的深度學習網絡不能直接應用標準的深度學習方法,如卷積神經網絡(CNN)[1]。相反,必須開發定制的解決方案,使其具有包絡不變性,通常用對稱函數實現。另一個挑戰是從點云中捕捉局部和全局結構信息。通過單個點來評估點云會失去點與點之間的局部和整體結構信息,因此網絡在設計時必須通過查看鄰近的數據來考慮這一點。由于直接處理點云的困難,許多方法將點云數據轉化為一種中間格式,如將點云投影到二維圖像中,這樣就可以應用傳統的深度學習方法[1]。最后,從三維傳感器收集的點云數據并不完美--由于傳感器的局限性,采集設備的固有噪聲,以及被采集表面的反射性質,往往存在噪聲污染和異常值,會破壞數據采集[1]。從上面可以看出,在點云數據上應用深度學習方法并不簡單,需要對現有的技術進行重新設計,以便在網絡中使用,但是三維點云比二維數據的描述能力的提升超過了負面因素。
計算機視覺任務通常被分成3個不同的類別:分類、目標檢測和分割。對于點云,這些類別通常被定義為: 三維形狀分類,三維目標檢測和跟蹤,以及三維點云分割[1]。
三維形狀分類方法試圖通過首先學習每個點的嵌入,然后使用聚合方法從整個點云中提取一個全局形狀嵌入,來對點云中的物體進行分類(標記)。這個全局嵌入被輸入到幾個完全連接的層中以實現分類[1]。
三維目標檢測和跟蹤方法可以分為3類: 1)目標檢測,2)物體跟蹤,以及3)場景流估計。對于目標檢測方法,它們在每個檢測到的物體周圍為輸入的點云產生定向的三維邊界盒。接下來,三維物體跟蹤的目的是預測物體的狀態,因為它以前的狀態。與物體跟蹤相關的是三維場景流估計,即給定同一場景在兩個不同時刻的兩個點云,描述每個點從第一個點云到第二個點云的運動[1]。
與目標檢測和跟蹤一樣,三維點云的分割也可以根據所需的粒度分為三類。這些類別從最普遍到最不普遍:語義分割(場景級別)、實例分割(物體級別)和部分分割(部分級別)。給定一個點云,三維點云語義分割的目標是根據點的語義將點云分成幾個子集(例如,將場景中的所有椅子涂成相同的顏色)。更低一級的是三維點云實例分割,它比語義分割更具挑戰性,因為它需要對點進行更準確和精細的推理。實例分割不僅需要區分具有不同語義的點,還需要區分具有相同語義的獨立實例(例如,給每把椅子涂上不同的顏色,而不是所有椅子都是同一顏色)。最后,在最細微的層面上,部分分割試圖將具有相同語義的物體的各個部分分開(例如,給椅子的各個部分涂上不同的顏色),由于具有相同語義標簽的形狀部分具有較大的幾何變化和模糊性,因此這項任務特別困難[1]。
3DLIVE努力的目標之一是創建一個系統(利用機器學習),該系統接收一個地理區域的點云,將具有類似屬性的點分組為對象,并為每個組成對象和結構貼上標簽,使數據更容易使用和分析。在我們著手實現這些目標之前,我們確定研究當前點云數據集的分割和分類技術狀況將是有價值的。Guo等人在2019年完成了一項關于點云的深度學習方法的調查[1]。我們的目的是確認研究中提出的信息仍然是準確和相關的(針對點云數據集的ML是一個快速發展的領域),進行我們自己的研究并創建一個類似的調查,并決定在研究的分類、分割和目標檢測的方法中,哪些是最適合我們的使用案例的。AFRL RIEA/RIED內部研究小組(IHURT)被召集起來,與3DLIVE團隊一起做這項研究,并回答以下研究問題:
目前3D點云分割和分類的技術水平如何,哪些方法對3DLIVE的工作最有效?我們能否開始為我們打算使用的大規模三維城市點云的分割、分類和目標檢測奠定框架并制定行動方案?
這項研究的結果將使3DLIVE團隊能夠推進ML點云的分析工作。我們希望最終能復制出性能最高、最相關的分割、分類和目標檢測方法,并將其用于NGA地理空間存儲和數據管理(GRID)服務器的地理3D點云數據。此外,3DLIVE團隊已經開發了一種生成大規模合成城市點云數據集的方法,我們可以利用這種合成數據作為我們創建和使用的模型的額外訓練數據。這項研究將為3DLIVE團隊使用ML創建額外的工具來幫助作戰人員分析和衡量三維數據奠定基礎。這將最終實現上述目標,即創建一個新的TCM系統,供目標人員(如第363 ISR聯隊和其他目標部門的人員)使用,用一種利用越來越多的本地3D數據的替代技術取代目前已被淘汰的技術。
圖2. RPVNet的概述。它是一個具有多種交互作用的三分支網絡,其中體素分支和范圍分支共享類似的Unet架構,而點分支只利用每點的MLPs。
一個持久的、精確的和適應性強的安全應用是有效的部隊保護條件(FPCON)的必要組成部分,因為美國的軍事設施已經成為恐怖主義和暴力行為的常見目標。目前的軍事安全應用需要一種更加自動化的方法,因為它們嚴重依賴有限的人力和有限的資源。目前的研究開發了一個由嵌入式硬件組成的離網部署的聯合微調網絡,并評估了嵌入式硬件系統和模型性能。聯合微調采用集中預訓練的模型,并在一個聯邦學習架構中對選定的模型層進行微調。聯合微調模型的CPU負載平均減少65.95%,電流平均減少56.18%。MobileNetV2模型在網絡上傳輸的全局模型參數減少了81.59%。集中預訓練的MNIST模型開始訓練時,比隨機初始化的模型的初始準確率提高了53.94%。集中預訓練的MobileNetV2模型在第0輪訓練時表現出90.75%的初始平均準確率,在75輪聯合訓練后,整體性能提高了3.14%。目前的研究結果表明,聯合微調可以提高系統性能和模型精度,同時提供更強的隱私性和安全性,以抵御聯邦學習攻擊。
FAST項目(基于智能體的系統基礎技術)是一項為期三年的研究和開發工作,與位于紐約州羅馬的空軍研究實驗室簽訂合同。該項目從一開始就由美國海軍贊助,在項目的后期,美國空軍也做出了額外的貢獻。
該項目的主題是探索新的建模方法和基于模型的軟件生產技術,以提高所開發軟件的質量,同時縮短開發時間,提高設計的可重復使用性。在模型驅動的軟件和系統開發,以及海軍的任務工程有很大的相似性。傳統上,這兩個過程都是以自下而上的方式開發,而自上而下的方法則更有針對性和前景。這種自上而下的方法的最初步驟必須是一個概念模型,概述基于一組給定事實達到預期目標所需的所有(概念)決策。對于任務工程來說,這個決策建模器有助于確定所有需要做出的關鍵決策,以及相應的任務,以便規劃和執行一個成功的任務。對于軟件或系統工程師來說,決策建模器概述了設計中的系統的關鍵語義和相應結構。雖然存在對系統工程的建模支持,在某種程度上也存在對軟件工程的建模支持,但沒有任何工具支持將決策建模器作為系統或軟件設計模型的一個完全集成部分來建立。因此,由于其根源在于系統建模語言(SysML),任務工程也缺乏決策建模能力。
我們通過為統一建模語言(UML)建模工具MagicDraw(又名Cameo)開發決策建模器能力,作為一個可加載的插件,與商業上可用的插件,如SysML、UAF等兼容,縮小了這一差距。決策建模器實現了決策模型和符號OMG標準所定義的決策需求圖的增強型變體,但在其他方面偏離了OMG標準,以提供更復雜的決策表達建模、決策仿真能力,以及與SysML(v1.x)的無縫集成能力。為了在更大的仿真場景中進行協作,我們為MagicDraw開發了第二個插件(名為SimCom),允許決策建模器的仿真能力與外部仿真系統(如高級仿真、集成和建模框架(AFSIM))之間進行實時協作。SimCom插件實現了一個受 "高級架構"(HLA)仿真協議啟發的輕量級協議。我們用決策建模器和AFSIM之間的協作場景展示了這種能力。
雖然決策建模器的工作使我們偏離了開發時間和空間(4D)、基于模式建模方法的最初計劃,但我們的深入合作和對SysML v2的貢獻,在很大程度上彌補了這一點,提交給OMG。SysML v2已經達到了與我們最初計劃的相似的4D特征。在SysML v2環境下重建決策建模器將是一項有趣和有益的任務。除了參與SysML v2的工作,該項目還在其他幾個OMG標準的開發中起到了主導作用。
許多建模方法包括隱含或嵌入的決策制定。這些建模案例有流程圖、活動圖、業務流程模型等等。決策建模作為一門專門的學科是比較新的。對象管理小組創建了決策建模和符號(DMN)規范,最初是為了使BPMN1業務流程模型中的決策更加明顯,并支持更詳細的決策過程。這段歷史的缺點是,DMN現在與BPMN的關系非常緊密,尤其是在元模型層面。因此,DMN,不能直接與UML或SysML集成。為了使DMN風格的決策建模與UML和SysML模型協作,特別是使現有的UML建模工具能夠進行DMN風格的決策建模,必須創建一個決策建模UML配置文件,與DMN元模型密切相關。
決策建模器的開發和目標部署平臺是MagicDraw 19.0 SP4版本。MagicDraw(也被稱為Cameo)是一個UML建模工具,由No Magic公司開發和銷售。No Magic最近被Dassault Systèmes收購,Dassault Systèmes將繼續進一步開發和銷售這個工具,可能會用不同的名字。
MagicDraw是一個用Java實現的UML建模工具。它支持并使用一個插件架構來擴展其建模能力,涵蓋其他基于UML的建模語言和方法,如SysML、UAF和其他。一個OpenAPI工具箱可以用來支持自定義插件的開發。
圖 2 - MagicDraw(又名 Cameo)環境中的決策建模器
決策建模器和SimCom通信引擎是由FAST項目為MagicDraw開發的兩個定制插件。SimCom插件沒有任何先決條件,而決策建模器插件的功能需要SysML和Alf插件的存在。由于UAF是基于SysML的,決策建模器也可以用于基于UAF的企業模型。決策建模器和SimCom插件的安裝程序都與MagicDraw資源管理器一致。
雖然在整個FAST項目中開發的技術是朝著符合相關標準的方向做出的最大努力,像OMG規范的元對象設施(MOF)、統一建模語言(UML)、系統工程建模語言(SysML)等;或者像世界網絡聯盟(W3C)開發的網絡本體語言(OWL)、資源描述符框架(RDF)或其他,但我們自己也大力參與了新標準的開發,即在對象管理小組內。
雖然標準的制定是繁瑣的工作,但它的回報是許多好處。某一主題的標準化要求它處于該主題發展的第一線。這項工作通常是在研究實驗室或高級開發部門的隱蔽處進行的。然后,標準化要求開發人員開放并與世界各地同行討論該主題,這在所有案例中都是有益的。
在FAST項目期間,我們參與了對象管理小組的幾個標準化任務。所有這些任務都是在FAST項目之前的某個時間開始的,但這些任務的持續工作和討論為FAST項目提供了重要的投入和科學效益。我們所參與的任務是: MOF到RDF的轉換,元模型擴展設施,系統工程建模語言第二版,智能體和事件元模型,以及不確定性建模的精確語義學。另見本文件后面的標準化活動一章,以及項目技術報告(CDRL A010)中的相應章節。
決策模型由兩類元素組成:主動和被動元素。
主動元素是決策元素,它在模型執行過程中影響模型結果的整體結果(最高目標值)。根據OMG DMN規范,這些主動元素被定義: Decision、DecisionService和BusinessKnowledgeModel。
被動元素不包含任何決策邏輯,因此不直接影響模型的結果。它們可能需要協助連續的活躍元素之間的信息流,或者注釋決策模型。OMG DMN規范定義了以下兩個被動元素: InputData和KnowledgeSource。
我們決策模型的所有元素,無論是主動還是被動,都有相同的基本結構:它們將接受一個到多個輸入,稱為 "輸入事實",并產生一個單一的輸出,稱為 "結果事實"。所有的事實都可以是單值或復值,在這種情況下,它們是單值的結構。
"可預測性 "和 "可理解性 "被廣泛認為是人工智能系統的重要品質。簡單地說:這種系統應該做他們被期望做的事情,而且他們必須以可理解的理由這樣做。這一觀點代表了關于致命性自主武器系統(LAWS)和其他形式軍事人工智能領域新興技術辯論的許多不同方面的一個重要共同點。正如不受限制地使用一個完全不可預測的致命性自主武器系統,其行為方式完全無法理解,可能會被普遍認為是不謹慎的和非法的,而使用一個完全可預測和可理解的自主武器系統--如果存在這樣的系統--可能不會引起許多核心的監管問題,這些問題是目前辯論的基礎。
這表明,最終為解決致命性自主武器系統和其他形式的人工智能在軍事應用中的使用而采取的任何途徑,都必須考慮到有時被稱為人工智能的 "黑盒困境"。事實上,遵守現有的國際人道主義法(IHL),更不用說假設的新法律,甚至可能取決于具體的措施,以確保致命性自主武器系統和其他軍事人工智能系統做他們期望做的事情,并以可理解的理由這樣做。然而,在關于致命性自主武器系統和軍事人工智能的討論中,可預測性和可理解性尚未得到與如此重要和復雜的問題相稱的那種詳細介紹。這導致了對人工智能可預測性和可理解性的技術基礎的混淆,它們如何以及為什么重要,以及可能解決黑匣子困境的潛在途徑。
本報告試圖通過提供有關這一主題的共同知識基線來解決這些模糊不清的問題。第1節和第2節解釋了說一個智能系統是 "可預測的 "和 "可理解的"(或者相反,是 "不可預測的 "和 "不可理解的")的確切含義,并說明有各種類型的可理解性和可預測性,它們在重要方面有所不同。第3節描述了可預測性和可理解性將成為致命性自主武器系統和其他軍事人工智能在其開發、部署和使用后評估的每個階段的必要特征的具體實際原因。第4節列出了決定每個階段所需的適當水平和類型的可預測性和可理解性的因素。第5節討論了為實現和保證這些水平的可預測性和可理解性可能需要的措施--包括培訓、測試、標準和可解釋人工智能(XAI)技術。結論是為政策利益相關者、軍隊和技術界提出了進一步調查和行動的五個途徑。
人工智能的不可預測性有三種不同的意義:一個系統的技術性能與過去的性能一致或不一致的程度,任何人工智能或自主系統3的具體行動可以(和不能)被預期的程度,以及采用人工智能系統的效果可以被預期的程度。
可預測性是一個系統的技術特征、系統所處的環境和對手的類型以及用戶對它的理解程度的函數。
可理解性是基于一個系統內在的可解釋性以及人類主體的理解能力。一個智能系統可以通過多種方式被 "理解",并不是所有的方式都建立在系統的技術方面或人類的技術素養之上。
可預測性不是可理解性的絕對替代品,反之亦然。高可預測性和高可理解性的結合,可能是安全、謹慎和合規使用復雜的智能或自主軍事系統的唯一最佳條件。
可預測性和可理解性是自主武器和其他形式的軍事人工智能的必要品質,這在其整個開發、使用和評估過程中有著廣泛的原因。
這些系統中可預測性和可理解性的適當水平和類型將因一系列因素而大不相同,包括任務的類型和關鍵性、環境或輸入數據的種類,以及評估或操作系統的利益相關者的類型。
在軍事人工智能系統中實現并確保適當的可預測性和可理解性的潛在方法可能會涉及與培訓、測試和標準有關的工作。建立XAI的技術研究工作也提供了一些希望,但這仍然是一個新的領域。
馬里蘭大學情報與安全應用研究實驗室(ARLIS)是美國防部指定的大學附屬研究中心(UARC),創建于2018年,在與國防安全企業(DSE)和整個情報界(IC)特別相關的課題上成為長期和值得信賴的研究和開發資源。2020年,ARLIS成立了情報與安全大學研究企業(INSURE)學術研究聯盟,以進一步支持其作為UARC的使命,邀請一組有針對性的合作伙伴機構,以擴大可用于支持ARLIS核心能力和任務領域的人才和技術資源。INSURE正在協調成員大學在情報和安全方面的應用和使用啟發研究活動,使這些項目與具體的國防部和IC項目經理和活動保持一致,以加強影響,改善產品轉化為業務使用,并加強有能力直接為國家安全社區解決技術問題的學生和教員的渠道。
為了促進INSURE計劃與聯盟的三個歷史上的黑人大學(HBCU)合作伙伴(霍華德大學、摩根州立大學和哥倫比亞特區大學)的活動,提出了一套五(5)個試點項目。每個項目都與ARLIS的核心能力、當前ARLIS的任務領域以及當前或待定的國防部或IC利益相關者保持一致。這些任務的擬議執行期為2020年9月至2021年8月,以便與ARLIS的任務訂單和學術日歷保持一致。
雖然所有五個試點項目主要由三個HBCU合作伙伴組成的研究團隊執行,但ARLIS的技術負責人作為咨詢伙伴,將工作和執行者與ARLIS的其他工作和政府客戶聯系起來,確保工作忠于UARC的使命,并提供整體協調和監督。ARLIS的領導還提供與國防部贊助者的溝通,并對研究進行監督。作為國防部指定的UARC和負責任的承包商,ARLIS的行政人員致力于監督與安全有關的合規程序(這項工作被認為是基礎研究,免除了許多典型的合規要求),人類主體研究的批準(適當的)和組織利益沖突的緩解。管理預算,以確保按工作說明書中的計劃交付成果;協調技術審查;并普遍致力于確保所有INSURE的研究和技術支持工作都以最高的安全、道德和誠信標準進行,并完全遵守UMD、政府和任務活動的具體要求。
1.5G技術評估
2.機器學習實驗
3.人工智能/ML工具的網絡評估
4.AI/ML系統工程工作臺
5.聊天機器人測試平臺
項目1屬于ARLIS的采購安全任務領域。人們對未來通信網絡硬件、軟件和操作中的外國影響的擔憂繼續增加,特別是當這種網絡的使用開始滲透到國防和其他關鍵系統時。該項目試圖創建一套測試工具,用于分析新興的第五代(5G)移動電信系統的硬件性能、網絡安全、無線安全和用戶訪問。
項目2、3和4屬于ARLIS的人工智能(AI)、自主性和增強(AAA)任務領域。雖然研究界報告的人工智能成果令人印象深刻,但AAA技術在國防部和情報界的操作效益還沒有完全實現。需要有流程、方法、支持工具和測試平臺來開發人工智能應用程序,使其能夠可靠地執行預定的任務,并以自然(和最佳)的方式在操作員/分析員的工作流程中完成,產生用戶信任和理解的結果,并對惡意攻擊進行加固。項目2、3和4發展基礎理論,評估現有的AI/ML工具包,并建立一個強大的AI/ML系統工程工作臺。
項目5調查了現有的最先進的技術,并開發了一個測試平臺,用于探索部署和使用多語言聊天機器人來解決影響、信息戰和內部威脅等問題,與ARLIS的一些任務領域相聯系,包括認知安全、建模和減輕內部風險以及語言和文化。
為了跟上美國防部(DOD)人工智能(Al)戰略的步伐,美國陸軍在2018年啟動了人工智能集成中心(Al2C)。他們的任務是--與美國各地的公司和大學的人工智能社區溝通,目的是通過人工智能的整合來改善和提高軍隊的能力。
這個頂點項目盡可能地分析了當前美陸軍部(DA)對人工智能的要求狀況,以及它們對人類系統集成(HSI)的包含。該小組審查了發布在獎勵管理系統(SAM)網站上的人工智能合同機會和適用的文件,包括績效工作聲明、工作聲明或目標聲明。第一步是確定這些合同機會中包含的要求是否符合人工智能的定義,即計算機系統有能力執行通常需要人類智慧的任務。如果需求符合人工智能的這一定義,那么分析工作就會繼續進行,并側重于納入HSI,以確保為人類(即操作員、士兵、用戶等)提供便利。研究小組還采訪了主題專家(SMEs),以深入了解軍隊開發和獲取人工智能需求的過程。
在2003年至2022年期間發布到SAM的機會中,只有16%(238個中的40個)在開發過程中足夠成熟,可以考慮進行評估。在這40個被認為足夠成熟的采購開發過程中,只有16個發布的信息包含了相關的文件,可以根據團隊既定的人工智能和HSI標準進行評估。從那里,只有6個帖子符合AL的定義,4個被寬泛地判斷為包括一些對HSI或人為因素的參考。該小組的綜合評估確定,陸軍的人工智能指導還處于起步階段,需要進一步發展和完善。評價還強調,盡管國防部和陸軍指導將HSI納入所有要求,但仍然缺乏對HSI的納入。
這個頂點項目建議,所提出的結果和結論應被用來進一步制定人工智能需求的采購指南,并特別注重納入HSI。我們還建議,未來的研究應納入機密需求以及由其他交易機構通過財團管理的需求。
該項目支持美國陸軍戰爭學院保持一個公認的領導者,并在與美國陸軍和全球陸軍應用有關的戰略問題上創造寶貴的思想。該項目于2018年由美國陸軍訓練與理論司令部總部要求,描述一個新的或修改過的作戰框架,以使陸軍部隊和聯合部隊在多域作戰(MDO)中對同行競爭者成功實現可視化和任務指揮。
由此主要形成一個在2019學年進行的學生綜合研究項目,該項目涉及4名美國陸軍戰爭學院學生和4名教員,由John A. Bonin博士領導。該項目研究了MDO的概念,即它如何影響任務指揮的理念和指揮與控制職能的執行。向MDO的過渡改變了陸軍指揮官和參謀人員在競爭連續體中進行物理環境作戰和信息環境作戰的傳統觀點。
該項目以第一次世界大戰期間美國陸軍引進飛機為案例,研究將新領域納入軍隊的挑戰。該項目還提供了對MDO的概述和分析,以及它正在改變我們的戰斗方式以及軍隊的角色和責任。這些變化將使聯合部隊能夠更有效地進行連續作戰,特別是在武裝沖突之下的競爭中。
向MDO的過渡將需要新的流程,該項目調查了多領域同步周期如何能帶來好處。物質系統、聯合專業軍事教育、聯合和陸軍理論以及總部人員結構將需要改變,因為領導人及其工作人員將需要不同的技能來在這個新環境中運作。
陸軍新興的多域作戰(MDO)概念對最近修訂的陸軍任務指揮理論提出了新的挑戰。美國已經有75年沒有與同行競爭者作戰了;因此,個別軍種在概念上側重于打自己的對稱領域戰爭,而較少注意在其他領域支持其他軍種。隨著技術的變化和國防預算的縮減,各軍種正在迅速失去通過純粹的存在和數量來控制其領域的能力和實力。因此,各軍種需要從不同領域獲得不對稱的優勢,以便在其領域作戰中取得成功。
陸軍的指揮和控制方法是任務指揮。這種方法要求指揮官有能力理解、可視化、溝通和評估關鍵決策、風險以及關鍵情報和信息要求。多域作戰的任務指揮將要求指揮官在多個領域以及指揮梯隊之間和內部保持單領域的卓越和知識。同樣重要的是,指揮官必須創造、確保并維持對其自身決策過程的共同認識。風險分析和關鍵的情報和信息需求過程是必要的,以確保指揮官能夠設定條件,賦予下屬領導權力,并在多個領域的范圍內影響分布式行動。因此,為了滿足這些新的要求,需要有新的框架來理解和調整多領域的指揮關系和人員結構。
這些新的框架將需要一個多領域的同步化進程,為指揮官提供一個確定新需求并為其提供資源的方法。與使用軍事決策程序或聯合規劃程序的傳統作戰程序不同,這兩種程序都側重于單一領域的規劃,而多領域同步程序則是在整個規劃和執行周期中,從指揮官和參謀部之間的持續合作中演變而來,跨越所有領域和環境。這種演變創造了對關鍵決策、相關風險以及指揮官認為至關重要的關鍵情報和信息要求的共同理解。
這項研究支持美國陸軍戰爭學院繼續保持在創造與陸軍和全球陸軍應用相關戰略問題寶貴思想方面的公認領導地位。該研究考察了MDO概念的應用,即它如何影響任務指揮的理念以及指揮和控制功能的執行。第一次世界大戰期間飛機的引入提供了一個與當前情況相似的背景,因為1918年的陸軍在如何為大規模的地面行動提供最佳的指揮和控制,以對抗同行的對手,以及如何整合空中對陸地的支持。當陸軍試圖了解如何在多個領域進行整合時,從約翰-J-潘興將軍對飛機的整合中得到的啟示可以說明問題。威廉-米切爾在戰時和戰后的角色說明了我們在試圖執行MDO時可能面臨的一些挑戰,例如在未來大規模地面作戰行動中保衛網絡和空間領域。
對MDO的概述和分析將提供陸軍對該概念的定義,并描述陸軍在競爭連續體中的作用。MDO概念將需要新的組織和人員框架來在沖突連續體的所有方面實施MDO。陸軍不能保持一個靜態的組織;陸軍必須既能在陸地領域贏得武裝戰斗,又能幫助塑造競爭以防止未來的沖突。
武裝沖突以下的行動歷來都是聯合部隊和陸軍的斗爭。陸軍在戰斗中指揮和控制的任務指揮方法將不足以組織在武裝沖突以下對對手的日常競爭。陸軍在競爭期間為聯合部隊執行重要的任務,特別是在信息環境中,這些任務在MDO下將會擴大。
目前的作戰流程專注于單一領域,對于支持特定領域以外的功能適用性有限。我們必須有新的流程,允許所有領域的資產同步,以優化我們的效率,同時將這些資產的風險降到最低。盡管適用于所有級別的指揮部,但擬議的流程主要集中在高級行動和戰略層面所需的規劃和數據收集。
從單一領域到多領域的重點變化,使得聯合部隊和陸軍的理論必須進行修訂和更新。聯合專業軍事教育課程和聯合學說將需要進行調整,以教導下一代領導人如何跨域整合。僅僅了解其他部門是不夠的;指揮官和參謀人員需要了解其他領域的能力如何支持他們的工作,以及他們在支持其他領域方面的要求是什么。長期以來,聯合部隊只是名義上的聯合,每個領域都在為贏得自己的戰斗而戰斗。MDO概念使聯合部隊能夠優化其有限的資源,既能應對危機,又能在最好的情況下防止競爭中的危機發生。
表3-1. 陸戰、空戰、海戰和信息戰的特點
圖3-3. 陸軍的指揮與控制方法。ADP 6-0
圖3-4. 多域作戰框架
圖3-5. 信息環境框架下的多域作戰