人工智能解決方案在陸軍野戰應用中的使用將在很大程度上依賴于機器學習(ML)算法。當前的ML算法需要大量與任務相關的訓練數據,以使其在目標和活動識別以及高級決策等任務中表現出色。戰場數據源可能是異構的,包含多種傳感模式。目前用于訓練ML方法的開源數據集在內容和傳感模式方面都不能充分反映陸軍感興趣的場景和情況。目前正在推動使用合成數據來彌補與未來軍事多域作戰相關的真實世界訓練數據的不足。然而,目前還沒有系統的合成數據生成方法,能夠在一定程度上保證在此類數據上訓練的ML技術能夠改善真實世界的性能。與人工生成人類認為逼真的語音或圖像相比,本文為ML生成有效合成數據提出了更深層次的問題。
人工智能(AI)是美國國防現代化的優先事項。美國國防部的人工智能戰略指示該部門加快采用人工智能并創建一支適合時代的部隊。因此,它自然也是陸軍現代化的優先事項。從陸軍多域作戰(MDO)的角度來看,人工智能是解決問題的重要因素,而MDO是建立在與對手交戰的分層對峙基礎上的。雖然人工智能本身沒有一個簡明和普遍接受的定義,但國防部人工智能戰略文件將其稱為 "機器執行通常需要人類智能的任務的能力--例如,識別模式、從經驗中學習、得出結論、進行預測或采取行動--無論是以數字方式還是作為自主物理系統背后的智能軟件"。這句話的意思是,當機器在沒有人類幫助的情況下獨立完成這些任務時,它就表現出了智能。過去十年中出現的人工智能解決方案的一個重要方面是,它們絕大多數都符合模式識別模式;在大多數情況下,它們根據經過訓練的人工神經網絡(ANN)對相同輸入數據的輸出結果,將輸入數據分配到數據類別中。具體來說,深度學習神經網絡(DNN)由多層人工神經元和連接權重組成,最初在已知類別的大量數據上進行訓練以確定權重,然后用于對應用中的實際輸入數據進行分類。因此,機器學習(ML),即自動機(這里指DNN)在訓練階段學習模式的過程,一直是一個主導主題。事實上,DNN在計算機視覺領域的成功是商業和政府部門加大對人工智能關注和投資的原因。訓練算法和軟件開發工具(如tensorflow)的進步、圖形處理器(GPU)等計算能力的可用性,以及通過社交媒體等途徑獲取大量數據,使得深度學習模型在許多應用中得到了快速探索。
在監督學習中,人類專家創建一組樣本來訓練ML算法,訓練數據與實際應用數據的接近程度對人工智能方法的性能起著重要作用。將ML模型應用于軍事問題的主要瓶頸是缺乏足夠數量的代表性數據來訓練這些模型。有人提出使用合成數據作為一種變通辦法。合成數據集具有某些優勢:
然而,最關鍵的問題是在合成數據或混合合成和真實數據上訓練ML模型是否能使這些模型在真實數據上表現良好。美國陸軍作戰能力發展司令部陸軍研究實驗室的研究人員和合作者使用合成生成的人類視頻進行機器人手勢識別所獲得的初步結果表明,在合成數據和真實數據混合的基礎上進行訓練可以提高ML手勢識別器的性能。然而,并沒有普遍或分類的結果表明,當全部或部分使用合成數據進行訓練時,真實世界的ML性能會得到一致的提高。因此,有必要進行系統調查,以確定使用合成數據訓練ML方法的可信度。我們有理由假設,合成數據在提高ML性能方面的有效性將受到實際應用領域、合成數據與真實數據的保真度、訓練機制以及ML方法本身等因素的影響。合成數據與真實數據的保真度反過來又取決于數據合成方法,并提出了通過適當指標評估保真度的問題。以圖像為例,合成數據訓練的ML方法的性能與人類視覺感知的真實場景的保真度是否成正比并不清楚。有可能數據的一些關鍵特征對于ML的性能比那些影響人類感知的特征更為重要。組織這次陸軍科學規劃和戰略會議(ASPSM)的一個主要目的是讓合成數據生成、人工智能和機器學習(AI & ML)以及人類感知方面的頂尖學術界和國防部專家討論這些問題。會議的技術重點主要是圖像和視頻數據,反映了組織者在計算機視覺和場景感知方面的任務領域。
根據上一節提出的問題,會議圍繞三個主題展開:
1.人類的學習和概括: 人類可以從最小的抽象和描述概括到復雜的對象。例如,在許多情況下,觀察一個物體的卡通圖像或線描,就足以讓人類在真實場景中識別出實際的三維物體,盡管后者比卡通圖像或線描具有更復雜的屬性。 這遠遠超出了當前人工智能和ML系統的能力。如果能夠開發出這種能力,將大大減輕數據合成機器的負擔,確保真實數據的所有屬性都嚴格保真。這個例子也說明了一個事實,即用于訓練ML模型的合成數據生成研究與提高ML模型本身的能力密切相關。因此,這項研究的重點是探索人類和動物的學習,以啟發ML和數據合成的新方法。
2.數據合成方法和驗證: 大多數應用ML方法的領域都有針對其領域的數據合成技術和工具。游戲平臺提供了一個流行的視頻合成商業范例。問題是如何評估特定領域中不同合成方法的性能。顯然,我們必須確定執行此類評估的指標或標準。通常情況下,合成工具的作者也會就工具的性能或功效發表聲明。驗證將是評估此類聲明的過程。本研究的目的是探討指導合成和驗證過程的原則。合成技術的例子包括基于計算機圖形的渲染器(如電影中使用的)、基于物理的模擬(如紅外圖像)和生成模型(目前傾向于基于神經網絡)。
3.領域適應挑戰: ML中的領域適應是指使用一個領域(稱為源領域)的數據訓練ML模型,然后將ML應用于不同但相關領域(稱為目標領域)的數據。例如,使用主要為民用車輛的源圖像數據集訓練識別車輛的ML算法,然后使用訓練好的算法識別主要為軍用車輛的目標數據集中的車輛。在使用合成數據進行訓練時,它們通常構成源域,而實際應用數據則是目標域。本次會議的重點是確定和討論有效領域適應中的關鍵問題和挑戰。
ASPSM的審議分四次會議進行。第一天的兩場會議討論了前兩個主題。第二天的第一場會議討論第三個主題,第二場會議在三個主題下進行分組討論。ASPSM兩天的日程安排分別如圖1和圖2所示。從圖中可以看出,每個主題會議首先由該領域的學術專家進行40分鐘的主講,然后由大學專家進行兩個20分鐘的講座。隨后由來自學術界和國防部的專家組成的小組進行討論。最后一個環節是分組討論,與會者可以討論與主題相關的各個方面。
麻省理工學院電子工程與計算機科學系的Antonio Torralba教授在第一分會場發表了關于人類學習與泛化的主題演講。他的演講題目是 "從視覺、觸覺和聽覺中學習",深入探討了深度學習方法如何在不使用大量標注訓練數據的情況下發現有意義的場景表征。舉例說明了他們的DNN如何在視覺場景和環境中的聲音之間建立聯系。讀者可參閱Aytar等人關于這一主題的代表性文章。
同樣來自麻省理工學院的James DiCarlo博士的下一個演講題目是 "視覺智能逆向工程"。他將 "逆向工程 "定義為根據對行為的觀察和對輸入的反應推斷大腦的內部過程,將 "正向工程 "定義為創建ANN模型,以便在相同輸入的情況下產生相應的行為。他的研究小組的一個目標是建立神經認知任務的性能基準,人類或其他靈長類動物以及ML模型可以同時達到這些基準。他的演講展示了大腦處理模型如何適應ANN實現的初步結果,并提出了ANN通過結合這些適應密切模擬人類行為,進而準確描述大腦功能的理由。
第一場會議的第三場講座由加州大學伯克利分校的Jitendra Malik教授主講,題為 "圖靈的嬰兒"。這個題目也許是指最早的電子存儲程序計算機之一,綽號 "寶貝",其創造者之一受到了阿蘭-圖靈的啟發。馬利克教授首先引用了圖靈的觀點:與其創建一個模擬成人思維的程序,不如從模擬兒童思維開始。從本質上講,這意味著創造一種人工智能,通過與環境互動以及向其他人工智能和人類學習來學習和成長。這被稱為具身機器智能。馬利克教授認為,監督學習本質上是處理靜態數據集,因此顯示了在精心策劃的時間點上運行的非實體智能。具體而言,他認為監督訓練方法不適合創建能夠提供人類水平的世界理解,特別是人類行為理解的人工智能。Malik教授介紹了 "Habitat",這是一個由他和他的合作者開發的平臺,用于嵌入式人工智能的研究。在隨后的小組討論中,與會人員討論了演講者所涉及的主題,以及與機器人學習和當前兒童智力發展模型相關的主題。
第二部分“數據合成:方法和驗證”以一個題為“學習生成還是生成學習?”,作者是斯坦福大學的Leonidas gu教授。在研究用于訓練ML的合成數據生成的動機中,他指出可以減輕大量人工注釋訓練數據的負擔。他的前提是,無論合成數據是用于訓練ML還是供人類使用,其生成效率和真實性都非常重要。不過,他表示其他質量指標還沒有得到很好的定義,需要進一步研究。他舉例說明了在混合合成數據和真實數據上訓練ML時,ML的物體識別性能有所提高,但他也承認很難得出可推廣的結論。
卡內基梅隆大學的Jessica Hodgins博士發表了第二場會議的第二個演講,題為 "生成和使用合成數據進行訓練"。演講展示了她的研究小組生成的精細合成場景。利用從真實場景到合成場景的風格轉移過程,她的研究小組創造了一些實例,說明在混合了大量風格適應的合成數據和一些真實數據的基礎上進行訓練的ML方法的性能優于僅在真實數據集或僅在合成數據集上進行訓練的方法。性能提高的原因在于風格轉移克服了合成數據集與真實數據集之間的 "分布差距"。
第二場會議的最后一場講座由加州大學伯克利分校的Trevor Darrell教授主講。他的演講題為 "生成、增強和調整復雜場景",分為三個部分。第一部分詳細介紹了演講者及其核心研究人員開發的一種名為 "語義瓶頸場景生成 "的技術,用于根據地面實況標簽合成場景。該技術可進一步與通過生成過程生成此類地面標簽的模型相結合。Azadi等人對該技術進行了詳細描述。 第二部分涉及增強和自我監督學習。發言人提出,當前的對比學習方法在合成增強數據時建立了不變量,而這些不變量可能是有益的,也可能是無益的。例如,建立旋轉不變性可能有利于識別場景中的花朵,但可能會阻礙對特定方向物體的有效識別。演講者介紹了他的研究小組考慮具有特定不變性的多種學習路徑的方法,并展示了與現有技術相比性能有所提高的結果。 第三部分介紹了一種名為 "Tent"(測試熵)的技術。其前提是DNN應用過程中遇到的數據分布可能與訓練數據不同,從而導致性能下降。因此,需要對DNN參數進行實時或測試時調整,以防止性能下降。Tent技術通過調整權重使DNN輸出的測量熵最小化來實現這一目標。演講者隨后用常用數據集展示了該技術相對于先前方法的改進性能。隨后的小組討論涉及合成方面的挑戰,尤其是紅外圖像方面的挑戰。
第二天的第三場會議以 "領域轉移的挑戰 "開始。約翰霍普金斯大學布隆伯格特聘教授Rama Chellappa博士發表了題為 "解決美國防部實際問題的綜合數據期望與最大化"的演講。演講首先回顧了過去二十年來國防部處理合成圖像的多個項目的歷史。他提出了一個重要論斷,即如果在合成過程中考慮到真實數據的物理特性,那么真實數據和合成數據之間的領域轉換就會減少。Chellappa教授還就領域自適應表示法提供了快速教程,涵蓋了正規數學方法以及較新的生成對抗網絡(GANs)。演講者及其核心研究人員開發的基于GAN的方法可以修改合成數據的分布,使之與目標分布相匹配。講座舉例說明了這種方法優于之前的非GAN方法。
佐治亞理工學院的Judy Hoffman教授發表了題為 "從多個數據源進行泛化的挑戰 "的演講。她考慮的問題是在模擬中學習模型,然后將模型應用于現實世界。她指出了四個挑戰: 生成、列舉、泛化和適應。發言人介紹了應對這些挑戰的幾種不同方法。具體來說,用于泛化的特定領域掩碼(DMG)方法通過平衡特定領域和領域不變特征表征來生成一個能夠提供有效領域泛化的單一模型,從而解決多源領域學習問題。
第三場會議的第三位也是最后一位演講者是波士頓大學的Kate Saenko教授,他的演講題目是 "圖像分類和分割的Sim2Real領域轉移的最新進展和挑戰"。Saenko教授延續了前兩場講座的主題,介紹了視覺領域適應的歷史,并探討了領域和數據集偏差問題。在糾正數據集偏差的不同方法中,講座詳細討論了領域適應。特別重要的是,Saenko教授及其合作者開發的技術能夠顯示合成到真實的適應性,就像從游戲引擎到真實數據一樣。隨后的小組討論提出了幾個有趣的問題,包括訓練域和測試域的不同,不是感興趣的對象不同,而是對象所處的環境不同,例如訓練時軍用車輛在沙漠環境中,而測試時則在熱帶植被背景中。
三個主題的分組討論同時進行。在 "人類學習與泛化 "分組討論中,首先討論了 "人類如何學習?"、"ML模型如何模仿人類過程?"以及 "合成數據如何實現這些過程?"等問題。從童年到青春期和成年期,學習和成長之間的關系成為關鍵點。其他被認為有助于人類學習的因素包括人類心理、情感、同時參與多維活動、記憶以及解除學習的能力。
關于 "數據綜合: 方法與驗證 "分論壇確定了數據合成的幾個問題,特別是圖像和視頻。主要問題涉及結合物理學的有用性、視覺外觀保真度與成本之間的權衡、保真度的衡量標準、保真度本身的重要性以及當前技術(包括GANs技術)的局限性。據觀察,合成圖像和視頻生成至少已有幾十年的歷史,但大多數產品要么是為視覺效果而設計,要么是為再現物理測量而設計(例如,紅外模擬中的輻射剖面)。它們并不適合用于ML培訓。提出的另一個問題是,合成的二維圖像必須與物體和環境的底層三維幾何圖形保持一致。還有人提出,能夠在特定的感興趣的環境中生成大量合成數據,可以作為第一道工序測試新的人工智能和ML方法,而不管這些方法是否能夠在真實數據中很好地工作。
專題3 "領域轉移挑戰 "的分組討論確定了MDO所需的關鍵人工智能能力,即從孤立學習到機器與人類之間的聯合或協作學習。會議還討論了在多種數據模式下同時訓練ML的聯合學習。人們認識到,這些領域的工作才剛剛開始。分組討論的牽頭人強調,需要向士兵明確說明基于人工智能的系統在特定情況下將會做什么。這引發了對系統魯棒性的討論。分組組長向ASPSM聽眾提供了討論摘要。
根據本次ASPSM的討論,我們確定了以下值得陸軍進一步進行科技投資的領域:
1.支持多模式互動學習的合成技術和數據集。與當前流行的捕捉 "時間瞬間 "的靜態數據集(如農村環境中的車輛圖像)相比,有必要開發更能代表支持持續學習的體現性體驗的模擬器,就像我們在人類身上看到的那樣,并實現對世界更豐富的表征。混合方法(如增強現實)也可將人類監督的優勢與合成環境的靈活性結合起來。
2.學習和合成因果關系和層次關系的算法和架構。最近的一些方法,如基于圖的卷積神經網絡,已經在學習空間和時間的層次關系(如物體-部件和因果關系)方面顯示出前景。鑒于在現實世界中收集和注釋此類數據的復雜性,合成數據的生成可能特別有用。識別層次關系是一般國防部和戰場情報分析的關鍵要素。
3.支持持續、增量、多模態學習的算法和架構。深度強化學習方法被成功地用于訓練虛擬或機器人代理的相關行動策略,如捕食者與獵物之間的相互作用。基于模仿的方法承認學習的社會性,通常讓代理與(通常是人類)教師合作學習新策略。這些類型的交互式持續學習可進一步與多模態學習(即融合來自多個傳感器的數據)相結合,以實現更豐富的世界表征,使其更穩健、更具通用性。同樣,在這一領域難以獲得大量經過整理的數據,這也為探索合成引擎提供了動力。
4.學習物理或具備相關物理領域知識的算法和架構。在許多領域(例如紅外光下的物體感知),從圖像感知和合成圖像需要了解世界的基本物理特性,例如光與材料之間的相互作用。然而,當前的深度學習模型缺乏這種物理知識。開發賦予ML物理領域知識的技術對這些系統的性能至關重要。
5.具有豐富中間表征的領域適應技術。為了縮小真實數據和合成數據之間的領域差距,必須進一步推動當前建立領域不變中間表征的趨勢,特別是使用語義詞典和生成式對抗網絡。能夠理解數據底層結構(如光照、旋轉、顏色)的表征更有可能成功抽象出合成數據中不重要的細節。
6.深入了解ML模型內部表征的方法,以及合成表征與真實表征的比較。網絡剖析技術 "打開 "了深度學習模型的隱藏層,允許解釋網絡中的每個階段正在學習哪些特定概念或其更細的方面。這些技術揭示了具有真實輸入和合成輸入的DNN的內部表征,有助于識別所學內容的關鍵差異,從而找到克服這些差異的解決方案。
為期兩天的虛擬ASPSM吸引了眾多美國防部科學家和工程師、頂尖學術專家以及科技項目管理人員的熱情參與。多學科的討論強化了這樣一種觀點,即開發用于訓練ML方法的生成合成數據的改進方法與理解和改進ML方法本身是分不開的。一個特別重要的需求是了解ML方法,尤其是當前的學習架構,是如何創建場景的內部表示的。另外兩個重要領域是:1)理解人類學習與ML世界中可能存在的學習之間的異同;2)多模態數據--從合成和ML的角度。我們預計近期國防部和學術研究人員將在本報告確定的領域加強合作。
如果海軍陸戰隊要與近似對手競爭,海軍陸戰隊必須將人工智能(AI)作為一種決策支持系統(DSS),以加快規劃-決策-執行(PDE)周期,從而在認知、時間和致命性方面取得優勢。
信息系統和監視技術正在改變戰爭的特點,使較小的部隊也能分布和影響較大的區域。但是,目前的指揮、控制、通信、計算機、情報、監視和偵察系統(C4ISR)以及機器人和自主系統(RAS)都是人力密集型系統,會產生大量數據,海軍陸戰隊必須迅速利用這些數據來提供可操作的情報。由于遠征高級基地行動(EABO)要求部隊規模小、分布廣、復原力強,必須迅速做出明智決策,才能在各種不斷發展和演變的威脅面前生存下來,因此這就存在問題。
使用數據分析和機器學習的人工智能處理、利用和傳播信息的速度比人類更快。配備了人工智能 DSS 的 EAB 指揮官將以比對手更快的速度做出更明智的決策。然而,在實現這一目標之前,目前還存在著巨大的障礙。海軍陸戰隊必須為 EABO 制定一個人工智能支持概念,并將其納入海軍作戰概念中,充分確定人工智能工作的優先次序和資源,并為企業數據管理提供資源,以最大限度地利用數據分析和機器學習來發現數據庫中的知識(KDD)。此外,海軍陸戰隊必須利用美國陸軍的人工智能實驗和概念開發來實現多域作戰(MDO)。最后,海軍陸戰隊應確定當前可通過狹義人工智能加以改進的技術和作戰領域。
指揮、控制、通信、計算機、情報、監視和偵察(C4ISR)以及機器人和自主系統(RAS)技術的普及正在改變戰爭的特點,使較小的部隊能夠分布和影響更大的區域。然而,作戰期間收集的數據正在迅速超越人類的認知能力。早在 2013 年,美國國防部就指出:"ISR 收集和......收集的數據急劇增加。我們繼續發現,我們收集的數據往往超出了我們的處理、利用和傳播能力。我們還認識到,就戰術層面的分析人員數量而言,PED 的資源需求可能永遠都不夠"。
如果能迅速加以利用,C4ISR/RAS 數據將為指揮官提供戰勝敵人的信息優勢。但是,從這些來源獲取及時、可操作的情報需要大量人力,而且必須通過人工手段對數據進行快速處理、利用和傳播(PED)才能發揮作用。如果遠征軍要通過 C4ISR 與近鄰競爭并獲得競爭優勢,這對海軍陸戰隊來說是個問題。這些豐富的信息可以加快計劃-決策-執行(PDE)周期,但如果不加以管理,就會使領導者被信息淹沒,猶豫不決。必須采取相應措施,利用新技術實現數據自動化和管理。如果海軍陸戰隊要與近似對手競爭,海軍陸戰隊必須將人工智能(AI)作為決策支持系統(DSS),以加快 PDE 周期,從而在認知、時間和致命性方面取得優勢。
本文旨在證明,利用人工智能技術可加快指揮官在其環境中的觀察、定位、決策和行動能力。本文承認,但并不打算解決射頻通信、信息系統和組織變革中出現的技術問題的重大障礙。本文分為四個不同的部分。第一部分重點討論不斷變化的安全環境和新興技術帶來的挑戰,以及這些挑戰將如何影響指揮官。第二部分討論技術解決方案、決策模型,以及人工智能作為 DSS 如何為 EAB 指揮官創造認知、時間和致命優勢。第三部分將在未來沖突中,在 EAB 指揮官很可能面臨的假想作戰場景中說明這種系統的優勢。最后一部分重點討論了實施過程中遇到的障礙,并對今后的工作提出了建議。
自 2001 年以來,海軍陸戰隊在 "持久自由行動"(OEF)、"伊拉克自由行動"(OIF)和最近的 "堅定決心行動"(OIR)中重點打擊暴力極端組織(VEO)和反叛亂戰爭。美國武裝部隊所處的是一個寬松的環境,有利于技術優勢、不受限制的通信線路和所有領域的行動自由。隨著 2018 年《國防戰略》(NDS)和海軍陸戰隊第 38 任司令官《司令官規劃指南》(CPG)的出臺,這種模式發生了變化,《司令官規劃指南》將大國競爭重新定為國家國防的首要任務,并將海軍陸戰隊重新定為支持艦隊行動的海軍遠征待命部隊。
為了支持這一新的戰略方向,海軍陸戰隊開發了 "先進遠征作戰"(EABO),作為在有爭議環境中的瀕海作戰(LOCE)和分布式海上作戰(DMO)的一種使能能力。EABO 為聯合部隊海上分隊指揮官或艦隊指揮官提供支持,在反介入區域拒止(A2/AD)環境中提供兩棲部隊,以獲取、維持和推進海軍利益,作為控制海洋的綜合海上縱深防御。然而,EABO 對部隊提出了一些必須考慮的具體挑戰。這些挑戰包括在所有領域與近似對手的競爭、對新興技術的依賴、人員與能力之間的權衡,以及地理距離和分布式行動帶來的復雜性。總的主題是如何通過在關鍵點上集成人工智能技術來克服這些挑戰,從而增強指揮官的 PDE 循環。
如果情報驅動軍事行動,那么海軍陸戰隊就會出現問題。如前所述,數據收集的速度超過了戰術層面的處理、利用和傳播(PED)過程。數據本身是無用的,必須經過組織和背景化處理才有價值。根據認知層次模型(圖 1),數據和信息對形成共同理解至關重要。聯合情報流程通過規劃和指導、收集、處理和利用、分析和制作、傳播和整合以及評估和反饋這六個階段來實現這一目標。C4ISR/RAS 的擴散擴大了收集范圍,但 PED 卻沒有相應增加。除非采取措施實現信息管理自動化,否則指揮官將面臨信息超載和決策癱瘓的風險。
信息超載是指由于一個人無法處理大量數據或信息而導致的決策困難。 羅伯特-S-巴倫(Robert S. Baron)1986 年關于 "分心-沖突理論"(Distraction-Conflict Theory)的開創性研究表明 執行復雜任務的決策者幾乎沒有多余的認知能力。由于中斷而縮小注意力,很可能會導致信息線索的丟失,其中一些可能與完成任務有關。在這種情況下,學習成績很可能會下降。隨著分心/干擾的數量或強度增加,決策者的認知能力會被超越,工作表現會更加惡化。除了減少可能關注的線索數量外,更嚴重的干擾/中斷還可能促使決策者使用啟發式方法、走捷徑或選擇滿足型決策,從而降低決策準確性。
鑒于 Baron 的結論,C4ISR/RAS 將降低而不是提高戰術指揮官的決策能力。筆者在擔任海軍陸戰隊作戰實驗室(MCWL)科技處地面戰斗部(GCE)處長期間進行的研究證實了這一結論。2013 年,海軍陸戰隊作戰實驗室 (MCWL) 開展了戰術網絡傳感器套件 (TNS2) 有限技術評估 (LTA)。一個海軍陸戰隊步槍連及其下屬排配備了空中和地面機器人、地面傳感器以及戰術機器人控制器(TRC)。戰術機器人控制器使一名操作員能夠在白天或黑夜,在視線范圍外同時控制多輛戰車進行 ISR。MCWL 將這種 ISR 形式命名為多維 ISR(圖 2)。LTA顯示,使用TNS2的排級指揮官在防御、進攻和巡邏時都能迅速發現威脅,但LTA也發現了兩個重大問題:1.在軟件和機器人能夠自主分析和關聯傳感器輸入之前,海軍陸戰隊員仍需收集和整理ISR數據;2.在中高作戰壓力下... 在中度到高度的作戰壓力下......操作人員會超負荷工作......無法探測和識別目標,并普遍喪失態勢感知能力。
海軍陸戰隊情報監視和偵察--企業(MCISR-E)正在通過海軍陸戰隊情報中心(MIC)、海軍陸戰隊情報活動(MCIA)與戰斗支援機構(CSA)和國家情報界(IC)連接,納入預測分析流程,以解決這些問題。通過海軍陸戰隊情報活動(MCIA),MCISRE 解決了全動態視頻(FMV)聯合 PED 支持問題,并于 2017 年成立了全動態視頻聯合 PED 小組,該小組具有全面運作能力,每周 7 天提供 12 小時支持,費用由 14 名分析員和 3 名特派團指揮官承擔。
雖然這是朝著正確方向邁出的一步,但由于人力需求量大,這可能證明是不夠的。EAB 指揮官必須依靠地理位置相隔遙遠的上級總部提供的、通過有爭議的電磁頻譜傳輸的情報成品。海軍陸戰隊司令部的 MIX 16(海軍陸戰隊空地特遣部隊綜合演習)實驗結果證實了這一結論: "未來戰爭將在具有挑戰性的電磁環境中進行,分布在各地的部隊......從上級總部 "伸手回來 "獲取日常情報援助的能力可能有限,而且無法依賴"。此外,在戰術和作戰層面增加更多的分析人員會導致循環報告,這只會加劇信息超載問題。
根據《EABO 手冊》,EAB 必須 "產生大規模的優點,而沒有集中的弱點"。美國陸軍在 2016 年進行的實驗表明,較小的單位有可能分布并影響較大的區域(圖 3)。有人無人協同作戰概念(MUMT)認為,采用縱深傳感器、縱深效應和支援行動的部隊可實現戰斗力并擴大其影響范圍。
然而,DO 和 EABO 是零和博弈。C4ISR 和 RAS 技術可以讓部隊分布得更遠,但實驗表明,規模經濟會喪失。增加兵力將增加所有領域的需求。正如皮涅羅在 2017 年的一篇研究論文中總結的那樣:"當部隊分散時,就會失去指揮與控制、情報和火力等輔助功能的效率。"在后勤方面也是如此。這種 "DO 困境 "可以用以下經過修訂的 "三重約束范式 "來表示(圖 4)。隨著部隊的分散,一個領域的整合將削弱另一個領域的能力。如果 EAB 指揮官能在不增加 EAB 占地面積的情況下提高能力,就能重新獲得規模經濟效益。智能技術整合可以解決這一問題。
人工智能展示了解決 PED 問題和 EABO/DO 困境的最大潛力,同時為指揮官提供了對抗性超配。據審計總署稱,"人工智能可用于從多個地點收集大量數據和信息,描述系統正常運行的特征,并檢測異常情況,其速度比人類快得多"。由聯合規劃流程(JPP)提供信息的人工智能系統可以產生更快、更明智的 PDE 循環。如果海軍陸戰隊想要實現 EABO,就不能僅僅依靠人類。相反,未來的關鍵在于如何利用人工智能來增強人類的決策能力。
研究表明,人類的決策并不完美,在復雜和緊張的情況下會迅速退化。人類的決策在很大程度上是憑直覺做出的,并在進化過程中不斷優化,通過使用判斷啟發法(偏差)來防止認知超載。偏差是快速決策的捷徑,它根據以往的經驗和知識做出假設。36 偏差是一種快速決策的捷徑,它根據以往的經驗和知識做出假設。雖然這些決策已經過優化,但并沒有參考因啟發式方法而被否定的大量數據。由于這些決策都是基于以往的經驗和現有的知識,人們在面對混亂的新情況時可能毫無準備。如前文所述,這對 EAB 指揮官來說是個問題。決策支持系統可以提供幫助。
決策支持系統可以是一個人用來提高決策質量的任何方法。海軍陸戰隊營長利用其參謀人員和聯合規劃流程 (JPP) 提供專家判斷來提高決策質量,而商業部門也越來越依賴于決策支持系統和人工智能來處理大量數據。在本文中,決策支持系統被定義為 "幫助用戶進行判斷和選擇活動的基于計算機的交互式系統",也被稱為基于知識的系統,因為 "它們試圖將領域知識形式化,使其適合于機械化推理"。大多數 DSS 都采用西蒙的有限理性理論(Theory of Bounded Rationality)來建模,該理論承認人類在信息、時間和決策認知方面的局限性。西蒙提出了一個四步模型(圖 5),包括:1.觀察現實的智能;2.制定和衡量標準和備選方案的設計;3.評估備選方案和建議行動的選擇;以及 4.根據信息采取行動的實施。4. 執行,根據信息采取行動,最后反饋到第一步。
指揮官決策的兩個關鍵要素是選擇活動和推理。選擇活動,也稱為選項意識,是指在某種情況下對不同行動方案或備選方案的認識。選擇意識為指揮官提供了通往解決方案的不同途徑。能夠自主分析海量數據的 DSS 可能會揭示出以前不知道的選項。推理是一種邏輯思維能力。通過構建決策過程,數據支持系統可以不帶偏見和感情色彩地對數據得出結論。一些研究表明,在現實環境中,簡單的線性決策模型甚至優于該領域的專家。
DSS 有不同的類型,而類型決定了其性能和對人類增強的效用。智能決策支持系統(IDSS)是與作戰行動最相關的系統,因為它使用人工智能技術和計算機技術來模擬人類決策,以解決實時復雜環境中的一系列問題。在本文中,它將被稱為人工智能決策支持系統或 AI-DSS。它由一個數據庫管理系統(DBMS)、一個模型庫管理系統(MBMS)、一個知識庫和一個用戶界面組成,前者用于存儲檢索和分析數據,后者用于獲取結構化和非結構化數據的決策模型。人工智能-決策支持系統結合了人類構建問題結構的能力,以及通過統計分析和人工智能技術來支持復雜決策的系統,從而壓縮了 PED 流程(圖 6)。
約翰-博伊德上校(美國空軍退役)被譽為機動作戰條令及其相應心理過程模型的主要作者之一。通過對實驗性戰斗機的研究,他認識到 "錯配有助于一個人的成功和生存,以及敏捷性和節奏之間的關系,以及如何利用它們使對手的感知現實與實際現實相背離"。為了解釋這些不匹配,他提出了一個 PDE 循環,后來被稱為 OODA(觀察、定向、決定和行動)循環(圖 7)。博伊德認為,誰能通過歸納或演繹推理更快地執行這一過程,誰就能獲勝。通過將人工智能融入 OODA 循環,EABO 指揮官可以獲得對敵決策優勢。正如伯杰司令在其規劃指南中所說:"在任何規模的沖突環境中,我們必須比對手更快地做出并執行有效的軍事決策。
更好的信息和選擇有助于做出更迅速、更明智的決策,同時減輕認知負擔。EAB 部隊將面臨超音速和潛在的高超音速武器,這將使他們幾乎沒有時間做出充分知情的決策。EAB 指揮官將被迫利用大量有人和無人傳感器平臺感知威脅,并迅速確定行動方案。
人工智能輔助 OODA 循環(圖 8)直觀地描述了 EAB 指揮官如何借助人工智能技術做出決策。它將博伊德的 OODA 循環作為指揮官 PDE 循環的基礎。這反映出指揮官是決策過程的中心,也是情報和決策支持的主要消費者。下一層是國家情報總監辦公室(ODNI)的六步情報循環,用于將數據處理成情報。下一層是西蒙的有界理性模型,用于描述 AIDSS 如何嵌套在 EAB 指揮官的決策框架中。最后,使用狹義人工智能增強的外部代理被疊加以代表物理工具(如 RAS、武器系統、AI-DSS 和圖形用戶界面 (GUI))。在關鍵點集成狹義人工智能,以實現傳感器操作和利用、數據和情報的 PED 以及武器使用的自動化,從而減少人力并壓縮 PDE 周期時間,為指揮官創造可利用的優勢窗口。
由于 EAB 指揮官將在一個簡樸、分散和資源有限的環境中工作,他必須重新獲得在這些方面失去的效率,以超越對手。AI-OODA 循環將按以下方式解決問題。在執行任務前,指揮官進行任務分析/人員規劃流程,以確定指揮官的關鍵信息需求(CCIR)(優先情報需求(PIR)/友軍情報需求(FFIR))以及與上級總部意圖相關的任務(作戰空間的情報準備(IPB)、行動區域、任務、約束/限制等)。
在步驟 1. 觀察階段,指揮官收集有關作戰環境、敵我態勢和友軍態勢的數據,以驗證 IPB 中的基準假設并更新態勢感知。為此,將利用國防部云服務和配備計算機視覺和機器學習技術的無人系統提供的多源情報,自主分析環境,查找 CCIR。這些系統在收集和識別 CCIR 時,可根據威脅程度和排放控制(EMCON)狀態采取兩種行動方案:1. 從云和/或邊緣 AI 平臺(AI-DSS)分發/縮減信息;2. 限制通信并返回基地進行開發。從這一過程中收集到的數據將反饋到第二階段--定向,以確定其意義和相關性。
在步驟 2. 在第 2 步 "定向"階段,指揮官要對收集到的大量數據進行意義分析,以便做出適當的決策。隨著數據池的不斷擴大,第一步的輸出結果必須由人工進行處理,這將耗費大量的時間和資源。如果處理不當,指揮官就有可能因信息過載而無法確定行動方案。研究表明,在面臨信息超載等人類認知極限時,人們會使用次優的應對策略,從而導致認知偏差。第二步是當前流程中的瓶頸,也是人工智能輔助決策支持系統(AI-DSS)緩解信息過載和縮短 PDE 周期的理想場所。
AI-DSS 的優勢在于它可以自主地以數字方式整合來自無限量來源的數據,包括多源情報、RAS、鄰近邊緣 AI 節點、開放源數據以及最終基于國防部云的服務,以生成決策輔助工具、預測性威脅預報或響應行動方案。通過監控這些來源,人工智能可利用 KDD 推斷出模式和意義,以探測敵方意圖,并在人工智能-OODA 循環的第 4 步中利用 F2T2EA(發現、修復、跟蹤、瞄準、交戰、評估)的殺傷鏈模型做出反應。與計算機網絡防御(CND)中使用的技術類似,EABO 部隊可以探測敵人的行動,將敵人的殺傷鏈指標與防御者的行動方針聯系起來,并識別出將敵人的個別行動與更廣泛的戰役聯系起來的模式,從而建立起陸基情報驅動的 SLOC(海上交通線)防御(IDSD),以控制當地海域。現在,他的情報系統已獲得最佳數據,并輔以人工智能生成的行動方案 (COA),為第 3 步 "決定 "做好準備。
在步驟 3. “決定”步驟中,指揮官現在可以決定采取何種行動方案來實現預期結果。AI-DSS 可以推薦 COA、確定成功概率并建議后續行動或對手行動。通過圖形用戶界面,她的決定可以在整個梯隊中傳達,并傳遞給 RAS 平臺,從而在分布式作戰空間中形成一個綜合的有人無人團隊。
在步驟 4.“ 行動”中,指揮官正在執行任務,并利用反饋機制為其下一個決策周期提供信息,該決策周期已通過綜合通信、火力和指揮控制網絡進行了溝通,以確定可用和適當的武器系統。人工智能 OODA 循環將循環往復地進行下去,直到指揮官達到預期的最終狀態或情況不再需要采取戰術行動。通過利用人工智能作為 DSS,指揮官實現了以下目標:
1.融合--在梯隊中快速、持續、準確地整合來自所有領域、電磁頻譜(EMS)和信息環境的內部和外部能力;
2.優化 - 在正確的時間,以最有效和最高效的方式,向正確的目標提供效果的能力;
3.同步--將態勢感知、火力(致命和非致命)和機動結合起來進行滲透和利用的能力;以及
4.感知和行動速度--在沖突的各個階段都能識別和直觀地看到導致領域優勢和/或挑戰的條件,并采取相應行動;
確信所有數據點都以不偏不倚的方式加權,且周期速度快于敵方。
本節將通過一個小故事來解釋人工智能-OODA 循環系統在未來沖突中如何運作,從而將前面討論的主題結合起來。本節旨在從概念上向讀者概述如何使用該系統、它能解決哪些挑戰以及它能創造哪些機遇。
有幾個問題不是本文的主題,但卻是接受和開發 AI-DSS 的重大障礙。將精力和資源集中在這些領域將激發行業解決方案,并協助海軍陸戰隊制定必要的政策、程序和戰術,以實現這一概念,并使海軍陸戰隊與國防部的人工智能戰略保持一致。
第一個問題是 EABO 的人工智能支持概念。如果對問題沒有清晰的認識,海軍陸戰隊就無法在技術、培訓和實驗方面進行適當的投資。一個可以考慮的途徑是與美國陸軍合作。2019 年 8 月,陸軍未來司令部發布了《2019 年未來研究計劃--人工智能在多域作戰(MDO)中的應用》。MDO 是聯合部隊的一個概念,海軍陸戰隊可以輕松嵌套在遠征梯隊中。這項研究通過戰爭游戲得到加強,概述了在 A2/AD 環境中建立人工智能能力的要求、優勢/劣勢和作戰案例。
第二個問題是海軍陸戰隊人工智能的資源配置。國防部人工智能戰略的美國海軍陸戰隊附件在 MCWL 設立了人工智能利益共同體(COI)和人工智能處,以確定人工智能工作的優先順序和同步性,并制定海軍陸戰隊人工智能戰略。這是一個良好的開端,但還不足以滿足人工智能運作所需的資源。海軍陸戰隊必須利用美國陸軍在多域作戰中開展的人工智能工作的范圍和規模,加速技術成熟、實驗和部隊發展。軍事、戰爭和后勤部人工智能有限技術評估應重點關注人工智能-DSS 如何能夠實現、改進或完全修改與 ISR-Strike、C2、維持和部隊保護相關的任務執行。2020 年有機會與陸軍人工智能任務組 (A-AITF) 就其 20 財年人工智能操作化研究計劃開展合作。
第三個問題是企業數據管理。國防部在匯集數據并將其組合成可用的形式方面舉步維艱。為了解決這個問題,國防部數字化現代化戰略要求提供企業云數據服務,也稱為聯合企業防御基礎設施(JEDI)。司令還認識到海軍陸戰隊在數據收集、管理和利用方面的不足,以促進更好的決策。機器要進行 KDD,必須有大量可用的數據集。海軍陸戰隊必須以人工智能-DSS 和其他深度學習技術能夠利用的方式構建其數據,以獲得業務收益。
第四個問題是對人工智能技術的信任。根據美國政府問責局的說法,人工智能正在接近第三次浪潮,但并非沒有嚴重障礙: "第三波人工智能的一個重要部分將是開發不僅能夠適應新情況,而且能夠向用戶解釋這些決策背后原因的人工智能系統"。目前的深度學習方法具有強大的分析能力,但有時會產生不尋常的結果。要讓指揮官信任并在軍事行動中使用 AI-DSS,就必須具備解釋人工智能如何得出答案的能力。可解釋的人工智能是國防部和商業部門共同關注的問題,而商業部門正在牽頭研究可能的解決方案。53 可解釋的人工智能是國防部和商業部門都關注的問題,而商業部門正在引領可能的解決方案研究。了解為什么會做出好的或壞的決策,會讓人對技術產生信任,這對軍事行動至關重要。
第五個問題是邊緣計算,即 "將計算能力下推到數據源,而不是依賴集中式計算解決方案"。這是必要的,因為電磁頻譜將受到爭奪,機器將無法依賴一致的通信和基于云的計算。數據網絡架構將需要重組,以便變得更加分散,并可抵御災難性損失,每個邊緣設備都應能夠與相鄰節點進行網狀連接和通信。在實踐中,數據連接將根據威脅環境從完全連接到拒絕連接的滑動范圍進行。這樣,AI-DSS 就能對本地收集的數據進行快速、實時的 PED,為 EAB 指揮官的決策周期提供支持。此外,國防部必須在戰術邊緣提供基于云的服務,并采用 5G 數據傳輸速率,以機器速度和低延遲充分利用人工智能和 RAS。同樣,這也是與美國陸軍在多域作戰方面的合作領域。
第六個問題是,這在以前已經嘗試過。2002 年,美國國防部高級研究計劃局(DARPA)創建了 PAL(個性化學習助手)計劃,作為一種認知計算系統,它可以通過學習來協助用戶完成任務,從而做出更有效的軍事決策。其主要目標之一是減少對大量人員的需求,從而使決策更加分散,不易受到攻擊。PAL 的一些功能包括將多源數據融合為單一饋送,這些功能已過渡到蘋果 Siri 個人助理和美國陸軍的未來指揮所 (CPOF) 計劃。筆者無法獲得有關 PAL 計劃局限性的詳細信息,但陸軍認識到遠征決策支持系統的必要性,目前正在精簡 CPOF。指揮所計算環境(CPCE)將多個環境整合為一個單一的用戶界面,整體重量從 1200 磅減至 300 磅,主要用于移動作戰。這是朝著正確方向邁出的一步,也是陸軍和海軍陸戰隊的潛在合作領域。
最后,MCWL 應研究在 RAS、計算機視覺、機器學習和數據分析方面的狹窄人工智能領域,這些領域可立即應用于減少指揮官的認知負荷。
當前的 C4ISR/RAS 是勞動密集型的,會產生大量數據,必須迅速加以利用,才能為海軍部隊提供可操作的情報。使用數據分析和機器學習的人工智能可以比人類更快地處理、利用和傳播信息。配備了人工智能信息系統的 EAB 指揮官將以比對手更快的速度做出更明智的決策。然而,在實現這一目標之前,目前還存在著巨大的障礙。展望未來,海軍陸戰隊必須制定一個與海軍作戰概念相匹配的海軍陸戰隊作戰概念,對人工智能工作進行充分的優先排序和資源配置,對企業數據管理進行資源配置,以最大限度地利用數據分析和機器學習來發現數據庫中的知識(KDD),并利用美國陸軍的人工智能實驗和概念開發來實現多域作戰(MDO)。此外,海軍陸戰隊應確定當前可通過狹義人工智能加以改進的技術和作戰領域。
海軍陸戰隊不能再依賴過時的決策支持系統和信息管理方法來進行戰術決策。隨著友軍和敵軍利用技術獲取戰術利益,指揮官的信息負荷將繼續增加。人工智能決策支持系統可以解決這個問題。軍事指揮與控制發展計劃》(MCDP 6)指出了這一點的必要性:"無論時代或技術如何發展,有效的指揮與控制都將歸結為人們利用信息做出明智的決定和行動....,衡量指揮與控制有效性的最終標準始終如一:它能否幫助我們比敵人更快、更有效地采取行動?
人工智能(AI)將在決策領域接管一些傳統上由人類承擔的任務。反過來,人類決策者在與人工智能系統互動時,需要對人工智能的產出進行合理化,而人類可能難以對人工智能生成的信息形成信任。雖然各種定量和定性方法已經為人類對人工智能的信任及其與系統有效性之間的關系提供了一些見解,但對信任的更全面理解可能需要通過捕捉信任時間演變的生成理論來加強。因此,采用開放系統建模的新方法,用單一概率分布將信任表示為時間函數,可以改進人工智能系統中人類信任的建模。這項研究的結果應能改善機器行為,從而幫助引導人類更傾向于貝葉斯最優理性,這在緊張的決策場景中非常有用。
了解人類在決策過程中如何信任人工智能(AI)的產出并非毫無道理。基于人工智能的承諾,軍方等機構正在經歷技術和組織方面的重大變革(Wrzosek,2022 年)。然而,幾起涉及先進技術的著名事故表明,在高風險的決策過程中,當人工智能與人類反應機制相結合時,可能會產生有害的副作用。例如,在伊拉克發生的愛國者導彈自相殘殺事件(Hawley & Mares, 2012; Horowitz et al., 2022)、美國海軍文森號事件(Bisantz et al., 2000; Hestad, 2001; Marsh & Dibben, 2003)、在阿富汗發生的誤殺平民事件(Denning & Arquilla, 2022)等悲劇性事故,都表明了錯誤理解來自復雜自動化系統信息的潛在后果。在上述案例中,來自自動化技術的信息被人類誤解或曲解,從而導致了不理想的決策結果。此外,越來越多的人擔心,人類正在被人工智能決策周期所驅動,而不是被支持人類決策過程的系統所驅動(Blair 等人,2021 年)。
人工智能在各種復雜環境中引入了更多能力,如指揮與控制(C2)。除了附加能力,人工智能還能主動改變決策空間并根據信息采取行動(Strich 等人,2021 年)。此外,預計人類將越來越多地在決策過程中使用人工智能的輸出結果(Fuchs 等人,2023 年)。然而,人工智能基于其判斷的信息輸出在以往的文獻中并沒有得到很好的研究(Waardenburg et al. 此外,基于人工智能決策過程的信息輸出也不同于傳統的信息來源,原因在于信息的出處和這些技術不透明的基礎(Gelles 等人,2018;Kaur 等人,2022;Zuboff,1989)。基于這些原因,研究人員必須了解將人工智能技術設計為助手如何潛在地、無意地干預人類決策過程,尤其是在關鍵和時間緊迫的情況下。
公認的信任定義是 "在具有不確定性和脆弱性的情況下,代理人將幫助實現個人目標的態度"(Lee & See, 2004, 第 51 頁)。然而,在這一定義中,作者忽略了:(1) 操作員與自動化之間的互動;(2) 任務的獨立性,因此無法推廣到其他任務領域;(3) 實時測量;(4) 過程與狀態的二分法(例如,任務過程中的快照);以及 (5) 任務領域的動態特征。基于這些建設性的批評意見,信任定義隨后得到擴展,被定義為一種時間認知過程,可根據系統組件(包括人、自主機器和系統內的其他技術組件)與系統作為主體的任務環境之間的相互作用進行校準(Demir 等人,2021 年;Huang 等人,2021 年;Tenhundfeld 等人,2022 年)。
在本研究中,我們認為,在人類-人工智能決策的背景下,當信息處理系統(即人工智能和人類)的互動產生不同的視角,從而導致理性預測偏差時,信任就是一種新出現的現象。因此,我們將決策定義為一種認知過程,它建立在感知、注意力和記憶的基礎上,使選擇合理化,并與代理的目標相一致(Gonzalez,2014 年)。因此,理性預測偏差是人類和人工智能這兩個視角(潛在選擇)之間不可忽略的預測差異。在這種情況下,這兩個視角由于不兼容而無法同時在認知上得到體現;因此,決策者會在視角之間切換,從而體驗到內部的不確定性,從而產生對他人視角的不信任。隨后,決策者開始質疑是信任還是不信任環境中的其他人。這種信任概念是 Ashtiani 和 Azgomi(2016 年)將信任定義為 "減少復雜性的理性預測的功能性替代方案"(第 737 頁)的衍生。例如,當人類在決策中選擇人工智能的觀點時,與理性預測過程相比,人類可能會做出最佳選擇,尤其是在需要快速判斷的決策情況下。因此,理性預測偏差成為認知中不確定性水平的代名詞。
信任和決策過程涉及信任者、受托者和環境之間的不確定性。要界定不確定性與信任之間的關系,必須區分兩種不同類型的不確定性:認識上的不確定性和本體上的不確定性。認識上的不確定性是指觀察者對系統在特定時間的狀態缺乏了解,這種不確定性可以通過獲取更多信息或知識來解決(Busemeyer 等人,2020 年;Jiang 等人,2022 年)。另一方面,本體不確定性描述的是人的內部(即頭腦)對特定反應的不確定性,例如在不同選項中做出決定,并且可能只能通過一些互動來解決(Busemeyer 等人,2020;Busemeyer & Bruza,2014;Kvam 等人,2021)。
基于不同的視角,認識型和本體型不確定性會表現出不同的行為。本體不確定性表現出振蕩行為,最能體現不確定的認知狀態。這種類型的不確定性捕捉到了不確定和不一致的視角在決策過程中如何相互影響(Canan 等人,2022 年)。另一方面,認識上的不確定性表現出單調行為,這是一種累積行為。
當前人工智能研究中信任的一個重要焦點集中在機器的可信度或性能上,而往往忽視了人類信任的認知方面。如果信任是一種緊急的、本體的和認知的現象,那么設計機器和設計它們各自的信息環境(Fell et al., 2020)可以更好地解決人類如何與機器互動以進行有效決策。
量子數學概率公理(QPT)的應用為決策科學研究開辟了新天地。事實上,應用 QPT 公理對人類認知行為進行建模的研究正日益興起,并將其應用擴展到物理學以外的新領域(Aerts,2009 年;Agrawal & Sharda,2010 年;Bruza & Hoenkamp,2018 年;Busemeyer & Bruza,2014 年;Jiang & Liu,2022 年;Khrennikov,2020 年;Kvam 等人,2021 年;Trueblood & Busemeyer,2010 年)。QPT 為決策概念提供了一個可操作的本體,從而在數學上將量子理論可操作化。在一定程度上,量子力學的兩個奇特動態與決策科學本體論相關。首先,測量/觀測的概念與社會人類學有相似之處,承認觀測會改變系統(Floridi,2013 年)。QPT公理適用于決策科學的第二個動態是,判斷創造而非記錄判斷之前的存在(Busemeyer & Bruza, 2014)。這一動態利用了疊加原理,該原理用于表示量子物理學中的所有可能狀態,但同樣適用于決策科學。疊加原理表明,建模系統沒有確定的狀態。這與認知系統建模的經典方法大相徑庭,后者要求在任何隨機時間都有確定的系統狀態,即使沒有進行測量/觀測。因此,嚴格按照經典概率論(CPT)和馬爾可夫方法對人類在不確定性條件下的決策進行傳統建模的結果并不理想。因此,利用 QPT 對人類和人工智能的聯合決策進行建模,可以全面捕捉動態變化,為人類-人工智能決策建模提供更穩健的方法。
決策建模。人類決策是一種學習技能,可以通過改進來提高決策質量。提高決策質量的主要工作之一是建立人類認知系統模型并對其進行測試。通常,這些模型都是概率模型,并通過 CPT(Pothos 等人,2021 年)公理進行連貫測試。基于 CPT 的模型在捕捉認知現象方面的不足,引發了對使用 QPT 適用性的新探索(Busemeyer & Bruza, 2014)。隨之而來的討論引發了新的興趣,促使決策科學研究人員開始質疑基于 QPT 的模型在多大程度上可以被視為 "理性 "模型(Trueblood & Busemeyer, 2010)。然而,在 CPT 和 QPT 之間做出決定是一個錯誤的二分法。更好的問題是,哪套公理或組合更適合捕捉某種情況的特異性(Trueblood & Busemeyer, 2010)?事實上,CPT 和 QPT 都各有利弊。
研究人員猜測,人類決策遵循的是一種更類似量子的理性,而機器決策則表現出更多的貝葉斯理性(Bruza & Hoenkamp,2018)。雖然 QPT 可以連貫地解釋系統違規行為,如連接謬誤(如琳達問題)、阿萊斯悖論和埃爾斯伯格悖論,但基于 QPT 的模型也有其自身的缺點,其中之一就是系統狀態的持續振蕩。因此,將 QPT 和 CPT 方法結合起來,不僅可以解決持續振蕩問題,還能推動不同類型理性的建模。
應用基于 CPT 和 QPT 的模型所面臨的挑戰是,如何將這兩種不同的方法結合起來,實現人類與人工智能之間的共同決策(Bruza & Hoenkamp, 2018)。這種協調將為決策提供一種結構合理性。幸運的是,決策科學領域的最新研究成果引入了量子開放系統建模,作為持續振蕩問題的解決方案(Busemeyer 等人,2020 年;Martínez-Martínez & SánchezBurillo, 2016 年;Snow 等人,2022 年)。量子開放系統建模以單一概率分布作為時間函數,捕捉了 QPT 和 CPT 這兩種動力學;這樣一來,用一個連續方程和泛化來進行決策的動力學就變得可行了。量子開放系統建模。量子開放系統建模對決策者可能經歷的本體和認識類型的不確定性進行描述和建模。利用量子開放系統建模所建立的模型具有全面性和通用性,因為主方程還可以捕捉不一致觀點之間的非交換關系(即理性預測偏差),從而用一個單一方程將決策的耗散和適應動態納入其中。例如,當兩個或多個決策者(如人類和人工智能)的理性預測存在分歧/沖突時,使用量子開放系統建模可以捕捉決策環境的動態變化,從而對決策過程和環境進行工程設計。這一點非常重要,因為決策者會收到(來自人工智能或人類的)有關現象的信息。接收到信息后,決策者會將接收到的信息與信息源一起合理化。我們在兩種情況下舉例說明這一合理化過程。在第一種情況下,自我視角(Pself)和其他視角(Pother)是互補的,這意味著????????????????h???? - ???????????????????? = 0 或非常接近于零。在這種情況下,決策者(如人類和人工智能)的兩個視角之間不存在沖突,兩個視角不會相互影響或形成彼此的背景。在第二種情況下,自我視角和其他視角不相容,這意味著????????????????h???? - ???????????????????? ≠ 0,這可能可以忽略不計,也可能非常重要。這個不等式的值隨兩個視角不兼容的程度而變化。更重要的是,由于這種不相容性是決策者的內部因素,它代表了本體型不確定性。在某種程度上,對于觀察者來說,這種不確定性可能并不明顯,除非通過經驗來激發。在這種情況下,決策者可以選擇一種結果,而這種結果對于觀察者(沒有意識到不兼容性)來說可能是可能性最小的結果。然而,由于視角的不相容性,干擾效應可能會導致違反總概率,或其他觀察到的系統違反 CPT 的情況;因此,對觀察者來說最不可能發生的事件,對決策者來說可能是最有可能發生的事件。量子開放系統建模支持建立對這些影響敏感的模型,當適應環境時,這些影響就會消失。在本研究中,不確定性是通過本體型不確定性與信任相關聯的。
假設前面討論的情景中的另一個人被人工智能取代。那么,當???????????????? - ????????????????≠0時,就會出現本體型不確定性、 與信任相關,因為不一致的視角會導致理性預測偏差--自我與人工智能意見相左。因此,人類(自我)可以向人工智能援引信任的概念。另一方面,如果 ???????????????? - ???????????????? ? 0、 自我與人工智能之間的沖突可以忽略不計,也不會出現理性預測偏差,因此人類(自我)不需要援引對人工智能的信任概念。
由于本體類型的不確定性是通過互動來解決的,如判斷(如問題-決定),因此本實驗設計的目的是研究在人工智能支持下的決策過程中,人們對人工智能建議的中間判斷以及隨后對信任的影響。以往的研究表明,由于對人工智能系統缺乏信任,人們很難實施人工智能解決方案,從而影響決策。然而,人工智能領域的信任研究將信任視為靜態衡量標準的集合體,并沒有將信任作為一個過程來捕捉,而信任是可以通過互動在時間上發生演變的。最近的研究表明,人類決策可以使用量子開放系統方程進行有效建模,該方程可以用單一概率分布作為時間函數來捕捉人類的反應行為(即信任)。這樣一來,用一個連續方程和泛化來進行動態決策就變得可行了。為了說明這一點,我們提出了一個研究問題: "人工智能提供的決策建議的中間決策如何影響信任?" 基于以往在決策領域的研究,我們假設在人-人工智能系統交互中引入中間決策會影響用戶在使用人工智能支持決策時的信任行為。
我們的實驗采用了 2 x 7 的平衡因子設計,以比較兩種條件之間的差異。受試者在圖像分析任務中總共接受了 21 次人工智能提供的建議篩選處理。提供給參與者的所有人工智能篩選圖像都來自一個模擬人工智能系統。該設計將參與者隨機分為兩大組(條件):選擇條件組和非選擇條件組。在選擇條件下,參與者會被直接問及是否同意或不同意人工智能的建議;在第二種條件下,參與者只被問及是否認可人工智能的建議。隨后,每組參與者還將被問及他們對人工智能建議的信任程度,即他們將來會將同樣的任務委托給人工智能的可能性有多大。
根據使用 G*Power3 進行的功率分析結果,這項擬議研究將從大約 150 名參與者中收集數據,使用 F 檢驗、大效應量和α值 0.05 檢驗兩組平均值之間的差異。
判斷任務包括兩種情況:選擇和不選擇,如圖 1 所示。在無選擇條件下,參與者只需點擊 "確認人工智能建議 "按鈕即可接受人工智能提供的信息。在選擇條件下,參與者首先要對人工智能建議做出二元判斷(例如,同意或不同意人工智能建議)。在第二階段,所有參與者都會被問及他們將來將同樣的任務委托給人工智能的可能性有多大。將任務委托給人工智能意味著人工智能將對圖像進行編目標記,以便將來進行更快的處理。因此,委托是信任的代名詞,其衡量標準從 0 到 100。在第二階段,參與者還需要花費不同的時間來說明他們將委托給人工智能的可能性有多大。時間間隔也是隨機的(如 5 秒、10 秒、15 秒、20 秒、25 秒、30 秒、35 秒)。不允許參與者在規定時間內加快速度,但這也允許參與者在時間結束前更改答案。此外,通過改變對授權決定的信心時間也可以證明分類的時間消退效應。
本實驗沿用了之前幾項關于選擇和隨后捕捉相關變量的實驗(Busemeyer 等人,2020 年;Kvam 等人,2021 年)。然而,之前的實驗并未研究人工智能決策方面的判斷力和信任度。據我們所知,本實驗是第一個以這種方式研究信任的實驗。操縱選擇(判斷/選擇)和在時間上操縱受試者對人工智能委托決策的信任程度進行評分的時間長短,有可能會對之前有關人工智能決策信任的文獻中的研究成果提出挑戰。
圖1. 實驗設計
本研究并不試圖根據人工智能的表現來了解用戶的信任度。然而,作為人工智能可信度/可靠性的替代品,治療到治療的人工智能表現可能會影響參與者的信任感,進而影響用戶信任度(即對委托的信心水平)。為了減少這種情況,我們首先告知參與者,建議將來自不同的人工智能,而不是單一的人工智能系統。這將有助于減少用戶對單一人工智能性能的評價,而這種評價可能會被用作可信度的替代物。其次,我們有意在圖像中加入至少一個模棱兩可的元素,以避免用戶做出明確的正確/錯誤判斷。這樣,用戶就無法對人工智能的表現進行準確的心理評分。最后,在實驗完成之前,我們不會就參與者的答案正確與否提供任何反饋。這是許多關于信任的實驗中都沒有的一個重要的真實水平,因為即時反饋并不總能代表真實世界的決策過程。
理論貢獻。這項研究試圖通過展示一種更加生態化的信任現象視角,為人類信任提供一種超越以往研究的新概念。生態學視角包括互動和時間兩個部分,將為研究界提供新的思考,即如何將信任概念化為一種理性預測偏差導致的新興現象。如果信任是一種本體現象,那么設計機器和規劃它們各自所處的信息環境就能更好地解決人類如何與機器互動的問題。
方法論貢獻。量子開放系統模型可以捕捉認識上和本體上的不確定性。將信任視為一種理性預測偏差,將信任與本體不確定性聯系起來。之前的研究已經證明,通過互動可以減少本體不確定性(Kvam 等人,2021 年)。此外,量子開放系統建模的特點也為信任建模提供了一種新的方法,使信任成為一種動態交流中產生的新興現象。因此,通過將本體類型的不確定性與信任聯系起來,我們試圖模擬系統互動如何影響信任決策。
實際貢獻。本研究認為信任是一個時間過程,會對決策結果產生影響。鑒于之前的研究表明決策過程中平均偏好強度的時間振蕩會影響后續結果(Kvam 等人,2021 年),在決策過程中的不同時間點對信任進行評估可能會產生新的見解。這一發現將為信任遵循更多量子開放系統行為模型提供證據,從而為人工智能系統信任研究領域開辟新天地。
局限性。本研究有一些局限性。我們使用了一個模擬人工智能系統來篩選和注釋靜態圖像。然而,如今許多人工智能系統都可以實時運行,例如為實時視頻饋送添加注釋。有了實時視頻提供的額外背景,參與者的行為可能會大不相同。因此,超越靜態源材料的通用性可能會受到限制。其次,在線實驗可能會缺乏真實感,因此在某些情況下會進一步限制可推廣性。
更好地理解人類對人工智能的信任是如何演變的,這對決策環境的人為因素和認知工程至關重要。將信任概念化為一種由理性預測偏差產生的新興現象,應能為人工智能領域的信任研究注入新的活力。此外,用開放系統方程建立信任模型可以更好地為此類系統中的校準信任工程提供信息。
本研究的發現將有助于了解信任與人工智能支持的決策之間的關系,同時為這一現象提供一個更具生態學意義的新視角。因此,本研究將對人為因素和其他相關信息科學學科做出多學科貢獻。
監督下的深度學習算法正在重新定義目標檢測和分類的最先進技術。然而,訓練這些算法需要大量的數據集,而收集這些數據集通常是昂貴和耗時的。在國防和安全領域,當數據具有敏感性質時,例如軍用船只的紅外圖像,這可能變得不切實際。因此,算法的開發和訓練往往是在合成環境中進行的,但這使人懷疑解決方案對現實世界數據的通用性。
在本文中,我們研究了在不使用真實世界的紅外數據的情況下訓練紅外自動目標識別的深度學習算法。使用目標-導彈交戰模擬軟件和10個高保真計算機輔助設計模型,生成了一個長波紅外波段的海上船只紅外圖像的大型合成數據集。探索了訓練YOLOv3架構的多種方法,并隨后使用真實世界紅外數據的視頻序列進行了評估。實驗表明,用少量的半標記偽紅外圖像樣本來補充訓練數據,可以明顯提高性能。盡管沒有真實的紅外訓練數據,但在我們的真實世界測試數據上,平均精度和召回率分別達到了99%和93%的高分。為了進一步推動自動目標識別算法的發展和基準測試,本文還提供了我們的照片真實合成紅外圖像數據集。
在決策或推理網絡中進行適當的推理,需要指揮官(融合中心)對每個下屬的輸入賦予相對權重。最近的工作解決了在復雜網絡中估計智能體行為的問題,其中社會網絡是一個突出的例子。這些工作在各種指揮和控制領域具有相當大的實際意義。然而,這些工作可能受限于理想化假設:指揮官(融合中心)擁有所有下屬歷史全部信息,并且可以假設這些歷史信息之間具有條件統計獨立性。在擬議的項目中,我們打算探索更普遍的情況:依賴性傳感器、(可能的)依賴性的未知結構、缺失的數據和下屬身份被掩蓋/摻雜/完全缺失。對于這樣的動態融合推理問題,我們建議在一些方向上擴展成果:探索數據源之間的依賴性(物理接近或 "群體思維"),在推理任務和量化不一定匹配的情況下,采用有用的通信策略,甚至在每個測量源的身份未知的情況下,采用無標簽的方式--這是數據關聯問題的一種形式。
我們還認識到,對動態情況的推斷是關鍵目標所在。考慮到一個涉及測量和物理 "目標 "的傳統框架,這是一個熟悉的跟蹤問題。但是,來自目標跟蹤和多傳感器數據關聯的技術能否應用于提取非物理狀態(物理狀態如雷達觀察到的飛機)?一個例子可能是恐怖主義威脅或作戰計劃--這些都是通過情報報告和遙測等測量手段從多個來源觀察到的,甚至可能被認為包含了新聞或金融交易等民用來源。這些都不是標準數據,這里所關注的動態系統也不是通常的運動學系統。盡管如此,我們注意到與傳統的目標追蹤有很多共同點(因此也有機會應用成熟的和新興的工具):可能有多個 "目標",有雜波,有可以通過統計學建模的行為。對于這種動態系統的融合推理,我們的目標是提取不尋常的動態模式,這些模式正在演變,值得密切關注。我們特別建議通過將雜波建模為類似活動的豐富集合,并將現代多傳感器數據關聯技術應用于這項任務,來提取特征(身份)信息。
研究的重點是在具有融合觀測的動態系統中進行可靠推理。
1.決策人身份不明。在作戰情況下,融合中心(指揮官)很可能從下屬那里收到無序的傳感器報告:他們的身份可能是混合的,甚至完全沒有。這種情況在 "大數據 "應用中可能是一個問題,在這種情況下,數據血統可能會丟失或由于存儲的原因被丟棄。前一種情況對任務1提出了一個有趣的轉折:身份信息有很強的先驗性,但必須推斷出身份錯誤的位置;建議使用EM算法。然而,這可能會使所有的身份信息都丟。在這種情況下,提出了類型的方法來完成對局部(無標簽)信念水平和正在進行的最佳決策的聯合推斷。
2.動態系統融合推理的操作點。在以前的支持下,我們已經探索了動態事件的提取:我們已經開發了一個合理的隱馬爾科夫模型,學會了提取(身份)特征,有一個多伯努利過濾器啟發的提取方法 - 甚至提供了一些理論分析。作為擬議工作的一部分,將以兩種方式進行擴展。首先,打算將測量結果作為一個融合的數據流,這些數據來自必須被估計的未知可信度的來源。第二,每個這樣的信息源必須被假定為雜亂無章的 "環境 "事件(如一個家庭去度假的財務和旅行足跡),這些事件雖然是良性的,可能也不復雜,但卻是動態的,在某種意義上與所尋求的威脅類似。這些必須被建模(從數據中)和抑制(由多目標追蹤器)。
3.數據融合中的身份不確定性。當數據要從多個來源融合時,當這些數據指的是多個真相對象時,一個關鍵的問題是要確定一個傳感器的哪些數據與另一個傳感器的哪些數據相匹配:"數據關聯 "問題。實際上,這種融合的手段--甚至關聯過程的好方法--都是相當知名的。缺少的是對所做關聯的質量的理解。我們試圖提供這一點,并且我們打算探索傳感器偏差和定位的影響。
4.具有極端通信約束的傳感器網絡。考慮由位置未知、位置受漂移和擴散影響的傳感器網絡進行推理--一個泊松場。此外,假設在這樣的網絡中,傳感器雖然知道自己的身份和其他相關的數據,但為了保護帶寬,選擇不向融合中心傳輸這些數據。可以做什么?又會失去什么?我們研究這些問題,以及評估身份與觀察的作用(在信息論意義上)。也就是說,假設對兩個帶寬相等的網絡進行比較;一個有n個傳感器,只傳輸觀察;另一個有n/2個傳感器,同時傳輸數據和身份。哪一個更合適,什么時候更合適?
5.追蹤COVID-19的流行病狀況。誠然,流行病學并不在擬議研究的直接范圍內,但考慮到所代表的技能以及在目前的健康緊急情況下對這些技能的迫切需要,投機取巧似乎是合理的。通過美國和意大利研究人員組成的聯合小組,我們已經證明,我們可以從當局提供的每日--可能是不確定的--公開信息中可靠地估計和預測感染的演變,例如,每日感染者和康復者的數量。當應用于意大利倫巴第地區和美國的真實數據時,所提出的方法能夠估計感染和恢復參數,并能很準確地跟蹤和預測流行病學曲線。我們目前正在將我們的方法擴展到數據分割、變化檢測(如感染人數的增加/減少)和區域聚類。
由于多種因素的影響,自動機器學習(AutoML)這些年一直在快速發展,數據科學家需要創建機器學習管道原型來決定如何進行解決,并為非專業人士提供解決方案。已經創建了一些AutoML框架,但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍,提供創建AutoML系統所需的工具,使其能夠解決超出大部分框架的問題類型,并為用戶提供工具,使機器學習工具不需要太多的專業知識。此外,該項目還致力于實現AutoML組件的標準化,以便對不同的框架進行公平的比較,并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。
本文在D3M上的工作主要集中在兩個方面:在D3M小組內創建標準化AutoML工具,以及創建具有不同目的的AutoML系統和框架。在這份報告中,將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中,創建了評估AutoML系統的工具,開發了三個AutoML系統,開發了被多個系統廣泛使用的原型,設計了測試原型的自動化框架,并通過創建AutoKeras對AutoML研發界產生了巨大影響。
人工智能(AI)是一項具有廣泛用途的新興技術。《美國防戰略》強調了人工智能對軍事行動的重要性,以使美國保持對其近似競爭對手的優勢。為了充分實現這一優勢,不僅要在戰術層面,而且要在戰爭的作戰層面整合人工智能。人工智能可以最有效地融入作戰計劃的復雜任務,方法是將其細分為其組成部分的作戰功能,這些功能可以由狹義的人工智能來處理。這種組織方式將問題減少到可以由人工智能解析的規模,并保持人類對機器支持的決策的監督。
人工智能是一套新興的、變革性的工具,有可能幫助軍事決策者。美國國家戰略將人工智能(AI)納入戰爭。《2020年國防授權法》11次提到了人工智能。國防戰略強調了利用人工智能和機器學習方面的商業突破的重要性。人工智能的軍事用途是保留國家安全的一個引人注目的方式。創造工具來支持戰術行動,如摧毀敵軍和從一個點導航到另一個點,具有顯著和可見的效果,使他們在資源有限的環境中在政治上可以接受。它們在訓練和測試方面的可重復性,使它們在采購過程中成為人工智能系統的快速贏家。然而,戰術行動的范圍和時間是有限的。僅在戰術層面上整合人工智能,忽視了在作戰層面上發生的決定性影響。
作戰,也就是實踐者將戰術行動轉化為戰略效果的層面,取決于領導者做出正確決策的能力。聯合部隊海事部分指揮官(JFMCC)的艱巨任務是制定計劃,將戰區戰略和聯合部隊指揮官(JFC)的目標結合起來,通過決定性的海軍交戰來塑造環境。在人工智能的快速認知能力的幫助下,JFMCC將能夠制定并更徹底地分析行動方案(COA)。這些品質對于未來的沖突是必要的。
人工智能必須在戰爭的各個層面進行整體集成,以充分實現其優勢。除了局部的、短期的戰斗,它還需要應用于主要的行動和戰役,涉及整個戰區的數月或數年。在戰爭的戰役(作戰)層面上的實施,放大了為實現戰略目標而進行的有序交戰和同步行動之間的協同作用。除了技術發展之外,行動上的整合將刺激政策和理論的建立,以使作戰人員有意愿使用人工智能。隨著使用人工智能的經驗的增加,其采用率也會增加。為協助海軍作戰計劃而實施的特定人工智能技術可能與那些用于計算射擊方案或在被拒絕的淺灘水域規劃路線的技術不同。然而,在作戰層面的接受度將推動戰術上的使用。
在JFMCC層面,人工智能系統網絡將為決策者提供決定性的優勢,將專注于作戰功能的獨立的人工狹義智能(ANI)單位統一起來將實現最顯著的好處。首先,人工智能解決方案比它們的通用人工智能(AGI)同行更適合于軍事問題的解決。其次,戰爭的性質促使有必要在作戰層面上整合人工智能。最后,雖然有許多方法可以整合,但沿著功能線這樣做會帶來最顯著的好處。不僅在技術意義上吸收人工智能,而且描述其在政策、理論和培訓中的使用,將使海軍能夠充分使用它,并在與我們的戰略競爭對手的競爭中獲得優勢。
目前人工智能在海上行動中的最佳應用是將復雜的海上行動問題分解成子問題,由人工智能來解決,并組合成COA建議。解決小問題的人工智能需要更少的訓練數據,有更直接的邏輯,并且可以連鎖起來解決更重要的問題。麻省理工學院人工智能實驗室前主任羅德尼-布魯克斯(Rodney Brooks)認為,創建動態環境的符號表示是困難的或不可能的。然而,特定任務的智能體可以利用足夠的傳感器數據智能地行動,更重要的是,可以連貫地互動。通過將簡單的活動連鎖起來,失敗的風險很低,更復雜的問題就可以得到解決。多個簡單的行動可以在低認知層平行運行,并將其輸出結合起來,為更高層次的復雜活動提供支持。這種結構的優點是允許軍事工程師開發和訓練人工智能,以首先解決可操作的問題。對人工智能開發者來說更具挑戰性的功能可以保留只由人類決定的方法,直到他們產生解決這些問題的專業知識。與其等待一個完整的系統,部分系統將提供一個臨時的邊際優勢。
鑒于人工智能可以通過將問題分解成更小的決策來最好地解決問題,問題仍然是如何劃分這些問題。重述作戰任務的一個模式是將它們分成作戰功能:指揮和控制(C2)、通信、情報、火力、運動和機動、保護和維持。這些作戰功能為開展有效行動提供了基礎。它們為一個行動提供了采用手段實現其目的的方法。因此,與決定如何實施這些功能以實現目標的決策者一起使用人工智能是很自然的。
如同應用于海上作戰戰爭,最低層的決策支持系統將由感知環境的活動組成:探測艦艇、飛機和潛艇;燃料水平;天氣;以及其他客觀的戰斗空間數據。通過將外部輸入限制在特定的、低層次的任務上,該系統將最大限度地減少對抗性例子或旨在消極操縱自動系統的數據的風險。中間層將把下層的輸出與作戰目標和因素結合起來,如時間、空間和力量的限制,以提供解決問題的方法和作戰功能。由于上層的對抗性數據注入的威脅較小,這些系統可以使用深度學習。深度學習是機器學習的一個子集,它不像其他形式那樣需要高度格式化的數據,但計算成本會更高,而且容易受到欺騙。深度學習將增加這一層的人類互動,并暴露出更復雜的關系。最高層將把C2流程應用于其他六個業務功能,以產生業務建議。中間層的每個功能人工智能將向其他功能人工智能和最高C2層提供建議。中間層的人工智能對復雜的數據和相鄰單位及C2功能的建議進行理解。
如果將中間層人工智能納入規劃和指導、收集、處理、分析和傳播的情報周期,將促進收集資產的更好分配。判斷對有限的收集資產的請求以滿足行動和戰術信息需求是JFMCC關注的一個問題。在收集計劃期間,人工智能可以使用已知的對手軌跡、地點、個人和組織來定義和優先考慮指定的利益區域(NAI)。在執行過程中,人工智能可以根據優先級驅動收集路線,就像企業用它來規劃送貨路線以減少勞動力、燃料和維護成本一樣。采集計劃者可以通過增加對手監視點的位置和范圍來減少反偵查的風險。在C2層面,指揮官和情報官員可以利用收集成果來證明更多的JFMCC收集資產和COA的修改。這種方法適用于其他功能。
人工智能可以在部隊部署不斷變化和對手存在不確定的環境中改善維持能力。相互沖突的要求使如何使用有限的后勤資產來滿足作戰人員的需求的決策變得復雜。后勤單位較低的生存能力促使人們決定是將它們帶入被對手防御系統拒絕的區域,還是將戰斗飛船引離目標。人工智能可以利用軍事和民用運輸的可用性、預先部署的庫存和供應商的響應能力來制定船舶和飛機需求的解決方案。企業利用人工智能準確預測需求,并分辨出影響運輸和倉儲的采購模式。維持型人工智能可以使用這個過程的一個變種,來計劃在高級后勤支持站點(ALSS)或前方后勤站點(FLS)的材料堆放。它可以決定如何以及何時使用穿梭船和站立船來運送到攻擊組。機器學習將使用燃料、食品和武器庫存、威脅環、戰備水平和維修時間來訓練維持人工智能。維持型人工智能可以提供比人類單獨完成的更有效的量化解決方案,并將其反饋給其他功能區和C2高層。
C2層將對來自下層的決定進行仲裁,并提供一個統一的建議。就像一個軍事組織的指揮官一樣,它將把其副手AI的建議合并起來。人工智能過程的早期階段使用傳感器數據和其他客觀信息來確定指揮官的方向;決定行動方案需要建立對戰斗空間的理解,這是一種更高層次的欣賞。戰斗空間的可變性和模糊性將使這一層的人工智能元素最難開發。最終,該系統將作為一個可信的智能體,壓縮指揮官負責的信息量。壓縮的信息減輕了時間有限的決策者工作時的疑慮負擔,使她能夠向下屬單位發出更及時的命令。
圖1說明了基于這些原則的系統的擬議架構。以對手預測為例,許多單一用途的ANI將在最低層結合原始傳感器和單位報告數據。它將評估敵方單位的最可能位置。公司分析評論、社交媒體和論壇發帖的情緒,以確定產品的滿意度。同樣地,這個系統將通過公開的言論和秘密的報告來確定對手的意圖。它將評估當前和歷史天氣模式,以評估氣候對敵人行動的影響。這三個輸入和其他信息將被功能情報ANI用來形成對敵方COA的評估。同樣,火力節點將使用敵人的組成、JFC的優先級和預測的彈藥可用性來產生目標指導。中間層節點將橫向傳遞他們的評估,以完善鄰近的建議,如部隊保護水平。獨立的功能建議也將直接反饋給C2層,以創建整體行動方案。
圖1. 海上人工智能系統的擬議架構
首先,利用聯合人工智能資源的優勢,針對海軍的具體問題修改標準組件。擅長開發軍事人工智能系統的工程師的稀缺性將限制新系統的開發。美國防部的人工智能戰略具體規定了建立通用的工具、框架和標準,以便進行分散的開發和實驗。使用這些現成的組件,為人工智能決策網的所有子系統創建低級別的系統和標準接口。將海軍的資源集中于采購和實施用于海事具體決策的中層和高層系統。避免技術上令人著迷但無效的解決方案,并通過將職能領域的專家與設計團隊相結合來保持解決海事問題的目標。
第二,創建并維護可通過機器學習攝入的作戰數據數據庫,以訓練海軍人工智能。實施能夠在海上作戰中心(MOC)讀取和集中匯總基本作戰數據報告的技術和工藝,如燃料狀態、導彈裝載量。開發記錄和定性評分作戰決策結果的方法,如對手態勢的變化、傷亡修復率和公眾對行動的反應。將輸入與作戰決策和結果聯系起來的數據庫將加速開發符合現實世界標準的系統。
第三,將人工智能的使用納入政策和條令。條令應該編纂人工智能可以被整合到戰爭戰役層面決策中的領域。明確地說,關于情報、行動、火力、后勤、規劃和通信的海軍作戰出版物應說明人工智能在決策過程中產生優勢的地方和方式。描述海上聯合行動的聯合出版物應明確說明如何將JFC的要求解析為JFMCC的AI系統。如果國防部和海軍的政策對指揮官因整合人工智能的決策建議而產生的責任量進行了定性,那么他們在使用人工智能時就可以采取經過計算的風險。讓指揮官和作戰人員掌握使用人工智能的戰術、技術和程序將加速其在艦隊中的應用。
準確的軌跡和目標定位是為決策者提供執行任務信心的關鍵。越來越多的不同情報來源的多種情報、監視和偵察(ISR)資產被用來提高跟蹤定位的準確性,因此需要開發利用異質傳感器數據流的方法,以更好地估計目標狀態。常用于目標狀態估計的算法之一是卡爾曼濾波(KF)算法。如果其協方差矩陣是對傳感器測量的不確定性的準確近似,該算法表現良好。此研究補充了美國海軍正在進行的人工智能/機器學習(AI/ML)工作,定量評估了使用ML模型預測傳感器測量噪聲進行KF狀態估計的潛力。使用計算機模擬來生成單個目標的傳感器軌跡,并訓練一個神經網絡來預測傳感器的誤差。混合模型(ML-KF)能夠在目標位置估計中比使用歸一化傳感器誤差的基線KF模型的性能好大約20%。進一步研究用外部環境變量作為輸入來增強ML模型,有可能創建一個能夠在不同環境下運行的自適應狀態估計系統。
處理和利用多種情報數據流的能力對于實現卓越的戰斗空間態勢至關重要。美國海軍,特別是海軍信息部隊(NAVIFOR),正在探索人工智能(AI)/機器學習(ML)技術的有效性,以協助數據融合并提供快速和及時的共同作戰圖像(COP)/共同戰術圖像(CTP)分析。一個重點領域是過濾來自不同傳感器系統的數據,以提供對戰斗空間中目標的改進的狀態估計。這是一項關鍵任務,因為準確的跟蹤和瞄準是為決策者提供執行任務信心的關鍵。
本論文旨在評估整合人工智能/ML算法和技術的可行性,以過濾異質數據集,提高開發COP/CTP時的軌跡估計的準確性。卡爾曼濾波法(KF)及其變種經常被用來估計戰斗空間中目標的位置。然而,估計的準確性會受到外部條件變化和對目標假設的違反的極大影響。
Gao等人(2020年)、Jouaber等人(2021年)和Ullah等人(2019年和2020年)的研究表明,在標準KF中集成一個學習模塊,以提高狀態估計的準確性。這項研究使用一個神經網絡(NN)來學習與傳感器測量相關的測量不確定性的變異性。這些變異性的存在是由于外部因素的變化,如天氣狀況,這些因素并沒有直接作為KF算法的狀態模型。這有可能提高我們的COP/CTP,特別是當外部因素動態地影響我們的傳感器融合系統時。
我們使用一種定量的方法來評估選定的人工智能/ML算法在過濾目標位置數據集方面的準確性。我們假設,在KF模型中加入學習模塊將超過標準的KF模型,并對目標位置提供更好的估計。為此,我們設計了一個三階段的數據管道(圖1)。
圖 1. 評估跟蹤過濾算法的方法。
首先,使用模擬軟件生成傳感器數據--Command。現代行動(CMO)由Matrix Games(Matrix Games, 2022b)開發。使用了一個由來自不同情報領域的多個對峙傳感器和一個單一目標組成的場景。第二,開發了兩套模型--使用KF算法的標準基線模型,以及使用嵌入KF算法的神經網絡的另一套模型(我們稱之為ML-KF模型)。這個神經網絡是一個在訓練數據集上訓練的學習模塊,用來估計KF的傳感器測量噪聲。我們在可能的不同超參數中進行超參數搜索,以提高每個傳感器的ML模型的性能。在最后階段,兩個模型的性能被評估為估計目標狀態位置的準確性。
我們的研究結果表明,整合ML模型來估計標準KF算法的傳感器測量誤差矩陣,可以顯著提高目標狀態估計的準確性,在5%的置信度下約為20%。綜上所述,我們的貢獻有以下幾點。
我們開發了一個ML操作管道,從模擬中攝取數據來訓練、驗證和測試機器學習模塊,以便隨后部署在KF系統中。該方法、數據集和生成的模型是可重現和可復制的,因為用于該開發的代碼庫和框架是完全開源的。
我們已經證明,嵌入標準KF算法的學習模塊可以比標準KF模型改善狀態估計。ML-KF模型能夠產生一個傳感器測量誤差矩陣來更新KF算法對傳感器測量的概率信念,從而改善KF的估計。
我們之所以能夠訓練KF模型中使用的學習模塊,只是因為我們的仿真系統提供了一個實戰范圍可能無法提供的地面真實目標狀態。這證明了使用模擬來開發ML模型并隨后將其部署在現場的潛力。
我們的研究使用ML模型來預測標準KF算法的傳感器測量誤差。我們的ML-KF模型能夠在5%的置信度下明顯優于我們的基線模型,表明使用ML-KF模型將改善目標位置狀態估計的性能,緩解了異質傳感器數據流中不存在傳感器測量的不確定性時的性能問題。換句話說,在沒有傳感器數據的不確定性測量時,嵌入KF的ML能夠預測不確定性并動態更新KF算法的參數。
這個概念驗證有可能使用更復雜的方法進一步擴展。我們提出了未來研究的三個關鍵領域。1)通過包括在KF中沒有直接建模或使用的其他參數(如戰斗空間的天氣狀況),來提高ML-KF模型的可推廣性。2)使用時間序列方法對目標的時間運動進行建模,從而提高嵌入KF中的學習模塊的預測能力。3)使用ML模型進行多目標數據過濾(JDL 2級),通過包括分類任務來對跟蹤數據進行分類。
隨著國防部越來越多地將重點轉移到ML的應用上,我們認為,這種在數據過濾中的應用將能夠增強現有的數據過濾方法,并消除替換這些方法的費用。例如,通過增強現有的COP/CTP數據過濾算法,我們將能夠對目標進行更準確的狀態估計,從而對目標在COP/CTP中的位置提供更高的信心。這種ML-KF模型攝取異質數據流的能力也是一個強大的工具,可以使情報分析員的工作自動化,他們經常需要在不同的情報領域交叉參考他們的來源。通過改進我們的作戰人員可用的成套工具,他們在應對任何對手時將更具殺傷力。
事實上,目前的OODA概念已經支持了對人類決策過程的理解,以支持關于人類戰友和以人為本的行動的敏捷和競爭性決策。然而,基于人機協作的未來軍事決策依賴于支持人機聯合情報的技術和互動概念,而不僅僅是人的能力。這需要新的OODA概念。在此,定義了機器OODA環,考慮了使其與人類OODA環相似和不同的特點。考慮了人工智能和認知建模的進展如何能被整合到機器OODA階段,為機器提供了比人類更獨特的優勢,因為機器可以將對人類操作者的理解和預測水平與對機器行為和數據分析的預測結合起來。此外,本文建議,有效的人機合作應該得到人機聯合決策-行動過程的支持,其概念是相互作用的OODA循環。對相互作用的人機OODA過程的考慮為支持有效的人機操作決策的系統設計原則和架構提供了概念上的指導。
本文的結構如下。首先,回顧了人類的OODA循環以及在該框架內開發的變體。接下來,定義了新的機器OODA循環,并討論了如何讓機器擁有比人類OODA循環更多的戰略推理優勢。最后,介紹了將人機團隊概念化為交互式OODA流程的方法。在深入探討圖1所示的OODA環概念方法的細節之前,將激勵為機器智能開發OODA環的理由。
在學習型網絡物理系統(LE-CPS)中使用的機器學習模型,如自動駕駛汽車,需要能夠在可能的新環境中獨立決策,這可能與他們的訓練環境不同。衡量這種泛化能力和預測機器學習模型在新場景中的行為是非常困難的。在許多領域,如計算機視覺[1]、語音識別[2]和文本分析[3]的標準數據集上,學習型組件(LEC),特別是深度神經網絡(DNN)的成功并不代表它們在開放世界中的表現,在那里輸入可能不屬于DNN被訓練的訓練分布。因此,這抑制了它們在安全關鍵系統中的部署,如自動駕駛汽車[4]、飛機防撞[5]、戰場上的自主網絡物理系統(CPS)網絡系統[6]和醫療診斷[7]。這種脆性和由此產生的對基于DNN的人工智能(AI)系統的不信任,由于對DNN預測的高度信任而變得更加嚴重,甚至在預測通常不正確的情況下,對超出分布范圍(OOD)的輸入也是如此。文獻[8, 9]中廣泛報道了這種對分布外(OOD)輸入的不正確預測的高信心,并歸因于模型在負對數似然空間中的過度擬合。要在高安全性的應用中負責任地部署 DNN 模型,就必須檢測那些 DNN 不能被信任的輸入和場景,因此,必須放棄做出決定。那么問題來了:我們能不能把這些機器學習模型放在一個監測架構中,在那里它們的故障可以被檢測出來,并被掩蓋或容忍?
我們認為,我們已經確定了這樣一個用于高安全性學習的CPS的候選架構:在這個架構中,我們建立一個預測性的上下文模型,而不是直接使用深度學習模型的輸出,我們首先驗證并將其與上下文模型融合,以檢測輸入是否會給模型帶來驚喜。這似乎是一個語義學的練習--即使是通常的機器學習模型通常也會 "融合 "來自不同傳感器的解釋,這些解釋構成了模型的輸入,并隨著時間的推移進行整理--但我們認為,我們提出的監測架構相當于重點的轉移,并帶來了新的技術,正如我們將在本報告中說明的。我們建議,一個更好的方法是根據背景模型來評估輸入:模型是我們所學到的和所信任的一切的積累,根據它來評估新的輸入比只預測孤立的輸入更有意義。這是我們推薦的方法的基礎,但我們把它定位在一個被稱為預測處理(PP)的感知模型中[10],并輔以推理的雙重過程理論[11]。在這份報告中,我們還提供了這個運行時監控架構的候選實現,使用基于歸一化流的特征密度建模來實現第一層監控,以及基于圖馬爾科夫神經網絡的神經符號上下文建模來實現第二層。
我們用一個自主汽車的簡單例子來解釋我們方法背后的基本原理,并展示了上下文模型如何在監測LEC中發揮作用。考慮一下汽車視覺系統中有關檢測交通線的部分。一個基本的方法是尋找道路上畫的或多或少的直線,自下而上的方法是在處理每一幀圖像時執行這一過程。但這是低效的--當前圖像幀中的車道很可能與前幾幀中的車道相似,我們肯定應該利用這一點作為搜索的種子,而且它是脆弱的--車道標記的缺失或擦傷可能導致車道未被檢測到,而它們本來可以從以前的圖像中推斷出來。一個更好的方法是建立一個道路及其車道的模型,通過預測車道的位置,用它來作為搜索當前圖像中車道的種子。該模型及其對車道的預測將存在一些不確定性,因此發送給視覺系統的將是最好的猜測,或者可能是幾個此類估計的概率分布。視覺系統將使用它作為搜索當前圖像中車道的種子,并將預測和當前觀察之間的差異或 "誤差 "發送回來。誤差信號被用來完善模型,旨在最小化未來的預測誤差,從而使其更接近現實。
這是一個 "綜合分析 "的例子,意味著我們提出假設(即候選世界模型),并偏向于那些預測與輸入數據相匹配的模型。在實際應用中,我們需要考慮有關 "預測 "的層次:我們是用世界模型來合成我們預測傳感器將檢測到的原始數據(如像素),還是針對其局部處理的某個更高層次(如物體)?
這種自上而下的方法的重要屬性是,它專注于世界模型(或模型:一個常見的安排有一個模型的層次)的構建和前利用,與更常見的自下而上的機器學習模型形成對比。我們將展開論證,自上而下的方法對于自主系統中感知的解釋和保證是有效的,但有趣的是,也許可以放心的是,人們普遍認為這是人類(和其他)大腦中感知的工作方式,這是由Helmholtz在19世紀60年代首次提出的[12]。PP[13],也被稱為預測編碼[14]和預測誤差最小化[15],認為大腦建立了其環境的模型,并使用這些模型來預測其感覺輸入,因此,它的大部分活動可以被視為(近似于)迭代貝葉斯更新以最小化預測誤差。PP有先驗的 "預測 "從模型流向感覺器官,貝葉斯的 "修正 "又流回來,使后驗模型跟蹤現實。("自由能量"[16]是一個更全面的理論,包括行動:大腦 "預測 "手,比如說,在某個地方,為了盡量減少預測誤差,手實際上移動到那里。) 這與大腦從上層到下層的神經通路多于反之的事實是一致的:模型和預測是向下流動的,只有修正是向上流動的。
有趣的是,大腦似乎以這種方式工作,但有獨立的理由認為,PP是組織自主系統感知系統的好方法,而不是一個主要是自下而上的系統,其中傳感器的測量和輸入被解釋和融合以產生一個世界模型,很少有從模型反饋到傳感器和正在收集的輸入。2018年3月18日在亞利桑那州發生的Uber自動駕駛汽車與行人之間的致命事故說明了這種自下而上的方法的一些不足之處[17]。
純粹的自下而上的系統甚至不能回憶起之前的傳感器讀數,這就排除了從位置計算速度的可能性。因此,感知系統通常保持一個簡單的模型,允許這樣做:林的視覺處理管道的物體跟蹤器[18]就是一個例子,Uber汽車也采用了這樣的系統。Uber汽車使用了三個傳感器系統來建立其物體追蹤器模型:攝像頭、雷達和激光雷達。對于這些傳感器系統中的每一個,其自身的物體檢測器都會指出每個檢測到的物體的位置,并試圖將其分類為,例如,車輛、行人、自行車或其他。物體追蹤器使用一個 "優先級方案來融合這些輸入,該方案促進某些追蹤方法而不是其他方法,并且還取決于觀察的最近時間"[17,第8頁]。在亞利桑那車禍的案例中,這導致了對受害者的識別 "閃爍不定",因為傳感器系統自己的分類器改變了它們的識別,而且物體追蹤器先是喜歡一個傳感器系統,然后是另一個,如下所示[17,表1]。
這種 "閃爍 "識別的深層危害是:"如果感知模型改變了檢測到的物體的分類,在生成新的軌跡時就不再考慮該物體的跟蹤歷史"[17,第8頁]。因此,物體追蹤器從未為受害者建立軌跡,車輛與她相撞,盡管她已經以某種形式被探測了幾秒鐘。
這里有兩個相關的問題:一個是物體追蹤器保持著一個相當不完善的世界和決策背景的模型,另一個是它對輸入的決策方法沒有注意到背景。預測性處理中的感知所依據的目標是建立一個準確反映世界的背景模型;因此,它所編碼的信息要比單個輸入多得多。我們想要的是一種測量情境模型和新輸入之間的分歧的方法;小的分歧應該表明世界的常規演變,并可以作為模型的更新納入;大的分歧需要更多的關注:它是否表明一個新的發展,或者它可能是對原始傳感器數據解釋的缺陷?在后面兩種情況中的任何一種,我們都不能相信機器學習模型的預測結果。
預測處理方法的實施可以采用貝葉斯方法[19]。場景模型表示環境中的各種物體,以及它們的屬性,如類型、軌跡、推斷的意圖等,并對其中的一些或全部進行概率分布函數(pdf s)。觀察更新這些先驗,以提供精確的后驗估計。這種貝葉斯推理通常會產生難以處理的積分,因此預測處理采用了被稱為變異貝葉斯的方法,將問題轉化為后驗模型的迭代優化,以最小化預測誤差。卡爾曼濾波器也可以被看作是執行遞歸貝葉斯估計的一種方式。因此,像神經科學、控制理論、信號處理和傳感器融合這樣不同的領域都可能采用類似的方法,但名稱不同,由不同的歷史派生。思考PP的一種方式是,它將卡爾曼濾波的思想從經典的狀態表征(即一組連續變量,如控制理論)擴展到更復雜的世界模型,其中我們也有物體 "類型 "和 "意圖 "等表征。預測處理的一個有吸引力的屬性是,它為我們提供了一種系統的方法來利用多個輸入和傳感器,并融合和交叉檢查它們的信息。假設我們有一個由相機數據建立的情境模型,并且我們增加了一個接近傳感器。預測處理可以使用從相機中獲得的模型來計算接近傳感器預計會 "看到 "什么,這可以被看作是對模型準確性的可驗證的測試。如果預測被驗證了,那么我們就有了對我們上下文模型某些方面的獨立確認。我們說 "獨立 "是因為基于不同現象的傳感器(如照相機、雷達、超聲波)具有完全不同的解釋功能,并在不同的數據集上進行訓練,這似乎是可信的,它們會有獨立的故障。在一個完全集成的預測處理監視器中,情境模型將結合來自所有來源的信息。情境模型將保守地更新以反映這種不確定性,監測器將因此降低其對機器學習模型的信心,直到差異得到解決。
請注意,上下文模型可以是相當簡單粗暴的:我們不需要場景的照片,只需要知道我們附近的重要物體的足夠細節,以指導安全行動,所以相機和接近傳感器 "看到 "的相鄰車輛的輪廓之間的差異,例如,可能沒有什么意義,因為我們需要知道的是他們的存在,位置,類型和推斷的意圖。事實上,正如我們將在后面討論的那樣,我們可以在不同的細節層次上對上下文進行建模,自上而下的生成模型的目標是生成不同層次的感知輸入的抽象,而不是準確的傳感器值。在報告中討論的我們的實現中,我們在兩個層次上對上下文進行建模--第一個層次使用深度神經網絡的特征,第二個層次對場景中物體之間更高層次的空間和時間關系進行建模。除了傳感器,感知的上層也將獲得關于世界的知識,可能還有人工智能對世界及其模型的推理能力。例如,它可能知道視線和被遮擋的視野,從而確定在我們附近的車輛可能無法看到我們,因為一輛卡車擋住了它的去路,這可以作為有關車輛的可能運動("意圖")的增加的不確定性納入世界模型中。同樣,推理系統可能能夠推斷出反事實,比如 "我們將無法看到可能在那輛卡車后面的任何車輛",這些可以作為 "幽靈 "車輛納入世界模型,直到它們的真實性被證實或被否定。我們對監控架構第2層的神經符號建模的選擇對于整合這種背景和學習的知識以及對這些知識進行推理至關重要。
在這方面,另一個關于人腦組織的理論很有意思;這就是 "雙過程 "模型[20, 21],由卡尼曼推廣的獨立 "快慢 "思維系統[22]。它的效用最近已經通過一個非常有限的實現被證明用于計算機器學習模型的信心[23, 24]。系統1是無意識的、快速的、專門用于常規任務的;系統2是有意識的、緩慢的、容易疲勞的、能夠斟酌和推理的,這就是我們所說的 "思考"。就像預測處理一樣,我們提倡雙過程模型并不僅僅是因為它似乎符合大腦的工作方式,而是因為它似乎是獨立的,是一個好架構。在這里,我們可以想象一個特征密度正常化的流生成模型形成一個高度自動化的 "系統1",而更多的深思熟慮的神經符號模型構成一個 "系統2",當系統1遇到大的預測錯誤時,該系統會主動參與。系統1維持一個單一的生成性世界模型,而系統2或者對其進行潤色,或者維持自己的更豐富的世界模型,具有對符號概念進行反事實的 "what-if "推理能力。人們認為,人類保持著一個模型的層次結構[20, 21, 22],這似乎也是自主系統的一個好方法。我們的想法是,在每一對相鄰的模型(在層次結構中)之間都有一個預測處理的循環,因此,較低的層次就像上層的傳感器,其優先級和更新頻率由預測誤差的大小決定。
人類的預測處理通常被認為是將 "驚訝 "降到最低的一種方式,或者說是保持 "情況意識"。加強這一點的一個方法是在構建世界模型時增加系統2對假設推理的使用,以便將沒有看到但 "可能存在 "的東西明確地表示為 "幽靈 "或表示為檢測到的物體屬性的不確定性增加。一個相關的想法是利用人工智能進行推斷,例如,檢測到前面有許多剎車燈,就可以推斷出某種問題,這將被表示為世界模型中增加的不確定性。這樣一來,本來可能是意外情況的驚奇出現,反而會發展為不確定性的逐漸變化,或將幽靈解決為真實的物體。圖馬爾科夫神經網絡提供了一個有效的機制,既可以對這些關系和更豐富的背景進行建模,又可以通過反事實查詢和背景知情的預測進行審議。因此,雙重過程理論激發了我們的運行時監控器的兩層預測編碼結構。雖然這些理論旨在解釋人類的認知,但我們將這些作為運行時監控器來計算底層模型的驚喜,因此,當模型由于新奇的或超出分布的或脫離上下文的輸入而不能被信任時,就會被發現。
圖 1:基于預測處理和雙過程理論的自主量化保障架構
圖1展示了所提出的深度學習模型運行時監控的整體架構。如圖所示,該架構有兩個層次(由雙重過程理論激發)。在第一層,我們使用生成模型,學習輸入的聯合分布、預測的類輸出和模型提供的解釋。在第二層,我們使用圖馬爾可夫神經網絡來學習物體檢測任務的物體之間的空間和時間關系(更一般地說,輸入的組成部分)。在這兩層中,我們在本報告中的重點是運行時監測,而不是開發一個認知系統本身(而使用所提出的方法建立一個強大的、有彈性的、可解釋的系統將是自然的下一步)。因此,由這兩層檢測到的驚喜被監控者用來識別底層LEC何時不能被信任。這也可以作為LE-CPS的一個定量保證指標。
第3節介紹了預測性處理和雙進程架構(低級別的自動化和高級別的審議),并認為這可以支持一種可信的方法來保證自主系統的穩健行為。它也被廣泛認為反映了人類大腦的組織。我們提出了使用不同的神經架構和神經符號模型的組成來可擴展地完成這些的機制。結果在第4節報告。第5節提供了一些與工業建議的比較,并提出了結論和額外研究的建議。
美國陸軍作戰能力發展指揮部分析中心創建了一種算法,用于估計定位、導航和授時(PNT)傳感器和系統的目標位置誤差。即使系統用來尋找感興趣目標的確切算法是專有的或未知的,該算法也可以使用。該程序具有高度的模塊化和可擴展性;因此,相對來說,添加各種不同的PNT傳感器、系統和目標是很容易的。然而,目前僅有的傳感器是使用到達時間差、到達頻率差和/或到達角度的信號智能系統,以及可能有激光測距儀和測量校準源輻射的光子計數探測器的電子光學/紅外(EO/IR)系統。
美國防部有各種傳感器,作戰人員可以用它們來尋找位置。一些傳感器可以讓作戰人員找到潛在的威脅。如果作戰人員目前不能使用GPS,他們可能需要使用傳感器來確定自己的位置。傳感器可以單獨使用,也可以在更復雜的情況下連接在一起,以估計一個感興趣的物體的位置。為了確保美國陸軍為作戰人員配備能夠執行任務的傳感器,建立一個能夠估計這些位置傳感器在任何情況下的性能的模型至關重要。
美國陸軍作戰能力發展司令部(DEVCOM)分析中心需要一種算法來估計正在進行定位、導航和授時(PNT)計算的各種傳感器和系統的性能。DEVCOM分析中心(DAC)開發了多用途通用簡化TLE計算器(MUSTC)模型,該模型可用于查找各種傳感器的目標位置誤差(TLE),進而用于定位各種物體。
MUSTC算法并不要求用戶了解系統如何使用傳感器的測量結果來確定位置。在MUSTC軟件中添加一個新的傳感器類型所需要的只是一個模型,該模型可以估計傳感器測量的原始值,作為傳感器和目標參數以及它們的位置的函數。
為了使算法能夠確定TLE,算法需要知道所有參考傳感器和目標在場景中的位置、可能影響位置測量的變量和這些變量的不確定性,以及用戶希望為感興趣的項目計算TLE值的空間位置。然后,該算法將假定感興趣的物品在名義上位于用戶想要估計TLE的位置。一旦知道了位置,軟件就可以使用測量模型來確定傳感器將為該場景測量什么。然后,該軟件可以使用這些測量結果,以及優化算法,來確定感興趣的項目在空間指定點的TLE。
該算法的主要優點是,它可以擴展到確定來自不同傳感器類型的測量的各種不確定性如何影響總TLE,或找到感興趣的項目的位置的不確定性。
該算法的主要缺點是,由于反復調用實現優化算法的函數來計算TLE,所以計算有時會很耗時。程序可以使用許多優化算法,有些算法比其他算法快。即使程序使用一個相對較快的優化算法,如果優化算法被調用足夠多的次數,計算時間仍然會增加。DAC努力減輕這一缺點,找到了可用的最快的優化算法,但仍能產生正確的答案,將程序寫成多線程應用程序,以便利用大多數現代計算機處理器的多個核心,并試圖在最終結果的準確性和必須調用優化算法的次數之間找到最佳平衡。