具有高度自主性的軍事系統發展帶來了許多作戰優勢。這些系統通常是高度協作的,并允許優化對復雜問題的多效應對。人工智能,包括深度強化學習,有助于提高這些系統的效率。這項工作提出了一個與信任這些算法有關問題的綜合觀點,并提出了一些改善人機信任的準則。這項工作是在由歐盟資助的30個合作伙伴歐洲財團委托編寫的報告框架內完成的。
法國和英國在2010年啟動了一項計劃,評估和開發 "海上反水雷"(MMCM)能力,包括在與母艦安全距離外遠程操作的無人系統。通過持續化解靜態水下威脅,這些系統將提供戰略、行動和戰術上的機動自由,確保海上力量的安全投送,包括在海峽等高風險地區。
MMCM計劃的目標是提供一種新的敏捷的、可互操作的和強大的水雷戰能力。它將有助于在現有水雷戰艦退役時取代它們。這一雙邊計劃于2010年底根據法國和英國之間的《蘭開斯特宮條約》正式啟動。在2018年1月的法國/英國峰會上,法蘭西共和國總統和英國首相申明了他們打算迅速將該系統投入作戰服務[13]。
特別是,在2020年測試了四種作戰方案,分別采用了:一個水面無人機及其探測聲納、一個拖曳聲納、兩個水下無人機和一個水下滅雷機器人。前兩種情況主要是隨著任務的進行對威脅進行探測、分類和定位,其次是通過與前一次任務的數據進行比較來改變探測結果,最后是重新定位和識別幾枚地雷并解除其中一枚地雷。
該計劃的核心是在水下環境中自主發展的能力。這種自主性是通過使用人工智能算法,特別是DRL來實現的,以便自主地將無人機從母艦上移開[14]。盡管水下無人機必須能夠自主行動,但仍有許多人機互動:任務準備、驗證地雷分類和實時任務監測、授權投擲炸藥。這種人機互動是由MMI(人機界面)實現的,比如你會發現下面這個界面。
有一些項目旨在優化這些關系并建立信任關系:例如,泰雷茲國防任務系統公司DxLab的AR{iA}NE項目,旨在顯示操作者和人工智能之間可以有真正的互動[14]。人工智能在這里由控制臺的下半部分代表。它的突出顯示取決于性能指數:這就是人工智能以非常直觀的方式與操作者交流的方式。這個演示設備是為工業展覽準備的。它的設計經過特別考慮,給人以未來主義的印象,讓客戶感覺到他正在與人工智能進行交流。該控制臺集成了一個軟件分析界面,為聲納數據的利用提供了實質內容,因此非常適用于研究人機互動,更確切地說,是人機互動。
國防公司,如泰利斯、空客和MBDA,正在開發項目,旨在提供反無人機(UAV:無人機)解決方案。商用無人機的擴散化和相當便宜的價格引發了安全和保障問題。例如,在無人機和飛機之間發生了一些事件,還有一些情況,如跨越邊界和在監獄中走私貨物(武器、毒品),或向目標運送爆炸物。這些公司提出了智能解決方案,可以檢測無人機,但也可以通過高度的自主性和人類的環形控制來消除它們。這些系統可以對敵方目標進行探測、識別、定位和消滅。反無人機問題被概念化,并通過以下步驟得到部分解決[16]:
最新項目的目標是創建和展示一個完整的反無人機系統,能夠解決上述六個步驟,并整合兩個主要部分,一個地面部分和一個空中部分。地面部分可由一個作為指揮和控制站的地面控制站和一些地面傳感器組成,其數量和在空間的分布可根據需要和保護空間的配置進行調整。空中部分可以由盟軍無人機隊組成,這些無人機可以是相同的,具有類似的能力(同質蜂群),也可以具有不同的能力,每個都有一套獨特的專長(異質蜂群)。擁有一個空中段提供了兩個優勢。首先,在傳感方面,它使系統具有盯住目標的能力,可能為人類操作員提供實時視覺反饋,但也能對敵方無人機及其有效載荷進行更詳細和有效的分類和識別。第二,在消滅方面,它應該允許防御者部署更多的外科手術式的反措施,特別是避免過多的附帶損害或不想要的副作用。許多國防公司正在為中和部分開發智能DRL解決方案[17],以便在盟軍無人機群中做出自主決定。DRL算法也可用于指揮和控制站,以監測整體作戰情況。
未來戰斗航空系統(FCAS)是一個 "系統簇",它涉及到新一代戰斗機(NGF)、遠程航母(RC)和一個將所有參與者連接在一起的戰斗云系統: NGF、RC群、衛星、戰艦、地面系統等。
遠程運載器是用來做什么的?設想的應用是非常多樣的:通過幾十架飛機的飽和來穿透敵人的防御,誘騙敵機,執行電子戰任務(干擾),為其他飛機指定目標,執行偵察任務,甚至發射導彈而不是作戰飛機。這些新型機組成員為未來幾十年的空中行動開辟了一個巨大的可能性領域:用無人機代替戰斗機發射導彈,這樣就不會有飛行員的生命危險,騷擾敵人的防線,執行偵察任務,等等。這些設備也可以假裝成駕駛飛機,吸引敵人的巡邏隊,為作戰飛機打開缺口。在遠程載具的核心,制造商正在開發人工智能算法,特別是DRL[18],以控制每架無人機,但也控制無人機群。DRL算法出色的適應性在這里被用來管理高層和自主決策。
"系統簇"的非常高的互連性也要求建立一個抗網絡攻擊的戰斗云。這些攻擊確實可以破譯通信以獲取情報,甚至干擾或破壞通信,或者更糟糕的是,向半自主系統發出錯誤指令。DRL算法可用于應對正在進行的網絡攻擊。這些攻擊確實可以快如閃電,而人類沒有能力做出足夠快的反應。因此,必須使用智能自動系統來抵御攻擊。DRL似乎再次成為快速、自主和適應性行動的良好解決方案[19]。
正如我們所說,在自主系統中使用人工智能有很多問題:倫理、法律、政治等等。這就是為什么有必要在這場技術革命的不同參與者之間建立一種信任關系,從研究人員到用戶和工程師。
數學上的保證。為了確保我們提出的技術解決方案的可靠性,最好能在理論上和數學上保證算法的性能。然而,重要的是要記住,有關的保證在性質上是概率性的,因為大多數ML算法的性質是不確定的。因此,我們將試圖證明,例如,如果該算法有無限量的訓練數據可供支配,它就能夠完成提交給它的任務。或者,人們可能會試圖證明該算法收斂到一個解決方案,而且幾乎可以肯定它是以一個已知的和可控的速度收斂的。這種類型的結果保證存在于許多經典的ML算法中,用于解決某些簡單的問題,并受制于關于訓練和測試數據的某些假設。人工智能的整個研究領域都是關于知道什么是或不是可以通過ML學習的問題,以及什么精度:可能是近似正確的學習[20]。在RL方面還有很多工作要做,它仍然是一種年輕的技術,但理論上的保證越來越多[21]。然而,這些理論結果一般都是基于非常強的假設,這些假設往往是還原性的,并沒有考慮無人機在實踐中使用的非常真實的環境,這有時會使它們不那么相關。
可解釋人工智能。第二個軸心是要建立對人工智能所支配的自主系統的信任,即其行動的可解釋性。當我們可以理解導致人工智能獲得結果的原因時,一個算法被認為是可解釋的。一般來說,目前可解釋的ML算法(XAIs)能夠報告相對簡單的決定,例如指出圖像的哪些區域被用來確定它是一個蘋果。關于RL,為算法的可解釋性設想了幾條途徑。
讓我們細化前面的觀點,像一些作者那樣考慮人工智能算法的區別,這些算法不僅是可解釋的,而且是可解釋的。事實上,為了解釋它們的推理,已經建立了一些后驗算法,但它們并不能幫助理解初始算法的 "黑匣子"。出于這個原因,人們正在對可解釋的人工智能方面進行研究,這樣就可以說明導致輸出的不同推理步驟[24]。即使DRL算法的參數數量非常大,仍然是廣泛實施這種方法的技術障礙,但可以預期在這個領域會有明顯的進展。
對受DRL支配的自主系統有信心的第二個論據是測試期間的性能測量。事實上,即使目前關于人工智能可解釋性的知識狀況不允許完美地理解算法是如何達到其輸出的,但實踐中的結果是好的,表明有非常大的發展潛力。
對其他問題進行歸納的能力。首先,用戶對人工智能技術的信心可以建立在算法解決其他問題的良好能力上,或多或少有些類似。例如,眾所周知,Deepmind的AlphaFold 2 DRL算法在預測蛋白質結構方面特別出色[25]。這種優秀的聲譽源于該算法的大量已發表的測試研究,這讓該領域的大多數科學家對其給予了極大的肯定。雖然蛋白質結構預測與自主無人機的使用無關,但將蛋白質中單個原子的放置與無人機在協作作戰任務中的放置相提并論是很容易和有意義的。在前一種情況下使用DRL,以及所獲得的結果,也有可能使最終用戶對DRL應用于另一個領域的潛力充滿信心。
算法驗證。然而,與經典的ML算法不同,不可能在RL中實現我們在第一部分討論的驗證測試。這是因為所涉及的數據是隨時間變化的,而且所提出的問題也是不同的。要限定所識別的對象是否被正確預測是很容易的(是的,它是一個蘋果,或者不是,它是一個梨子)。另一方面,量化無人機和飛機之間合作的成功要微妙得多:許多標準必須被評估(無人機的定位、它們的速度、它們不同行動的時間)。因此,RL算法的性能測量是通過建立針對要解決的任務的指標來完成的。例如,對于負責訪問一個空間區域的無人機來說,比較正確識別目標的比例、任務完成時間或其他更精確的指標是相關的,這取決于情況和要解決的具體問題。
爭取在RL中實現更好的可重復性。最近還強調了RL算法的一個臭名昭著的問題,即當一些研究人員想要復制他們同事的結果時,一些算法的不穩定性[26]。實驗的可重復性是科學中的一個基本問題,因為它構成了被測試定律(例如,萬有引力定律)的有效性證明。在這里,算法性能的證明之一是可以讓它多次承受相同的情況,并在不同的迭代中獲得非常相似的結果。為了克服缺乏可重復性的問題,新的算法開發框架、新的測試程序和明確的指導方針已經到位,使科學和開發團隊對他們的結果有了更大的信心。
優化人機互動
人機協作是現代(協作)戰爭的核心,但人類和智能機器之間的成功協作主要取決于信任。然而,安全與新興技術中心對自主性和人工智能相關的研究[27]發現,在美國軍方的科技項目投資中,789個自主性相關項目中只有18個,287個人工智能相關項目中只有11個提到 "信任 "一詞。研究人員沒有直接研究信任,而是將開發更透明、可解釋和可靠的人工智能作為優先事項。這些努力對于培養人機團隊的信任是必要的,但技術驅動的解決方案并不總是考慮這個等式中的人類因素。
對高性能技術的不充分信任會導致人工智能系統的使用不足或廢棄,而對有限的或未經測試的系統的過度信任會導致對人工智能的過度依賴。這兩種情況在軍事背景下都有獨特的風險,包括事故、友軍交火、對平民的意外傷害和附帶損害。為了讓士兵對自主系統有信心,他們必須知道系統在遇到障礙物時將會做什么。從系統工程的角度來看,這意味著要指定和實施一些能力,如通過假設查詢和信息交流進行信息檢索,以便系統能夠以人類操作者容易理解的方式解釋其推理和行為。換句話說,"在系統中建立信任 "是一種以技術為中心的方法,通過改善與信任密切相關的系統特性和能力,如透明度、可解釋性和可靠性,來建立人機團隊的信任。
DARPA的Squad X計劃[28]將美國陸軍和海軍陸戰隊的步兵小隊與配備先進傳感設備的無人地面和空中飛行器配對,以提高敵對環境中作戰人員的態勢感知和決策。X小隊在2019年初進行的一系列實驗[29]的主要收獲之一是,將人工智能納入任務的規劃和演練階段非常重要。這樣做,士兵可以 "在如何信任人工智能方面進行搏斗"。最終,目標是讓人類作戰人員更好地了解這些自主系統在戰場上的表現,并對它們作為未來任務中的伙伴更有信心。
要怎樣才能讓人們信任技術?在使用先進系統時,一些個人或群體是否更有可能感到自信,而另一些人則更不情愿?人機團隊的部署環境如何影響信任?認知科學、神經科學、心理學、通信、社會科學以及其他研究人類對技術的態度和經驗的相關領域的見解為這些問題提供了寶貴的啟示[30]。
解決道德問題
"殺手機器人 "一直引起人們對潛在自主能力的恐懼[31]。法國國防倫理委員會在2021年批準在武器系統中引入一定程度的自主能力[32]。在法國,沒有辦法授權 "殺手機器人"。這一表述指的是LAWS(致命性自主武器系統)。這只是證實了法國幾年來在這個問題上的立場。但事情很復雜,倫理委員會認為不反對引入一定程度的自主權,因此不反對使用PAWLS(部分自主武器致命系統)。將LAWS與PAWLS區分開來的是 "性質上的差異,這與人類在某些關鍵功能中的地位有關"。致命武器系統的設計是為了演化出自己的操作規則,并自行重新定義其任務。它們不需要指揮部對情況的評估。PAWLS可以自主地被賦予某些任務的責任和執行,但只是暫時的,而且只用于識別、分類、攔截或接觸任務。道德委員會明確表示,它不能在沒有人類控制的情況下采取致命的舉措。即使在這個限制性框架內,也必須制定技術和組織保障措施,以防止任何過度行為。委員會認為,應繼續在與國防有關的人工智能和武器系統自動化領域進行研究。其目的是避免任何 "科學和技術上的放棄",防止對手開發致命性自主武器,并在對手使用這種武器時進行防御。
自主系統不應
G1. 為自主軍事系統上嵌入式人工智能的操作使用案例制定并提供一個法律框架。
G2. 確保在所有情況下都有人類的監督,有人類在環形系統。
G3. 保證在發生事故時的責任追溯。這種責任必須始終由人承擔,而不是由機器承擔。
G4. 開發符合人體工程學的人機界面,允許人與機器之間的對話和理解。
G5. 開發穩健、安全、準確、可重復和可靠的算法,以及評估這些標準的方法。
G6. 為與人工智能互動的軍事人員建立培訓計劃,讓他們了解這些算法的機制、能力和局限性。
G7. 通過對算法、數據和設計過程的評估,確保責任、問責和可審計性。
G8. 制定技術評估程序,以評估對上述準則的遵守情況。
G9. 加快歐洲在人工智能技術方面的培訓工作,特別是針對學術和工業環境的DRL。
G10. 加快歐洲在整合人工智能的國防系統方面的立法工作,以保持歐洲在這一法律方面的領先地位,并確認其在這一領域的領先形象。
G11. 發展國際合作,在自主系統領域進行立法。
G12. 促進研究人員、哲學家、律師、政治家和業務人員之間關于自主系統的對話。
G13. 在有關國防人工智能的研究和應用項目中始終包括信任的概念。
G14. 對協同作戰的未來利害關系有一個明確而具體的看法,以便將人和他們的利益置于系統的中心。
人工智能解決方案在陸軍野戰應用中的使用將在很大程度上依賴于機器學習(ML)算法。當前的ML算法需要大量與任務相關的訓練數據,以使其在目標和活動識別以及高級決策等任務中表現出色。戰場數據源可能是異構的,包含多種傳感模式。目前用于訓練ML方法的開源數據集在內容和傳感模式方面都不能充分反映陸軍感興趣的場景和情況。目前正在推動使用合成數據來彌補與未來軍事多域作戰相關的真實世界訓練數據的不足。然而,目前還沒有系統的合成數據生成方法,能夠在一定程度上保證在此類數據上訓練的ML技術能夠改善真實世界的性能。與人工生成人類認為逼真的語音或圖像相比,本文為ML生成有效合成數據提出了更深層次的問題。
人工智能(AI)是美國國防現代化的優先事項。美國國防部的人工智能戰略指示該部門加快采用人工智能并創建一支適合時代的部隊。因此,它自然也是陸軍現代化的優先事項。從陸軍多域作戰(MDO)的角度來看,人工智能是解決問題的重要因素,而MDO是建立在與對手交戰的分層對峙基礎上的。雖然人工智能本身沒有一個簡明和普遍接受的定義,但國防部人工智能戰略文件將其稱為 "機器執行通常需要人類智能的任務的能力--例如,識別模式、從經驗中學習、得出結論、進行預測或采取行動--無論是以數字方式還是作為自主物理系統背后的智能軟件"。這句話的意思是,當機器在沒有人類幫助的情況下獨立完成這些任務時,它就表現出了智能。過去十年中出現的人工智能解決方案的一個重要方面是,它們絕大多數都符合模式識別模式;在大多數情況下,它們根據經過訓練的人工神經網絡(ANN)對相同輸入數據的輸出結果,將輸入數據分配到數據類別中。具體來說,深度學習神經網絡(DNN)由多層人工神經元和連接權重組成,最初在已知類別的大量數據上進行訓練以確定權重,然后用于對應用中的實際輸入數據進行分類。因此,機器學習(ML),即自動機(這里指DNN)在訓練階段學習模式的過程,一直是一個主導主題。事實上,DNN在計算機視覺領域的成功是商業和政府部門加大對人工智能關注和投資的原因。訓練算法和軟件開發工具(如tensorflow)的進步、圖形處理器(GPU)等計算能力的可用性,以及通過社交媒體等途徑獲取大量數據,使得深度學習模型在許多應用中得到了快速探索。
在監督學習中,人類專家創建一組樣本來訓練ML算法,訓練數據與實際應用數據的接近程度對人工智能方法的性能起著重要作用。將ML模型應用于軍事問題的主要瓶頸是缺乏足夠數量的代表性數據來訓練這些模型。有人提出使用合成數據作為一種變通辦法。合成數據集具有某些優勢:
然而,最關鍵的問題是在合成數據或混合合成和真實數據上訓練ML模型是否能使這些模型在真實數據上表現良好。美國陸軍作戰能力發展司令部陸軍研究實驗室的研究人員和合作者使用合成生成的人類視頻進行機器人手勢識別所獲得的初步結果表明,在合成數據和真實數據混合的基礎上進行訓練可以提高ML手勢識別器的性能。然而,并沒有普遍或分類的結果表明,當全部或部分使用合成數據進行訓練時,真實世界的ML性能會得到一致的提高。因此,有必要進行系統調查,以確定使用合成數據訓練ML方法的可信度。我們有理由假設,合成數據在提高ML性能方面的有效性將受到實際應用領域、合成數據與真實數據的保真度、訓練機制以及ML方法本身等因素的影響。合成數據與真實數據的保真度反過來又取決于數據合成方法,并提出了通過適當指標評估保真度的問題。以圖像為例,合成數據訓練的ML方法的性能與人類視覺感知的真實場景的保真度是否成正比并不清楚。有可能數據的一些關鍵特征對于ML的性能比那些影響人類感知的特征更為重要。組織這次陸軍科學規劃和戰略會議(ASPSM)的一個主要目的是讓合成數據生成、人工智能和機器學習(AI & ML)以及人類感知方面的頂尖學術界和國防部專家討論這些問題。會議的技術重點主要是圖像和視頻數據,反映了組織者在計算機視覺和場景感知方面的任務領域。
根據上一節提出的問題,會議圍繞三個主題展開:
1.人類的學習和概括: 人類可以從最小的抽象和描述概括到復雜的對象。例如,在許多情況下,觀察一個物體的卡通圖像或線描,就足以讓人類在真實場景中識別出實際的三維物體,盡管后者比卡通圖像或線描具有更復雜的屬性。 這遠遠超出了當前人工智能和ML系統的能力。如果能夠開發出這種能力,將大大減輕數據合成機器的負擔,確保真實數據的所有屬性都嚴格保真。這個例子也說明了一個事實,即用于訓練ML模型的合成數據生成研究與提高ML模型本身的能力密切相關。因此,這項研究的重點是探索人類和動物的學習,以啟發ML和數據合成的新方法。
2.數據合成方法和驗證: 大多數應用ML方法的領域都有針對其領域的數據合成技術和工具。游戲平臺提供了一個流行的視頻合成商業范例。問題是如何評估特定領域中不同合成方法的性能。顯然,我們必須確定執行此類評估的指標或標準。通常情況下,合成工具的作者也會就工具的性能或功效發表聲明。驗證將是評估此類聲明的過程。本研究的目的是探討指導合成和驗證過程的原則。合成技術的例子包括基于計算機圖形的渲染器(如電影中使用的)、基于物理的模擬(如紅外圖像)和生成模型(目前傾向于基于神經網絡)。
3.領域適應挑戰: ML中的領域適應是指使用一個領域(稱為源領域)的數據訓練ML模型,然后將ML應用于不同但相關領域(稱為目標領域)的數據。例如,使用主要為民用車輛的源圖像數據集訓練識別車輛的ML算法,然后使用訓練好的算法識別主要為軍用車輛的目標數據集中的車輛。在使用合成數據進行訓練時,它們通常構成源域,而實際應用數據則是目標域。本次會議的重點是確定和討論有效領域適應中的關鍵問題和挑戰。
ASPSM的審議分四次會議進行。第一天的兩場會議討論了前兩個主題。第二天的第一場會議討論第三個主題,第二場會議在三個主題下進行分組討論。ASPSM兩天的日程安排分別如圖1和圖2所示。從圖中可以看出,每個主題會議首先由該領域的學術專家進行40分鐘的主講,然后由大學專家進行兩個20分鐘的講座。隨后由來自學術界和國防部的專家組成的小組進行討論。最后一個環節是分組討論,與會者可以討論與主題相關的各個方面。
麻省理工學院電子工程與計算機科學系的Antonio Torralba教授在第一分會場發表了關于人類學習與泛化的主題演講。他的演講題目是 "從視覺、觸覺和聽覺中學習",深入探討了深度學習方法如何在不使用大量標注訓練數據的情況下發現有意義的場景表征。舉例說明了他們的DNN如何在視覺場景和環境中的聲音之間建立聯系。讀者可參閱Aytar等人關于這一主題的代表性文章。
同樣來自麻省理工學院的James DiCarlo博士的下一個演講題目是 "視覺智能逆向工程"。他將 "逆向工程 "定義為根據對行為的觀察和對輸入的反應推斷大腦的內部過程,將 "正向工程 "定義為創建ANN模型,以便在相同輸入的情況下產生相應的行為。他的研究小組的一個目標是建立神經認知任務的性能基準,人類或其他靈長類動物以及ML模型可以同時達到這些基準。他的演講展示了大腦處理模型如何適應ANN實現的初步結果,并提出了ANN通過結合這些適應密切模擬人類行為,進而準確描述大腦功能的理由。
第一場會議的第三場講座由加州大學伯克利分校的Jitendra Malik教授主講,題為 "圖靈的嬰兒"。這個題目也許是指最早的電子存儲程序計算機之一,綽號 "寶貝",其創造者之一受到了阿蘭-圖靈的啟發。馬利克教授首先引用了圖靈的觀點:與其創建一個模擬成人思維的程序,不如從模擬兒童思維開始。從本質上講,這意味著創造一種人工智能,通過與環境互動以及向其他人工智能和人類學習來學習和成長。這被稱為具身機器智能。馬利克教授認為,監督學習本質上是處理靜態數據集,因此顯示了在精心策劃的時間點上運行的非實體智能。具體而言,他認為監督訓練方法不適合創建能夠提供人類水平的世界理解,特別是人類行為理解的人工智能。Malik教授介紹了 "Habitat",這是一個由他和他的合作者開發的平臺,用于嵌入式人工智能的研究。在隨后的小組討論中,與會人員討論了演講者所涉及的主題,以及與機器人學習和當前兒童智力發展模型相關的主題。
第二部分“數據合成:方法和驗證”以一個題為“學習生成還是生成學習?”,作者是斯坦福大學的Leonidas gu教授。在研究用于訓練ML的合成數據生成的動機中,他指出可以減輕大量人工注釋訓練數據的負擔。他的前提是,無論合成數據是用于訓練ML還是供人類使用,其生成效率和真實性都非常重要。不過,他表示其他質量指標還沒有得到很好的定義,需要進一步研究。他舉例說明了在混合合成數據和真實數據上訓練ML時,ML的物體識別性能有所提高,但他也承認很難得出可推廣的結論。
卡內基梅隆大學的Jessica Hodgins博士發表了第二場會議的第二個演講,題為 "生成和使用合成數據進行訓練"。演講展示了她的研究小組生成的精細合成場景。利用從真實場景到合成場景的風格轉移過程,她的研究小組創造了一些實例,說明在混合了大量風格適應的合成數據和一些真實數據的基礎上進行訓練的ML方法的性能優于僅在真實數據集或僅在合成數據集上進行訓練的方法。性能提高的原因在于風格轉移克服了合成數據集與真實數據集之間的 "分布差距"。
第二場會議的最后一場講座由加州大學伯克利分校的Trevor Darrell教授主講。他的演講題為 "生成、增強和調整復雜場景",分為三個部分。第一部分詳細介紹了演講者及其核心研究人員開發的一種名為 "語義瓶頸場景生成 "的技術,用于根據地面實況標簽合成場景。該技術可進一步與通過生成過程生成此類地面標簽的模型相結合。Azadi等人對該技術進行了詳細描述。 第二部分涉及增強和自我監督學習。發言人提出,當前的對比學習方法在合成增強數據時建立了不變量,而這些不變量可能是有益的,也可能是無益的。例如,建立旋轉不變性可能有利于識別場景中的花朵,但可能會阻礙對特定方向物體的有效識別。演講者介紹了他的研究小組考慮具有特定不變性的多種學習路徑的方法,并展示了與現有技術相比性能有所提高的結果。 第三部分介紹了一種名為 "Tent"(測試熵)的技術。其前提是DNN應用過程中遇到的數據分布可能與訓練數據不同,從而導致性能下降。因此,需要對DNN參數進行實時或測試時調整,以防止性能下降。Tent技術通過調整權重使DNN輸出的測量熵最小化來實現這一目標。演講者隨后用常用數據集展示了該技術相對于先前方法的改進性能。隨后的小組討論涉及合成方面的挑戰,尤其是紅外圖像方面的挑戰。
第二天的第三場會議以 "領域轉移的挑戰 "開始。約翰霍普金斯大學布隆伯格特聘教授Rama Chellappa博士發表了題為 "解決美國防部實際問題的綜合數據期望與最大化"的演講。演講首先回顧了過去二十年來國防部處理合成圖像的多個項目的歷史。他提出了一個重要論斷,即如果在合成過程中考慮到真實數據的物理特性,那么真實數據和合成數據之間的領域轉換就會減少。Chellappa教授還就領域自適應表示法提供了快速教程,涵蓋了正規數學方法以及較新的生成對抗網絡(GANs)。演講者及其核心研究人員開發的基于GAN的方法可以修改合成數據的分布,使之與目標分布相匹配。講座舉例說明了這種方法優于之前的非GAN方法。
佐治亞理工學院的Judy Hoffman教授發表了題為 "從多個數據源進行泛化的挑戰 "的演講。她考慮的問題是在模擬中學習模型,然后將模型應用于現實世界。她指出了四個挑戰: 生成、列舉、泛化和適應。發言人介紹了應對這些挑戰的幾種不同方法。具體來說,用于泛化的特定領域掩碼(DMG)方法通過平衡特定領域和領域不變特征表征來生成一個能夠提供有效領域泛化的單一模型,從而解決多源領域學習問題。
第三場會議的第三位也是最后一位演講者是波士頓大學的Kate Saenko教授,他的演講題目是 "圖像分類和分割的Sim2Real領域轉移的最新進展和挑戰"。Saenko教授延續了前兩場講座的主題,介紹了視覺領域適應的歷史,并探討了領域和數據集偏差問題。在糾正數據集偏差的不同方法中,講座詳細討論了領域適應。特別重要的是,Saenko教授及其合作者開發的技術能夠顯示合成到真實的適應性,就像從游戲引擎到真實數據一樣。隨后的小組討論提出了幾個有趣的問題,包括訓練域和測試域的不同,不是感興趣的對象不同,而是對象所處的環境不同,例如訓練時軍用車輛在沙漠環境中,而測試時則在熱帶植被背景中。
三個主題的分組討論同時進行。在 "人類學習與泛化 "分組討論中,首先討論了 "人類如何學習?"、"ML模型如何模仿人類過程?"以及 "合成數據如何實現這些過程?"等問題。從童年到青春期和成年期,學習和成長之間的關系成為關鍵點。其他被認為有助于人類學習的因素包括人類心理、情感、同時參與多維活動、記憶以及解除學習的能力。
關于 "數據綜合: 方法與驗證 "分論壇確定了數據合成的幾個問題,特別是圖像和視頻。主要問題涉及結合物理學的有用性、視覺外觀保真度與成本之間的權衡、保真度的衡量標準、保真度本身的重要性以及當前技術(包括GANs技術)的局限性。據觀察,合成圖像和視頻生成至少已有幾十年的歷史,但大多數產品要么是為視覺效果而設計,要么是為再現物理測量而設計(例如,紅外模擬中的輻射剖面)。它們并不適合用于ML培訓。提出的另一個問題是,合成的二維圖像必須與物體和環境的底層三維幾何圖形保持一致。還有人提出,能夠在特定的感興趣的環境中生成大量合成數據,可以作為第一道工序測試新的人工智能和ML方法,而不管這些方法是否能夠在真實數據中很好地工作。
專題3 "領域轉移挑戰 "的分組討論確定了MDO所需的關鍵人工智能能力,即從孤立學習到機器與人類之間的聯合或協作學習。會議還討論了在多種數據模式下同時訓練ML的聯合學習。人們認識到,這些領域的工作才剛剛開始。分組討論的牽頭人強調,需要向士兵明確說明基于人工智能的系統在特定情況下將會做什么。這引發了對系統魯棒性的討論。分組組長向ASPSM聽眾提供了討論摘要。
根據本次ASPSM的討論,我們確定了以下值得陸軍進一步進行科技投資的領域:
1.支持多模式互動學習的合成技術和數據集。與當前流行的捕捉 "時間瞬間 "的靜態數據集(如農村環境中的車輛圖像)相比,有必要開發更能代表支持持續學習的體現性體驗的模擬器,就像我們在人類身上看到的那樣,并實現對世界更豐富的表征。混合方法(如增強現實)也可將人類監督的優勢與合成環境的靈活性結合起來。
2.學習和合成因果關系和層次關系的算法和架構。最近的一些方法,如基于圖的卷積神經網絡,已經在學習空間和時間的層次關系(如物體-部件和因果關系)方面顯示出前景。鑒于在現實世界中收集和注釋此類數據的復雜性,合成數據的生成可能特別有用。識別層次關系是一般國防部和戰場情報分析的關鍵要素。
3.支持持續、增量、多模態學習的算法和架構。深度強化學習方法被成功地用于訓練虛擬或機器人代理的相關行動策略,如捕食者與獵物之間的相互作用。基于模仿的方法承認學習的社會性,通常讓代理與(通常是人類)教師合作學習新策略。這些類型的交互式持續學習可進一步與多模態學習(即融合來自多個傳感器的數據)相結合,以實現更豐富的世界表征,使其更穩健、更具通用性。同樣,在這一領域難以獲得大量經過整理的數據,這也為探索合成引擎提供了動力。
4.學習物理或具備相關物理領域知識的算法和架構。在許多領域(例如紅外光下的物體感知),從圖像感知和合成圖像需要了解世界的基本物理特性,例如光與材料之間的相互作用。然而,當前的深度學習模型缺乏這種物理知識。開發賦予ML物理領域知識的技術對這些系統的性能至關重要。
5.具有豐富中間表征的領域適應技術。為了縮小真實數據和合成數據之間的領域差距,必須進一步推動當前建立領域不變中間表征的趨勢,特別是使用語義詞典和生成式對抗網絡。能夠理解數據底層結構(如光照、旋轉、顏色)的表征更有可能成功抽象出合成數據中不重要的細節。
6.深入了解ML模型內部表征的方法,以及合成表征與真實表征的比較。網絡剖析技術 "打開 "了深度學習模型的隱藏層,允許解釋網絡中的每個階段正在學習哪些特定概念或其更細的方面。這些技術揭示了具有真實輸入和合成輸入的DNN的內部表征,有助于識別所學內容的關鍵差異,從而找到克服這些差異的解決方案。
為期兩天的虛擬ASPSM吸引了眾多美國防部科學家和工程師、頂尖學術專家以及科技項目管理人員的熱情參與。多學科的討論強化了這樣一種觀點,即開發用于訓練ML方法的生成合成數據的改進方法與理解和改進ML方法本身是分不開的。一個特別重要的需求是了解ML方法,尤其是當前的學習架構,是如何創建場景的內部表示的。另外兩個重要領域是:1)理解人類學習與ML世界中可能存在的學習之間的異同;2)多模態數據--從合成和ML的角度。我們預計近期國防部和學術研究人員將在本報告確定的領域加強合作。
這項工作比較了有監督的機器學習方法,使用來自建設性模擬的可靠數據來估計空戰期間發射導彈的最有效時刻。我們采用了重采樣技術來改進預測模型,分析了準確性、精確性、召回率和f1-score。事實上,我們可以識別出基于決策樹的模型的顯著性能和其他算法對重采樣技術的顯著敏感性。具有最佳f1分數的模型在沒有重采樣技術和有重采樣技術的情況下,分別帶來了0.379和0.465的數值,這意味著增加了22.69%。因此,如果可取的話,重采樣技術可以提高模型的召回率和f1-score,而準確性和精確性則略有下降。因此,通過建設性模擬獲得的數據,有可能開發出基于機器學習模型的決策支持工具,這可能會改善BVR空戰中的飛行質量,提高攻擊性任務對特定目標的打擊效果。
現代戰爭越來越多地在信息環境中進行,通過開源媒體使用欺騙和影響技術。北約國家的政府、學術界和工業界已經通過開發各種創新的計算方法,從大量的媒體內容中提取、處理、分析和可視化有意義的信息來做出回應。然而,目前仍不清楚哪些(組合)工具能滿足軍事分析人員和操作人員的要求,以及是否有些要求仍未得到滿足。為此,加拿大DRDC和荷蘭TNO啟動了一項合作,以開發一個標準化和多方位的媒體分析需求圖。本文介紹了該合作的第一階段所完成的工作。具體來說, (1) 開發了一個可能的媒體分析工具功能框架;(2) 收集了CAN和NLD利益相關者的當前用戶需求;以及(3) 分析了差距,以顯示哪些用戶需求可以通過哪些功能來滿足。這個項目直接建立在SAS-142的基礎上,通過使用互聯網開發科學和技術評估框架(FIESTA)。本文說明了FIESTA在兩個突出的媒體分析能力中的應用:(1)情緒分析和(2)敘事分析。研究結果表明,盡管這些能力有一些獨特的功能,但它們有非常多的共同功能。因此,研究和開發工作可以通過專注于獨特(新穎)的功能,同時回收多用途的功能而得到優化。通過將FIESTA應用于多種媒體分析能力并與多個北約國家合作,這些效率的提高可以成倍增加。
在決策或推理網絡中進行適當的推理,需要指揮官(融合中心)對每個下屬的輸入賦予相對權重。最近的工作解決了在復雜網絡中估計智能體行為的問題,其中社會網絡是一個突出的例子。這些工作在各種指揮和控制領域具有相當大的實際意義。然而,這些工作可能受限于理想化假設:指揮官(融合中心)擁有所有下屬歷史全部信息,并且可以假設這些歷史信息之間具有條件統計獨立性。在擬議的項目中,我們打算探索更普遍的情況:依賴性傳感器、(可能的)依賴性的未知結構、缺失的數據和下屬身份被掩蓋/摻雜/完全缺失。對于這樣的動態融合推理問題,我們建議在一些方向上擴展成果:探索數據源之間的依賴性(物理接近或 "群體思維"),在推理任務和量化不一定匹配的情況下,采用有用的通信策略,甚至在每個測量源的身份未知的情況下,采用無標簽的方式--這是數據關聯問題的一種形式。
我們還認識到,對動態情況的推斷是關鍵目標所在。考慮到一個涉及測量和物理 "目標 "的傳統框架,這是一個熟悉的跟蹤問題。但是,來自目標跟蹤和多傳感器數據關聯的技術能否應用于提取非物理狀態(物理狀態如雷達觀察到的飛機)?一個例子可能是恐怖主義威脅或作戰計劃--這些都是通過情報報告和遙測等測量手段從多個來源觀察到的,甚至可能被認為包含了新聞或金融交易等民用來源。這些都不是標準數據,這里所關注的動態系統也不是通常的運動學系統。盡管如此,我們注意到與傳統的目標追蹤有很多共同點(因此也有機會應用成熟的和新興的工具):可能有多個 "目標",有雜波,有可以通過統計學建模的行為。對于這種動態系統的融合推理,我們的目標是提取不尋常的動態模式,這些模式正在演變,值得密切關注。我們特別建議通過將雜波建模為類似活動的豐富集合,并將現代多傳感器數據關聯技術應用于這項任務,來提取特征(身份)信息。
研究的重點是在具有融合觀測的動態系統中進行可靠推理。
1.決策人身份不明。在作戰情況下,融合中心(指揮官)很可能從下屬那里收到無序的傳感器報告:他們的身份可能是混合的,甚至完全沒有。這種情況在 "大數據 "應用中可能是一個問題,在這種情況下,數據血統可能會丟失或由于存儲的原因被丟棄。前一種情況對任務1提出了一個有趣的轉折:身份信息有很強的先驗性,但必須推斷出身份錯誤的位置;建議使用EM算法。然而,這可能會使所有的身份信息都丟。在這種情況下,提出了類型的方法來完成對局部(無標簽)信念水平和正在進行的最佳決策的聯合推斷。
2.動態系統融合推理的操作點。在以前的支持下,我們已經探索了動態事件的提取:我們已經開發了一個合理的隱馬爾科夫模型,學會了提取(身份)特征,有一個多伯努利過濾器啟發的提取方法 - 甚至提供了一些理論分析。作為擬議工作的一部分,將以兩種方式進行擴展。首先,打算將測量結果作為一個融合的數據流,這些數據來自必須被估計的未知可信度的來源。第二,每個這樣的信息源必須被假定為雜亂無章的 "環境 "事件(如一個家庭去度假的財務和旅行足跡),這些事件雖然是良性的,可能也不復雜,但卻是動態的,在某種意義上與所尋求的威脅類似。這些必須被建模(從數據中)和抑制(由多目標追蹤器)。
3.數據融合中的身份不確定性。當數據要從多個來源融合時,當這些數據指的是多個真相對象時,一個關鍵的問題是要確定一個傳感器的哪些數據與另一個傳感器的哪些數據相匹配:"數據關聯 "問題。實際上,這種融合的手段--甚至關聯過程的好方法--都是相當知名的。缺少的是對所做關聯的質量的理解。我們試圖提供這一點,并且我們打算探索傳感器偏差和定位的影響。
4.具有極端通信約束的傳感器網絡。考慮由位置未知、位置受漂移和擴散影響的傳感器網絡進行推理--一個泊松場。此外,假設在這樣的網絡中,傳感器雖然知道自己的身份和其他相關的數據,但為了保護帶寬,選擇不向融合中心傳輸這些數據。可以做什么?又會失去什么?我們研究這些問題,以及評估身份與觀察的作用(在信息論意義上)。也就是說,假設對兩個帶寬相等的網絡進行比較;一個有n個傳感器,只傳輸觀察;另一個有n/2個傳感器,同時傳輸數據和身份。哪一個更合適,什么時候更合適?
5.追蹤COVID-19的流行病狀況。誠然,流行病學并不在擬議研究的直接范圍內,但考慮到所代表的技能以及在目前的健康緊急情況下對這些技能的迫切需要,投機取巧似乎是合理的。通過美國和意大利研究人員組成的聯合小組,我們已經證明,我們可以從當局提供的每日--可能是不確定的--公開信息中可靠地估計和預測感染的演變,例如,每日感染者和康復者的數量。當應用于意大利倫巴第地區和美國的真實數據時,所提出的方法能夠估計感染和恢復參數,并能很準確地跟蹤和預測流行病學曲線。我們目前正在將我們的方法擴展到數據分割、變化檢測(如感染人數的增加/減少)和區域聚類。
多種類無人駕駛飛行器(UAV)的使用越來越重要。因此,人類和機器人之間的互動及其互動設計變得越來越重要,特別是在戰場上的軍事偵察。然而,越來越大的無人機蜂群導致許多需要解決的挑戰,例如,具有高動態的復雜情況增加了對用戶的要求。在這項工作中,研究了以應用為導向的人類與蜂群互動的展示方案,其重點是作戰管理系統中的蜂群。在一項文獻調查中,確定了潛在的應用和當單個操作者監控作為高度自動化系統的大型蜂群時可能出現的挑戰。此外,還確定了已經存在的設計準則。基于這些結果,為獲得全面的態勢感知,對蜂群的可視化的四種不同布局進行了原型設計。
根據收集到的文獻,定義了四種群組可視化的布局。這些都是在原型人機界面中實現的。可視化的重點是戰斗管理系統中的蜂群。人機交互是通過傳統的顯示器和鼠標/鍵盤或觸摸控制實現的。首先,介紹了四個布局,之后解釋了不同的組件。
基于蜂群的顯示器將整個蜂群作為一個單元來顯示,而不是每個智能體單獨顯示(見圖2-2)。用戶通過高級命令控制整個蜂群,蜂群則自行組織。仍然可以從蜂群中分離出個別的智能體,或發送個別的命令;這些可以單獨顯示或啟用。
在過去的幾年里,人工智能(AI)系統的能力急劇增加,同時帶來了新的風險和潛在利益。在軍事方面,這些被討論為新一代 "自主"武器系統的助推器以及未來 "超戰爭 "的相關概念。特別是在德國,這些想法在社會和政治中面臨著有爭議的討論。由于人工智能在世界范圍內越來越多地應用于一些敏感領域,如國防領域,因此在這個問題上的國際禁令或具有法律約束力的文書是不現實的。
在決定具體政策之前,必須對這項技術的風險和好處有一個共同的理解,包括重申基本的道德和原則。致命力量的應用必須由人指揮和控制,因為只有人可以負責任。德國聯邦國防軍意識到需要應對這些發展,以便能夠履行其憲法規定的使命,即在未來的所有情況下保衛國家,并對抗采用這種系統的對手,按照其發展計劃行事。因此,迫切需要制定概念和具有法律約束力的法規,以便在獲得利益的同時控制風險。
本立場文件解釋了弗勞恩霍夫VVS對當前技術狀況的看法,探討了利益和風險,并提出了一個可解釋和可控制的人工智能的框架概念。確定并討論了實施所提出的概念所需的部分研究課題,概述了通往可信賴的人工智能和未來負責任地使用這些系統的途徑。遵循參考架構的概念和規定的實施是基于人工智能的武器系統可接受性的關鍵推動因素,是接受的前提條件。
"可預測性 "和 "可理解性 "被廣泛認為是人工智能系統的重要品質。簡單地說:這種系統應該做他們被期望做的事情,而且他們必須以可理解的理由這樣做。這一觀點代表了關于致命性自主武器系統(LAWS)和其他形式軍事人工智能領域新興技術辯論的許多不同方面的一個重要共同點。正如不受限制地使用一個完全不可預測的致命性自主武器系統,其行為方式完全無法理解,可能會被普遍認為是不謹慎的和非法的,而使用一個完全可預測和可理解的自主武器系統--如果存在這樣的系統--可能不會引起許多核心的監管問題,這些問題是目前辯論的基礎。
這表明,最終為解決致命性自主武器系統和其他形式的人工智能在軍事應用中的使用而采取的任何途徑,都必須考慮到有時被稱為人工智能的 "黑盒困境"。事實上,遵守現有的國際人道主義法(IHL),更不用說假設的新法律,甚至可能取決于具體的措施,以確保致命性自主武器系統和其他軍事人工智能系統做他們期望做的事情,并以可理解的理由這樣做。然而,在關于致命性自主武器系統和軍事人工智能的討論中,可預測性和可理解性尚未得到與如此重要和復雜的問題相稱的那種詳細介紹。這導致了對人工智能可預測性和可理解性的技術基礎的混淆,它們如何以及為什么重要,以及可能解決黑匣子困境的潛在途徑。
本報告試圖通過提供有關這一主題的共同知識基線來解決這些模糊不清的問題。第1節和第2節解釋了說一個智能系統是 "可預測的 "和 "可理解的"(或者相反,是 "不可預測的 "和 "不可理解的")的確切含義,并說明有各種類型的可理解性和可預測性,它們在重要方面有所不同。第3節描述了可預測性和可理解性將成為致命性自主武器系統和其他軍事人工智能在其開發、部署和使用后評估的每個階段的必要特征的具體實際原因。第4節列出了決定每個階段所需的適當水平和類型的可預測性和可理解性的因素。第5節討論了為實現和保證這些水平的可預測性和可理解性可能需要的措施--包括培訓、測試、標準和可解釋人工智能(XAI)技術。結論是為政策利益相關者、軍隊和技術界提出了進一步調查和行動的五個途徑。
人工智能的不可預測性有三種不同的意義:一個系統的技術性能與過去的性能一致或不一致的程度,任何人工智能或自主系統3的具體行動可以(和不能)被預期的程度,以及采用人工智能系統的效果可以被預期的程度。
可預測性是一個系統的技術特征、系統所處的環境和對手的類型以及用戶對它的理解程度的函數。
可理解性是基于一個系統內在的可解釋性以及人類主體的理解能力。一個智能系統可以通過多種方式被 "理解",并不是所有的方式都建立在系統的技術方面或人類的技術素養之上。
可預測性不是可理解性的絕對替代品,反之亦然。高可預測性和高可理解性的結合,可能是安全、謹慎和合規使用復雜的智能或自主軍事系統的唯一最佳條件。
可預測性和可理解性是自主武器和其他形式的軍事人工智能的必要品質,這在其整個開發、使用和評估過程中有著廣泛的原因。
這些系統中可預測性和可理解性的適當水平和類型將因一系列因素而大不相同,包括任務的類型和關鍵性、環境或輸入數據的種類,以及評估或操作系統的利益相關者的類型。
在軍事人工智能系統中實現并確保適當的可預測性和可理解性的潛在方法可能會涉及與培訓、測試和標準有關的工作。建立XAI的技術研究工作也提供了一些希望,但這仍然是一個新的領域。
現代戰術戰爭需要迅速而有效的決策和行動,以便在經常是高度動態和復雜的戰區保持競爭優勢。需要考慮的因素的數量因不確定性、事件的快速發展和人為錯誤的風險而放大。自動化、人工智能和博弈論方法的潛在應用可以為作戰人員提供認知支持。這項研究以自動兵棋推演輔助決策的形式探索了這些應用。該團隊為這個未來的系統開發了一個概念設計,并將其稱為兵棋推演實時人工智能輔助決策(WRAID)能力。
頂點項目的目標是探索自動化、人工智能和博弈論的應用,作為支持未來WRAID能力的方法。該團隊為WRAID能力開發了需求、概念設計和操作概念。該小組確定并探索了可能對未來實施WRAID能力構成障礙的挑戰性領域。該小組調查了與使用人工智能來支持戰爭決策有關的倫理挑戰和影響。
本報告首先對與WRAID能力相關的主題進行文獻回顧。文獻回顧從人工智能的回顧開始,提供了一個關于人工智能如何工作以及它能夠完成什么類型任務的概述。文獻綜述探討了人機協作的方法,以支持未來指揮官和人類用戶與WRAID系統之間的互動。需要翻譯指揮官的意圖,并讓WRAID將有意義的輸出傳達給指揮官,這需要一個強大的界面。審查包括傳統的兵棋推演,以研究目前的模擬兵棋推演是如何進行的,以便深入了解,未來的WRAID能力如何能夠實時復制兵棋推演的各個方面,并認為以前的兵棋推演可以為人工智能和機器學習(ML)算法的發展提供訓練數據。ML算法的訓練需要大量的代表性數據。文獻回顧研究了人類的認知負荷,以深入了解人類大腦的認知技能和上限;并確定人類思維的極限,以顯示人工智能可能提供的支持。文獻綜述中涉及的最后一個主題是,傳統的計劃和決策,以了解目前在軍事上如何制定戰術行動方案。
該小組進行了需求分析和利益相關者分析,探索WRAID能力如何支持作戰人員。該小組在需求分析的基礎上為WRAID系統開發了一套需求。這些要求被歸類為:硬件/軟件,人機界面,和道德規范。第一階段的分析結果包括 (1)戰爭的復雜性需要發展一種未來的WRAID能力,這種能力利用自動化方法,包括人工智能、ML和博弈論,(2)WRAID能力需要大量的計算能力和復雜的軟件算法,(3)實現未來WRAID系統的挑戰將是技術和道德的。
未來WRAID系統的概念設計是基于需求分析的。概念設計被記錄在一套系統模型中,包括背景圖、系統視圖、功能工作流程圖和操作視圖。該團隊開發了一個作戰場景,以支持對WRAID能力如何在作戰中使用。
在開發WRAID的過程中,預計會有一些路障。開發WRAID系統的技術是存在的,然而,研究小組發現數據挑戰、人工智能訓練、程序限制和當前系統工程的局限性將是需要解決的障礙。數據挑戰指的是獲得足夠的數據集的能力,這些數據集代表了訓練ML算法所需的真實世界的戰術行動和兵棋推演分析。程序性挑戰包括國防部實施網絡安全、機密數據、數據庫訪問和信息分配協議的能力。系統工程方面的障礙是需要新的方法來設計安全和可靠的人工智能系統,如WRAID能力。將需要SE方法來處理不可預見的故障模式,并在系統生命周期的早期確定根本原因。
對像WRAID能力這樣的人工智能系統的倫理考慮是系統發展的一個重要因素。開發系統以取代倫理學,將使系統更有可能被部署。有幾個有道德問題的自主武器系統被拉出來作為WRAID能力的道德對話的基礎。通過一個示例場景,對道德狀況進行定性分析,以了解在部署WRAID能力時可能出現的道德問題。倫理學在未來的技術中發揮著巨大的作用;從一開始就考慮到倫理學,建立技術是很重要的。
未來的重點需要放在繼續對想象中的WRAID系統采取正規的系統工程方法。WRAID系統需要一個強大的數據集,需要收集和注釋;收集的定性兵棋推演數據越多,WRAID系統的可行性和準確性就越高。與軍事部門的合作對于最大化WRAID的利益至關重要,例如情報和偵察組織。WRAID的模擬將是完善系統要求和創建現實模型的關鍵。關于如何使用WRAID的培訓和文檔應該同時開發,所以利益相關者,特別是指揮官已經準備好,知道如何使用這個新工具。未來的研究領域包括認知工程、基于正式模型的系統工程和人機協作。
隨著目前技術進步的速度和外國的目標,人工智能將在未來的沖突和戰爭中發揮作用。自上而下的指令將需要設計和實施WRAID能力:提供大量的資源,解決操作和文化變化,重組系統工程,并確保網絡安全和收購變化。實現未來的WRAID能力并不是一個微不足道的任務。然而,它對確保現在和未來的戰斗空間優勢至關重要。
人工智能是有望改變未來幾年戰爭面貌的眾多熱門技術之一。描述其可能性并警告那些在人工智能競賽中落后的人的文章比比皆是。美國防部已經創建了聯合人工智能中心,希望能在人工智能的戰斗中獲勝。人工智能的愿景是使自主系統能夠執行任務、實現傳感器融合、自動化任務以及做出比人類更好、更快的決策。人工智能正在迅速改進,在未來的某一天,這些目標可能會被實現。在此期間,人工智能的影響將體現在我們軍隊在無爭議的環境中執行的更平凡、枯燥和單調的任務上。
人工智能是一種快速發展的能力。學術界和工業界的廣泛研究正在縮短系統訓練時間并獲得越來越好的結果。人工智能在某些任務上很有效,例如圖像識別、推薦系統和語言翻譯。許多為這些任務設計的系統今天已經投入使用,并產生了非常好的結果。在其他領域,人工智能非常缺乏人類水平的成就。其中一些領域包括處理人工智能以前從未見過的場景;理解文本的上下文(理解諷刺,例如)和對象;和多任務處理(即能夠解決多種類型的問題)。今天的大多數人工智能系統都被訓練來完成一項任務,并且只在非常特定的情況下這樣做。與人類不同,它們不能很好地適應新環境和新任務。
人工智能模型每天都在改進,并在許多應用中顯示出它們的價值。這些系統的性能可以使它們在信息戰中展示出非凡的能力,諸如在衛星圖像中識別 T-90 主戰坦克、使用面部識別識別人群中的高價值目標、為開源情報翻譯文本以及文本生成等任務。人工智能最成功的應用領域是那些有大量標記數據的領域,如 Imagenet、谷歌翻譯和文本生成。 AI 在推薦系統、異常檢測、預測系統和競技游戲等領域也非常有能力。這些領域的人工智能系統可以幫助軍方在其承包服務中進行欺詐檢測,預測武器系統何時因維護問題而失效,或在沖突模擬中制定制勝策略。所有這些應用程序以及更多應用程序都可以成為日常操作和下一次沖突中的力量倍增器。
當軍方希望將人工智能在這些任務中的成功經驗納入其系統時,必須承認一些挑戰。首先是開發人員需要獲得數據。許多人工智能系統是使用由一些專家系統(例如,對包括防空炮臺的場景進行標注),通常是人類標注的數據進行訓練。大型數據集通常由采用人工方法的公司進行標注。獲得這種數據并分享它是一個挑戰,特別是對于一個喜歡對數據進行分類并限制其訪問的組織來說。一個軍事數據集的例子可能是由熱成像系統產生的圖像,并由專家進行標注,以描述圖像中發現的武器系統(如果有的話)。如果不與預處理器和開發人員共享,就無法創建有效使用該數據集的人工智能。人工智能系統也很容易變得非常大(因此很慢),并因此容易受到 "維度問題 "的影響。例如,訓練一個系統來識別現有的每一個可能的武器系統的圖像將涉及成千上萬的類別。這樣的系統將需要大量的計算能力和在這些資源上的大量專用時間。而且由于我們正在訓練一個模型,最好的模型需要無限量的這些圖像才能完全準確。這是我們無法實現的。此外,當我們訓練這些人工智能系統時,我們經常試圖強迫它們遵循 "人類 "的規則,如語法規則。然而,人類經常忽視這些規則,這使得開發成功的人工智能系統在情感分析和語音識別等方面具有挑戰性。最后,人工智能系統在沒有爭議的、受控的領域可以很好地工作。然而,研究表明,在對抗性條件下,人工智能系統很容易被愚弄,導致錯誤。當然,許多國防部的人工智能應用將在有爭議的空間運作,如網絡領域,因此,我們應該對其結果保持警惕。
忽略敵人在人工智能系統方面的努力,其靠此擊敗我們,因為這些看似超人類的模型也有局限性。人工智能的圖像處理能力在給定不同于其訓練集的圖像時并不十分強大--例如,照明條件差、角度不對或部分被遮擋的圖像。除非這些類型的圖像在訓練集中,否則模型可能難以(或無法)準確識別內容。幫助我們信息戰任務的聊天機器人僅限于數百個字,因此不能完全取代一次可以寫幾頁的人類。預測系統,如IBM的Watson天氣預測工具,由于它們試圖模擬的系統復雜性,在維度問題和輸入數據的可用性方面很困難。研究可能會解決其中的一些問題,但很少有問題會像預測或期望的那樣迅速得到解決。
人工智能系統的另一個弱點是他們沒有能力進行多任務處理。人類有能力識別敵方車輛,決定對其采用何種武器系統,預測其路徑,然后與目標交戰。這套相當簡單的任務目前對人工智能系統來說是不可能完成的。充其量,可以構建一個人工智能的組合,將個別任務交給不同的模型。這種類型的解決方案,即使是可行的,也會帶來巨大的傳感和計算能力的成本,更不用說系統的訓練和測試了。許多人工智能系統甚至沒有能力在同一領域內轉移他們的學習。例如,一個被訓練來識別T-90坦克的系統很可能無法識別中國的99式坦克,盡管它們都是坦克,而且都是圖像識別任務。許多研究人員正在努力使系統能夠轉移他們的學習,但這樣的系統離實際應用還有長久的時間。
人工智能系統在理解輸入和輸入中的背景方面也非常差。人工智能識別系統并不理解圖像是什么,它們只是學習圖像像素的紋理和梯度。給予具有這些相同梯度的場景,人工智能很容易錯誤地識別圖片的一部分。這種缺乏理解的情況可能會導致作出錯誤分類,例如將湖面上的一艘船識別為BMP,但人類缺不會。
這導致了這些系統的另一個弱點--無法解釋它們是如何做出決定的。人工智能系統內部發生的大部分事情都是一個黑盒,人類幾乎無法理解系統是如何做出決定的。這對于高風險的系統來說是一個關鍵問題,比如那些做出參與決定的系統,或者其輸出可能被用于關鍵決策過程的系統。對一個系統進行審計并了解其犯錯原因的能力在法律上和道德上都很重要。此外,在涉及人工智能的情況下,我們如何評估責任的問題是一個公開研究點。最近,新聞中出現了許多例子,人工智能系統在貸款審批和假釋決定等領域基于隱藏的偏見做出了糟糕的決定。不幸的是,關于可解釋的人工智能的工作多年來一直沒有取得成果。
人工智能系統也很難區分相關性和因果關系。經常用來說明兩者區別的臭名昭著的例子是溺水死亡和冰激凌銷售之間的相關性。一個人工智能系統得到了關于這兩個項目的統計數據,卻不知道這兩個模式之所以相關,只是因為兩者都是天氣變暖的結果,并可能得出結論,為了防止溺水死亡,我們應該限制冰淇淋的銷售。這類問題可能表現在一個軍事欺詐預防系統中,該系統被告知按月采購的數據。這樣一個系統可能會錯誤地得出結論,認為9月份的欺詐行為會隨著支出的增加而增加,而實際上這只是年終消費習慣的一個結果。
即使沒有這些人工智能的弱點,軍方目前應該關注的主要領域是對抗性攻擊。我們必須假設,潛在的對手將試圖愚弄或破解我們使用的任何可獲得的人工智能系統。將試圖愚弄圖像識別引擎和傳感器;網絡攻擊將試圖躲避入侵檢測系統;后勤系統將被輸入篡改的數據,用虛假的需求堵塞供應線。
對抗性攻擊可分為四類:規避、推理、中毒和提取。事實證明,這些類型的攻擊很容易完成,通常不需要計算技能。逃避攻擊試圖愚弄人工智能引擎,往往是希望避免被發現--例如,隱藏網絡攻擊,或說服傳感器相信一輛坦克是一輛校車。未來的主要生存技能可能是躲避人工智能傳感器的能力。因此,軍方可能需要開發一種新型的人工智能偽裝,以擊敗人工智能系統,因為事實證明,簡單的混淆技術,如戰略性的膠帶放置,可以愚弄人工智能。逃避攻擊通常是通過推理攻擊進行的,推理攻擊可以獲得關于人工智能系統的信息,這些信息可以用來實現逃避攻擊。中毒攻擊的目標是訓練期間的人工智能系統,以實現其惡意的意圖。這里的威脅將是敵人獲得用于訓練我們工具的數據集。可能會插入誤標的車輛圖像以愚弄目標系統,或篡改維護數據,旨在將即將發生的系統故障歸類為正常操作。考慮到我們的供應鏈的脆弱性,這將不是不可想象的,而且很難發現。提取攻擊利用對人工智能界面的訪問來了解人工智能的運行情況,從而創建一個系統的平行模型。如果我們的人工智能不被未經授權的用戶所保護,那么這些用戶可以預測我們的系統所做的決定,并利用這些預測為自己服務。人們可以設想對手預測人工智能控制的無人系統將如何應對某些視覺和電磁刺激,從而影響其路線和行為。
人工智能在未來的軍事應用中肯定會有作用。它有許多應用領域,它將提高工作效率,減少用戶的工作量,并比人類更迅速地運作。正在進行的研究將繼續提高其能力、可解釋性和復原力。軍隊不能忽視這項技術。即使我們不擁有它,但我們的對手肯定會發展AI,我們必須有能力攻擊和擊敗他們的AI。然而,我們必須抵制這種重新崛起的技術誘惑。將脆弱的人工智能系統放置在有爭議的領域,并讓它們負責關鍵的決策,這將為災難性的結果打開了機會。在這個時候,人類必須繼續負責關鍵決策。
鑒于我們暴露的人工智能系統被攻擊的概率很高,以及目前人工智能技術缺乏彈性,投資軍事人工智能的最佳領域是那些在沒有爭議的領域運作的人工智能。由人類專家密切監督或具有安全輸入和輸出的人工智能工具可以為軍隊提供價值,同時減輕對漏洞的擔憂。這類系統的例子有醫學成像診斷工具、維修故障預測應用和欺詐檢測程序。所有這些都可以為軍隊提供價值,同時限制來自對抗性攻擊、有偏見的數據、背景誤解等等的風險。這些并不是由世界上的人工智能推銷員贊助的超級工具,但卻是最有可能在短期內獲得成功的工具。
保羅-麥克斯韋中校(退役)是美國軍事學院陸軍網絡研究所的計算機工程網絡研究員。他在服役的24年中曾是網絡和裝甲部隊的軍官。他擁有科羅拉多州立大學的電子工程博士學位。
所表達的觀點僅代表作者本人,不反映美國軍事學院、陸軍部或國防部的官方立場。