本文提出了大量用于描述業務流程隱私屬性的建模和分析工具。建模注釋和分析以業務流程建模符號(BPMN)為基礎,分為三大抽象層級。第一個層次允許查看哪些輸入數據源直接或間接地披露給流程中的每一方。第二層顯示了每次披露發生的條件,以及披露的具體屬性。第三層可以衡量披露在多大程度上揭示了單個項目的信息。大多數分析都集成到 Pleak 工具中,從而提供了一個統一的界面。
在 NAPLES 項目中,提出了適用于業務流程的隱私定性和定量定義,開發了可檢查流程是否滿足隱私定義的靜態分析方法,并將建模工具和分析方法集成到一個統一的工具中。NAPLES 項目所屬的布蘭迪斯計劃的其他執行者進一步使用該工具對流程進行建模和分析。
提出的隱私定義和分析分為三個不同的類別。在第一類中,方法為協作式業務流程模型添加了表達性注釋,告訴人們這些模型使用了哪些隱私增強技術,以及這些技術是如何相互連接的。建模方法所附帶的分析會發現,某個數據集是否會被流程中的某個參與者知曉,如果可能,那么它是否仍然受到某些隱私增強技術的保護。第二類分析考慮到數據集的內部結構,并利用對業務流程中任務應用于數據集的操作的精確描述。分析報告指出,輸入數據集的哪個部分可能影響輸出數據集的哪個部分,在什么條件下可能產生影響,以及必須對影響信息進行什么樣的處理。這些影響可與參與者可能對其數據采取的政策進行比較。第三類建模工具和分析可以定量描述泄密情況。基于差異隱私和猜測優勢的概念,我們開發了一種豐富的語言來說明定量隱私策略。再次考慮到業務流程任務所執行的操作,我們的分析對從輸入數據集到達輸出數據集的信息量進行了數字描述。
在本報告中,詳細介紹了建模和分析技術,并描述了我們自己或與 DARPA Brandeis 計劃的其他執行者合作進行的實驗和評估。還介紹了 Pleak 工具,它為大多數分析器提供了統一的界面。最后,介紹了與網絡威脅信息共享有關的過渡活動,其中涉及共享過程的建模及其實施。在實施過程中,選擇應用安全多方計算;在Pleak的幫助下,分析了這一隱私增強技術的效果。
數據是開發和支持人工智能(AI)系統的重要組成部分,因此數據生命周期(包括收集、準備和整理)是人工智能生命周期的重要組成部分。確保數據的一致性、正確性和預期用途的代表性對于確保人工智能系統的有效性至關重要。數據驗證、確認和認證(VV&A)就是為了滿足這一需求。由于高質量的數據是人工智能模型的基礎,因此整個美國防部人工智能功能和分析工具的普及率急劇上升,這強調了統一理解數據 VV&A 的必要性。在實踐中,數據 VV&A 和相關活動通常以臨時方式使用,這可能會限制支持開發和測試人工智能能力的能力。然而,現有的美國防部數據 VV&A 框架和政策適用于人工智能生命周期,并體現了對人工智能系統測試和評估的重要支持活動。我們強調了數據 VV&A 的重要性,并討論了 DODI 5000.61 對人工智能模型及其相關數據的適用性。僅僅依靠政策中的定義會在解釋和實施方面留下問題,因此討論了一些潛在的關注點和最佳實踐,包括在人工智能系統生命周期的背景下考慮數據的 VV&A,鼓勵可重復性和透明度,以及利用現有框架和工具支持 VV&A。
目的:為模型、模擬、分布式模擬及其相關數據的 VV&A 制定政策、分配職責并規定程序。
適用性: 國防部各部門開發、使用、提供或管理的模型和模擬及相關數據,包括非國防部組織為支持國防部流程、產品或程序而使用的模型和模擬及相關數據。
政策:
用于支持國防部流程、產品和決策的模型、模擬和相關數據應在其整個生命周期內進行驗證和確認 (V&V)。
用于支持美國防部流程、產品和決策的模型、模擬和相關數據應根據預期用途進行認證。
異常檢測對于許多不同的使用案例都至關重要,例如識別安全隱患以防止潛在災難的發生。開發人類-機器人團隊提出有針對性問題的能力對于快速識別違反協議的情況并迅速采取行動糾正這種情況至關重要。在本報告中,試驗了如何利用視覺問題解答算法和一組精心設計的問題來檢測虛擬制造空間和真實世界小巷中的異常情況。我們的探索結果表明,與隨機基線相比,該算法的性能有所提高,還討論了未來工作面臨的挑戰。
圖 1 兩種視覺刺激:虛擬創客空間(左)和現實世界的小巷(右)。向 VQA 提出的問題是 "滅火器周圍是否有任何東西阻擋地面?"VQA 對兩個刺激分別做出了 "是 "和 "否 "的正確回答。
由人類引導的機器人探索有助于在偏遠地區收集信息,特別是那些由于危險條件或自然災害而可能過于危險、荒涼或人類無法進入的地區。現場條件可能是未知的,而且在不斷變化;因此,讓機器人對不斷變化的情況進行可視化監控和報告,將有助于人類伙伴決定機器人下一步應采取什么行動或進一步調查什么。當某一場景違反安全協議或預期時,具有自動檢測功能的機器人或許能實現這一目標。
之前的研究已經在單個實體層面(如一塊布料上的一個洞)、與特定任務相關的場景層面(如自動駕駛汽車的避障)和事件層面(如視頻過程中的意外移動)對異常情況的檢測進行了探索。我們將我們的工作置于場景層面,并在人類-機器人團隊中加入了異常檢測的互動元素。
在本報告中,我們圍繞安全協議和隨后的違規檢測設計了一種視覺場景分析范例。我們收集有關特定領域預期(創客空間安全協議)的背景知識,然后向系統提出有關環境快照的問題,以評估其是否異常。我們的方法將視覺問題解答(VQA)算法的最新進展應用于視覺感官異常檢測的重點研究。我們為研究確定了兩組視覺刺激:一組是虛擬創客空間,我們操縱它違反我們策劃的安全協議;另一組是現實世界中的小巷,它顯示出異常的配置和屬性。兩個領域、問題和 VQA 答案如圖 1 所示。
在這項工作中,提出了以下研究問題: 提出有針對性的問題是否能比要求對圖像進行一般描述(例如,從圖像標題算法中)更準確地識別和評估視覺異常?
貢獻如下: 1) 從安全協議中設計了異常分類,以指導環境設計和 VQA 算法的提問路線;2) 評估了最先進的 VQA 在非典型和非領域環境中的表現。在概念驗證實驗中,以 VQA 為目標的提問方法對創客空間圖像中的異常情況的準確率達到了 70%,而使用標題生成和純描述基線的隨機性為 50%,準確率為 0%。討論了通過提問來評估異常情況的潛力,并介紹了擴大測試規模的未來工作。
我們介紹了一套多智能體系統決策算法(集中式、分布式和混合式),并提出了用于自主賽博安全的因子值(FV)蒙特卡洛樹搜索(MCTS)混合成本最大加算法。我們提出的算法包括兩個步驟。第一步,每個智能體使用 MCTS 尋找其最佳的單個行動,同時考慮成本。每個智能體向團隊提交其最有前途的行動。第二步,使用混合成本最大加法算法進行聯合行動選擇。這種混合成本 Max-Plus 算法改進了已知的集中式和分布式無成本 Max-Plus 算法,將行動成本納入了智能體的互動中。Max-Plus 算法使用協調圖框架,利用智能體之間的依賴關系將全局報酬函數分解為局部項的總和。我們提出的 FV-MCTS-Hybrid-Cost-Max-Plus 算法是在線的、隨時的、分布式的,并可根據智能體數量及其互動情況進行擴展。我們的貢獻可與使用 MCTS 和 Max-Plus 利用智能體互動的局部性進行規劃和行動的最新方法和算法相媲美。
本報告詳細介紹了用于標注文本中的錯誤信息指標、宣傳和邏輯謬誤的注釋指南,最終形成了新穎的錯誤信息、宣傳和謬誤的組合注釋,并以穩健和可解釋的方式加以識別(CAMPFIRE)語料庫。我們介紹了開發這一注釋模式的動機及其與其他并行注釋的關系。我們將介紹 COVID-19 相關文本語料庫的收集情況,并提供注釋示例。最后,我們將介紹如何利用該語料庫開發交互式問題解答和信息提取系統,該系統能夠自動檢測和解釋查詢文檔中潛在的錯誤信息。
本報告中對錯誤信息指標的探討與一個更廣泛的信息搜索系統開發研究項目相吻合,該系統有別于典型的問題解答系統,用戶可以提出一個完整的、不受限制的自然語言問題(而不是僅限于關鍵詞搜索)。其目標不是在一次性互動中返回單一答案,而是鼓勵用戶與系統之間進行持續互動,以尋找一系列相關答案,這些答案可能在側重點、體裁以及真實價值和錯誤或虛假信息狀態方面存在差異。在這種設想的交互中,系統檢測和識別潛在錯誤信息指標的能力變得至關重要,如圖 1 所示,系統在回答用戶的問題--"我是否需要對我的口罩進行消毒?"時,既可以給出文檔中確定的答案(即 "這里有一篇文章聲稱正確護理口罩的重要性"),也可以發出警告,提醒用戶注意潛在的指標,對檢索到的文檔中的句子進行補充。這一交流描繪了我們的長期愿景,即如何將問題解答、信息覓尋和錯誤或虛假信息檢測統一在一個框架下。
圖 1 通過對話回答用戶問題、檢索文檔并突出和標注錯誤信息標記的交流設想
為了支持錯誤信息檢測,我們首先對我們感興趣的領域中的錯誤信息指標進行了標注:科學論文、一般新聞和談話廣播,以及與 COVID-19 相關的醫療保健網站和社交媒體帖子。我們的注釋模式最初基于 Habernal 等人(2017 年)的注釋模式,該模式側重于五種邏輯謬誤: 謾罵、情感訴求、紅鯡魚、草率概括和無關權威。作為第一步,我們評估了現有的注釋模式,衡量了注釋者在對語料進行雙盲注釋時就類別達成一致的能力,并評估了注釋數據作為誤導自動檢測訓練數據的可行性(Bonial 等,2022a, 2022b)。我們的評估結果表明,模式類別不夠清晰,無法支持訓練有素的注釋者之間的高一致率,這導致自動系統性能不佳。因此,我們開始開發自己的模式,繼續借鑒現有的注釋資源,但反復評估以獲得令人滿意的一致率。盡管我們在將其應用于新數據并測量一致性的過程中仍在不斷完善該模式,但下文將對當前的模式進行描述。
本報告的以下部分介紹了錯誤信息、宣傳和謬誤的綜合注釋(CAMPFIRE)模式和語料庫。第 2 節介紹了注釋模式,并為注釋者提供了詳細說明。第 3 節介紹 CAMPFIRE 語料庫。第 4 節介紹相關工作。第 5 節是結論和未來工作的細節。第 6 節列出了參考文獻。附錄 A-C 分別介紹了如何應用注釋模式、模式的歷史以及本技術報告中使用的符號和記號。
本文介紹了一種正在開發的方法,利用機器學習技術對大型 X 射線圖像數據集進行異常和/或缺陷檢測分析。異常和/或缺陷的特征可通過圖像分類(監督學習--卷積神經網絡)或異常檢測(非監督學習--自動編碼器)模型的性能精度來確定。每種學習技術都有獨特的超參數和設計架構,以幫助創建穩健的模型,針對不同方向、亮度和對比度的 X 射線圖像進行預測。這種方法是對傳統的高能材料/組件特性測試套件的有力補充,特別是在熔融澆注爆炸物、與性能相關的設計意圖、安全性和/或與性能相關的缺陷檢測方面。對于安全或性能相關的缺陷檢測,該方法可在開發新的次規模測試和基于物理的模型時將缺陷作為反饋回路,以更好地了解和預測高能失效模式,這是美國陸軍DEVCOM 軍備中心正在開發的一種能力,稱為高能缺陷表征(EDC)。
圖5:彈藥異常
目前和未來對火炮彈藥的能量要求都超過了傳統的火炮和炮管設計以及飛行環境。這意味著今天的非關鍵缺陷在未來可能會成為嚴重缺陷。有缺陷的火炮已造成火炮發射時的災難性故障、人員傷亡和平臺損壞(Ismay; Kumar; Singh)。預防和減少這些潛在的重大缺陷是美國陸軍的首要任務。雖然目前已有檢測缺陷的流程,但這些方法耗時長、成本高,而且已經過時。現在是建立未來檢測方法的時候了。考慮到這項任務的影響,美國陸軍作戰能力發展司令部-軍備中心正在努力開發和演示現代缺陷檢測能力。
能力開發工作--高能缺陷表征(CDE - EDC)是由位于皮卡廷尼兵工廠的美國陸軍作戰能力開發司令部軍備中心資助的一項新的能力開發計劃。該項目旨在開發實驗和計算能力,對有缺陷的能量學進行評估和預測,特別是針對增強型彈藥(LRPF)。除了設在皮卡廷尼兵工廠的工作組外,還與北約工作組和技術合作計劃(TTCP)開展了國際合作。此外,分析人員還與西點軍校的學員開展合作。CDE - EDC 由三個核心分組組成: 實驗分組、數據分析分組和計算分組均設在發展司令部--航空航天中心(DEVCOM-AC)。三個分組之間的關系見圖 1。本報告重點介紹數據分析分組完成的工作。憑借這三個分組的綜合技術專長,DEVCOM-AC 正努力為缺陷檢測、表征和緩解提供最新的能力和指導。
實驗測試分組隸屬于高能物理、彈頭和制造技術局,其任務是確定和量化可能導致缺陷高能物理意外點火的基本物理和化學機制。為收集這些數據,該分組正在完成各種物理測試。這項任務的一部分包括改進物理測試的現實缺陷復制。
數據分析分組隸屬于系統分析部,其任務是利用機器學習來標記和描述異常和缺陷檢測圖像。通過使用這些模型獲得的知識將有助于實驗分組和計算分組完成其任務。
計算分組隸屬于能量學、彈頭和制造技術局,其任務是對能量學缺陷進行建模,以評估是否可能過早點火。該分組模擬給定能量參數的火炮發射,以確定缺陷的影響。該分組使用 Abaqus 和 STAR-CCM+ 等模型。計算分組將模型輸出與實驗分組的物理測試輸出進行比較。因此,它在很大程度上依賴于實驗分組,反之亦然。
這項工作的成果將是一個獨立預測工具,可供檢查人造彈藥的放射線研究者使用。本報告將重點介紹機器學習部分。
模型構建工作流程將由三部分組成,如圖 13 所示。每一層都像一個漏斗,將有缺陷和無缺陷的圖像分開。
為了解決如何利用現有數據的增長來建立有用的模型的問題,一個自動發現模型和管道的方法是有序的,它可以利用這些數據。我們已經探索了自動發現模型和管道所需的許多方面:建立一個模型知識庫和基于推薦系統方法的模型排名,通過數據集的圖形表示進行模型推薦,通過擴展基于樹的管道優化工具(TPOT)和基于強化學習的方法進行管道生成。我們探索了一種預算意識到的超參數調整算法和神經網絡的不確定性估計。我們探索了不同的訓練方法,包括無梯度優化、零點學習和持續學習。我們還解決了神經網絡架構的問題。我們將所有這些結合起來,形成了一個模塊化的自動機器學習(AutoML)系統,該系統支持廣泛的任務類型,在項目評估中一直處于前三名。
本報告總結了迄今為止在路線偵察領域的本體開發的進展,重點是空間抽象。我們的重點是一個簡單的機器人,一個能夠感知并在其環境中導航的自主系統。該機器人的任務是路線偵察:通過觀察和推理,獲得有關條件、障礙物、關鍵地形特征和指定路線上的敵人的必要信息。路線偵察通常是由一個排的騎兵和非騎兵進行的。這項研究探討了機器人執行部分或全部必要任務的合理性,包括與指揮官進行溝通。
這是一項具有挑戰性的對抗性任務,即地形穿越加上信息收集和解釋。偵察的解釋方面需要考慮語義學--確定相關的信息和確定它如何相關(即有意義)。語義信息在本質上是定性的:例如,危險是一個定性的概念。為了將危險與某些特定的區域聯系起來,我們需要一種方法來指代該區域。這意味著至少能夠給空間的某些部分附上定性的標簽。
Kuipers在他的空間語義層次的早期工作中指出了空間的定性表示對機器人探索的重要性。例如,層次結構的拓撲層次包含了 "地方、路徑和區域的本體",歸納產生了對較低層次的因果模式的解釋。
最近,Izmirlioglu和Erdem為定性空間概念在機器人技術中的應用提供了以下理由:
對于負責路線偵察的無人地面車輛(UGV)來說,其架構中的不同模塊將消費和產生語義信息:負責語義感知和目標識別、計劃和執行、自然語言對話等的模塊,加上主要負責維護信息的語義世界模型。例如,在美國陸軍作戰能力發展司令部陸軍研究實驗室的自主架構中,語義/符號世界模型被用來 "實現符號目標(例如,去接近一個特定的物體)",*其中接近是一個語義概念。
一個關鍵問題是如何在世界模型和其他模塊之間分配維護和處理不同類型語義信息的責任。從語義世界模型的角度來看,這取決于有多少符號推理是合適的。例如,假設要接近的物體位于一個給定區域的某個位置,而不是靠近該區域的外部邊界。一旦機器人靠近物體,就可以推斷出機器人在物體的位置附近,而且也在同一區域內。如果有公制信息,就可以用幾何例程得出這個結論。在沒有公制信息的情況下,是否會出現在純粹的定性空間中推斷有用的情況?
本報告不涉及這個問題。我們的目標是確定什么應該被代表,而把如何代表和在哪里代表留給未來的工作。
以下片段取自FM7-92中對路線偵察的描述。空間表達是彩色的,周圍有一些文字作為背景。
路線偵察的結果是一份報告,以圖表的形式,并附有文字說明。FM7-92給出了一個例子,我們可以從中提取一些更必要的概念:
讓我們把這段關于路線偵察的描述中提到的概念建立一個綜合清單,重點放在空間概念上,并盡可能地保留軍事術語:
1)必須指定環境中的位置、路線、區域和感興趣的物體。稱這些為 "實體"。
2)這些實體之間的空間關系是相關的(例如,一個地點在另一個地點的北邊)。值得注意的是,不同類型的實體之間的關系是被指定的。
a. 物體(例如,障礙物)在位置或區域。
b. 一些地點在空間上與路線有關(例如,沿著路線,毗鄰,或靠近道路)。
c. 地點可能代表更大的區域(例如,雷區的位置)。
d. 道路和小徑可以與路線相關:它們可能相交、重疊(部分疊加),或平行運行。
a. 一些地點相對于其他地點或區域有方向性的定位(例如,一個防御性的位置)。
b. 有些區域是由其與另一個區域或地點的關系來定義的,這可能不是一種局部的關系(例如,觀察和火力場是由一個潛在的遠程位置來定義的,該位置有一條通往路線上的一個區域的線路)。
4)路線可能被障礙物阻擋,障礙物可能是明確的物體或更大的區域(例如,一個障礙物與一個雷區)。
6)有時,描述物理基礎設施(如道路、橋梁)及其屬性是很重要的。
路線偵查收集和解釋不同種類和不同來源的信息:
背景知識。這包括關于環境特征的類型和預期成為任務一部分的物體的信息,包括道路、障礙物、溝壑、橋梁等等。
任務規范。確定偵查的區域和路線,以及當時可獲得的任何信息。
環境。通過空間分析(包括幾何學、拓撲學等)、感知、地圖衛星數據的離線圖像處理和其他類型的分析,確定環境的相關特征。
任務執行期間的通信。我們假設指揮官或人類操作員在偵察過程中可以向UGV提出詢問或命令,提供新信息或集中注意力。
如前所述,一份報告。
原則上,所有這些信息都以某種抽象的形式組合在一個語義世界模型中。我們把環境的物理屬性和特征稱為 "實體"。把我們用來表示這些實體和它們之間關系的抽象概念稱為 "概念"。
不同類型的實體的概念。層次結構在語義表征中很常見,用來捕捉關于世界上遇到的實體類型的一般知識。一個類型就是一個概念,類型被組織在一個層次中:MRZR是一種輕型的、戰術性的、全地形的車輛,它是一種輪式地面車輛,它是一種地面車輛的類型,等等。屬性和關系可以與一個給定的概念相關聯,而下級概念則繼承這些屬性。在路線偵察中,如果有信息說某一地區有一條道路,但沒有更多的細節,仍然可以從道路的概念中推斷出它的預期屬性:它比它的寬度長得多;它在人們感興趣的地點之間通向;在其他條件相同的情況下,它可能比周圍的地形行駛得快。從實用的角度來看,這意味著如果有可能將某物歸類為一個已知的概念,那么語義世界模型就不需要記錄關于該物的每一條相關信息。
用于實體的目的和用途的概念。一個代表道路典型用途的概念可以進一步區分其長度和寬度的語義,這反過來又導致了跨越和沿途、穿越和跟隨等概念之間的區別。這將使UGV能夠以不同的方式對待 "偵察道路對面的區域 "和 "偵察前方的道路 "的命令。前方的道路也是一個語義概念:它取決于對過去去過的地方的了解。
代表部分信息的概念。有時可能會有定性的信息。想象一下,任務規范的一部分是關于雷區在計劃路線上存在的信息,但不知道具體位置,或者知道雷區的位置,但不知道其范圍。這種無知可以很容易地在代表實體的概念中得到體現。
新概念適用于新環境。另一個交流的例子可能是信息性的。想象一下,當一輛UGV穿越一條東西走向的道路時,它與遠程指揮官進行交流,指揮官問道:"道路北側是什么?"* 需要識別的物體可能不在道路和地形的邊界上(與 "建筑物的一側 "形成對比),而是在以道路邊緣為界的某個感興趣的區域內,距離UGV的位置向北不遠,向東和向西也有一些距離。這個區域可能沒有事先作為一個概念被劃定;相反,它是在當前的背景下構建或推斷出來的。這是一個有趣的例子,一個概念不是從公制數據中抽象出來的,而是被強加在公制數據上的。
背景中的概念的適應和組合。想象一下,對一張地圖的分析產生了對代表區域、道路等等的概念的分解。這些概念可能直接適用于某些目的。例如,與道路相聯系的概念在推理兩點之間的導航時是有用的。然而,在其他情況下,這些概念可能需要調整或與其他概念相結合。例如,如果一條道路被指定為 "危險區域",那么這個區域的概念可能會超出道路的邊界,延伸到周圍的地形。
本報告詳細介紹了我們開發技術的方法,即在一個自動框架內調查受自適應系統的自我修復計劃影響的關鍵屬性的再驗證潛力,該框架還測量了自我修復發生時被侵犯屬性的風險。從這項調查中,我們1)設計了一個框架,使基于組件的系統同時具有架構和驗證意識,并能對自我修復計劃進行動態的再驗證狀態評估;2)設計了一個風險評估機制,如果自我修復計劃導致違反關鍵要求,則對系統可能進入的潛在風險狀態發出警報;3)在該框架內測試了Genprog自我修復計劃的應用。該框架已被嵌入到兩個內部案例研究和一個為模仿可穿戴設備操作和通信而開發的測試平臺中并進行了評估。
圖 1:基于元數據的驗證和認證框架
彈性要求自動適應阻礙任務的情況。一個自適應的軟件系統可以監控自己,分析故障的發生,并通過改變其狀態、邏輯或結構來恢復。這樣的自主系統依賴于對系統和環境的持續監測,分析性能異常,根據環境和可用資源規劃最可行的適應策略,并在部署的系統上執行適應。在自適應系統的各個層面都存在大量的研究,例如,架構的重新配置、界面的改變和嵌入式系統的改變,但它主要側重于在不中斷的情況下執行功能或架構改變(Cheng,2009),(Lemos,2013)。一旦改變,強加在最初部署的系統上的同樣的要求合規性保證過程也應該同樣強加在適應的系統上。在系統適應期間和之后的自我驗證方面的研究嚴重不足,特別是對于分布式系統、面向服務的架構和嵌入式系統(Calinescu,2012),(Tamura,2013)。軟件驗證和確認,以及安全認證,都是困難而繁瑣的過程,需要明確的要求、清晰的評估策略,以及不需要比被評估功能更多代碼的自動化方法(Zuo,2011)。本項目定義了一個技術框架,以確定改編是否會抑制用于驗證或認證的原始合規性保證流程的重用,其中驗證指的是正式的方法流程,而認證則專門用于保證安全控制的合規性,如NIST SP800-53(NIST,2013)。它從這些流程中提取關鍵屬性和評估或檢查的流程,以確定適應性將如何影響它們(Jahan, 2017)。影響的破壞性越大,合規保證流程被重用的可能性就越低。流程重用的可能性越低,合規性違反的可能性就越高,因為很少能有替代的合規性保證流程被用于需求(Marshall,2018)。
要構建和部署這項技術,有多個研究問題需要解決。一個主要的研究問題是定義一個策略,以確定在設計和選擇適應計劃時,是否可以通過對適應系統的驗證或認證來重新保證一個需求。面臨的挑戰是要超越識別關鍵屬性和通過驗證或認證確定系統的符合性水平,捕捉和建模最初進行驗證或認證的符合性保證過程。驗證和認證的形式化過程在運行時部署的資源成本太高。盡管模型檢查在合規性保證過程中引入了一個抽象層次,但它在可以表達和評估的內容方面也是有限的(Sharifloo,2015)、(Calinescu,2012)、(Cordy,2013)、(Weyns,2012)。為了解決這個研究問題,我們主張將驗證和認證過程(即合規性保證過程)以一種可以嵌入系統的方式建模,使其具有合規性意識。有了這種意識,就可以開發技術來評估它是如何被保證符合要求的,以及適應性如何影響符合性保證過程的再利用。本報告展示了一個體現這種技術的初始框架。
另一個研究問題是,需要定義衡量標準,將風險水平與確定適應性計劃如何抑制合規性保證過程的再利用聯系起來。此外,一旦計算出一個風險系數,就必須了解該風險是如何在整個系統需求中傳播的。這個項目將風險評估與重新驗證和重新認證的狀態評估結合起來。通過該框架,風險指標直接與受影響的屬性的關鍵性以及這些影響對一個或多個合規性保證過程的再利用的程度相聯系。
第三個研究問題是如何在運行時將合規意識和風險評估編碼到動態適應性計劃分析中(Abie,2012)、(Almeida,2011)、(Camara,2013)、(Cheng,2009)。所開發的框架定義了表達內部處理和外部交互性能參數及其依賴關系的建模抽象。它為每個關鍵需求嵌入了一個可執行的彩色Petri網(CPN)(Jensen,2009),(Jensen,2015),表示合規性保證過程的架構以及用于驗證和認證的屬性。每個CPN的輸出被匯總以計算適應計劃與替代計劃的風險。總的來說,本項目開發的建模和評估機制將為在設計時捕獲相關元數據提供信息,從而在彈性系統中實現更好的合規意識表示和操作。
本報告收集了為支持將固有曲面地球模型引入下一代巡航導彈(NGCM)高保真建模與仿真(M&S)工具而進行的分析結果。這些結果用于記錄已實施的算法,預計與其他電子戰應用有關。
我們引入固有曲面地球模型的技術方法的關鍵原則是:1)確定代碼庫中與地球表面有關的計算的位置;2)重構代碼庫,將這些計算遷移到一個新的地球表面軟件對象。在其他方面,這涉及到引入一個關鍵的概念區別:以前,基座標框架和地球表面是混在一起的(地球表面和基座標系統的X-Y平面是一樣的);我們的改變要求把基座標框架和地球表面作為不同的角色分開。
不同的地球表面對象的實現可以模擬不同的地球表面形狀。對于開發和測試,我們的計劃是按照以下策略推出這些對象:首先是平面地球,以保留傳統的行為;然后是球面地球,最簡單的曲面,以支持暴露和消除整個代碼庫中隱含的平地假設,同時受益于盡可能簡單的幾何算法;最后是扁球體,該類包括WGS84,但其許多算法明顯比球體的算法更復雜。
本報告重點討論了如何利用模擬或生成模型創建的合成數據來解決深度學習的數據挑戰。這些技術有很多優點:1)可以為現實世界中難以觀察到的罕見情況創建數據;2)數據可以在沒有錯誤的情況下被自動標記;3)數據的創建可以很少或沒有侵犯隱私和完整性。
合成數據可以通過數據增強等技術整合到深度學習過程中,或者在訓練前將合成數據與真實世界的數據混合。然而,本報告主要關注遷移學習技術的使用,即在解決一個問題時獲得的知識被遷移到更有效地解決另一個相關問題。
除了介紹合成數據的生成和轉移學習技術,本報告還介紹了實驗結果,這些結果對合成數據方法在飛行員行為克隆、車輛檢測和人臉驗證任務中的潛力提供了寶貴的見解。實驗的初步結果表明,軍事模擬器和生成模型可以用來支持深度學習應用。然而,性能往往受限于合成數據和真實世界數據之間的保真度差距。
深度學習(DL)是一種技術,它提高了在廣泛的現實世界應用中實現復雜任務自動化的能力。翻譯、轉錄、視頻監控、推薦系統和自動駕駛汽車都是基于DL的解決方案已經被開發和部署用于商業目的的例子。在軍事領域,DL有可能支持人類在所有領域和戰爭級別的決策,其應用包括自動目標識別、預測性維護和無人駕駛車輛的自動控制。
與其他機器學習(ML)技術類似,DL使用算法來從數據中提取知識。在這種情況下,知識被編碼在大容量的深度神經網絡(DNNs)中,這些網絡可能由數千、數百萬甚至數十億的可調整參數組成,這取決于所考慮的任務的復雜性。為了正確調整這些參數,學習算法需要大量的訓練數據。沒有這些數據,DNN將無法泛化,因此,當遇到以前未見過的數據時,它將不會有好的表現。
獲取DL的訓練數據是困難的。這在商業應用中是存在的,而在軍事領域更是如此。瓶頸之一是,學習算法通常需要經過人工標注的數據(即為每個輸入數據點提供一個正確的答案)。因此,即使在獲取大量輸入數據相對低成本的情況下,正確標記所有的數據也往往是高成本和費時的。例如,Cityscapes數據集中的5,000個樣本中,每個樣本平均需要1.5個小時來標注(整個數據集大約需要十個月)[1]。此外,由于標注是由人類來完成的,其結果可能是不正確的、有偏見的甚至是有成見的,這也會反映在訓練過的模型的行為上。
此外,訓練數據往往存在長尾分布的問題。也就是說,對于數量有限的普通案例,訓練數據相對容易獲得,但對于大量重要的邊緣案例,訓練數據本身就很難獲得。例如,考慮一個基于無人機的軍用車輛監視和跟蹤系統。在這種情況下,友好車輛的空中圖像相對容易獲得。車輛數據可以在不同的地點、高度、角度、天氣條件、環境等方面獲得。獲取代表合格敵方車隊的類似現實世界的數據集通常是不可能的,因為這種侵入性的情報行動會導致對手的行動。使用遵循長尾分布的數據集訓練的系統通常實用價值有限,因為它只能在條件理想時使用(即,輸入數據與常見情況相似)。當遇到代表邊緣案例的真實世界的數據時,該系統將不會有好的表現,也不能被依賴。
本報告的目的是介紹可用于解決軍事背景下有限訓練數據所帶來的一些挑戰的技術。具體來說,本報告重點討論如何將使用軍事模擬或生成模型創建的合成數據與微調、領域適應、多任務學習和元學習等遷移學習技術結合起來,以加速未來DL在軍事領域應用的開發和部署。
本報告的目標讀者是操作、獲取或開發AI/ML/DL技術,用于或嵌入軍事系統的人員。
本報告假定讀者具有關于ML和DL概念的基本知識,如監督學習、強化學習、損失函數、梯度下降和反向傳播。鼓勵缺乏此類知識的讀者在繼續閱讀本報告之前,先閱讀FOI-報告FOI-R-4849-SE[2]中的第二章。
第2章概述了在深度學習中可以用來生成和整合合成訓練數據的技術和方法。第3章概述了轉移學習技術,可以用來促進知識從一個任務到另一個任務的重用。在第4章中,對這些技術的一個子集進行了評估,并提供了深入了解合成數據方法潛力的實驗結果。第5章中提出了結論。
圖2.2: 一幅戰斗機的圖像(2.2a)通過添加噪聲(2.2b)、濾色器(2.2c)和模糊(2.2d),以及通過縮放(2.2e)和縮放后的旋轉(2.2f)得到增強。每幅圖像都附有所有像素的平均RGB值分布的相應圖表。雖然所有圖像在語義上是不變的,但分布的形狀卻有很大的不同。
圖4.7:從我們的訓練數據集中隨機選擇的合成圖像。對于每一對圖像,左邊顯示的是最初生成的臉,右邊顯示的是編輯過的臉。請注意,所有圖像都在臉部周圍進行了裁剪。