我們的研究展示了如何將技術和數據科學實踐與用戶知識相結合，既提高任務性能，又讓用戶對所使用的系統充滿信心。在本手稿中，我們重點關注圖像分類，以及當分析師需要及時、準確地對大量圖像進行分類時出現的問題。利用著名的無監督分類算法（k-means），并將其與用戶對某些圖像的手動分類相結合，我們創建了一種半監督圖像分類方法。這種半監督分類方法比嚴格的無監督方法具有更高的準確性，而且比用戶手動標記每張圖像所花費的時間要少得多，這表明機器和人工優勢的結合比任何替代方法都能更快地產生更好的結果。

這項工作使用來自建設性模擬的可靠數據，比較了有監督的機器學習方法，以估計空戰中發射導彈的最有效時刻。我們采用了重采樣技術來改進預測模型，分析了準確度、精確度、召回率和f1-score。事實上，我們可以發現基于決策樹的模型性能卓越，而其他算法對重采樣技術非常敏感。在未使用重采樣技術和使用重采樣技術的情況下，最佳f1-score模型的值分別為0.378和0.463，提高了22.49%。因此，如果需要，重采樣技術可以提高模型的召回率和f1-score，但準確率和精確度會略有下降。此外，通過創建基于機器學習模型的決策支持工具，有可能提高飛行員在空戰中的表現，這有助于提高攻擊任務命中特定目標的有效性。

這項工作比較了有監督的機器學習方法，使用來自建設性模擬的可靠數據來估計空戰期間發射導彈的最有效時刻。我們采用了重采樣技術來改進預測模型，分析了準確性、精確性、召回率和f1-score。事實上，我們可以識別出基于決策樹的模型的顯著性能和其他算法對重采樣技術的顯著敏感性。具有最佳f1分數的模型在沒有重采樣技術和有重采樣技術的情況下，分別帶來了0.379和0.465的數值，這意味著增加了22.69%。因此，如果可取的話，重采樣技術可以提高模型的召回率和f1-score，而準確性和精確性則略有下降。因此，通過建設性模擬獲得的數據，有可能開發出基于機器學習模型的決策支持工具，這可能會改善BVR空戰中的飛行質量，提高攻擊性任務對特定目標的打擊效果。

這項工作提出了一個在歐盟項目FOLDOUT中開發的融合和跟蹤系統，旨在通過融合不同的傳感器信息和提出對監視區域內檢測到的目標自動跟蹤來促進邊防工作。FOLDOUT的重點是歐盟內部和外部地區的穿透式樹葉檢測。融合多個傳感器信號可以提高檢測的有效性，特別是在森林和其他被樹葉遮擋的地區。我們使用加權地圖（也稱為熱圖）來結合多傳感器信息；對所產生的融合目標進行跟蹤；根據對融合檢測的時間關聯的成本計算來創建或更新跟蹤。我們比較了來自單個傳感器的跟蹤結果和來自融合目標的跟蹤結果，這些數據是在模擬邊界收集的，代表了保加利亞的實際歐盟邊界。結果表明，如果根據融合后的數據而不是單個傳感器的信息進行追蹤，追蹤效果會得到加強。

檢測與跟蹤方法

邊防軍的主要興趣是在全球地圖上對監視區域內檢測到的人員進行定位和跟蹤。為了實現這一目標，首先要將不同傳感器系統觀察到的單個人的探測結果進行融合。當檢測結果相互關聯并保持一致時，就可以在一個共同的地圖上對單獨的目標進行跟蹤。

圖2：指導動作（紅線），扮演一個非法越境的場景：1.一個人通過步行越過邊境。2.該人沿著邊境小路向大路走去。3.此人停下腳步，在路上停留很長時間（可能是在等待汽車中的走私者）。4.在某一時刻離開道路，躲進樹叢中。5. 在樹葉中，該人再次回到路上（可能再次尋找汽車）

A.單傳感器檢測

RGB和熱像儀中的人員檢測

基于深度學習的綜合物體檢測被應用于相機圖像上。深度學習方法已被證明優于以前的最先進的機器學習技術。深度神經網絡（DNNs）模仿了大腦感知和處理信息的方式。與以前的方法相比，DNNs學習了諸如人物檢測等任務所需的特征。近年來，DNN在物體檢測和分類任務上表現出突出的性能[9, 10]。在這項工作中，物體檢測是基于一個著名的DNN實現，即YOLO檢測器[11]。

PIR傳感器中的人員檢測

探測器經過調整，使被動紅外傳感器在PIR周圍7.5米的半徑內觸發人的存在。

B.異質傳感器融合

在這項工作中，我們使用加權地圖來提供傳感器數據的層次（也稱為HeatMaps），并以邏輯和數學的方式組合它們。它的動態是完全使用不同傳感器模式的傳感器檢測假設的事件驅動。這些傳感器假設包括位置（WGS84基準）、時間戳（Unix時間戳）和權重（例如，從傳感器檢測中獲取的信心）。為了實現這一點，有兩個組件是必不可少的：加權分布圖（HeatMaps）；線性意見庫。圖3顯示了這種方法的基本概念。

圖3：融合方法的基本概念（左），作為使用兩個加權分布圖（熱力圖）的例子。應用不同的衰減函數（右）來建立加權分布圖的時間動態行為。

加權分布圖(熱圖)

加權分布圖是我們數據融合方法的兩個基本組成部分中的第一個。加權地圖的基本思想是，保持和更新關于不同傳感器探測假設的時空信息。加權地圖來自于概率占用網格，但以加權的形式解釋傳入的數據。此外，還采用了時間上的衰減來模擬傳感器數據的及時行為。權重被存儲在一個可選擇分辨率的數組中，代表WGS84坐標中感興趣的矩形區域。圖3展示了用于模擬加權分布圖動態行為的可能衰減函數。

通常，加權分布圖對應于任何一種傳感器數據或傳感器模式（例如，從攝像機圖像中檢測人的邊界框）的時空。傳感器數據被攝取到一個專門的加權圖中，這導致加權圖的值根據傳入的傳感器假設的權重而增加（替換）。相對而言，衰減將及時應用到加權分布圖的值矩陣中。每次傳感器假設被攝入分布圖，它將通過重新計算加權分布圖的權重和衰減以前狀態的值來更新。

最后，線性意見庫允許我們結合多個加權分布圖，從而結合多傳感器模式，目的是減少傳感器系統的整體錯誤發現率。

線性意見庫(LOP)

我們融合方法的第二個重要組成部分是線性意見庫[8]。

每當一個加權分布圖的狀態由于新的傳感器檢測假設而被更新時，就會應用LOP。在評估了LOP之后，閾值處理使我們能夠產生警報。為了確定警報的位置，在組合值矩陣中超過閾值的區域使用分割算法（blob檢測）。這些警報是由多個傳感器假設產生的，用于為跟蹤提供必要的輸入數據，這將在下一節中描述。

C.多目標跟蹤

為了跟蹤越境進入禁區或敏感區域的入侵者的行動，我們開發了一種基于空間和時間上關聯目標檢測的成本計算的定制算法。該跟蹤系統的工作原理是完全基于目標的位置和時間戳建立一個模型。

在第一次檢測目標時，該模型以該檢測的位置和時間戳進行初始化。軌跡模型是用以下元組定義的：???? = (????,????,????)。

如果幾個目標檢測同時發生，那么創建的模型模板數量與同時收到的檢測數量相同。后續的檢測被添加到一個給定的軌道模型中，這取決于將檢測添加到軌道中的成本。該成本被定義為傳入的檢測和軌跡候選者之間的距離。

在有多個傳入的檢測和多個軌跡候選者的情況下，已經實施了匈牙利算法[12]，使檢測和軌跡之間的關聯產生最小的成本。

盡管人們對聯邦學習和貝葉斯神經網絡進行了研究，但對貝葉斯網絡的聯邦學習的實現卻很少。在本論文中，使用公共代碼庫Flower開發了一個貝葉斯神經網絡的聯邦學習訓練環境。隨之而來的是對最先進的架構、殘差網絡和貝葉斯版本的探索。然后用獨立同分布（IID）數據集和從Dirichlet分布得到的非IID數據集測試這些架構。結果顯示，貝葉斯神經網絡的MC Dropout版本可以通過聯邦學習對CIFAR10數據集的IID分區取得最先進的結果--91%的準確性。當分區為非IID時，通過概率權重的反方差聚合的聯邦學習與它的確定性對應物一樣好，大約有83%的準確性。這表明貝葉斯神經網絡也可以進行聯邦學習并取得最先進的結果。

美國海軍的考慮

使用FL是一個在邊緣采用人工智能的機會，并減少收集大量數據集的需要。這將極大地幫助海軍在艦隊中部署和訓練AI模型的工作。例如，通過傳統的人工智能管道，為海軍創建一個人工智能模型將需要每個指揮部合作創建一個全球數據集，無論是被動聲納還是網絡流量分析、維護或人力資源。這是一項非常昂貴和耗時的任務，隨著新數據的出現，在完成時可能已經過時了。然而，FL提供了一種方法，讓每個指揮部在他們本地的、當前的數據上訓練和部署一個模型，并將他們的模型與另一個指揮部的人工智能模型匯總。由于只傳遞模型的權重而不是整個數據集，所以通信成本也是最小的。雖然FL提出了一種在邊緣部署和訓練人工智能模型的方法，但貝葉斯網絡是一種不僅能提供預測，而且能對其評估的不確定性進行估計的模型。士兵在不確定的環境中工作，知道部署的人工智能模型何時對其預測不確定，可以防止人工智能和戰士的過度自信。這一特點可以極大地幫助人工智能-士兵團隊以更高的效率水平運作。將FL的分布式和持續學習特性以及貝葉斯NN的不確定性這兩個方面結合起來，將是海軍在各種應用中的巨大優勢，如網絡流量分析、合成孔徑雷達或無人機圖像分析，或無源聲納分析。

研究目標與貢獻

為了證明這一點，開發了一個FL框架來比較貝葉斯NN和它們的確定性對應物，并在本論文中分析了它們的結果。本論文的主要貢獻是在一個已知的數據集CIFAR10[2]上對這個框架進行了基準測試，以比較結果。該數據集在FL研究中被充分研究[3]-[6]。使用的人工智能模型架構是殘差網絡（ResNet）[7]。它是一個最先進的神經網絡架構，為CIFAR10數據集設定了一個基線。這使得貝葉斯ResNets可以在集中式和FL設置中與原始的最先進結果進行比較。本論文打算回答的主要問題有以下幾個：

• 如何聚集貝葉斯NNs？
• FL是如何影響貝葉斯NN的性能的？
• FL能否提高NN的整體性能？
• 在FL中，貝葉斯NN與確定性的NN相比有什么不同？

根據項目工作計劃，這份第二份進度報告包括項目第二年期間開展的技術活動的總結。更具體地說，它包括：

• 對全偏振三維InISAR算法及其通過偽代碼實現的審查。

• 三維InISAR算法的性能分析。在這方面，提出并比較了兩種不同的方法，即基于相干和基于跨度。這兩種方法的優點和缺點已經通過模擬和真實數據得到了強調。事實上，模擬數據提供了對三維重建精度進行數字量化的可能性，但有一些局限性，因為它們不能忠實地再現不同角度下的偏振目標散射機制。另一方面，真實的數據是真實的（即使是在受控的幾何形狀下獲得的），但不能用于數值量化重建的準確性。

• 兩個ATR算法的設計和初步實施（為了初步驗證），將在項目的第三年進行全面測試。

圖2.1：使用基于Pol-InISAR擬議方法的3-D目標形成步驟的一般方框圖。

我們開發了一個深度學習框架來發現Koopman網絡模型，該模型映射了所有測量的生物電路輸出、實驗輸入參數和背景設計參數之間的因果關系。我們發現了測量（如多個熒光報告器）和監測的實驗參數（如光密度（OD）、溫度、誘導劑濃度、培養基的年齡）的因果關系的動態網絡模型，從而概括了任意非線性系統的動態結構函數（和傳遞函數）的概念。這些模型被用來確定具有類似行為的生物部分或生物電路的類別和關系，推斷潛在變量的狀態以產生實驗驚喜的假設，預測和評估穩定系統行為的操作包絡，并定量預測生物電路動態響應作為實驗參數的函數。我們項目中的方法結合了深度學習算法的表達能力、可擴展性和Koopman算子理論的嚴謹性，以發現數據驅動的動態系統模型，用于假設生成和生物電路表征。

最先進的模型發現方法通常利用關于模型結構的先驗信息。例如，貝葉斯分層模型識別方法基于模型先驗知識推斷出模型類別和參數。壓縮感應算法基于預先定義的基礎函數字典來識別輸入-輸出和動態模型。最先進的學習Koopman算子的方法依賴于動態模式分解（DMD），它利用線性模型來近似無窮大的Koopman算子。因此，這些方法依賴于科學家的創造力來提供先驗的典型模型。這限制了它們在缺乏規范模型的領域的適用性，如合成生物學、神經科學、人機系統或社會系統。

在合成生物電路設計方面，數據驅動的科學模型發現受到三個主要技術挑戰的阻礙。1）在未建模的動態情況下學習生物電路變量之間的定量關系，2）了解這些關系如何作為生物電路背景的函數而變化，以及3）在生物電路模型中轉換設計變量和背景之間的關系，以預測生物電路的穩定運行包絡。由于這些挑戰，科學發現通常依賴于手工或半自動的數據收集，然后由人類對數據進行解釋。模型被視為確認人類產生的假設的一種手段，而不是發現新的科學假設的一種手段。同樣，這是因為模型是圍繞科學家提供的第一原理而構建的，而不是來自數據驅動的算法。

我們開發了一種數據驅動的方法來學習網絡模型，其分辨率與數據中可用的空間和時間尺度相稱。我們沒有試圖為一個詳細的第一原理模型完全填充所有的動力學參數，而是開發了只描述測量的或已知的實驗變量之間因果關系的網絡模型。利用這個計算框架，我們項目的主要成果將在下面的章節中概述。

避免碰撞是保證地球空間安全和效率的關鍵任務之一。這項工作研究了用于避免碰撞的結合體的檢測和分辨率，并開發了一種基于三維球體的動態沃洛尼圖（DVD）預測結合體的算法。我們已經成功開發、實施并測試了三維球體的DVD算法。然后，我們在DVD算法的基礎上，開發并實施了COOP2（連合軌道物體預測和規劃器）算法/程序。COOP2顯示了一種被證明的數學能力，可以檢測到所有的結點，沒有任何遺漏的情況。使用從韓國航空航天研究所（KARI）獲得的TLE數據測試了COOP2，其中包括以下五顆韓國衛星的軌道運動：KOMPSAT-2、KOMPSAT-3、KOMPSAT-3A和KOMPSAT-5。開發了COOP2的高級功能，在給定檢測到的會合時，通過使用存儲在COOP-HSTRY文件中的事件歷史快速評估備選方案，產生最佳機動計劃。用無人機群驗證了COOP2算法和程序的正確性和性能。假設飛行一個無人機群，每個無人機在三維空間中遵循自己的路徑。在這種情況下，就像駐地空間物體（RSO）一樣，能夠使用COOP2程序來生成所有無人機的無碰撞飛行路徑，這樣算法/程序的性能和正確性就可以得到驗證和確認。

簡介

有許多人造的常駐空間物體（RSO）在地球軌道上運行。截至2019年1月，自1957年以來，超過5400次火箭發射（不包括失敗），將約8950顆衛星送入地球軌道：約5000顆衛星留在軌道上，包括約1950顆運行中的衛星。歐洲航天局（ESA）估計約有34,000個尺寸大于10厘米的碎片，約有90萬個尺寸為1~10厘米的碎片，1.28億個尺寸為1毫米~1厘米的碎片[1] 。由于意外的衛星碰撞（例如2009年銥星33號和宇宙2251號之間的碰撞；產生了>2,000個編目碎片）、計劃中的反衛星導彈試驗、新的衛星發射等，這個數字將迅速增加。

其中，反衛星（ASAT）導彈試驗將是產生碎片的主要原因，我們在圖1（a-f）中匯編了一些與反衛星有關的歷史事件。世界上第一次反衛星導彈試驗是在1970年2月由蘇聯對一個特殊的目標航天器DS-P1-M進行的。美國于1985年9月13日完成了針對伽馬射線光譜學衛星Solwind P78-1的首次成功的反衛星導彈試驗。這次試驗產生了285塊編入目錄的軌道碎片。2008年2月21日，美國海軍摧毀了發生故障的美國間諜衛星USA-193[10]，2015年11月18日，俄羅斯的直接升空反衛星導彈的飛行試驗[11]，以及2019年3月27日，印度的試驗。

圖1. 反衛星試驗的例子。

(a) 蘇聯的目標衛星(DS-P1-M)，用于蘇聯在1970年2月完成的世界上第一次成功攔截衛星[2]。在1967年10月27日和1968年4月28日分別進行了第一次和第二次測試后，對特殊的目標航天器DS-P1-M進行了多次測試。第一次成功的測試（第二次總體）取得了32次命中（每次可穿透100毫米的裝甲）[3]。

(b)1985年9月13日美國首次成功的反衛星導彈試驗的美國目標衛星(Solwind P78-1)。Solwind P78-1是一顆1979年發射的伽馬射線光譜學衛星，在525公里處運行[4]。其主要目的是研究太陽風，以及其他事項。一架攜帶導彈的F-15飛機從愛德華茲空軍基地起飛，爬升到11613米（38100英尺），并向Solwind P78-1垂直發射導彈。這次試驗產生了285塊編入目錄的軌道碎片。1塊碎片至少到2004年5月還在軌道上[5]，但到2008年已經脫離軌道[6]。

(c)2007年1月11日，已停用的中國氣象衛星FY-1C被摧毀后產生的碎片的已知軌道平面[7]（為提高能見度夸大了軌道）。據報道，這次破壞是由一枚SC-19 ASAT（反衛星武器）導彈完成的，其動能殺傷彈頭的概念與美國的Exoatmospheric Kill Vehicle相似。FY-1C是一顆氣象衛星，在極地軌道上圍繞地球運行，高度約為865公里（537英里）。

(d)2006年12月14日發射的美國間諜衛星(USA-193)，在2008年2月21日被美國海軍使用艦載RIM-161標準導彈3摧毀。USA-193的毀滅產生了174塊軌道碎片，美國軍方對這些碎片進行了編目[10]。雖然這些碎片大部分在幾個月內重新進入地球大氣層，但有幾塊碎片由于被拋入更高的軌道而持續的時間稍長。最后一塊USA-193的碎片直到2009年10月28日才重新進入地球[10]。

(e)俄羅斯的反衛星導彈（PL-19 Nudol）。據稱，俄羅斯的直接升空反衛星導彈，即PL-19 Nudol，于2015年11月18日成功進行了飛行試驗[11]。

(f)印度在2019年3月27日進行的名為Mission Shakti的直接升空反衛星武器試驗的分析和碎片模擬[12]。攔截器能夠在低地球軌道（LEO）300公里（186英里）的高度上打擊一顆試驗衛星，從而成功地測試了其反衛星導彈。該攔截器于UTC時間5:40左右在奧迪沙省昌迪普爾的綜合試驗場（ITR）發射，168秒后擊中其目標Microsat-R。這次撞擊產生了400多塊軌道碎片，其中24塊的遠地點高于國際空間站的軌道[13][14]。

還應注意地球空間中部署的小型衛星的數量增加。近年來，部署航天器的趨勢是更多、更小、更低成本的民用航天器，而不是少數、大型、昂貴的政府航天器[15]。例如，SpaceX獲準為其Starlink項目向低地球軌道發射12,000顆衛星，該項目是一個由數千顆大規模生產的小衛星組成的衛星群（圖2）。

這些不斷增加的空間物體，特別是在低地球軌道（LEO），大大加快了空間物體之間的碰撞風險[16]，這也是凱斯勒綜合癥（也稱為碰撞級聯）所暗示的[17]。我們最近觀察到一個可能導致低地軌道災難的大事件：2020年1月29日23:39:35 UTC，兩顆失效的衛星，1983年發射的IRAS（紅外天文衛星）和1967年發射的GGSE-4（重力梯度穩定實驗4）幾乎失事（圖3）[18]。

由于RSO的運動速度很高，如果迎面撞上，速度可達16公里/秒，空間物體之間的碰撞可能是災難性的。為了更好地防止物體之間的意外結合和碰撞，并為未來保護地球空間，特別是低地軌道，有必要有一種方法來預測和防止碰撞，并最終開發出空間交通管理（STM）系統。隨著地球空間更加商業化，如亞軌道太空旅游和/或商業個人航天飛行的預期普及，STM將變得越來越重要[19, 20]。由于預測和預防RSO之間的碰撞/連接是STM中最關鍵的問題之一[21, 22]，所以對軌道上所有可觀察到的RSO進行探測、跟蹤、識別、編目等，總稱為太空態勢感知（SSA），是必要的。確保一個完美的SSA既昂貴又復雜。由美國戰略司令部（USSTRATCOM）維護的聯合空間作業中心（JSpOC）是一個很好的資源[23]。

會合預測的價值是顯而易見的，因為如果正確預測了會合，就可以計劃和執行RSO的避撞規避機動。在可能的情況下，可能需要通過評估每個假設的機動對未來會合的影響來確定或設計一個最佳機動路徑。這個優化問題的表述涉及到可以從多次執行會合預測中獲得的參數，每次都要修改星歷。這意味著執行會合預測的頻率要比現在高。例如，由GMV/ESA開發的碰撞風險評估工具（CRASS），每天預測會合，預測時間窗口為一周，這是考慮到軌道預測準確性和對預測會合的反應時間之間的權衡而制定的政策[24, 25]。

在這里，報告了一個創新的會合預測和機動計劃算法的開發和實施，該算法使用三維球狀球的（動態）沃羅諾伊圖。開發的COOP2（聯合軌道物體預測和規劃器）算法/程序可以預測聯合，并找到最佳機動路徑，以避免JSpOC空間目錄中的RSO出現預測的聯合情況。COOP2算法/程序是基于事件的、通用的（超越成對會合預測）、高效的、準確的，并且獨立于坐標系。該算法是基于移動的三維球體的動態Voronoi圖。它的計算結果可以有效地重新播放，以便在飛行中進行各種分析。

圖2. Starlink項目。Starlink是SpaceX公司正在建造的一個衛星星座。該星座將由成千上萬顆大規模生產的小衛星組成。

圖3. GGSE-4和IRSA衛星失聯的情況。2020年1月29日，UTC時間23:39:35，兩顆衛星，1983年發射的IRAS（紅外天文衛星）和1967年發射的GGSE-4（重力梯度穩定實驗4），預計將以12米的距離緊密通過，估計碰撞的風險為5%。幸運的是，事實證明，事件發生后沒有出現新的被追蹤的碎片。

持續學習變得越來越重要，因為它使NLP模型能夠隨著時間的推移不斷地學習和獲取知識。以往的持續學習方法主要是為了保存之前任務的知識，并沒有很好地將模型推廣到新的任務中。在這項工作中，我們提出了一種基于信息分解的正則化方法用于文本分類的持續學習。我們提出的方法首先將文本隱藏空間分解為對所有任務都適用的表示形式和對每個單獨任務都適用的表示形式，并進一步對這些表示形式進行不同的規格化，以更好地約束一般化所需的知識。我們還介紹了兩個簡單的輔助任務:下一個句子預測和任務id預測，以學習更好的通用和特定表示空間。在大規模基準上進行的實驗證明了我們的方法在不同序列和長度的連續文本分類任務中的有效性。

深度神經網絡(DNNs)在許多計算機視覺任務中是成功的。然而，最精確的DNN需要數以百萬計的參數和操作，這使得它們需要大量的能量、計算和內存。這就阻礙了大型DNN在計算資源有限的低功耗設備中的部署。最近的研究改進了DNN模型，在不顯著降低精度的前提下，降低了內存需求、能耗和操作次數。本文綜述了低功耗深度學習和計算機視覺在推理方面的研究進展，討論了壓縮和加速DNN模型的方法。這些技術可以分為四大類:(1)參數量化和剪枝;(2)壓縮卷積濾波器和矩陣分解;(3)網絡結構搜索;(4)知識提取。我們分析了每一類技術的準確性、優點、缺點和潛在的問題解決方案。我們還討論了新的評價指標，作為今后研究的指導。