亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本報告詳細介紹了在 DARPA LwLL 或 "少標簽學習 "項目中采用的方法和取得的成果。

本報告解決的關鍵問題是從小標簽數據集學習的問題。這是許多應用領域經常遇到的問題。尤其是在國防應用領域，標簽數據可能是分類數據，因此數量有限。不幸的是，現代深度學習系統需要大量的標注訓練示例，這使得它們在標注較少的情況下效果不佳。在本報告中，我們將介紹我們在開發新型學習機器方面所做的努力，這些機器可以有效地從少量標簽中學習。

我們對這一問題的主要見解是利用任務和領域中的結構。這種結構可以是關于所需不變性的領域知識。它也可能更無定形，難以具體化，但它可能決定了哪些分類器能在該領域發揮良好的作用。我們探索了三種納入這種領域結構思想的方法：

1.納入已知不變量： 我們探索了明確包含已知不變量的機器學習新架構。特別是，我們設計的識別架構允許特征在空間上移動，以納入姿勢不變性。

2.跨領域學習： 考慮到不同領域之間的相似性，我們探索了跨領域傳輸所學模型的新技術。

3.特定領域的學習算法： 我們還探索了兩個領域的專業學習技術：衛星圖像和自動駕駛汽車。對于這些領域，我們利用數據的特殊結構來學習無標簽模型。

使用標準基準和 DARPA 評估進行了實驗。普遍發現

1.在對領域一無所知的情況下，最佳策略是自我訓練，即使用經過適當過濾的網絡自身輸出作為 "地面實況 "標簽。在這里，我們發現了進行自我訓練的新方法，即使網絡是在完全不同的問題領域中訓練出來的。

2.如果我們了解我們正在處理的領域，我們甚至可以建立完全無監督的識別模型，其性能優于有監督的模型。關鍵是要利用底層數據生成過程的知識。我們在衛星圖像和自動駕駛汽車上都展示了結果。

FLASH 項目的最初目標是利用豐富的結構化知識形式，開發新型高效的機器學習算法。具體來說，我們的假設是，適當使用結構化知識可以大幅減少在標準機器學習任務中實現一流性能所需的手工標記數據量，并解決兩個關鍵挑戰：

• 利用結構：開發利用結構的通用算法，以便從很少或沒有手工標記的示例中學習新概念。
• 推斷結構：通過主動從頭開始學習或從其他領域轉移結構，開發推斷結構的通用算法。

我們項目最初的重點是：(1) 程序合成/結構化預測： 設計新的結構化預測和程序合成算法，并利用它們來推斷和利用結構；(2) 研究神經表征（向量嵌入），并利用它們來開發將結構嵌入向量表征的新算法，并利用它來支持轉移和利用結構；(3) 推斷和利用領域知識和輔助信號作為誘導結構的一種方式，更好地解決轉移學習問題，并開發新的受限深度學習算法來納入輔助信號。

FLASH 計劃執行了這一計劃，并在上述所有領域做出了一系列理論和實踐貢獻。除了開發理論、算法和表征之外，我們還利用這些理論、算法和表征開發了自然語言和計算機視覺方面的應用。

此外，在 DARPA LwLL 項目過程中，由于大型預訓練生成式人工智能模型（包括 ChatGPT 等大型語言模型 (LLM)）的成功，該領域的重點發生了變化。雖然工作目標沒有改變，但我們自己的研究議程適應了該領域的這些變化，同時與我們最初提議的廣泛目標保持一致。例如，我們提出的大部分向量嵌入工作都擴展到了研究 LLM，我們在程序合成方面的工作也加入了神經肌張力元素，詳見下文。

FLASH 計劃在頂級會議上發表了大量論文，下文的描述不會涉及所有這些貢獻。相反，我們將重點介紹每個技術領域的一些關鍵貢獻，并請讀者參閱以下豐富的參考文獻以獲取完整信息。

最近，機器學習和人工智能的快速發展為改進美國防部（DOD）兵棋推演創造了越來越多的機會。本研究旨在利用現代框架、算法和云硬件來提高美國防部的兵棋推演能力，具體重點是縮短訓練時間、提高部署靈活性，并展示經過訓練的神經網絡如何為推薦行動提供一定程度的確定性。這項工作利用開源并行化框架來訓練神經網絡并將其部署到 Azure 云平臺。為了衡量訓練有素的網絡選擇行動的確定性，采用了貝葉斯變異推理技術。應用開源框架后，訓練時間縮短了十倍以上，而性能卻沒有任何下降。此外，將訓練好的模型部署到 Azure 云平臺可有效緩解基礎設施的限制，貝葉斯方法也成功提供了訓練模型確定性的衡量標準。美國防部可以利用機器學習和云計算方面的這些進步，大大加強未來的兵棋推演工作。

圖 4.1. 未來兵棋推演開發者與用戶在云和本地實例中的關系

人工智能（AI）在過去幾十年中取得了顯著進步。最近在深度學習和強化學習（RL）方面取得的進步使人工智能模型在各種視頻游戲中的表現超過了人類。隨著美國國防部（DOD）繼續投資開發用于兵棋推演和戰爭規劃應用的人工智能模型，許多方面都有了改進。

本研究調查了現代機器學習（ML）技術的應用，以提高兵棋推演的功效。這項研究表明，即使在沒有圖形處理器（GPU）的情況下，并行化也能大幅縮短 RL 問題的訓練時間，而且對平均得分的影響微乎其微。這一發現強調了并行處理框架對未來 RL 訓練工作的重要性。本研究利用 Ray 框架來協調 RL 訓練的并行化，并評估了兩種算法：近端策略優化（PPO）和重要性加權行為者學習者架構（IMPALA），包括使用和不使用 GPU 加速的情況。這項研究成功地表明，在保持總體平均性能的同時，訓練時間可以減少一到兩個數量級。

本研究的第二部分探討了將本地訓練的模型與本地環境解耦的實用方法，展示了將這些模型部署到云環境的可行性。采用的模型是利用開源框架開發的，并部署在微軟 Azure 云平臺上。這項研究成功地將訓練有素的 RL 模型部署到云環境中，并集成到本地訓練和評估中。

最后，本論文證明了貝葉斯技術可以集成到 RL 模型中，從而有可能提高人機協作的價值。這是通過將貝葉斯方法納入模型架構，并在運行時利用這些實施層的獨特屬性來實現的。這項研究取得了成功，并展示了如何將人工智能移動選擇的確定性措施合成并呈現給人類。

總之，這項研究強調了并行化的重要性，為基于云環境的訓練模型提供了概念驗證，并證明了將貝葉斯方法納入人工智能模型以改善人機協作的可行性，從而為推進 ML 和兵棋推演技術做出了貢獻。

本項目的目標是提高具有智能體間通信基礎設施的多智能體分布式任務協調的效率。在這個項目的第一階段，我們探索了基于共識的捆綁算法（CBBA）在預算約束下的分布式任務分配的改進。CBBA技術的局限性在于，環境必須被所有的智能體預先知道，任務必須被明確定義，并有已知的成本和獎勵。這種技術顯然不適合在未知環境中的合作任務，在這種環境中，智能體必須一起探索和即興行動。在這個項目的第二階段，我們研究了在未知環境中執行任務的合作技術，其中智能體只有部分觀察。該研究使用多智能體捕食者和獵物游戲作為平臺。目標是讓智能體聯合定位并捕獲獵物。智能體對環境和獵物的逃逸算法沒有事先了解。他們相互交流，以獲得超出他們自己本地觀察范圍的環境信息。基于他們對環境的局部理解，智能體選擇自己的行動，包括在哪里移動以及是否與其他智能體溝通，以使團隊獎勵最大化。強化學習被應用于優化智能體的政策，以便用最少的步驟完成游戲。

第二階段研究的主要貢獻是信仰圖譜輔助的多智能體系統（BAMS）。信念圖代表了智能體在融合了傳入的信息后所保持的環境的隱藏狀態。通過將信仰圖譜與強化學習框架相結合，并向信仰圖譜提供反饋，我們加速了訓練并提高了系統可以獲得的獎勵。在不同復雜程度的環境中，使用合作的捕食者和獵物游戲對BAMS的性能進行了評估。與現有的具有信息傳遞能力的多智能體模型相比，BAMS具有以下優點。

1）訓練收斂速度快68%，使用BAMS模型訓練的智能體完成游戲的步驟少27.5%。

2）它具有強大的性能。在應用模式中，智能體的數量不必與訓練環境相同。

3）智能體之間的信息是加密的。BAMS中的信息是智能體對環境信念的學習表示的向量。它們不僅包含關于智能體和環境的當前狀態的信息，而且還包含未來的狀態。每個數字都與智能體或環境的任何物理屬性沒有對應關系。除非有經過訓練的BAMS模型，否則不可能解碼這些信息。

4）智能體在訓練中達成默契。從實驗結果來看，使用BAMS訓練的智能體似乎不需要明確的交流就能理解對方的意圖。

5. 解碼后的信念圖為智能體的決定提供了一個粗略的解釋。信念圖解碼器與BAMS中的策略網絡一起訓練。通過比較信仰地圖和實際地圖，系統收到額外的反饋渠道，從而監督訓練過程。在執行過程中，信仰圖譜提供了一種解釋智能體隱藏狀態的方法，這可以進一步用來解釋智能體的行為。

本論文探討了區塊鏈與互聯網協議第六版（IPv6）數據包信息的使用，以支持與無人駕駛飛行器（UAVs）智能蜂群的安全、高性能和可擴展的通信。在這篇論文中，我們研究了三種情況下的加密數據包的交換，即點對點、點對多和多對點。我們模擬了每個場景下的蜂群行為，并在模擬運行中改變了蜂群中無人機的數量。基于仿真的結果顯示，對于點對點場景和多對多場景，即使在多對多場景中，交互節點的數量增加，延遲也沒有明顯增加。相反，在點對多的情況下，延遲會增加。需要進行更多的研究來評估本論文中提出的區塊鏈-IPv6方法的安全性和可擴展性。

圖. 使用區塊鏈技術的無人機群智能中的塊生成概念

引言

越來越多的無人機被用于軍事目的，再加上自動化方面的進步，如為無人駕駛飛行器（UAV）配備不同程度的自主權和群集智能，使得這些飛行器成為敵對勢力的誘人目標。為了獲得競爭優勢，對手將試圖找到無人機的飛行控制器、接收器或發射器的可利用的物理和網絡漏洞，然后應用動能、網絡或某種動能和網絡攻擊機制的組合來操縱無人機的行為，例如使無人機墜毀或泄露敏感數據。

攻擊軍用無人機的一個途徑是操縱無人機使用的通信機制，無論是無人機與無人機之間的通信還是無人機與人類操作員之間的通信。例如，對手可以修改或阻止無人機群之間的數據交換，以降低無人機群的行動效率。重要的是，為軍事單位提供的無人機已經過動能和網絡脆弱性評估，與這些脆弱性相關的風險在無人機的操作使用之前就已經得到緩解，并且在無人機的使用壽命內對無人機系統進行修改時，也要進行風險評估和緩解。

安全風險管理也要在一個框架中進行規范，美國國家標準與技術研究所（NIST）就是這樣做的，它發布了一個風險管理框架。多種技術可用于實施降低安全風險的措施。例如，Vikas Hassija和Vinay Chamola[1]斷言。"當務之急是保持無人機和其他用戶之間交易的安全性、成本效益和隱私保護。區塊鏈技術是一個非常有前途的解決方案，可用于部署實時無人機應用"。

A. 問題陳述

科學技術的創新和進步之間存在著一種共生關系。諸如自動駕駛汽車、自主無人駕駛飛行器（UAV）和智能家用電器等能力，一度被認為是科幻小說的范疇，或者在技術上太難實現，現在已經很普遍了。

無人機的概念最早出現在1783年，當時約瑟夫-米歇爾和他的伙伴雅克-艾蒂安-蒙戈爾費埃公開展示了一種當時可以說是無人機或無人駕駛飛機的交通工具[2]，其形式是1849年在法國一個叫安諾奈的地方的熱氣球，在那次戰爭中，由奧地利中尉弗朗茨-馮-烏沙提斯創造的氣球炸彈被用來攻擊威尼斯市。雖然這次攻擊只造成了輕微的損失，但它可以被稱為成功，因為兩天后威尼斯就投降了[3]。尼古拉斯-特斯拉在1898年獲得了遙控（RC）的專利，大約20年后，一家名為拉斯頓-普羅克特空中目標的公司在特斯拉之前獲得專利的遙控技術基礎上發明了第一架無翼飛機[4]。

從那時起，無人機技術和它的應用已經穩步增長。它們已被用于科學研究，如收集有關火山活動的數據，在這些地方使用駕駛飛機會太危險或太昂貴。在20世紀90年代，亞伯拉罕-卡雷姆推出了 "捕食者"，這是一種配備了攝像頭和其他傳感器的無人機，用于監視。國防界為 "捕食者 "配備了武器裝備，包括導彈[5]。掠奪者本身已被用于一些沖突，如在阿富汗、巴基斯坦、波斯尼亞、前南斯拉夫、伊拉克、也門、利比亞、敘利亞和索馬里的沖突[6]。在2022年，它們也被烏克蘭和俄羅斯武裝部隊廣泛用于戰斗。

無人機技術的一個重大進步是應用了蜂群智能，一群無人機模仿大量同質動物的智能行為，如蟻群、鳥群和蜜蜂群。蜂群通過蜂群成員之間的協調表現出集體行為。蜂群的行為可以被編碼為算法，而這些算法又可以通過軟件實現，在計算機上執行，比如無人機中使用的嵌入式計算機[7]。蜂群行為甚至被用來進行基于無人機的燈光表演，例如在2020年東京奧運會的開幕式上。

在蜂群中，蜂后是控制器，同樣地，在蜂群智能無人機中，系統中有一個控制中心，典型的控制器名為地面控制站（GCS）。無人機的工作方式很直接，這涉及到無人機和GCS之間的數據交換，然后GCS可以連接到衛星，或者衛星可以直接連接到無人機，一切都在實時發生。圖1說明了無人機和其基礎設施的一種通信方式。至少，通信需要是低延遲和安全的[8]。

有兩種技術可以在GCS和無人機之間進行通信。第一種技術是基于蜂群基礎設施的GCS，第二種是飛行Ad-Hoc網絡（FANET）。基于蜂群基礎設施的GCS本身有一個GCS，用于集中式通信。所有的無人機群都將與GCS進行通信，以便群組能夠運作。然而，這種技術的一個缺點是，它依賴于GCS的可用性和正確運作。如果GCS受到干擾，整個無人機群也會受到干擾。相比之下，FANET使用一個發射器向某個無人機發送命令，然后該無人機將這些命令轉發給第二個無人機。然后這些命令將以串行或并發的方式分發給其他無人機。所有的無人機將進行通信，并擁有發射器給出的命令列表，這樣，如果這個發射器發生故障，所有的無人機仍然可以執行命令，因為每個無人機都有一個有效的命令列表。最后，通過使用這種FANET技術，每個無人機將具有冗余性，而不完全依賴通信基礎設施。然而，這種技術也有缺點。例如，一個入侵者或一個未知的無人機可以進入并破壞無人機群。再比如，無人機群的授權成員無法檢測到，所以入侵者（即未經授權的參與者）的無人機，從而可以獲得將由授權無人機執行的命令列表[9]。

為了克服入侵者無人機的問題，也許可以應用區塊鏈來防止未經授權的無人機使用無人機群命令來獲取列表。區塊鏈本身已被廣泛用于金融領域，目的是在每筆交易的驗證過程中消除第三方。

在區塊鏈中，當數據被分發時，將很難被黑客攻擊并獲得完整的數據，因為它是由一個使用加密手段的網絡驗證的。每個區塊由前一個區塊的哈希值，驗證哈希值的隨機數，或稱nonce，以及時間戳組成。完整性的保證是由區塊鏈為第一個區塊的形成提供的，這個區塊是由一個經過驗證的交易形成的結果，稱為創世區塊。由于哈希值是不可預測的或唯一的，欺詐或復制行為將被發現。每個經過驗證的區塊都有其哈希值，對該區塊的任何改變都會對其他區塊產生影響。如果所有或大多數節點給予許可或同意，該區塊就會被添加到鏈上，因為共識機制安排交易的有效性在某個區塊的有效性。

區塊鏈上的這種共識機制可以通過三種方式進行，那就是工作證明、股權證明和投票，實用拜占庭容錯。在加密貨幣的世界里，工作證明被用于采礦。它的工作原理是在每個節點上進行數學方程的計算，然后每個首先完成計算的節點將有權將最新的區塊輸入區塊鏈。使用權益證明，只有合法的節點可以進行計算以達成共識。另一方面，實用拜占庭容錯是基于投票的，要求至少有三分之一的授權節點是拜占庭的。

認證過程是通過生成具有偽隨機函數的一次性密碼（OTP）來進行的。無人機在區塊鏈中注冊，每架無人機根據存儲在區塊鏈節點中的關系，確定它能夠認證的最近的無人機。認證請求從無人機發送至相關的無人機，后者在區塊鏈中觀察并檢查該無人機是否有關系，并能對其進行認證。這個方案能夠挫敗外部惡意無人機的攻擊或第三方攻擊，即使對手知道第一個令牌。

B. 方法

在本論文中，我們研究了使用IPv6（互聯網協議版本6）在無人機之間進行通信的方式。與IPv4（互聯網協議版本4）相比，IPv6有很多優點，即速度更快，更有效，因為它的路由表比IPv4少，所以路由過程將更有組織和有效，而且更安全，因為它配備了交換數據的加密功能。帶寬更有效，因為IPv6支持組播。配置更容易，因為它自動運行。總的來說，IPv6更適合無人機等移動設備，因為不需要通過網絡地址表（NAT），因此延遲低。IPv6將使用區塊鏈與權益證明共識相結合。

與加密貨幣一樣，區塊鏈上的每個節點都必須進行支付。在這項研究中，支付被替換成OTP。每個節點產生相同或同步的OTP。區塊鏈和OTP在這里的使用是為了檢測未經授權的無人機，并防止他們讀取或更新無人機群使用的命令列表。此外，我們探索了區塊鏈、智能合約共識（SCC）和分布式賬本技術在蜂群通信方面的能力。此外，還根據提出的無人機群智能通信架構的概念進行了模擬。

C. 范圍

本論文的范圍僅限于探索區塊鏈技術和OTP的聯合使用，這兩種技術在IPv6數據包中都有填充。

D. 研究結果總結

在進行了模擬物理無人機在點對點、點對多、多對點場景下的運行，并使用1-10000次迭代或交易的實驗后，得到了各場景的延遲比較結果。從這些結果可以得出結論，對于點對點方案和多對多方案，即使在多對多方案中，交互節點的數量增加，延遲也沒有顯著增加。而在點對多的情況下，一個節點以廣播信息的形式同時向幾個節點進行交易，這導致了延遲的增加。第四章和第五章解釋了仿真結果和這些結論的總結。此外，第五章還討論了與本論文中的事項有關的未來工作的可能性和建議。

E. 論文組織

第二章介紹了無人機群智能通信區塊鏈功能的背景，并利用它作為無人機群智能的通信手段。它還對IPv6結構格式進行了概述。第三章討論了基于IPv6區塊鏈的通信數據傳輸的分析。具體而言，分析了IPv6區塊鏈數據包的場景、保密性、完整性和可用性。第四章闡述了IPv6區塊鏈在無人機蜂群智能中實現的可能性和挑戰的研究成果。第五章提供了結論和對未來研究的建議。

本報告是在 FA9453-19-1-0078 資助下編寫的。首先，提出了兩種數值方法來解決通信和導航中產生的非線性優化問題。其次，開發了兩個關于機器學習模型的解決方案質量和安全性的結果。

該研究項目的目標是開發高效的大規模非線性優化算法，以解決通信和導航方面的數據分析問題。這些問題被公認為在數學上具有挑戰性，并與空軍的利益直接相關。

在資助期間，我們成功研究了兩個研究方向。首先，我們設計了大規模非線性優化問題的最佳一階方法。在這個方向上，我們提出了兩個一階方法，可以對決策變量進行近似梯度更新。這兩種方法都可以解決分散通信的多Agent優化所產生的非線性優化問題。通過將多代理優化重新表述為約束性問題，我們開發的方法可以以最佳梯度/操作者評估復雜度來解決問題。我們開發的方法也可用于解決圖像重建問題。

第二，我們分析了機器學習模型中的解決方案質量和安全問題。在這個方向上，我們完成了兩個研究結果。我們的第一個成果是關于在多集群環境下，從二元結果的條件邏輯回歸模型中計算出來的估計值的屬性。我們表明，當每個單獨的數據點被無限次復制時，來自該模型的條件最大似然估計值漸進地接近最大似然估計值。我們的第二個結果是關于安全的矩陣乘法問題，我們設計了一種準確和安全地進行分布式矩陣乘法的方法。我們的安全協議可以確保在進行這種矩陣乘法的通信過程中沒有任何信息被泄露。

本報告總結了網絡科學實驗方法項目期間的研究成果，大約涵蓋2017-2020年。該項目重點關注兩個主要議題：彈性網絡的上下文感知網絡和網絡安全。上下文感知網絡旨在改善戰術網絡及其支持服務的性能，使用上下文感知來加強目前的實踐方法，這些方法不一定考慮環境的動態和資源有限的邊緣設備和網絡的限制。彈性網絡的網絡安全旨在加強戰術網絡在動態和復雜對手面前的安全性。

參與本項目的美國陸軍作戰能力發展司令部陸軍研究實驗室的研究人員在相關主題的多個外部合作伙伴計劃的形成和合作中具有重要影響。這些項目的成果被納入任務資助的項目。這些合作伙伴計劃包括美國-英國分布式分析和信息科學國際技術聯盟（DAIS ITA）、戰場物聯網合作研究聯盟（IoBT CRA）、技術合作計劃（TTCP）和北約科學和技術組織信息系統技術（NATO STO IST）小組。

這項研究的影響包括：網絡模擬實驗驗證了支持理論結果的算法和技術的可行性，在網絡和通信研究界對研究成果進行了大量報道，并對陸軍概念科技（S&T）文件做出了貢獻。下文中總結的重點包括：利用沙堆模型開發網絡控制中的級聯故障的最佳控制，并確定可以防止級聯故障的條件；將密匙壽命提高一個數量級的物理層安全認證協議；以及對指揮與控制（C2）、火災和網絡科技概念文件的貢獻。

圖 1 包含理解、適應和執行周期的上下文感知網絡示意圖

本報告重點討論了如何利用模擬或生成模型創建的合成數據來解決深度學習的數據挑戰。這些技術有很多優點：1）可以為現實世界中難以觀察到的罕見情況創建數據；2）數據可以在沒有錯誤的情況下被自動標記；3）數據的創建可以很少或沒有侵犯隱私和完整性。

合成數據可以通過數據增強等技術整合到深度學習過程中，或者在訓練前將合成數據與真實世界的數據混合。然而，本報告主要關注遷移學習技術的使用，即在解決一個問題時獲得的知識被遷移到更有效地解決另一個相關問題。

除了介紹合成數據的生成和轉移學習技術，本報告還介紹了實驗結果，這些結果對合成數據方法在飛行員行為克隆、車輛檢測和人臉驗證任務中的潛力提供了寶貴的見解。實驗的初步結果表明，軍事模擬器和生成模型可以用來支持深度學習應用。然而，性能往往受限于合成數據和真實世界數據之間的保真度差距。

1 引言

深度學習（DL）是一種技術，它提高了在廣泛的現實世界應用中實現復雜任務自動化的能力。翻譯、轉錄、視頻監控、推薦系統和自動駕駛汽車都是基于DL的解決方案已經被開發和部署用于商業目的的例子。在軍事領域，DL有可能支持人類在所有領域和戰爭級別的決策，其應用包括自動目標識別、預測性維護和無人駕駛車輛的自動控制。

與其他機器學習（ML）技術類似，DL使用算法來從數據中提取知識。在這種情況下，知識被編碼在大容量的深度神經網絡（DNNs）中，這些網絡可能由數千、數百萬甚至數十億的可調整參數組成，這取決于所考慮的任務的復雜性。為了正確調整這些參數，學習算法需要大量的訓練數據。沒有這些數據，DNN將無法泛化，因此，當遇到以前未見過的數據時，它將不會有好的表現。

獲取DL的訓練數據是困難的。這在商業應用中是存在的，而在軍事領域更是如此。瓶頸之一是，學習算法通常需要經過人工標注的數據（即為每個輸入數據點提供一個正確的答案）。因此，即使在獲取大量輸入數據相對低成本的情況下，正確標記所有的數據也往往是高成本和費時的。例如，Cityscapes數據集中的5,000個樣本中，每個樣本平均需要1.5個小時來標注（整個數據集大約需要十個月）[1]。此外，由于標注是由人類來完成的，其結果可能是不正確的、有偏見的甚至是有成見的，這也會反映在訓練過的模型的行為上。

此外，訓練數據往往存在長尾分布的問題。也就是說，對于數量有限的普通案例，訓練數據相對容易獲得，但對于大量重要的邊緣案例，訓練數據本身就很難獲得。例如，考慮一個基于無人機的軍用車輛監視和跟蹤系統。在這種情況下，友好車輛的空中圖像相對容易獲得。車輛數據可以在不同的地點、高度、角度、天氣條件、環境等方面獲得。獲取代表合格敵方車隊的類似現實世界的數據集通常是不可能的，因為這種侵入性的情報行動會導致對手的行動。使用遵循長尾分布的數據集訓練的系統通常實用價值有限，因為它只能在條件理想時使用（即，輸入數據與常見情況相似）。當遇到代表邊緣案例的真實世界的數據時，該系統將不會有好的表現，也不能被依賴。

1.1 目的和范圍

本報告的目的是介紹可用于解決軍事背景下有限訓練數據所帶來的一些挑戰的技術。具體來說，本報告重點討論如何將使用軍事模擬或生成模型創建的合成數據與微調、領域適應、多任務學習和元學習等遷移學習技術結合起來，以加速未來DL在軍事領域應用的開發和部署。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI/ML/DL技術，用于或嵌入軍事系統的人員。

1.3 閱讀說明

本報告假定讀者具有關于ML和DL概念的基本知識，如監督學習、強化學習、損失函數、梯度下降和反向傳播。鼓勵缺乏此類知識的讀者在繼續閱讀本報告之前，先閱讀FOI-報告FOI-R-4849-SE[2]中的第二章。

1.4 提綱

第2章概述了在深度學習中可以用來生成和整合合成訓練數據的技術和方法。第3章概述了轉移學習技術，可以用來促進知識從一個任務到另一個任務的重用。在第4章中，對這些技術的一個子集進行了評估，并提供了深入了解合成數據方法潛力的實驗結果。第5章中提出了結論。

圖2.2: 一幅戰斗機的圖像（2.2a）通過添加噪聲（2.2b）、濾色器（2.2c）和模糊（2.2d），以及通過縮放（2.2e）和縮放后的旋轉（2.2f）得到增強。每幅圖像都附有所有像素的平均RGB值分布的相應圖表。雖然所有圖像在語義上是不變的，但分布的形狀卻有很大的不同。

圖4.7：從我們的訓練數據集中隨機選擇的合成圖像。對于每一對圖像，左邊顯示的是最初生成的臉，右邊顯示的是編輯過的臉。請注意，所有圖像都在臉部周圍進行了裁剪。

機器學習領域最大的兩個難題是:為什么它會如此成功?為什么它會如此脆弱?

這個講座將提供一個框架，從高維函數近似的角度來解開這些難題。我們將討論關于假設空間的神經網絡類型的近似泛化特性已知的和未知的，以及訓練過程的動力學和泛化特性。我們還將討論淺神經網絡模型和深神經網絡模型的相對優點，并提出建立更魯棒的機器學習模型的方法。

視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此，多年來出現了一系列廣泛的方法，這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述，但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域，如計算機視覺、自然語言處理等。然而，這項調查關注的是深度學習是如何改進的，并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外，還討論了常用的數據集以及常用的評價指標。然后，對最近的研究方法進行了綜合討論，以提供未來研究的方向和可能的領域。

//arxiv.org/abs/2009.14146