亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在圖 1 中簡要介紹了布朗大學團隊的研究工作。在美國國防部高級研究計劃局（DARPA）的 "少標簽學習"（LwLL）項目中，團隊的工作包括技術領域 1（TA1）和技術領域 2（TA2）。技術領域 1 的目標是開發以下學習算法 (1) 將從頭開始建立模型所需的標注數據量減少至少 10^6 倍；以及 (2) 適應具有數百個標注示例的新環境。TA2 的目標是正式證明解決特定機器學習問題所需的標注數據量的限制。具體來說，我們的貢獻有兩個方面：首先，我們開發了廣泛適用的系統和方法，以減少學習對標注數據的需求；其次，我們定義了穩健的理論分析和框架，這些分析和框架是程序化弱監督和零點學習范例的基礎。

在該計劃中，預訓練的大型語言和視覺語言模型的出現帶來了新的挑戰，因為這些模型出色的泛化能力大大提高了基準性能。雖然這些進步降低了針對新目標任務完善模型時對標注數據的需求，但能否獲得足夠的特定目標數據仍然至關重要，尤其是對于遠離模型訓練數據的領域。考慮到這一點，我們的團隊將注意力轉向了在資源有限的情況下對這些大型模型進行參數高效調整。

總的來說，貢獻總結如下：

• 推出了 TAGLETS [1]，這是首個端到端機器學習系統，能以統一的方式自動整合數據和模型生態系統。在數據量較少的情況下，沒有經驗法則可以事先選出最佳學習策略。TAGLETS 包括來自不同學習范式的多種算法，如遷移學習、半監督學習和零點學習。每個模型最初都會在目標相關的輔助數據上進行微調，這些數據是從其他任務的標注數據集合中提取的[1, 2]。然后，將訓練好的模型作為弱標簽器，為未標簽數據生成偽標簽。新標注的數據和為數不多的標注數據被送入最終模型，成為系統的輸出結果。TAGLETS 最初使用較小的預訓練模型作為模型的骨干。用更大的預訓練模型取代這些骨干模型的進一步實驗表明，TAGLETS 的架構和任務相關輔助數據的重點，即使是更大的預訓練模型，也能從中獲益。(TA1)

• 設計了一種新穎的零點學習方法（zero-shot learning approach），利用常識知識圖譜來豐富未見目標類的信息（ZSL-KG）[3]。在使用描述類別的屬性進行零點學習的背景下，我們首次提出了從屬性到類別的最佳映射的最壞情況誤差的非難下限，即使有完美的屬性檢測器也是如此[4]。該下界描述了基于可用信息--類-屬性矩陣--的零點問題的理論內在難度，而且該下界實際上是可計算的。(TA1 和 TA2）

• 探索了如何在不同的低資源學習范式[5]下利用偽標記來提高視覺語言模型（VLM）在新任務上的能力。我們的主要觀察結果是，在半監督、無監督和轉導式零點學習設置中使用相同的學習策略，通過偽標簽學習可持續提高對比語言-圖像預訓練（CLIP）的性能。此外，通過使用假標簽進行提示來調整 CLIP，可減輕 CLIP 對某些類別的偏差。(TA1)

• 開發了一種使用 CLIP（組合軟提示）[6] 學習如何組合概念的新方法。我們的方法在組合零點學習（即預測未見屬性-對象組合（如老貓和小老虎）的任務）方面表現良好。除了提出這種新方法外，我們還研究了 CLIP 編碼組合概念的能力，以及以對結構敏感的方式綁定變量的能力（例如，區分球體后面的立方體和立方體后面的球體）[7]。(TA1)

• 從理論上研究并提供了在去除獨立性假設后組合弱標簽器的新方法。特別是，我們設計了具有誤差理論保證的解決方案[8, 9]。我們將這一分析擴展到漂移數據 [10]。此外，為了克服標簽輸出單一類標簽的假設，我們研究了用戶可以創建部分標簽輸出可能類標簽子集的情況 [11]。(TA1 和 TA2）

• 在大型語言模型和視覺語言模型出現后，我們開發了 Alfred：第一個允許通過提示對大量未標記數據進行標記的框架[12]。(TA1)

方法對項目整體范圍的影響。

• 布朗大學在 JPL 設計的圖像和視頻分類任務中評估了其 TAGLETS 系統。此外，我們還評估了 GRIP，這是一種利用偽標簽的基于 CLIP 的提示調整方法，用于解決 JPL 的零鏡頭學習任務。
  • 在圖像分類任務中，TAGLETS 的表現躋身前六名。
  • 在視頻分類任務中，當標記數據量增加時，TAGLETS 是表現最好的方法。
  • 在零鏡頭學習任務中，GRIP 的表現一直名列前茅，與基線相比提高了 20%。

本文總結了我們在 DARPA LwLL（少標簽學習）項目中的研究和技術貢獻，該項目旨在減少訓練和調整機器學習模型所需的標簽數據。基于遷移學習，我們的方法利用了從數據集、知識資源、模型和架構、現有任務和訓練算法等各種來源獲得的歸納偏差。它將上述方法整合到一個連貫的框架中，并與 LwLL 評估協議保持一致，以便在各種學習條件下，在有限的監督下進行學習。利用生成式人工智能的最新進展，這項工作研究了注入適當歸納偏差的新穎而有效的方法，以推動圖像分類、物體檢測、視頻分類和機器翻譯領域的技術發展。研究成果包括在頂級人工智能刊物上發表大量論文、組織研討會以及培訓博士后和博士生。該團隊還在 LwLL 評估中表現出色，其對象檢測系統入選 NGA 過渡任務。此外，從 LwLL 項目中獲得的知識和技能還被應用到我們團隊參與的 DARPA CCU 項目中，該項目中只有 20% 的數據是有標簽的。

人類和許多動物都能通過少量實例學習新概念，從而快速適應新環境。然而，最先進的深度神經網絡過去往往需要大量標注數據才能學習感興趣的目標概念，這主要是由于這些模型的學習能力較強。不過，最近在生成式人工智能和指令跟隨大型語言模型（LLMs）方面取得的進展為機器學習系統在標記數據稀缺的情況下快速學習和適應開辟了新的可能性。在本項目中，我們的方法是學習如何通過將知識從某些任務轉移到其他任務（又稱轉移學習），從而在標簽較少的情況下有效地學習和適應。

從標簽較少的數據中學習的方法的一個必要條件是，它不應該專門針對為學習概念而制定的特定任務。粗略地說，一個任務包括一個數據集和一個學習特定概念的評估指標，例如 ImageNet 挑戰賽。從較少的標簽中學習的臨時和啟發式方法并不可取，因為它們無法在不同的數據和任務分布中始終如一地發揮良好作用。在本項目中，我們設計了有效的策略，通過利用泛化所需的歸納偏差來學習和/或適應新概念。在遷移學習的大框架下，利用不同的機制將這些歸納偏差 "遷移 "到感興趣的目標任務中。我們研究了多種深度神經網絡的泛化，包括圖像分類、物體檢測、視頻分類和機器翻譯等領域最先進的模型。

如前所述，我們通過注入歸納偏差實現了少標簽學習（LwLL）的樣本效率。本報告中使用的學習機 "歸納偏差 "概念值得澄清。"學習 "涉及從過去的經驗中歸納出新情況的能力，這種新情況與過去的經驗 "相關"。處理新情況所需的歸納飛躍似乎只有在選擇一種情況概括而非另一種情況概括的某些偏差下才有可能實現"[1]。

在本報告中，我們對 "偏差 "的工作定義是："指除與觀察到的訓練實例嚴格一致之外，選擇一種概括[或假設]而非另一種概括的任何依據"[1]。我們使用的 "遷移學習 "是廣義的、通用的，包括最近的一些進展，如 (i) 預訓練--然后--再調整范式，以及 (ii) 使用指令跟隨大型語言模型（LLM）的零/少鏡頭學習。前者包括通過使用具有不同分布的海量無標記自然出現的網絡規模數據進行自我監督學習，從而提煉知識和歸納偏差。從根本上說，人們可能會問，這種歸納偏差的轉移是如何發生的？我們提供了一種基于壓縮論證的直覺[2]。在大型神經網絡定義的函數空間中，使用基于梯度搜索的壓縮算法對大量數據進行 "壓縮"，從而捕捉到規律性，然后在感興趣的目標監督學習任務中加以利用，例如，通過自動制作的信息性和預測性特征。

后者依賴于 "調動 "大型神經網絡在預訓練階段所學到的提煉知識和歸納偏差，使目標任務受益。實現 "指令跟隨 "的方法是，讓經過預訓練的大型 LLM 接觸各種指令集，使網絡能夠理解并跟隨人類的新指令，從而獲取網絡中提煉出的大量知識。例如，這些指令可以是對如何生成分類任務標簽的描述，類似于在策劃標簽數據集時給人類注釋者的指令。這實際上將 LLM 變成了 "噪聲注釋器"，或者換句話說，變成了 "零鏡頭 "方式的分類器。

利用這些進展，在 DARPA LwLL 的整個工作過程中，我們研究并探索了在各種學習環境中進一步注入適當的歸納偏差，以推動圖像分類、物體檢測、視頻分類和機器翻譯領域的技術發展。我們的目標是針對通用智能體在部署階段遇到的感興趣的學習環境，"自動專業化 "通用預訓練模型。這需要對各種挑戰和學習條件進行整體處理，包括采用適當的骨干預訓練架構（模型選擇）、識別智能體的知識差距并從人類注釋者那里查詢適當的未標注數據點的標簽（主動學習）、從已標注和未標注數據的組合中學習的算法（半監督學習），以及適應數據分布發生變化的新領域（領域適應）。我們要強調的是，在已發表的作品中，研究界通常只關注上述機器學習設置中的 "一種"。然而，自主智能體應該能夠處理系統部署過程中出現的所有這些設置，而這正是我們的工作所要解決的核心問題，與 LwLL 計劃的評估協議相一致。此外，我們在視覺和語言問題上始終使用 Transformer 架構[3]，對這些不同的模式進行了統一處理，實現了對各種想法的無縫探索。

本報告的組織結構如下。首先，我們介紹了 DARPA LwLL 計劃的評估協議，并描述了我們應對使用較少標簽學習所面臨挑戰的主要框架。隨后是方法論部分，描述了我們的框架如何適應 LwLL 評估中考慮的四個問題：圖像分類、物體檢測、視頻分類和機器翻譯。然后，我們在 "結果與討論 "部分報告了評估結果和發現。最后，我們總結了我們的貢獻以及對未來少標簽學習的思考，以此結束本報告。

本研究旨在研究如何通過在大規模文本文檔中執行開放式信息提取技術來構建網絡安全知識圖譜表示法。之后，我們將研究如何將深度學習應用于網絡安全的知識圖譜表示。我們將考慮在圖深度學習模型中使用注意力機制，并比較可用于圖表示數據學習的各種深度學習模型。此外，我們還將研究利用無標記數據的半監督學習框架，以提高預測和排序問題的性能。所提出的方法將用于檢測網絡安全領域的惡意軟件和代碼缺陷。

FLASH 項目的最初目標是利用豐富的結構化知識形式，開發新型高效的機器學習算法。具體來說，我們的假設是，適當使用結構化知識可以大幅減少在標準機器學習任務中實現一流性能所需的手工標記數據量，并解決兩個關鍵挑戰：

• 利用結構：開發利用結構的通用算法，以便從很少或沒有手工標記的示例中學習新概念。
• 推斷結構：通過主動從頭開始學習或從其他領域轉移結構，開發推斷結構的通用算法。

我們項目最初的重點是：(1) 程序合成/結構化預測： 設計新的結構化預測和程序合成算法，并利用它們來推斷和利用結構；(2) 研究神經表征（向量嵌入），并利用它們來開發將結構嵌入向量表征的新算法，并利用它來支持轉移和利用結構；(3) 推斷和利用領域知識和輔助信號作為誘導結構的一種方式，更好地解決轉移學習問題，并開發新的受限深度學習算法來納入輔助信號。

FLASH 計劃執行了這一計劃，并在上述所有領域做出了一系列理論和實踐貢獻。除了開發理論、算法和表征之外，我們還利用這些理論、算法和表征開發了自然語言和計算機視覺方面的應用。

此外，在 DARPA LwLL 項目過程中，由于大型預訓練生成式人工智能模型（包括 ChatGPT 等大型語言模型 (LLM)）的成功，該領域的重點發生了變化。雖然工作目標沒有改變，但我們自己的研究議程適應了該領域的這些變化，同時與我們最初提議的廣泛目標保持一致。例如，我們提出的大部分向量嵌入工作都擴展到了研究 LLM，我們在程序合成方面的工作也加入了神經肌張力元素，詳見下文。

FLASH 計劃在頂級會議上發表了大量論文，下文的描述不會涉及所有這些貢獻。相反，我們將重點介紹每個技術領域的一些關鍵貢獻，并請讀者參閱以下豐富的參考文獻以獲取完整信息。

本項目的目標是提高具有智能體間通信基礎設施的多智能體分布式任務協調的效率。在這個項目的第一階段，我們探索了基于共識的捆綁算法（CBBA）在預算約束下的分布式任務分配的改進。CBBA技術的局限性在于，環境必須被所有的智能體預先知道，任務必須被明確定義，并有已知的成本和獎勵。這種技術顯然不適合在未知環境中的合作任務，在這種環境中，智能體必須一起探索和即興行動。在這個項目的第二階段，我們研究了在未知環境中執行任務的合作技術，其中智能體只有部分觀察。該研究使用多智能體捕食者和獵物游戲作為平臺。目標是讓智能體聯合定位并捕獲獵物。智能體對環境和獵物的逃逸算法沒有事先了解。他們相互交流，以獲得超出他們自己本地觀察范圍的環境信息。基于他們對環境的局部理解，智能體選擇自己的行動，包括在哪里移動以及是否與其他智能體溝通，以使團隊獎勵最大化。強化學習被應用于優化智能體的政策，以便用最少的步驟完成游戲。

第二階段研究的主要貢獻是信仰圖譜輔助的多智能體系統（BAMS）。信念圖代表了智能體在融合了傳入的信息后所保持的環境的隱藏狀態。通過將信仰圖譜與強化學習框架相結合，并向信仰圖譜提供反饋，我們加速了訓練并提高了系統可以獲得的獎勵。在不同復雜程度的環境中，使用合作的捕食者和獵物游戲對BAMS的性能進行了評估。與現有的具有信息傳遞能力的多智能體模型相比，BAMS具有以下優點。

1）訓練收斂速度快68%，使用BAMS模型訓練的智能體完成游戲的步驟少27.5%。

2）它具有強大的性能。在應用模式中，智能體的數量不必與訓練環境相同。

3）智能體之間的信息是加密的。BAMS中的信息是智能體對環境信念的學習表示的向量。它們不僅包含關于智能體和環境的當前狀態的信息，而且還包含未來的狀態。每個數字都與智能體或環境的任何物理屬性沒有對應關系。除非有經過訓練的BAMS模型，否則不可能解碼這些信息。

4）智能體在訓練中達成默契。從實驗結果來看，使用BAMS訓練的智能體似乎不需要明確的交流就能理解對方的意圖。

5. 解碼后的信念圖為智能體的決定提供了一個粗略的解釋。信念圖解碼器與BAMS中的策略網絡一起訓練。通過比較信仰地圖和實際地圖，系統收到額外的反饋渠道，從而監督訓練過程。在執行過程中，信仰圖譜提供了一種解釋智能體隱藏狀態的方法，這可以進一步用來解釋智能體的行為。

本書為表示提供了簡明而全面的指南，這是機器學習(ML)的核心。最先進的實際應用涉及許多高維數據分析的挑戰。不幸的是，許多流行的機器學習算法在面對龐大的基礎數據時，在理論和實踐中都無法執行。本書恰當地介紹了這個問題的解決方案。 此外，這本書涵蓋了廣泛的表示技術，對學者和ML從業者都很重要，如局部敏感哈希(LSH)，距離度量和分數范數，主成分(PCs)，隨機投影和自動編碼器。書中提供了幾個實驗結果來證明所討論技術的有效性。 本書討論了機器學習(ML)中最重要的表示問題。在使用機器從數據中學習類/聚類抽象時，以適合有效和高效機器學習的形式表示數據是很重要的。在本書中，我們建議涵蓋各種在理論和實踐中都很重要的表示技術。在當前興趣的實際應用中，數據通常是高維的。這些應用包括圖像分類、信息檢索、人工智能中的問題解決、生物和化學結構分析以及社會網絡分析。這種高維數據分析的一個主要問題是，大多數流行的工具，如k近鄰分類器、決策樹分類器，以及一些依賴于模式間距離計算的聚類算法都不能很好地工作。因此，在低維空間中表示數據是不可避免的。 常用的降維技術有以下幾種：

1. 特征選擇方案:在這里，給定的特征集的一個適當子集被識別并用于學習。
2. 特征提取方案:在學習中使用給定特征的線性或非線性組合。 一些流行的線性特征提取器基于主成分、隨機投影和非負矩陣分解。我們在本書中涵蓋了所有這些技術。關于用主成分子集表示數據，文獻中存在一些誤解。一般認為，前幾個主成分是對數據進行分類的正確選擇。我們在書中論證并實際地表明，這種做法可能是不正確的。

盡管近年來深度學習取得了巨大進展，但訓練神經網絡所帶來的爆炸式經濟和環境成本正變得不可持續。為了解決這個問題，已經有大量關于算法高效深度學習的研究，這些研究旨在通過改變訓練程序的語義，而不是在硬件或實現級別上降低訓練成本。本文對該領域的研究進行了系統、全面的綜述。首先，我們將算法加速問題形式化，然后我們使用算法高效訓練的基本構建塊來開發分類。我們的分類強調了看似不同的方法的共性，并揭示了當前的研究差距。接下來，我們將介紹評估最佳實踐，以實現對加速技術的全面、公平和可靠的比較。為進一步幫助研究和應用，討論了訓練管道中的常見瓶頸(通過實驗說明)，并為它們提供分類緩解策略。最后，我們強調了一些尚未解決的研究挑戰，并提出了有希望的未來方向。 //arxiv.org/abs/2210.06640

在過去的幾年里，深度學習(DL)在廣泛的應用領域取得了顯著的進展，如蛋白質結構預測(AlphaFold [Jumper et al。2021])、文本到圖像合成(DL - e [Ramesh et al。2021])、文本生成(GPT-3 [Brown等人。2020a])等。實現這些性能提升的關鍵策略是將DL模型擴展到非常大的規模，并對它們進行大量數據的訓練。對于大多數應用程序，可訓練參數的數量至少每18至24個月翻一番——語言模型以4至8個月的翻倍時間領先(Sevilla and Villalobos 2021)。大規模人工智能模型的著名例子包括:用于視覺應用的Swin Transformer-V2 [Liu等人2022a]，用于語言建模的PaLM [Chowdhery等人2022]，用于內容推薦的波斯[Lian等人2021]，具有100萬億參數。

盡管擴大DL模型正在實現前所未有的進步，但訓練大型模型已經變得極其昂貴。例如，GPT-3訓練成本估計為165萬美元，使用谷歌v3 TPU[Lohn和Musser 2022]，且transformer 模型的低效/幼稚開發將產生相當于5輛汽車終生碳足跡的二氧化碳(CO2) [Strubell等人，2019]。值得關注的是，DL仍然沒有達到許多應用所要求的性能水平:例如，在現實世界中部署全自動駕駛汽車需要人類水平的性能，但還沒有達到。不斷增長的模型和數據規模以達到所需的性能將使當前的訓練策略在金融、環境和其他方面不可持續。事實上，根據目前的趨勢推斷，2026年最大的人工智能模型的訓練成本將超過美國的GDP總量(Lohn and Musser 2022)。此外，DL對計算的高度依賴引發了人們對財務資源有限的用戶(如學者、學生和研究人員(特別是來自新興經濟體的人)的邊緣化的擔憂[Ahmed and Wahed 2020]。我們將在附錄A中更詳細地討論這些關鍵問題。考慮到其計算負擔的不可持續增長，DL的進步需要更多的計算效率訓練方法。一個自然的方向是消除學習過程中的算法效率低下，以減少DL訓練的時間、成本、能量和碳足跡。這種算法高效的深度學習方法可以通過多種方式改變訓練過程，包括:改變數據或樣本呈現給模型的順序;調整模型的結構;改變優化算法。這些算法改進對于實現有效深度學習訓練所需計算負擔的估計下界至關重要，目前的做法導致的負擔大大超過了該下界[Thompson等人，2020]。

此外，這些算法增益與軟件和硬件加速技術相結合[Hernandez和Brown 2020]。因此，我們相信算法高效的邏輯學習提供了一個巨大的機會來增加邏輯學習的收益并降低其成本。雖然最近涌現的算法效率論文支持了這一觀點，但這些論文也表明，算法效率方法的研究和應用受到碎片化的阻礙。不同的指標被用來量化效率，這產生了不一致的加速方法的排名。評估是在狹窄或特征不佳的環境中執行的，這將導致不正確或過于寬泛的結論。在討論算法效率方法時，缺乏反映它們的廣度和關系的分類法，這使得人們很難理解如何遍歷加速環境，將不同的方法結合起來并開發新的方法。因此，本文的核心貢獻是組織算法效率文獻(通過受[Von Rueden等人2019]啟發的分類法和調研)，以及對影響報告和實現加速的實際問題的技術描述(通過評估和實踐指南)。我們的討論始終強調這兩個重點的關鍵交集:例如，算法效率方法是否會導致實際的加速確實取決于方法(通過我們的分類法可以理解)和計算平臺(通過我們的從業者指南可以理解)之間的交互。

我們的貢獻總結如下:

• 形式化加速:我們回顧DNN效率指標，然后形式化算法加速問題。
• 分類和調研:我們通過適用于3個培訓管道組成部分的5個加速行動(5Rs)對200多篇論文進行分類(見表1和表3)。分類有助于為從業者選擇方法，為讀者消化文獻，并為研究人員識別機會。
• 最佳評估實踐:我們識別了文獻中常見的評估陷阱，并相應地提出最佳評估實踐，以實現對各種加速技術的全面、公平和可靠的比較。
• 從業者指南:我們討論了影響加速方法有效性的計算平臺瓶頸。根據訓練管道中瓶頸的位置，提出適當的方法和緩解措施。

有了這些貢獻，我們希望改進算法效率的研究和應用，這是計算效率深度學習的關鍵部分，需要克服現有研究面臨的經濟、環境和包容相關的障礙。本文主要分為四個部分:第2節概述了DNN訓練和效率度量以及算法加速問題的形式化。第3節使用廣泛適用的加速方法的構建塊以及它們影響的訓練管道組件來開發我們的分類法。第4節根據我們的分類法對加速文獻進行了全面的分類，并討論了研究機會和挑戰。第5節和第6節分別討論了比較不同方法的最佳評估實踐和選擇合適的加速方法的實際建議。最后，第7節總結并提出了算法效率領域的開放問題。

在現代軍事領域，及時的信息越來越重要。然而，攻擊正變得越來越復雜。快速識別、選擇和執行網絡防御響應至關重要。

新型人工智能 (AI) 統計前瞻規劃技術已用于對目標環境進行網絡攻擊。這些技術以前沒有在網絡建模中使用過，但它們在其他領域的成功表明了它們的實用性。人工智能展示了它能夠組裝復雜的攻擊，顯示出解決網絡領域問題的能力。

Mininet/Containernet 解決方案在目標環境的完整表示方面取得了重大進展，這使人們相信這種表示是可能的。這將允許構建具有代表性的目標環境以進行快速分析。

人工智能可用于大規模生成成功攻擊特征的數據，促進機器學習人工智能的訓練，以檢測此類攻擊，這在現實世界數據稀少的情況下至關重要。

這種方法的一個優點是人工智能不是在學習，而是在進行前瞻性規劃。因此，隨著新漏洞的識別，人工智能可用的攻擊和防御動作可以輕松更新，而無需重新訓練。這種敏捷性在快速發展的網絡領域中至關重要。

1 引言

軍事領域的計算機網絡，以及所有地方的計算機網絡，都越來越受到網絡攻擊。顯然，能夠快速檢測到此類攻擊的漏洞并選擇合適的應對措施是非常重要的。因此，人們對利用人工智能（AI）技術開發自動化的網絡防御程序產生了廣泛的興趣。例如，在2020年2月，微軟研究院建立了一個名為CyberBattleSim的網絡攻擊模擬器，參考文獻[1]，它通過開源的AI Gym工具包使用強化學習（RL）算法。在谷歌上搜索可以很快找到半打類似的基于RL的網絡攻擊模擬器。

相比之下，本文描述了一種使用統計前瞻計劃而不是RL的自動化人工智能網絡模擬。統計前瞻規劃（SFP）算法是一系列穩健的隨機人工智能技術，使用統計模型（也稱為前瞻模型）來模擬未來可能的狀態。它們無需訓練，因此比基于學習的方法快得多。SFP算法的例子包括蒙特卡洛搜索、蒙特卡洛樹搜索和滾動地平線進化。最近的參考文獻，見Perez-Liebana等人，參考文獻[2]，其中描述了SFP在視頻計算機游戲中的應用。快速算法和游戲在軍事方面當然也很重要。

本項目中使用的人工智能軟件是由QinetiQ訓練和模擬有限公司開發的任務規劃師人工智能工具的擴展。最初，任務規劃器（Mission Planner）被用于生成和分析陸上兵棋推演中的指令。此后，任務規劃器也被成功地用于反潛戰等情況下。任務規劃器中的人工智能引擎，在設計上對特定的應用一無所知，只根據特定指令序列的獎勵或效用來工作。這使任務規劃器具有相當大的通用性。特別是，任務規劃器可以被用來規劃網絡攻擊和防御。參見參考文獻[3]對任務規劃器在其最初的陸上兵棋推演角色中的討論。

任務規劃器內的人工智能引擎使用隨機優化算法（在這種情況下是模擬退火）來選擇一個最佳的訂單序列。或者，在網絡背景下，一個最佳腳本。由人工智能引擎生成的腳本在引擎本身沒有任何意義。它們被傳遞給任務規劃器中的一個特定應用組件，稱為解碼器。這將計算出一個數值，稱為獎勵或效用或價值，并將其傳回給人工智能引擎。優化算法迭代進行，產生一個腳本序列，其值逐漸（但通常不是單調的）收斂到一個最佳值。

這項工作的目的是確定任務規劃器是否可以用來產生對計算機網絡的網絡攻擊。必須牢記，本文只描述了這項工作的第一階段。

2 方法路徑

2.1 網絡攻擊結構

在一個遠程服務器上設置了一個包含幾個已知漏洞的目標虛擬目標網絡（例如，一些機器可能有舊版本的操作系統，缺少重要的安全補丁）。該目標網絡通過一個Middle Ware組件與任務規劃師解碼器進行通信。

圖 2-1：網絡攻擊結構：按計劃（左）和按實施（右）。

圖2-1中的左手圖顯示了預定的結構。

• 解碼器將一個攻擊腳本傳遞給中間設備組件。
• Middle Ware組件在評估網絡上執行攻擊腳本。
• 對評估網絡的攻擊結果被返回到Middle Ware組件，該組件評估攻擊的成功率，并計算出一個結果的數值分數。
• 這個數值分數被傳回給解碼器。

該項目最初考慮使用基于Mininet的目標環境，包括Containernet和libvirt支持，以允許使用docker容器和虛擬機。這將允許在評估網絡上快速生成和測試攻擊腳本。由于libvirt對Containernet的支持是實驗性的，并且已經5年沒有更新了，所以是不能用的，所以不可能用Mininet來實現目標網絡。出于這個原因，對評估網絡的調用被刪除了，取而代之的是一個腳本標記，用來評估人工智能生成的腳本與給定的人工生成的腳本的相似度。實施的網絡攻擊結構如圖2-1中的右圖所示。

2.2 腳本標記

正如參考文獻[3]所解釋的那樣，任務規劃器的腳本由樹組成，其中樹中的每個節點要么是：

• 一個命令節點；
• 一個輸入節點，包含一個用于指令節點的數值參數。

一個輸入節點總是一個指令節點的子節點，輸入節點的參數值被應用于父指令節點。一個輸入結點沒有任何子結點。

指令節點必須始終有至少一個子節點。指令節點的子節點本身可以是指令節點或輸入節點。指令節點只能是有限數量的可能類型中的一個。

對于給定的一對相同類型的指令節點，腳本標記可以按以下方式計算出一個相似度值。

1.將該值初始化為零。

2.如果兩個節點都沒有父節點，則加1（到值）。

3.如果兩個節點都有一個父節點，并且兩個父節點都是同一類型，則加1。

4.遍歷每個順序節點對的輸入節點，比較每個列表中的第一個條目，第二個條目，以此類推，當其中一個列表用完時結束；對于每一對具有相同價值的輸入節點，在相似性值上加1，對于每一對具有相同類型的輸入節點，再加1。

5.將相似度值規范化，用父節點的子節點數除以相似度值，以父節點的子節點數最少的為準。

腳本標記在兩個腳本A和B之間計算出一個整體的相似度分數，具體如下：

1.將分數初始化為零。

2.對于腳本A中的每個順序節點，找出腳本B中具有最大相似度的相同類型的順序節點，并將這個最大相似度值加到分數中。

3.將分數歸一化，用腳本中訂單節點的數量來計算，以指令節點數量最多的腳本為準。

這個算法返回一個介于0和1之間的值。如果所有的指令節點類型和輸入值完全匹配，它將返回1。如果沒有匹配，它將返回0。

圖 2-2：實時網絡：使用 VMWare 的完整企業架構。

2.3 實時網絡

圖2-2顯示了用于測試人工智能攻擊的實時網絡，其中一個雙宿主、域連接的網絡服務器按照洛克希德網絡殺戮鏈的7個步驟被破壞。見參考文獻[4]。在成功入侵網絡服務器后，人工智能重復偵察、武器化、交付等過程，以確定域中的漏洞，并將其攻擊性工具轉移到被入侵的服務器上，利用這一點來捕獲域用戶的NTLM哈希值。見參考文獻[5]。人工智能將NTLM哈希值復制到它用于初始訪問的攻擊箱，在那里它使用開膛手約翰來識別域用戶的用戶名和密碼。見參考文獻[6]。在這個例子中，收獲的用戶賬戶是域管理員的賬戶，AI現在使用這些憑據連接到ADServer，并在域上創建自己的賬戶。圖2-2左側的綠色方塊包含被攻擊的虛擬網絡。圖中間的紅色方塊包含攻擊框，它是本測試中攻擊源的物理計算機。

由于Covid的限制，該項目具有分散性，被破壞的實時網絡和承載任務規劃器的計算機在地理上是分開的，因此必須使用ZeroTier軟件定義網絡來提供安全通信。見參考文獻[7]。

最初，攻擊腳本是在攻擊箱上手工開發的，并通過觀察對網絡服務器的攻擊結果進行手工測試。一旦開發出令人滿意的攻擊腳本，它就被納入腳本標記，并使用任務規劃器AI來生成一個最佳的攻擊腳本。然后通過互聯網將其傳遞給攻擊箱，從那里向目標網絡發起攻擊。

圖 2-3：域接管所需的攻擊腳本組件、

2.4 AI攻擊語法

圖2-3顯示了領域接管所需的攻擊腳本組件（戰術用深藍色陰影，技術用淺藍色陰影），以及一些當前攻擊不需要的額外組件。任務規劃者可以從一個潛在的無限選項中決定哪些腳本是必需的。例如，不需要的組件來自于數據滲出攻擊。還要注意，PYTHONSERVER和PYTHON3SERVER是不同的實例；PYTHONSERVER用于webserver和wget，而PYTHON3SERV必須是python3。該項目以MITRE ATT&CK?中列出的戰術和技術為基礎，MITRE ATT&CK?是一個基于現實世界觀察的全球可訪問的網絡戰術和技術知識庫。見參考文獻[8]。這些組件被提供給Mission Planner，然后Mission Planner必須以正確的順序將它們組裝起來，以達到預期的結果。

有些組件有許多選項，例如INITIALACCESS可以是公共應用程序，或外部遠程服務。RECONNAISSANCE比較復雜，它可以是NMAP、NESSUS或OPENVAS中的一種，NMAP RECONNAISSANCE可以是任何一種可用的選項，從隱蔽性到攻擊性不等。這些組件選項在圖2-3中用虛線表示。實線箭頭表示域接管攻擊所需的腳本組件的正確順序。

3 AI的性能

表 3-1：域接管腳本的 AI 進度報告。

表3-2: AI進度報告的關鍵。

表3-1列出了Mission Planner在域接管腳本方面的AI進度報告，表3-2解釋了各欄的內容。表3-1顯示，在第15代時，優化器取得了93.994%的最佳分數。這個腳本與目標腳本只有一步之差，盡管它仍然導致了一次失敗的攻擊。在第21代時，得到了一個接近完美的解決方案，導致攻擊成功。總耗時為37秒。

圖 3-1：在域接管期間提高百分比分數。

圖3-1顯示了在每一代中取得的百分比分數的提高。最好的分數逐漸增加到100%。當然，平均得分不如最佳得分；然而，隨著最佳得分的接近，差異也在減少。這就是模擬退火算法的典型行為。

4 結論

我們已經表明，任務規劃器的人工智能引擎原則上可以用來發動自動網絡攻擊。雖然不可能將優化器直接連接到被攻擊的網絡，但這是通過腳本標記來模擬的。雖然適合于演示，但這確實限制了優化器，因為所采用的方法的一個重要優勢是，它能夠為以前從未解決過的問題找到新的解決方案。使用腳本標記評估不可能證明這一點。

因此，下一步將是用一個基于Mininet、Containernet、libvirt的解決方案來取代腳本標記。我們相信，這將允許優化器對目標環境進行快速原型設計。這項工作的一個重要部分將是評估對運行時間的影響。還應測試更廣泛的目標網絡和網絡攻擊類型。

任務規劃器的人工智能引擎也可以被擴展，以便它可以防御網絡攻擊。一旦實現了這一點，可以將攻擊和防御的人工智能引擎結合起來，形成一個對抗性的人工智能，其中攻擊和防御部分依次對立。每一次通過這個攻防循環都會進一步提高這兩個組件的實力和穩健性，因為每個組件都被迫對能力更強的對手做出反應。

本報告重點討論了如何利用模擬或生成模型創建的合成數據來解決深度學習的數據挑戰。這些技術有很多優點：1）可以為現實世界中難以觀察到的罕見情況創建數據；2）數據可以在沒有錯誤的情況下被自動標記；3）數據的創建可以很少或沒有侵犯隱私和完整性。

合成數據可以通過數據增強等技術整合到深度學習過程中，或者在訓練前將合成數據與真實世界的數據混合。然而，本報告主要關注遷移學習技術的使用，即在解決一個問題時獲得的知識被遷移到更有效地解決另一個相關問題。

除了介紹合成數據的生成和轉移學習技術，本報告還介紹了實驗結果，這些結果對合成數據方法在飛行員行為克隆、車輛檢測和人臉驗證任務中的潛力提供了寶貴的見解。實驗的初步結果表明，軍事模擬器和生成模型可以用來支持深度學習應用。然而，性能往往受限于合成數據和真實世界數據之間的保真度差距。

1 引言

深度學習（DL）是一種技術，它提高了在廣泛的現實世界應用中實現復雜任務自動化的能力。翻譯、轉錄、視頻監控、推薦系統和自動駕駛汽車都是基于DL的解決方案已經被開發和部署用于商業目的的例子。在軍事領域，DL有可能支持人類在所有領域和戰爭級別的決策，其應用包括自動目標識別、預測性維護和無人駕駛車輛的自動控制。

與其他機器學習（ML）技術類似，DL使用算法來從數據中提取知識。在這種情況下，知識被編碼在大容量的深度神經網絡（DNNs）中，這些網絡可能由數千、數百萬甚至數十億的可調整參數組成，這取決于所考慮的任務的復雜性。為了正確調整這些參數，學習算法需要大量的訓練數據。沒有這些數據，DNN將無法泛化，因此，當遇到以前未見過的數據時，它將不會有好的表現。

獲取DL的訓練數據是困難的。這在商業應用中是存在的，而在軍事領域更是如此。瓶頸之一是，學習算法通常需要經過人工標注的數據（即為每個輸入數據點提供一個正確的答案）。因此，即使在獲取大量輸入數據相對低成本的情況下，正確標記所有的數據也往往是高成本和費時的。例如，Cityscapes數據集中的5,000個樣本中，每個樣本平均需要1.5個小時來標注（整個數據集大約需要十個月）[1]。此外，由于標注是由人類來完成的，其結果可能是不正確的、有偏見的甚至是有成見的，這也會反映在訓練過的模型的行為上。

此外，訓練數據往往存在長尾分布的問題。也就是說，對于數量有限的普通案例，訓練數據相對容易獲得，但對于大量重要的邊緣案例，訓練數據本身就很難獲得。例如，考慮一個基于無人機的軍用車輛監視和跟蹤系統。在這種情況下，友好車輛的空中圖像相對容易獲得。車輛數據可以在不同的地點、高度、角度、天氣條件、環境等方面獲得。獲取代表合格敵方車隊的類似現實世界的數據集通常是不可能的，因為這種侵入性的情報行動會導致對手的行動。使用遵循長尾分布的數據集訓練的系統通常實用價值有限，因為它只能在條件理想時使用（即，輸入數據與常見情況相似）。當遇到代表邊緣案例的真實世界的數據時，該系統將不會有好的表現，也不能被依賴。

1.1 目的和范圍

本報告的目的是介紹可用于解決軍事背景下有限訓練數據所帶來的一些挑戰的技術。具體來說，本報告重點討論如何將使用軍事模擬或生成模型創建的合成數據與微調、領域適應、多任務學習和元學習等遷移學習技術結合起來，以加速未來DL在軍事領域應用的開發和部署。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI/ML/DL技術，用于或嵌入軍事系統的人員。

1.3 閱讀說明

本報告假定讀者具有關于ML和DL概念的基本知識，如監督學習、強化學習、損失函數、梯度下降和反向傳播。鼓勵缺乏此類知識的讀者在繼續閱讀本報告之前，先閱讀FOI-報告FOI-R-4849-SE[2]中的第二章。

1.4 提綱

第2章概述了在深度學習中可以用來生成和整合合成訓練數據的技術和方法。第3章概述了轉移學習技術，可以用來促進知識從一個任務到另一個任務的重用。在第4章中，對這些技術的一個子集進行了評估，并提供了深入了解合成數據方法潛力的實驗結果。第5章中提出了結論。

圖2.2: 一幅戰斗機的圖像（2.2a）通過添加噪聲（2.2b）、濾色器（2.2c）和模糊（2.2d），以及通過縮放（2.2e）和縮放后的旋轉（2.2f）得到增強。每幅圖像都附有所有像素的平均RGB值分布的相應圖表。雖然所有圖像在語義上是不變的，但分布的形狀卻有很大的不同。

圖4.7：從我們的訓練數據集中隨機選擇的合成圖像。對于每一對圖像，左邊顯示的是最初生成的臉，右邊顯示的是編輯過的臉。請注意，所有圖像都在臉部周圍進行了裁剪。

**從簡單的樣本到困難的樣本，以一種有意義的順序，使用課程學習可以提供比基于隨機數據變換的標準訓練方法更好的性能，而不需要額外的計算成本。**課程學習策略已成功地應用于機器學習的各個領域，廣泛的任務。然而，必須找到一種方法來對樣本從容易到難進行排序，以及正確的節奏函數來引入更難的數據，這可能會限制課程方法的使用。在本綜述中，我們展示了這些限制是如何在文獻中被處理的，并且我們為機器學習中的各種任務提供了不同的課程學習實例。我們根據不同的分類標準，手工構建了一個多角度的課程學習方法分類。我們進一步使用凝聚聚類算法建立課程學習方法的層次樹，將發現的聚類與我們的分類方法聯系起來。最后，我們對未來的工作提出了一些有趣的方向。

//www.zhuanzhi.ai/paper/737037858f92a59732f06559b38cfc15

背景和動機。深度神經網絡已經在各種各樣的任務成為最先進的方法，從對象識別圖像[1]，[2]，[3]，[4]和醫學成像[5]，[11]0，[11]1，[11]3到文本分類[11]2，[10]，[11]，[12]和語音識別[13]，[14]。這一研究領域的主要焦點是構建越來越深入的神經體系結構，這是最近性能改進的主要驅動力。例如，Krizhevsky等人的CNN模型[1]在只有8層結構的ImageNet[15]上達到了15.4%的top-5誤差，而最近的ResNet模型[4]達到了3.6%的top-5誤差，有152層。在過去的幾年里，CNN的架構已經進化到可以容納更多的卷積層，減少濾波器的尺寸，甚至消除完全連接的層，相比之下，人們對改進訓練過程的關注較少。上面提到的最先進的神經模型的一個重要限制是在訓練過程中以隨機順序考慮示例。事實上，訓練通常是用小批隨機梯度下降的某種變體來進行的，每個小批中的例子是隨機選擇的。

既然神經網絡的架構是受到人類大腦的啟發，那么我們似乎可以合理地認為，學習過程也應該受到人類學習方式的啟發。與機器通常接受的訓練方式的一個本質區別是，人類學習基本(簡單)概念的時間較早，學習高級(困難)概念的時間較晚。這基本上反映在世界上所有學校系統所教授的課程中，因為當例子不是隨機呈現，而是按照有意義的順序組織起來時，人類學習得更好。使用類似的策略訓練機器學習模型，我們可以實現兩個重要的好處: (i) 提高訓練過程的收斂速度和(ii) 更好的準確性。Elman[16]對這一方向進行了初步研究。據我們所知，Bengio等人[17]是第一個在機器學習的背景下形成易-難訓練策略的人，并提出了課程學習(CL)范式。這一開創性的工作激發了許多研究人員在各種應用領域研究課程學習策略，如弱監督對象定位[18]，[19]，[20]，對象檢測[21]，[22]，[23]，[24]和神經機器翻譯[25]，[26]，[27]，[18]0等。這些研究的實證結果表明，用課程學習取代基于隨機小批量抽樣的傳統訓練有明顯的好處。盡管課程學習在多個領域都取得了一致的成功，但這種訓練策略并沒有被主流作品所采用。這一事實促使我們撰寫了這篇關于課程學習方法的綜述，以提高課程學習方法的普及程度。另一方面，研究人員提出了相反的策略，強調更難的例子，如硬樣例挖掘(HEM)[29]，[30]，[31]，[32]或反課程[33]，[34]，在特定條件下顯示出改善的結果。

貢獻。我們的第一個貢獻是將現有的課程學習方法正式化。這使我們能夠定義課程學習的一般形式。從理論上講，我們將課程學習與任何機器學習方法的四個主要組成部分聯系起來:數據、模型、任務和性能度量。我們觀察到，課程學習可以應用于這些組成部分中的每一個，所有這些課程形式都有一個與損失函數平滑相關的聯合解釋。在此基礎上，結合數據類型、任務、課程策略、排名標準和課程安排的正交分析視角，對課程學習方法進行了分類。我們用自動構建的課程方法層次樹來驗證人工構建的分類方法。在很大程度上，層次樹確認了我們的分類，盡管它也提供了一些新的視角。在收集關于課程學習和定義課程學習方法分類的工作的同時，我們的綜述也旨在展示課程學習的優勢。因此，我們最后的貢獻是在主流工作中提倡課程學習。