亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本報告詳細介紹了在 DARPA LwLL 或 "少標簽學習 "項目中采用的方法和取得的成果。

本報告解決的關鍵問題是從小標簽數據集學習的問題。這是許多應用領域經常遇到的問題。尤其是在國防應用領域，標簽數據可能是分類數據，因此數量有限。不幸的是，現代深度學習系統需要大量的標注訓練示例，這使得它們在標注較少的情況下效果不佳。在本報告中，我們將介紹我們在開發新型學習機器方面所做的努力，這些機器可以有效地從少量標簽中學習。

我們對這一問題的主要見解是利用任務和領域中的結構。這種結構可以是關于所需不變性的領域知識。它也可能更無定形，難以具體化，但它可能決定了哪些分類器能在該領域發揮良好的作用。我們探索了三種納入這種領域結構思想的方法：

1.納入已知不變量： 我們探索了明確包含已知不變量的機器學習新架構。特別是，我們設計的識別架構允許特征在空間上移動，以納入姿勢不變性。

2.跨領域學習： 考慮到不同領域之間的相似性，我們探索了跨領域傳輸所學模型的新技術。

3.特定領域的學習算法： 我們還探索了兩個領域的專業學習技術：衛星圖像和自動駕駛汽車。對于這些領域，我們利用數據的特殊結構來學習無標簽模型。

使用標準基準和 DARPA 評估進行了實驗。普遍發現

1.在對領域一無所知的情況下，最佳策略是自我訓練，即使用經過適當過濾的網絡自身輸出作為 "地面實況 "標簽。在這里，我們發現了進行自我訓練的新方法，即使網絡是在完全不同的問題領域中訓練出來的。

2.如果我們了解我們正在處理的領域，我們甚至可以建立完全無監督的識別模型，其性能優于有監督的模型。關鍵是要利用底層數據生成過程的知識。我們在衛星圖像和自動駕駛汽車上都展示了結果。

FLASH 項目的最初目標是利用豐富的結構化知識形式，開發新型高效的機器學習算法。具體來說，我們的假設是，適當使用結構化知識可以大幅減少在標準機器學習任務中實現一流性能所需的手工標記數據量，并解決兩個關鍵挑戰：

• 利用結構：開發利用結構的通用算法，以便從很少或沒有手工標記的示例中學習新概念。
• 推斷結構：通過主動從頭開始學習或從其他領域轉移結構，開發推斷結構的通用算法。

我們項目最初的重點是：(1) 程序合成/結構化預測： 設計新的結構化預測和程序合成算法，并利用它們來推斷和利用結構；(2) 研究神經表征（向量嵌入），并利用它們來開發將結構嵌入向量表征的新算法，并利用它來支持轉移和利用結構；(3) 推斷和利用領域知識和輔助信號作為誘導結構的一種方式，更好地解決轉移學習問題，并開發新的受限深度學習算法來納入輔助信號。

FLASH 計劃執行了這一計劃，并在上述所有領域做出了一系列理論和實踐貢獻。除了開發理論、算法和表征之外，我們還利用這些理論、算法和表征開發了自然語言和計算機視覺方面的應用。

此外，在 DARPA LwLL 項目過程中，由于大型預訓練生成式人工智能模型（包括 ChatGPT 等大型語言模型 (LLM)）的成功，該領域的重點發生了變化。雖然工作目標沒有改變，但我們自己的研究議程適應了該領域的這些變化，同時與我們最初提議的廣泛目標保持一致。例如，我們提出的大部分向量嵌入工作都擴展到了研究 LLM，我們在程序合成方面的工作也加入了神經肌張力元素，詳見下文。

FLASH 計劃在頂級會議上發表了大量論文，下文的描述不會涉及所有這些貢獻。相反，我們將重點介紹每個技術領域的一些關鍵貢獻，并請讀者參閱以下豐富的參考文獻以獲取完整信息。

適應性記憶（AC）是作為一種查找表（LUT）通用技術新推出的。它由一系列生成模型組成，其設計方式是學習每種算法的輸出。在本報告中，我們重點介紹基于條件生成對抗網絡（cGAN）的 AC 改進版。與之前的結構相比，新開發的生成式結構具有多項優勢。從本質上講，它不需要生成模型陣列。相反，兩個適當制作的生成模型就足夠了，從而大大縮短了整體寫入時間。此外，它還能在感興趣的區域提供更好的抑制水平。最后，它還能在抑制水平性能和損失函數衡量的生成保真度之間做出選擇。

認知雷達（CR）是當前雷達理論研究中一個引人注目的趨勢。盡管不同學者對這一概念的定義大相徑庭[11]，但這些定義都有其主要內容。例如，[12]、[10]和[6]認為從環境和經驗中學習是認知雷達的主要特征，而[10]則認為具有適應復雜情況的能力。認知雷達與完全自適應雷達的區別還在于，認知雷達應 "學會調整操作和處理參數，并能在較長時間內做到這一點"[1]。因此，學習和存儲知識是一個必備要素[13, 15]。

與此同時，Gurbuz 等人[11] 綜述了與認知雷達有關的 83 種期刊和 238 篇會議論文。他們發現，大多數研究至少涉及某種形式的波形選擇、優化或設計。在這些研究中，通常使用收集到的認知來決定哪種波形適合當前環境。一種突出的方法是利用在時頻觀察到的雜波認知[5, 21,18, 20]。由于雷達界廣泛使用模糊函數（AF）來表示時頻景觀，因此幾乎所有此類研究都涉及設計或塑造發射波形的模糊函數。在本報告中，我們給出了一種基于 AF 塑造研究的深度學習方法，它可以復制任何迭代算法的結果。我們首先在文獻[7]中以容納記憶（AM）的名稱引入了這一概念，然后在本報告中對其進行了優化和改進。

下面，我們首先回顧一下它在學習方面提出的條件生成對抗網絡。接著，我們在第 2 節中提出了認知接收波形，并觀察到為了最小化總干擾功率（PTD），應基于雜波認知設計離散時間模糊函數。然后，我們提出了一種基于 cGAN 的雙生成深度結構，它可以學習信號-AF 對并對其進行再生。這里我們將最小平方損失函數和 Wasserstein 損失函數作為模型損失函數。第 3 節專門報告給定方法的實證結果，其中我們研究了名為條件部分的特定結構超參數的影響。最后。第 4 節是本報告的結尾。

本項目的目標是提高具有智能體間通信基礎設施的多智能體分布式任務協調的效率。在這個項目的第一階段，我們探索了基于共識的捆綁算法（CBBA）在預算約束下的分布式任務分配的改進。CBBA技術的局限性在于，環境必須被所有的智能體預先知道，任務必須被明確定義，并有已知的成本和獎勵。這種技術顯然不適合在未知環境中的合作任務，在這種環境中，智能體必須一起探索和即興行動。在這個項目的第二階段，我們研究了在未知環境中執行任務的合作技術，其中智能體只有部分觀察。該研究使用多智能體捕食者和獵物游戲作為平臺。目標是讓智能體聯合定位并捕獲獵物。智能體對環境和獵物的逃逸算法沒有事先了解。他們相互交流，以獲得超出他們自己本地觀察范圍的環境信息。基于他們對環境的局部理解，智能體選擇自己的行動，包括在哪里移動以及是否與其他智能體溝通，以使團隊獎勵最大化。強化學習被應用于優化智能體的政策，以便用最少的步驟完成游戲。

第二階段研究的主要貢獻是信仰圖譜輔助的多智能體系統（BAMS）。信念圖代表了智能體在融合了傳入的信息后所保持的環境的隱藏狀態。通過將信仰圖譜與強化學習框架相結合，并向信仰圖譜提供反饋，我們加速了訓練并提高了系統可以獲得的獎勵。在不同復雜程度的環境中，使用合作的捕食者和獵物游戲對BAMS的性能進行了評估。與現有的具有信息傳遞能力的多智能體模型相比，BAMS具有以下優點。

1）訓練收斂速度快68%，使用BAMS模型訓練的智能體完成游戲的步驟少27.5%。

2）它具有強大的性能。在應用模式中，智能體的數量不必與訓練環境相同。

3）智能體之間的信息是加密的。BAMS中的信息是智能體對環境信念的學習表示的向量。它們不僅包含關于智能體和環境的當前狀態的信息，而且還包含未來的狀態。每個數字都與智能體或環境的任何物理屬性沒有對應關系。除非有經過訓練的BAMS模型，否則不可能解碼這些信息。

4）智能體在訓練中達成默契。從實驗結果來看，使用BAMS訓練的智能體似乎不需要明確的交流就能理解對方的意圖。

5. 解碼后的信念圖為智能體的決定提供了一個粗略的解釋。信念圖解碼器與BAMS中的策略網絡一起訓練。通過比較信仰地圖和實際地圖，系統收到額外的反饋渠道，從而監督訓練過程。在執行過程中，信仰圖譜提供了一種解釋智能體隱藏狀態的方法，這可以進一步用來解釋智能體的行為。

本書演示了針對幾種重要信號處理算法的最優對抗性攻擊。通過介紹無線傳感器網絡、陣列信號處理、主成分分析等方面的最優攻擊，揭示了信號處理算法對對抗性攻擊的魯棒性。由于數據質量在信號處理中至關重要，能夠毒害數據的攻擊者將對信號處理構成重大威脅。因此，研究機器學習算法在對抗性攻擊下的信號處理行為是必要和迫切的。

作者在本書中分別考察了信號處理中常用的三種機器學習算法:線性回歸、基于lasso的特征選擇和主成分分析(PCA)的對抗魯棒性。對于線性回歸，給出了最優中毒數據樣本和最優特征修正，并證明了攻擊無線分布式學習系統的有效性。作者進一步將線性回歸擴展到基于lasso的特征選擇，并研究了誤導學習系統選擇錯誤特征的最佳策略。作者通過解決一個雙級優化問題找到了最優的攻擊策略，并說明了這種攻擊如何影響陣列信號處理和天氣數據分析。最后，作者考慮了子空間學習問題的對抗魯棒性。研究了能量約束下的最優修正策略，以欺騙基于PCA的子空間學習算法。

這本書的目標是研究人員在機器學習，電子信息，和信息理論以及高級水平的學生研究這些主題。從事機器學習、對抗性機器學習、魯棒性機器學習的研發工程師，以及研究機器學習安全性和魯棒性的技術顧問都有可能購買這本書作為參考指南。

盡管近年來深度學習取得了巨大進展，但訓練神經網絡所帶來的爆炸式經濟和環境成本正變得不可持續。為了解決這個問題，已經有大量關于算法高效深度學習的研究，這些研究旨在通過改變訓練程序的語義，而不是在硬件或實現級別上降低訓練成本。本文對該領域的研究進行了系統、全面的綜述。首先，我們將算法加速問題形式化，然后我們使用算法高效訓練的基本構建塊來開發分類。我們的分類強調了看似不同的方法的共性，并揭示了當前的研究差距。接下來，我們將介紹評估最佳實踐，以實現對加速技術的全面、公平和可靠的比較。為進一步幫助研究和應用，討論了訓練管道中的常見瓶頸(通過實驗說明)，并為它們提供分類緩解策略。最后，我們強調了一些尚未解決的研究挑戰，并提出了有希望的未來方向。 //arxiv.org/abs/2210.06640

在過去的幾年里，深度學習(DL)在廣泛的應用領域取得了顯著的進展，如蛋白質結構預測(AlphaFold [Jumper et al。2021])、文本到圖像合成(DL - e [Ramesh et al。2021])、文本生成(GPT-3 [Brown等人。2020a])等。實現這些性能提升的關鍵策略是將DL模型擴展到非常大的規模，并對它們進行大量數據的訓練。對于大多數應用程序，可訓練參數的數量至少每18至24個月翻一番——語言模型以4至8個月的翻倍時間領先(Sevilla and Villalobos 2021)。大規模人工智能模型的著名例子包括:用于視覺應用的Swin Transformer-V2 [Liu等人2022a]，用于語言建模的PaLM [Chowdhery等人2022]，用于內容推薦的波斯[Lian等人2021]，具有100萬億參數。

盡管擴大DL模型正在實現前所未有的進步，但訓練大型模型已經變得極其昂貴。例如，GPT-3訓練成本估計為165萬美元，使用谷歌v3 TPU[Lohn和Musser 2022]，且transformer 模型的低效/幼稚開發將產生相當于5輛汽車終生碳足跡的二氧化碳(CO2) [Strubell等人，2019]。值得關注的是，DL仍然沒有達到許多應用所要求的性能水平:例如，在現實世界中部署全自動駕駛汽車需要人類水平的性能，但還沒有達到。不斷增長的模型和數據規模以達到所需的性能將使當前的訓練策略在金融、環境和其他方面不可持續。事實上，根據目前的趨勢推斷，2026年最大的人工智能模型的訓練成本將超過美國的GDP總量(Lohn and Musser 2022)。此外，DL對計算的高度依賴引發了人們對財務資源有限的用戶(如學者、學生和研究人員(特別是來自新興經濟體的人)的邊緣化的擔憂[Ahmed and Wahed 2020]。我們將在附錄A中更詳細地討論這些關鍵問題。考慮到其計算負擔的不可持續增長，DL的進步需要更多的計算效率訓練方法。一個自然的方向是消除學習過程中的算法效率低下，以減少DL訓練的時間、成本、能量和碳足跡。這種算法高效的深度學習方法可以通過多種方式改變訓練過程，包括:改變數據或樣本呈現給模型的順序;調整模型的結構;改變優化算法。這些算法改進對于實現有效深度學習訓練所需計算負擔的估計下界至關重要，目前的做法導致的負擔大大超過了該下界[Thompson等人，2020]。

此外，這些算法增益與軟件和硬件加速技術相結合[Hernandez和Brown 2020]。因此，我們相信算法高效的邏輯學習提供了一個巨大的機會來增加邏輯學習的收益并降低其成本。雖然最近涌現的算法效率論文支持了這一觀點，但這些論文也表明，算法效率方法的研究和應用受到碎片化的阻礙。不同的指標被用來量化效率，這產生了不一致的加速方法的排名。評估是在狹窄或特征不佳的環境中執行的，這將導致不正確或過于寬泛的結論。在討論算法效率方法時，缺乏反映它們的廣度和關系的分類法，這使得人們很難理解如何遍歷加速環境，將不同的方法結合起來并開發新的方法。因此，本文的核心貢獻是組織算法效率文獻(通過受[Von Rueden等人2019]啟發的分類法和調研)，以及對影響報告和實現加速的實際問題的技術描述(通過評估和實踐指南)。我們的討論始終強調這兩個重點的關鍵交集:例如，算法效率方法是否會導致實際的加速確實取決于方法(通過我們的分類法可以理解)和計算平臺(通過我們的從業者指南可以理解)之間的交互。

我們的貢獻總結如下:

• 形式化加速:我們回顧DNN效率指標，然后形式化算法加速問題。
• 分類和調研:我們通過適用于3個培訓管道組成部分的5個加速行動(5Rs)對200多篇論文進行分類(見表1和表3)。分類有助于為從業者選擇方法，為讀者消化文獻，并為研究人員識別機會。
• 最佳評估實踐:我們識別了文獻中常見的評估陷阱，并相應地提出最佳評估實踐，以實現對各種加速技術的全面、公平和可靠的比較。
• 從業者指南:我們討論了影響加速方法有效性的計算平臺瓶頸。根據訓練管道中瓶頸的位置，提出適當的方法和緩解措施。

有了這些貢獻，我們希望改進算法效率的研究和應用，這是計算效率深度學習的關鍵部分，需要克服現有研究面臨的經濟、環境和包容相關的障礙。本文主要分為四個部分:第2節概述了DNN訓練和效率度量以及算法加速問題的形式化。第3節使用廣泛適用的加速方法的構建塊以及它們影響的訓練管道組件來開發我們的分類法。第4節根據我們的分類法對加速文獻進行了全面的分類，并討論了研究機會和挑戰。第5節和第6節分別討論了比較不同方法的最佳評估實踐和選擇合適的加速方法的實際建議。最后，第7節總結并提出了算法效率領域的開放問題。

本報告重點討論了如何利用模擬或生成模型創建的合成數據來解決深度學習的數據挑戰。這些技術有很多優點：1）可以為現實世界中難以觀察到的罕見情況創建數據；2）數據可以在沒有錯誤的情況下被自動標記；3）數據的創建可以很少或沒有侵犯隱私和完整性。

合成數據可以通過數據增強等技術整合到深度學習過程中，或者在訓練前將合成數據與真實世界的數據混合。然而，本報告主要關注遷移學習技術的使用，即在解決一個問題時獲得的知識被遷移到更有效地解決另一個相關問題。

除了介紹合成數據的生成和轉移學習技術，本報告還介紹了實驗結果，這些結果對合成數據方法在飛行員行為克隆、車輛檢測和人臉驗證任務中的潛力提供了寶貴的見解。實驗的初步結果表明，軍事模擬器和生成模型可以用來支持深度學習應用。然而，性能往往受限于合成數據和真實世界數據之間的保真度差距。

1 引言

深度學習（DL）是一種技術，它提高了在廣泛的現實世界應用中實現復雜任務自動化的能力。翻譯、轉錄、視頻監控、推薦系統和自動駕駛汽車都是基于DL的解決方案已經被開發和部署用于商業目的的例子。在軍事領域，DL有可能支持人類在所有領域和戰爭級別的決策，其應用包括自動目標識別、預測性維護和無人駕駛車輛的自動控制。

與其他機器學習（ML）技術類似，DL使用算法來從數據中提取知識。在這種情況下，知識被編碼在大容量的深度神經網絡（DNNs）中，這些網絡可能由數千、數百萬甚至數十億的可調整參數組成，這取決于所考慮的任務的復雜性。為了正確調整這些參數，學習算法需要大量的訓練數據。沒有這些數據，DNN將無法泛化，因此，當遇到以前未見過的數據時，它將不會有好的表現。

獲取DL的訓練數據是困難的。這在商業應用中是存在的，而在軍事領域更是如此。瓶頸之一是，學習算法通常需要經過人工標注的數據（即為每個輸入數據點提供一個正確的答案）。因此，即使在獲取大量輸入數據相對低成本的情況下，正確標記所有的數據也往往是高成本和費時的。例如，Cityscapes數據集中的5,000個樣本中，每個樣本平均需要1.5個小時來標注（整個數據集大約需要十個月）[1]。此外，由于標注是由人類來完成的，其結果可能是不正確的、有偏見的甚至是有成見的，這也會反映在訓練過的模型的行為上。

此外，訓練數據往往存在長尾分布的問題。也就是說，對于數量有限的普通案例，訓練數據相對容易獲得，但對于大量重要的邊緣案例，訓練數據本身就很難獲得。例如，考慮一個基于無人機的軍用車輛監視和跟蹤系統。在這種情況下，友好車輛的空中圖像相對容易獲得。車輛數據可以在不同的地點、高度、角度、天氣條件、環境等方面獲得。獲取代表合格敵方車隊的類似現實世界的數據集通常是不可能的，因為這種侵入性的情報行動會導致對手的行動。使用遵循長尾分布的數據集訓練的系統通常實用價值有限，因為它只能在條件理想時使用（即，輸入數據與常見情況相似）。當遇到代表邊緣案例的真實世界的數據時，該系統將不會有好的表現，也不能被依賴。

1.1 目的和范圍

本報告的目的是介紹可用于解決軍事背景下有限訓練數據所帶來的一些挑戰的技術。具體來說，本報告重點討論如何將使用軍事模擬或生成模型創建的合成數據與微調、領域適應、多任務學習和元學習等遷移學習技術結合起來，以加速未來DL在軍事領域應用的開發和部署。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI/ML/DL技術，用于或嵌入軍事系統的人員。

1.3 閱讀說明

本報告假定讀者具有關于ML和DL概念的基本知識，如監督學習、強化學習、損失函數、梯度下降和反向傳播。鼓勵缺乏此類知識的讀者在繼續閱讀本報告之前，先閱讀FOI-報告FOI-R-4849-SE[2]中的第二章。

1.4 提綱

第2章概述了在深度學習中可以用來生成和整合合成訓練數據的技術和方法。第3章概述了轉移學習技術，可以用來促進知識從一個任務到另一個任務的重用。在第4章中，對這些技術的一個子集進行了評估，并提供了深入了解合成數據方法潛力的實驗結果。第5章中提出了結論。

圖2.2: 一幅戰斗機的圖像（2.2a）通過添加噪聲（2.2b）、濾色器（2.2c）和模糊（2.2d），以及通過縮放（2.2e）和縮放后的旋轉（2.2f）得到增強。每幅圖像都附有所有像素的平均RGB值分布的相應圖表。雖然所有圖像在語義上是不變的，但分布的形狀卻有很大的不同。

圖4.7：從我們的訓練數據集中隨機選擇的合成圖像。對于每一對圖像，左邊顯示的是最初生成的臉，右邊顯示的是編輯過的臉。請注意，所有圖像都在臉部周圍進行了裁剪。

視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此，多年來出現了一系列廣泛的方法，這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述，但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域，如計算機視覺、自然語言處理等。然而，這項調查關注的是深度學習是如何改進的，并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外，還討論了常用的數據集以及常用的評價指標。然后，對最近的研究方法進行了綜合討論，以提供未來研究的方向和可能的領域。

//arxiv.org/abs/2009.14146

簡介：

梯度爆炸和消失的問題一直是阻礙神經網絡有效訓練的長期障礙。盡管在實踐中采用了各種技巧和技術來緩解該問題，但仍然缺少令人滿意的理論或可證明的解決方案。在本文中，我們從高維概率論的角度解決了這個問題。我們提供了嚴格的結果，表明在一定條件下，如果神經網絡具有足夠的寬度，則爆炸/消失梯度問題將很可能消失。我們的主要思想是通過一類新的激活函數（即高斯-龐加萊歸一化函數和正交權重矩陣）來限制非線性神經網絡中的正向和反向信號傳播。在數據實驗都可以驗證理論，并在實際應用中將其有效性確認在非常深的神經網絡上。