亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

為計算機生成兵力（CGF）創建行為模型是一項具有挑戰性且耗時的任務，通常需要具備復雜人工智能算法編程方面的專業知識。因此，對于了解應用領域和培訓目標的主題專家來說，很難建立相關的場景并使培訓系統與培訓需求保持同步。近年來，機器學習作為一種為合成智能體建立高級決策模型的方法，已顯示出良好的前景。這類智能體已經能夠在撲克、圍棋和星際爭霸等復雜游戲中擊敗人類冠軍。我們有理由相信，軍事模擬領域也有可能取得類似的成就。然而，為了有效地應用這些技術，必須獲得正確的工具，并了解算法的能力和局限性。

本文討論了深度強化學習的高效應用，這是一種機器學習技術，可讓合成智能體學習如何通過與環境互動來實現目標。我們首先概述了現有的深度強化學習開源框架，以及最新算法的參考實現庫。然后，我們舉例說明如何利用這些資源為旨在支持戰斗機飛行員培訓的計算機生成兵力軟件構建強化學習環境。最后，基于我們在所介紹環境中進行的探索性實驗，我們討論了在空戰訓練系統領域應用強化學習技術的機遇和挑戰，目的是為計算機生成的兵力有效構建高質量的行為模型。

計算機生成兵力的學習環境

在實驗中，將強化學習環境構建為實現 OpenAI Gym 接口的 Python 模塊，因為許多現有的強化學習算法實現都支持該接口。環境的結構如圖 2 所示。環境的大部分功能都在 EnvironmentCore 類中實現。該類通過 SimulationInterface 與本地或遠程計算機上運行的仿真進程通信，在仿真中的實體和控制它們的強化學習智能體之間傳輸觀察結果和操作。SimulationInterface 還用于在計算機生成兵力軟件中加載模擬場景。

模擬與環境模塊之間的通信是通過 ZeroMQ 實現的，ZeroMQ 是一個開源、輕量級的消息傳遞中間件，可綁定多種編程語言，包括 C++ 和 Python。ZeroMQ 可以輕松實現幾種流行的消息傳遞模式，如請求-回復、發布-訂閱和推-拉。ZeroMQ使用谷歌協議緩沖區（Google protocol buffers）來指定消息，這是一種語言中立、平臺中立的結構化數據序列化機制。使用簡單的協議語言創建消息規范，然后將其編譯成各種編程語言（包括 C++ 和 Python）的源代碼。

要配置特定的環境，需要使用一些委托對象：

• ActionDelegate： ActionDelegate 指定環境的動作空間（OpenAI Gym 中提供的空間定義之一）。在執行過程中，它將該空間中的動作作為輸入，并將其轉換為 ActionRequest 消息，然后由 EnvironmentCore 發送給模擬中的實體。 -ObservationDelegate：指定環境的觀察空間（OpenAI Gym 中提供的空間定義之一）。在執行過程中，它將來自模擬實體的狀態更新信息作為輸入，并將其轉換為來自觀察空間的狀態觀察信息，然后將其呈現給智能體。
• RewardDelegate：將狀態觀測信息作為輸入，并計算出一個標量獎勵信號，然后將其發送給智能體。
• ScenarioDelegate：管理要模擬的情景，包括終止標準。對于訓練過程中的每個情節，委托機構都會根據需要調整場景內容，并生成模擬請求（SimulationRequest）消息，由環境核心（EnvironmentCore）發送給模擬。
• RenderDelegate：會渲染模擬場景當前狀態的視圖。這對調試非常有用。我們使用 Python Matplotlib 和 Basemap 庫實現了簡單的地圖渲染。

空戰仿真領域的深度強化學習

在空戰模擬領域的深度強化學習實驗中，我們發現了一些挑戰，這些挑戰通常不存在于許多強化學習的簡單基準環境中。狀態和行動空間的維度高且復雜，使得智能體難以學習重要的狀態特征和合適的決策策略。例如，在許多場景中，由于傳感器的限制或電子戰的影響，環境只能被部分觀測到。此外，在大多數場景中，智能體不會單獨行動，而是必須與盟友合作，同時與敵人競爭，以達到目標。為了處理長期和短期目標，可能需要在不同的時間尺度上進行決策。代表最重要目標的獎勵通常是延遲的、稀疏的，例如，如果智能體取得了勝利，就會在情景結束時給予獎勵，這樣就很難將功勞歸于正確的行動。此外，根據訓練需要，智能體的目標也有可能在不同的模擬運行中有所不同。例如，我們可能需要調整模擬的難度，以適應受訓者的熟練程度。最后，由于運行高保真模擬的計算成本很高，因此盡可能提高學習過程的樣本效率非常重要。在下面的章節中，我們將討論一些可以用來應對這些挑戰的技術。

本文介紹了一種正在開發的方法，利用機器學習技術對大型 X 射線圖像數據集進行異常和/或缺陷檢測分析。異常和/或缺陷的特征可通過圖像分類（監督學習--卷積神經網絡）或異常檢測（非監督學習--自動編碼器）模型的性能精度來確定。每種學習技術都有獨特的超參數和設計架構，以幫助創建穩健的模型，針對不同方向、亮度和對比度的 X 射線圖像進行預測。這種方法是對傳統的高能材料/組件特性測試套件的有力補充，特別是在熔融澆注爆炸物、與性能相關的設計意圖、安全性和/或與性能相關的缺陷檢測方面。對于安全或性能相關的缺陷檢測，該方法可在開發新的次規模測試和基于物理的模型時將缺陷作為反饋回路，以更好地了解和預測高能失效模式，這是美國陸軍DEVCOM 軍備中心正在開發的一種能力，稱為高能缺陷表征（EDC）。

圖5:彈藥異常

引言

目前和未來對火炮彈藥的能量要求都超過了傳統的火炮和炮管設計以及飛行環境。這意味著今天的非關鍵缺陷在未來可能會成為嚴重缺陷。有缺陷的火炮已造成火炮發射時的災難性故障、人員傷亡和平臺損壞（Ismay; Kumar; Singh）。預防和減少這些潛在的重大缺陷是美國陸軍的首要任務。雖然目前已有檢測缺陷的流程，但這些方法耗時長、成本高，而且已經過時。現在是建立未來檢測方法的時候了。考慮到這項任務的影響，美國陸軍作戰能力發展司令部-軍備中心正在努力開發和演示現代缺陷檢測能力。

能力開發工作--高能缺陷表征（CDE - EDC）是由位于皮卡廷尼兵工廠的美國陸軍作戰能力開發司令部軍備中心資助的一項新的能力開發計劃。該項目旨在開發實驗和計算能力，對有缺陷的能量學進行評估和預測，特別是針對增強型彈藥（LRPF）。除了設在皮卡廷尼兵工廠的工作組外，還與北約工作組和技術合作計劃（TTCP）開展了國際合作。此外，分析人員還與西點軍校的學員開展合作。CDE - EDC 由三個核心分組組成： 實驗分組、數據分析分組和計算分組均設在發展司令部--航空航天中心（DEVCOM-AC）。三個分組之間的關系見圖 1。本報告重點介紹數據分析分組完成的工作。憑借這三個分組的綜合技術專長，DEVCOM-AC 正努力為缺陷檢測、表征和緩解提供最新的能力和指導。

實驗測試分組隸屬于高能物理、彈頭和制造技術局，其任務是確定和量化可能導致缺陷高能物理意外點火的基本物理和化學機制。為收集這些數據，該分組正在完成各種物理測試。這項任務的一部分包括改進物理測試的現實缺陷復制。

數據分析分組隸屬于系統分析部，其任務是利用機器學習來標記和描述異常和缺陷檢測圖像。通過使用這些模型獲得的知識將有助于實驗分組和計算分組完成其任務。

計算分組隸屬于能量學、彈頭和制造技術局，其任務是對能量學缺陷進行建模，以評估是否可能過早點火。該分組模擬給定能量參數的火炮發射，以確定缺陷的影響。該分組使用 Abaqus 和 STAR-CCM+ 等模型。計算分組將模型輸出與實驗分組的物理測試輸出進行比較。因此，它在很大程度上依賴于實驗分組，反之亦然。

這項工作的成果將是一個獨立預測工具，可供檢查人造彈藥的放射線研究者使用。本報告將重點介紹機器學習部分。

建模

模型構建工作流程將由三部分組成，如圖 13 所示。每一層都像一個漏斗，將有缺陷和無缺陷的圖像分開。

監督下的深度學習算法正在重新定義目標檢測和分類的最先進技術。然而，訓練這些算法需要大量的數據集，而收集這些數據集通常是昂貴和耗時的。在國防和安全領域，當數據具有敏感性質時，例如軍用船只的紅外圖像，這可能變得不切實際。因此，算法的開發和訓練往往是在合成環境中進行的，但這使人懷疑解決方案對現實世界數據的通用性。

在本文中，我們研究了在不使用真實世界的紅外數據的情況下訓練紅外自動目標識別的深度學習算法。使用目標-導彈交戰模擬軟件和10個高保真計算機輔助設計模型，生成了一個長波紅外波段的海上船只紅外圖像的大型合成數據集。探索了訓練YOLOv3架構的多種方法，并隨后使用真實世界紅外數據的視頻序列進行了評估。實驗表明，用少量的半標記偽紅外圖像樣本來補充訓練數據，可以明顯提高性能。盡管沒有真實的紅外訓練數據，但在我們的真實世界測試數據上，平均精度和召回率分別達到了99%和93%的高分。為了進一步推動自動目標識別算法的發展和基準測試，本文還提供了我們的照片真實合成紅外圖像數據集。

目前的自動空中加油（AAR）工作利用機器視覺算法來估計接收飛機的姿勢。然而，這些算法取決于幾個條件，如精確的三維飛機模型的可用性；在沒有事先給出高質量信息的情況下，管道的準確性明顯下降。本文提出了一個深度學習架構，該架構基于立體圖像來估計物體的三維位置。研究了使用機器學習技術和神經網絡來直接回歸接收飛機的三維位置。提出了一個新的位置估計框架，該框架基于兩個立體圖像之間的差異，而不依賴于立體塊匹配算法。分析了其預測的速度和準確性，并證明了該架構在緩解各種視覺遮擋方面的有效性。

圖3：利用的坐標系統。紅軸代表X軸，綠軸代表Y軸，藍軸代表Z軸。所有顯示的箭頭表示該軸上的正方向。

對美國陸軍戰備來說，基于模擬的訓練提供了一種成本和時間效益高的方式來保持人員對其角色、責任、戰術和行動的充分了解。目前，由模擬支持的演習需要很長的計劃時間和大量的資源。盡管半自動化的軍事模擬提供了基本的行為人工智能來協助完成參與者的角色，但它們仍然需要人類模擬操作員來控制友軍和敵軍。演習支持模擬操作員直接來自預期的訓練對象，分配給士兵的角色扮演職責與他們組織的訓練。單位用他們團隊的一小部分人進行訓練，降低了訓練質量和整體效果。減少開銷和提高模擬支持訓練質量的一個方法是實施全自動和自適應的敵對部隊（OPFOR）。

DeepMind的AlphaStar、AlphaZero和MuZero說明了機器學習研究的進展情況。使用大型數據集或通用算法，這些代理人學會了如何在復雜的戰斗性戰略游戲中發揮并擊敗職業玩家。這些游戲包括延遲和稀疏的獎勵、不完善的信息和大規模的狀態空間，所有這些功績都支持機器學習可能是在建設性的軍事模擬中開發適應性OPFOR的關鍵。

本文調查了關于使用機器學習進行自動OPFOR決策、計劃分類和智能體協調的現有文獻。這一分析是未來研究支持建設性軍事模擬自適應OPFOR的現有能力和局限性的一個起點。

利用AI智能體的一個關鍵因素是它們對新事物的穩健性。AI智能體包括經過設計或訓練的模型。設計型模型包括環境中那些被工程師認為是重要的知識。學習型模型通過訓練數據建立的聯系來形成環境各個方面的嵌入。然而，在操作過程中，豐富的環境很可能會出現訓練集中沒有的挑戰，沒有在工程模型中考慮到。更糟糕的是，對抗性環境會被對手改變。美國國防部高級研究計劃局（DARPA）的一項計劃旨在發展必要的科學，以開發和評估對新事物具有魯棒性的智能體。人工智能在關鍵任務環境中發揮設想的作用之前，將需要這種能力。

作為DARPA人工智能科學和開放世界新事物學習（SAIL-ON）的一部分，我們正在將可能的軍事領域新事物類型映射到一個獨立于領域的本體上，作為新事物理論的一部分來開發。從數學和本體論的角度來描述可能的新穎性空間，將使我們能夠在相關的軍事環境中對來自DARPA SAIL-ON項目的智能體設計進行實驗。利用在實驗室實驗中使用的相同技術，我們將能夠測量智能體檢測、描述和適應新事物的能力。

動機

軍隊不斷遇到新奇的概念。特別是在面對對手時，他們被迫解決這些新奇的問題，而決策的時間往往很少。例如，1999年，北約部隊在科索沃戰爭期間對塞爾維亞進行了一次空中轟炸，稱為 "盟軍行動"。這被證明是北約盟國的一次學習經歷，因為在整個行動中遇到了多個新奇事件。首先，塞爾維亞軍隊比預期的更加堅定，裝備也更好。第二，塞爾維亞人嚴重依賴地對空導彈（SAM）和高射炮（AAA），這就要求盟軍飛得比預期的要高，使目標定位具有挑戰性。第三，塞爾維亞人意外地使用了帶有雷達發射控制的導彈。所有這些新事物都需要盟軍在當下有效地解決，同時還要克服其他困難，如不規則的天氣和地形(Lambeth, 2001)。能夠在軍事領域內定義和描述新事物是DARPA SAIL-ON項目的一個目標。

新奇性對AI智能體的影響

目前的人工智能（AI）系統擅長于范圍狹窄的封閉世界的任務，如玩棋盤游戲（Silver，2017）和加強圖像分類。然而，眾所周知，這些人工智能系統在面對分散的輸入時很困難（Langely，2020），當它們在不受控制和不可預見的條件下進行測試時，它們的性能會嚴重下降（Chao，2020），而這正是軍事作戰人員普遍面臨的。對于人工智能系統和人類在軍事領域的合作，人工智能系統需要能夠檢測、描述和適應作戰人員操作的開放世界環境中的新情況。

為了進一步說明這一點，我們將提到一個名為 "零號方案 "的模擬戰術場景，其中一架藍色部隊的戰斗機（由AI智能體控制），根據各種傳感器數據幫助其做出決定，任務是摧毀紅方敵人的彈藥儲存地，同時躲避附近兩支紅方敵軍的地對空導彈（SAM）發射器。在創新前的情況下，薩母導彈射程保持不變，AI智能體理可以成功地執行任務，而不會讓戰斗機被擊落。然而，當考慮到技術的快速發展時，假設薩母的導彈射程永遠保持不變是一個明顯的疏忽。在創新后的開放世界場景中，薩姆導彈的射程增加，超過了藍方戰斗機之前所習慣的范圍，導致智能體在執行任務前被擊落。

零號方案場景中的AI智能體沒有重新規劃路線以避免被擊落，而是根本沒有意識到發生了新奇的情況，它繼續派出更多的資產去執行任務，結果卻被摧毀。在一個理想的場景中，AI智能體被創建為意識到新奇事物的可能性，一個更強大的智能體反而可以學習檢測、描述和適應現實世界的新奇事物。

對新奇性的數學建模

為了創造豐富的新奇事物，模擬真實世界的不確定性和混亂性，我們引入了統計分布。并非每一個新事物都會有一個適當的統計分布。例如，在零號方案中，如果其中一個薩母被改為誘餌，這將是一個靜態的新事物，不包括任何變化。另一方面，我們可以通過為誘餌薩姆的運作方式增加更多的參數來增加這種新穎性的復雜性。這只是想說，統計分布對于增加豐富性和幫助模擬真實世界是很有用的，但對于引入新奇性卻不是必須的。

新奇性往往涉及連續變量的參數變化。例如，在零號方案中，導彈射程、導彈速度、紅/藍方生存能力和可用彈頭數量都是定量變量。

我們可以用統計分布來模擬這些新變量。對于連續變量，我們要使用正態分布或均勻分布。當然，均勻分布的好處是有嚴格的最小和最大參數值，以避免重疊或潛在的不可能值。具體到SAIL-ON，每個新奇的執行者通常會將新奇性進一步細分為簡單、中等和困難。因此，同一個新奇事物會有三個不同的版本。

讓我們用定義為R的導彈射程作為一個例子。我們將使用一個具有正態分布的模型，其平均值為μ，標準差為σ。

我們可以創建三個分布，分別為簡單（RE）、中等（RM）和困難（RH），定義為：

在圖1中作了圖表。我們可以在這些分布中的每一個范圍內對新穎的導彈進行采樣，這取決于難度水平。此外，三個難度級別將進一步幫助我們測試智能體對同一新奇事物的不同變化進行定性、檢測和適應的能力。此外，智能體對三種難度級別的新奇事物的反應方法可能有很大的不同，并提供關于智能體如何處理不同情況的進一步信息。

圖1:導彈射程的新奇性分布

SAIL-ON執行者有各種方法來定義新穎性。有些人可能會使用上述的分布，通常使用均勻分布或離散均勻分布，這有助于避免易、中、難三個級別之間的重疊。另一些人可能對一些新奇的事物使用靜態數字。以導彈射程為例，有些人可能會簡單地選擇????=50????，????=55??，以及??=60????。目前，我們正在使用靜態數字開始我們的測試。接下來，我們計劃向統計學方法發展，以建立一個更豐富、更真實的開放世界中的新奇事物模型。請注意，這種統計分布方法將需要大量的樣本集，以收集足夠的數據來創建關于智能體性能的準確指標。

導彈射程的例子是針對一個特定的連續、定量的變量。然而，每個新事物都會有自己的分布分配給它們。有時，正態分布或均勻分布不會是最適合的。對于二進制變量，如存活率，我們可以使用伯努利分布。對于罕見事件，如傳感器故障，我們可以使用泊松分布。

未來的系統開發包括指揮和控制（C2）技術，以支持空戰管理人員（ABM）和戰斗機飛行員，因為他們支持在一個更大的系統系統中使用自主無人機系統（UAS）的復雜任務。在復雜的、不斷發展的和動態的環境中，人類作戰員有效地觀察、定位、決定和行動的能力是必不可少的。然而，在ABM和飛行員之間的UAS監管變化過程中，作戰者的表現可能會下降，這大大增加了作戰者的認知工作量，超過了以往任務中通常看到的工作量。不幸的是，C2技術的發展往往把重點放在自動化和硬件上，使人類作戰員的參與度不足，不利于人與自動化的互動。目前，數字工程和基于模型的系統工程（MBSE）工具正在迅速被系統開發、整合和管理所采用，以支持整合這些系統所需的復雜開發工作。目前的研究在MBSE工具中整合了人的考慮，以分析開發過程中人與自動化的合作。該方法支持在建模的任務模擬中用一對專門的活動圖表示自動化輔助和人類作戰者，稱為任務行為者圖和OODA2活動圖，允許分析作戰過程中的錯誤和瓶頸。這種方法說明有可能減少作戰員的認知工作量，改善作戰員的決策，提高系統性能，同時減少系統重新設計的時間。

近年來，情報、監視和偵察（ISR）行動經歷了爆炸性的增長，導致收集的數據成倍增加。然而，盡管有如此豐富的ISR數據，個人、團隊和決策者往往無法開發出他們所需的個人和集體對作戰環境的態勢感知（SA）。增強現實（AR）技術為這種困境提供了一個潛在的解決方案。利用視覺、聽覺和觸覺的線索，AR技術有可能為合作和分析提供新的機會，這將提高個人和集體的安全意識。本文旨在為開發用于ISR行動中協作和分析的AR工具指明道路。它探討了AR技術的現狀，以澄清關鍵的定義、系統的分類和目前對有效使用的研究。它還研究了支撐情景意識的認知和學習理論，以了解AR在發展SA方面可以發揮什么作用（如果有的話）。這些理論被發現支持越來越多地使用AR技術來改善SA和協作，并確定了AR技術為促進SA必須解決的八個設計標準。如果這些設計標準得到尊重，可以預期AR技術會改善學習成績，提高用戶的積極性，并增強用戶的參與/互動和協作。此外，還可以預見在空間理解和長期記憶保持方面的收益。盡管有這樣的潛力，但在AR系統設計中必須適當地管理三個主要風險：引導注意力；系統管理中的分心；以及用戶定制。如果這些風險得到管理，設計標準得到尊重，那么用于ISR行動的協作和分析工具的開發者將能夠開啟AR所提供的光明前景。

計算思維和數據科學的進步導致了人工智能系統的新時代，這些系統被設計來適應復雜的情況并開發可操作的知識。這些學習系統旨在可靠地理解情況的本質，并構建關鍵的決策建議，以支持自主和人機團隊的運作。

同時，數據的數量、速度、種類、真實性、價值和變異性的不斷增加，使這些新系統的復雜性受到影響--在其開發和實施方面造成了挑戰。對于支持具有較高后果的關鍵決策的人工系統來說，安全已經成為一個重要的問題。需要有方法來避免故障模式，并確保只允許期望的行為。

元認知是一種解決策略，它能促進人工智能系統內部的自我意識，以了解其外部和內部的運行環境，并利用這些知識來識別潛在的故障，實現自我修復和自我管理，以實現安全和理想的行為。

人工智能戰爭決策輔助工具通過增強戰斗空間知識、解決不確定性、推薦戰術行動方案、制定交戰戰略來支持作戰人員決策。

人工智能的一項基本任務是學習。深度神經網絡已經被證明可以完美地應對所有的學習模式，比如監督學習、非監督學習和強化學習。然而，傳統的深度學習方法利用云計算設施，不能很好地擴展到計算資源低的自主代理。即使在云計算中，它們也會受到計算和內存的限制，無法用于為假定網絡中有數十億神經元的代理恰當地建立大型物理世界的模型。在過去幾年里，可擴展深度學習這一新興課題解決了這些問題，該課題在訓練前和訓練過程中利用了神經網絡中的靜態和自適應稀疏連通性。本教程分兩部分涵蓋了這些研究方向，重點關注理論進步、實際應用和實踐經驗。

本教程的第一部分側重于理論。我們首先簡要討論了復雜網絡和系統背景下的基礎科學范式，并修正了目前有多少代理使用深度神經網絡。然后介紹神經網絡的基本概念，并從函數和拓撲的角度對人工神經網絡和生物神經網絡進行了比較。我們繼續介紹90年代早期關于高效神經網絡的第一批論文，這些論文利用稀疏性強制懲罰或基于各種顯著性準則對全連接網絡進行權值修剪。然后，我們回顧了一些最近的工作，從全連通網絡開始，利用剪枝-再訓練循環壓縮深度神經網絡，使其在推理階段更有效。然后我們討論另一種方法，即神經進化的擴充拓撲(NEAT)及其后續，使用進化計算以增長有效的深度神經網絡。

進一步，我們引入了深度強化學習，并為可擴展的深度強化學習鋪平了道路。我們描述了在深度強化學習領域的一些最近的進展。

//sites.google.com/view/ecai2020-one-billion-neurons