亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

當代和新出現的安全威脅以及從最近的軍事行動中吸取的教訓已經證明，為了在傳統的物理領域（陸地、空中、海上、太空）實現作戰目標，確保在非物理領域的主導地位至關重要，即網絡空間、電磁環境（EME）和信息環境。因此，除了物理作戰領域之外，在非物理領域取得優勢的能力對于實現戰役的軍事和非軍事目標具有決定性意義。

作戰人員將面臨消除沖突，協作，同步和整合行動的挑戰，以實現并發揮協同效應以應對多種威脅，其中可能還包括來自每個作戰領域對手的武裝沖突閾值以下的行動，包括非物質的。

本文探討了作戰環境聯合情報準備 (JIPOE) 作為支持聯合作戰規劃、執行和評估的主要工具的作用和意義，從而有助于多域作戰 (MDO) 的同步和協調。在這方面，基于政治、軍事、經濟、信息、基礎設施-物理、時間(PMESII-PT)方法，不可能將對當代作戰環境(OE)的分析局限于物理領域及其與非物理領域的關系。相反，作者們相信，確定一種合適的方法來關注在非物理領域單獨或聯合進行的活動影響，它們在PMESII-PT所有領域的相互融合和實際操作領域的相關性，將大大有助于友軍識別和評估對手的重心(COG)、關鍵弱點、意圖和行動路線(COAs)的能力，包括各自的指標。JIPOE將為聯合部隊指揮官(JFC)提供OE的整體視圖，將與戰術層面密切合作、共享和開發，通過結合不同領域的能力，應該能夠壓倒對手的部隊。這種集中控制和分散執行的方法將有助于在作戰和戰術層面之間產生協同效應。

引言

未來的軍事行動將以物理和非物理層面的融合為特征，眾多不同的行為者將在其中運作。任何部隊都需要適應極其復雜的作戰環境和大量的作戰變量，需要適應性地使用一系列武器系統來產生致命和非致命的效果。因此，除了物理作戰領域（即陸地、空中、海上和太空），在非物理領域（網絡空間、EME、信息環境）取得優勢的能力將對實現戰役的軍事和非軍事目標具有決定性意義[1, p.280]。

OE是影響能力運用和影響指揮官決策的條件、環境和影響因素的綜合體[2, p.3]。了解OE的因素和條件不僅是所有計劃活動，特別是行動設計的關鍵前提，也是友軍保護和許多其他相關任務的關鍵前提[3, p.41]。

JIPOE代表了一種系統的方法，用于分析有關OE和對手的信息。它可以應用于全部的軍事行動。指揮官和參謀部在危機背景、根本原因和具體動態方面，對戰區形成共同的理解和整體的看法。它使指揮官能夠直觀地看到問題的程度，以及他們如何塑造和改變OE，使之成為他們的優勢，這將為他們的決策提供信息[2, p.3-5]。

JIPOE產品極大地促進了聯合（即作戰）層面的軍事行動的規劃和執行。現代軍隊，特別是北大西洋公約組織（NATO）內的軍隊，幾十年來在討論跨領域（陸、海、空）的協調行動時一直使用聯合這一術語。如今，由于全球安全環境的巨大變化以及俄羅斯和中國日益增長的野心，為了挑戰潛在的同行對手，需要采取多領域的方法。在傳統的戰爭門檻下，盟國及其合作伙伴已經受到了跨越物理和非物理領域的持續攻擊[4, p.2]。MDO一詞不同于聯合行動，因為它旨在關注跨越多個領域的行動，而不考慮服務的歸屬，不一定是由多個部門進行的行動[5，p.49]。

圖1:支持聯合行動的當前JIPOE流程的可視化。

圖2:提出支持MDO的JIPOE過程方案。

《SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving》.

獲獎理由：

本文提出了一個完善且經過深思熟慮的系統，對自動駕駛社區具有巨大的潛在影響。

論文簡介： 多智能體交互是現實世界中自動駕駛的基礎，盡管人們已經進行了十多年的研究和發展，但如何在各種情況下與各種道路車輛（智能體）進行有效交互的問題仍未解決。Learning的方法可以為解決這個問題提供很多幫助，但是這一方法需要一個現實的多智能體模擬器，該模擬器會產生多種多樣且有效的駕駛交互。為了滿足這一需求，我們開發了一個專用的仿真平臺：SMARTS (Scalable Multi-Agent RL Training School)：可擴展多智能體強化學習學校。

上圖是SMARTS 模型架構，其交互方案是使用特定領域語言（DSL）定義的。Social智能體是從“ Social智能體Zoo”中實例化而來。橙色車輛由學智能體控制、深藍色車輛由 Social智能體控制、淺藍色車輛由交通服務提供商控制。原則上，所有提供程序和智能體都可以在自己的進程中運行，也可以遠程運行。SMARTS支持訓練、積累和使用道路用戶的各種行為模型，這些反過來又可以用于創建越來越現實和多樣化的交互，從而可以對多智能體交互進行更深入、更廣泛的研究。在本文中，我們描述了SMARTS的設計目標，解釋了SMARTS的基本體系架構和關鍵功能，并通過在交互場景中進行具體的多智能體實驗來說明其用法。

最后，我們開源了SMARTS平臺以及相關的基準測試任務和性能評估指標，以鼓勵和支持針對自動駕駛的多智能體學習的研究。

智能體與人類或機器人的無縫交互很困難，因為現實環境是動態變化的，并根據自智能體的行為更新策略，而自智能體必須預測這些變化以隨機應變。受人類行為啟發，我們認識到機器人不需要顯式地為另一個智能體要進行的每一個低級動作建模；相反，我們可以通過高級表征來捕捉其他智能體的潛在策略。我們提出了一個基于強化學習的學習框架來學習一個智能體策略的潛在表示，其中自智能體識別其行為與另一個智能體的未來策略之間的關系。然后，自智能體利用這些潛在的動力來影響另一個智能體，有目的地引導他們走向共同適應的策略。在多個模擬領域和一個真實的空中曲棍球游戲中，本文的方法要優于其他方法，并學會了影響其他智能體。

機器人研究的一個長期目標是創建能夠從零開始自動學習復雜控制策略的算法。將這種算法應用到機器人上的挑戰之一是表示的選擇。強化學習(RL)算法已經成功地應用于許多不同的機器人任務中，如帶有機器人手臂的cup中的Ball-in-a-Cup任務和各種機器人世界杯機器人足球啟發的領域。然而，RL算法仍然存在訓練時間長、所需訓練數據量大的問題。為狀態空間、行動空間和策略選擇合適的表示可以大大減少所需的訓練時間和所需的訓練數據。

本文主要研究機器人的深度強化學習。具體來說，狀態空間、動作空間和策略表示的選擇如何減少機器人學習任務的訓練時間和樣本復雜度。特別集中注意兩個主要領域: 1)通過張量狀態-動作空間表示 2)多狀態表示的輔助任務學習

第一個領域探索了在環境變化中改進機器人策略遷移的方法。學習策略的成本可能很高，但是如果策略可以在類似的環境中傳輸和重用，那么訓練成本可以平攤。遷移學習是一個被廣泛研究的領域，涉及多種技術。在這篇論文中，我們著重設計一個易于傳輸的表示。我們的方法將狀態空間和動作空間映射為多維張量，設計成當環境中機器人和其他對象的數量變化時保持固定維數。我們還提出了全卷積Q-Network (FCQN)策略表示，這是一種特殊的網絡架構，與張量表示相結合，允許跨環境大小進行零距離傳輸。我們在模擬的單代理和多代理任務上演示了這種方法，靈感來自于RoboCup Small - Size League (SSL)和Atari Breakout的修改版本。我們還表明，在真實世界的傳感器數據和機器人中使用這樣的表示和模擬訓練策略是可能的。

第二個領域考察了一個機器人深度RL狀態表示的優勢如何彌補另一個機器人深度RL狀態表示的劣勢。例如，我們經常想要利用機器人可用的傳感器來學習任務，其中包括像攝像機這樣的高維傳感器。最近的Deep RL算法可以通過圖像進行學習，但是數據的數量對于真實的機器人來說是難以接受的。或者，可以使用任務完成所需的最小集創建狀態。這樣做的好處是:1)減少策略參數的數量，2)刪除不相關的信息。然而，提取這些特征通常會在工程、額外硬件、校準和實驗室之外的脆弱性方面有很大的成本。我們在仿真和現實世界的多個機器人平臺和任務上演示了這一點。我們證明它在模擬的RoboCup小型聯賽(SSL)機器人上工作。我們還演示了這樣的技術允許在真實的硬件上從零開始學習，通過機器人手臂執行一個球在一個杯子的任務。

//www.ri.cmu.edu/publications/robot-deep-reinforcement-learning-tensor-state-action-spaces-and-auxiliary-task-learning-with-multiple-state-representations/

【簡介】隨著深度表示學習的發展，強化學習（RL）已經成為了一個強大的學習框架，其可以在高維度空間中學習復雜的規則。這篇綜述總結了深度強化學習（DRL）算法，提供了采用強化學習的自動駕駛任務的分類方法，重點介紹了算法上的關鍵挑戰和在現實世界中將強化學習部署在自動駕駛方面的作用，以及最終評估，測試和加強強化學習和模仿學習健壯性的現有解決方案。

論文鏈接： //arxiv.org/abs/2002.00444

介紹：

自動駕駛(AD)系統由多個感知級任務組成，由于采用了深度學習架構，這些任務現在已經達到了很高的精度。除了感知任務之外，自主駕駛系統還包含多個其他任務，傳統的監督學習方法已經不再適用。首先，當對agent行為的預測發生變化時，從自動駕駛agent所處的環境中接收到的未來傳感器觀察到的結果，例如獲取市區最佳駕駛速度的任務。其次，監督信號（如碰撞時間（TTC），相對于agent最佳軌跡的側向誤差）表示agent的動態變化以及環境中的不確定性。這些問題都需要定義隨機損失函數來使其最大化。最后，agent需要學習當前環境新的配置參數，預測其所處的環境中每一時刻的最優決策。這表明在觀察agent和其所處環境的情況下，一個高維度的空間能夠給出大量唯一的配置參數。在這些場景中，我們的目標是解決一個連續決策的問題。在這篇綜述中，我們將介紹強化學習的概念，強化學習是一種很有前景的解決方案和任務分類方法，特別是在驅動策略、預測感知、路徑規劃以及低層控制器設計等領域。我們還重點回顧了強化學習在自動駕駛領域當中各種現實的應用。最后，我們通過闡述應用當前諸如模仿學習和Q學習等強化學習算法時所面臨的算力挑戰和風險來激勵使用者對強化學習作出改進。

章節目錄：

section2: 介紹一個典型的自動駕駛系統及其各個組件。

section3: 對深度強化學習進行介紹，并簡要討論關鍵概念。

section4: 探討在強化學習基本框架上對其進行更深層次，更加復雜的擴展。

section5: 對強化學習用于自動駕駛領域的所面臨的問題提供一個概述。

section6: 介紹將強化學習部署到真實世界自動駕駛系統中所面臨的挑戰。

section7: 總結