亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

針對受不確定數據影響的決策問題，提出兩種數據驅動的不確定集學習方法。**在本演講的第一部分中，我們介紹平均魯棒優化(MRO)，一種使用機器學習聚類在魯棒優化和Wasserstein分布式魯棒優化之間建立橋梁的通用框架。MRO基于聚類數據而不是直接基于觀測數據構建不確定性集合，從而顯著降低了問題規模。**展示了有限樣本的性能保證，并明確控制任何聚類過程引入的潛在悲觀情緒。在幾個數值例子上說明了所提出框架的好處，獲得了多個數量級的計算加速，對解決方案質量幾乎沒有影響。在演講的第二部分，我們將介紹一種在魯棒優化中自動重塑和調整不確定性集大小的學習技術。該方法依賴于將魯棒優化問題的解與定義不確定性集合的參數區分開來。該方法非常靈活，可以在保持易處理性的同時學習各種不確定性集。在LRO軟件包中實現了上述工作，該軟件包可以自然地表達受不確定數據影響的決策問題，并自動學習相應的魯棒優化公式。在投資組合優化、最優控制和庫存管理方面的數值實驗表明，該方法在樣本外性能和約束滿足保證方面優于傳統的魯棒優化方法。

Bartolomeo Stellato是普林斯頓大學運籌學和金融工程系的助理教授。Bartolomeo Stellato是普林斯頓大學電氣與計算機工程系、統計與機器學習中心以及機器人研究中心的副教授。我也是普林斯頓惠特曼學院的研究員。研究方向是數學優化、機器學習和最優控制。它專注于數據驅動的計算工具，以在高度動態和不確定的環境中做出決策。

//stellato.io/

在過去的十年里，深度學習取得了巨大的成功，但在權值更新和訓練樣本數量方面，實際有用的深度模型的訓練仍然非常低效。為了解決這些問題的一個方面，本文研究了持續學習設置，該模型利用一系列的任務，利用之前的知識來快速學習新任務。持續學習的主要挑戰是，在為新任務更新模型時，避免模型災難性地忘記之前的信息。

//ora.ox.ac.uk/objects/uuid:7a3e5c33-864f-4cfe-8b80-e85cbf651946

為此，本文首先提出了一種持續學習算法，通過正則化兩個連續任務的條件似然之間的kl -散度來保留之前的知識。結果表明，這種正則化對網絡權值施加了二次懲罰，該懲罰基于上一個任務的最小曲率。其次，本文提出了一種更有效的持續學習算法，利用對過去任務的情景記憶作為約束，這樣當對新任務進行權重更新時，情景記憶的損失不會增加。結果表明，使用情景記憶約束目標比正則化網絡參數更有效。此外，為了提高學習新任務的速度，提出了使用組合任務描述符的聯合嵌入模型，大大提高了正向遷移。基于情景記憶的持續學習目標通過直接在損失函數中使用記憶來簡化。盡管它傾向于記憶出現在微小情景記憶中的數據，結果算法顯示出比使用記憶作為約束的算法更好的泛化。分析認為，這種驚人的概化是由于新任務數據帶來的正則化效應。然后利用該算法對合成數據和真實數據進行持續學習。為此，提出了一種方法，通過優化重放緩沖區上的事后遺忘損失，為每個任務生成合成數據點。設計了一個嵌套的持續學習優化目標，有效地利用這些綜合點來減少基于記憶的持續學習方法的遺忘。最后，本文提出了一種持續學習算法，在不重疊的特征子空間中學習不同的任務。通過保持不同任務的子空間相互正交來最小化重疊，可以減少這些任務表示之間的干擾。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

本文研究了以數據驅動的方式創建軍事決策行為模型的可能性。由于實際作戰行動的數據不多，而且在軍事背景下不容易創建數據，因此大多數方法都使用模擬器來學習行為。然而，模擬器并不總是可用的，或者很難創建。本研究的重點是通過在實地演習中收集的數據創建行為模型。由于數據通常是有限的、有噪音的和錯誤的，這使得創建真實的模型具有挑戰性。除了使用基于數據手工制作模型的傳統方法外，我們還調查了新興的模仿學習研究領域。其技術之一，獎勵工程，被應用于學習城市戰爭行動中士兵的行為。我們學習了基本的、但現實的士兵行為，這為將來建立更復雜的模型打下了基礎。

【關鍵詞】行為, 模型, 模仿學習, 仿真, 軍事數據

I. 為什么需要行為模型？怎樣創建行為模型？

在教育、培訓、分析和決策支持中越來越多地使用模擬仿真，這導致了對軍事決策行為模型的更高要求。除了需要準確模擬物理行為，如坦克運動或子彈/導彈軌跡外，還需要模擬實體或車輛的真實戰術行為。這些虛擬參與者的決策過程被記錄在一個行為模型中。行為模型最早是在[1]中提出的，我們將它們定義為類人、人控或自主操作的現實世界系統行為的操作、概念、心理或戰術模型。

這種現實世界系統的例子可以是由指揮官指揮的坦克；由船長指揮的船舶；由飛行員駕駛的戰斗機；由地面操作員控制的無人駕駛飛行器（UAV）；或人類行為者本身，例如，一個步兵。此外，我們不限制系統的大小。例如，我們也考慮將一個坦克營、一個艦隊或一個無人機群作為行為模型的合適對象。在軍事模擬中，當機器決定一個單位或部隊的行動時，這些系統被稱為計算機生成部隊（CGFs）。

新行為模型的開發和應用是一個復雜的過程。由于缺乏互操作性的方法和標準，導致各種模型四分五裂，大多只在單一的仿真系統中使用。早期的工作[2]調查了在開發的哪個階段可以實現行為模型的有效重用，以及需要哪些支持過程、技術和標準。一個結論是，人們對這一研究領域很感興趣，工具和標準也在不斷發展，AI（人工智能）及其創建性能良好模型的能力將在各種軍事應用中發揮巨大作用。另一個結論是，目前對于荷蘭國防部來說，在不同環境中重復使用行為模型的價值不足。與其說是重復使用模型，不如說是希望建立更加高效和有效的模型。實現這一目標的方法之一，是使用人工智能研究領域的最先進技術[3]。

在機器學習的應用中，正確和不正確的行為或決定的例子被提交給一個學習系統，希望該系統能夠歸納出這些例子。這被稱為監督學習[4]，它的成功取決于許多因素（例如，算法、數據的大小和類型，以及實施技術）。在軍事背景下使用實際數據的一個問題是，數據可能被分類或根本無法獲得，因為軍事沖突的數量很少。

第二種常見的方法是在模擬器中部署行為模型，并使用生成的數據來改進模型的參數；而最常見的方法是強化學習[5]。強化學習的一個困難是，獎勵函數必須精心設計，模擬器中的任何錯誤都可能被利用，導致學習不希望的行為[6]。這種錯誤可能發生在人類從未遇到的不可預見的情況下，但算法由于在數百萬次的模擬中對搜索空間的探索而發生。此外，必須首先開發一個準確的模擬器，因為模擬中的錯誤可能被利用或導致學習不現實的行為[7]。在軍事環境中，強化學習方法是困難的，但也是有希望的[8]。

對于監督學習來說，需要大量高質量的數據，對于強化學習來說，需要高質量的獎勵函數和模擬器，而很多用例都存在兩者都沒有的情況。如果沒有大量的高質量數據，或者沒有能夠創建這種數據的模擬器，那么人工智能領域的許多技術就不適用。在這種情況下，并不清楚哪種方法能以最少的努力獲得最好的結果。因此，本研究旨在創建行為模型，以有效的方式顯示真實的行為，同時擁有很少的數據和沒有模擬器可用。為此，我們采用了模仿學習[9]研究領域的方法。模仿學習的重點是在師生環境中用專家的行為明確地訓練模型。如果模型能夠模仿老師的行為，它就正確地學會了行為。我們在研究中應用了這些技術，為在城市戰爭行動演習中行動的士兵和Boxer車輛創建行為模型。收集到的數據非常有限，而且沒有辦法創造更多的數據或能夠在模擬器中測試模型。

通過這項研究，我們的目標是行為模型，它可以促進（1）創建新的訓練場景，其中計算機生成部隊的行為被用于創建更好的場景[10]；（2）通過將受訓者產生的數據與事先用我們的方法學到的正確行為模型進行比較，支持行動后的審查；（3）將基本戰斗技術的模型行為與士兵在戰場上的行為進行比較。如果士兵的行為看起來更成功，這可以促使調整基本作戰技術的想法；（4）為合成包裝生成逼真的模擬實體行為[11，12]；（5）通過使用學到的行為為決策者提供建議，實現對指揮官提供基于模擬的決策支持。

第二節研究了創建行為模型所需的數據要求。第三節介紹了本研究的用例。第四節介紹了手工制作模型的傳統方法。我們在第五節中介紹了模仿學習這一新興領域的背景信息，并在第六節中介紹了其在本用例中的應用。最后，第七節提供了結論性意見。

II. 獲得正確的數據

為了創建有效的行為模型，我們必須了解在什么情況下，用什么情報和什么命令來記錄行為。行為數據和模型必須與決策過程相匹配。因此，在開始檢索數據之前，我們首先要了解軍事決策過程。

A. 軍事專家如何作出決策？

在軍事環境中做出任何決策之前，必須先了解情況。通過分析所有可用的信息，就能建立起態勢感知（SA）[13, 14]。在軍事術語中，SA是指揮官對戰場的理解[15]。SA可以分為三個層次[16]。第一個層次是對當前局勢要素的感知，例如，了解自己和敵人部隊的位置和狀態。第二是對局勢的理解。通過了解局勢中的物理元素和人員的動態，可以對局勢進行解釋。例如，一架敵機是在攻擊飛行路線上還是在執行偵察任務。第三個層次是對局勢的未來狀態的預測，例如，如果不攔截，敵機將向航母運送危險的有效載荷。只有達到高水平的SA，才能做出有效的決策[17]。有了足夠的經驗，可以在一瞬間做出決定，因為情況被即時識別。這些被稱為識別激勵決策[18]，本質上是數據驅動的（經驗）心理行為模型。提高指揮官的安全意識的技術，有助于更好地做出決策[19]。

當情況變得復雜時，為了不忽略重要的信息，要遵循系統的方法。這種過程的一個例子是軍事決策過程（MDMP）[20]。這是一個漫長的過程，不適合在戰場上幾分鐘或幾秒鐘內做出決策。另一個例子是北約綜合行動指令（NATO COPD）[21]。在所有這些情況下，都要詳細研究環境信息以獲得SA，只有在獲得足夠的SA后才會做出決策。我們將行為區分為四個層次：在（1）戰略層面上，決策是基于（多）國家目標做出的。在(2)戰役層面上，決策是為了開展大型行動而作出的。

根據當前的行為水平，所考慮的信息量也不同，決策的速度也不同。盡管行為模型可用于從瞬間決策到大型規劃環節的任何級別的行為，但我們在本文中將范圍限制在戰術行為上。

B. 如何使用行為模型進行決策？

就其本質而言，行為模型在做決定時遵循與人類相同的步驟。一個突出的框架是OODA循環[22]。這個循環的四個階段是觀察、定位、決定和行動。觀察和定向階段的唯一目的是獲得安全保障。這個軍事模型已經成功地應用于各種自主代理[23]，并被應用于大量的情況[24, 25, 26]。

第二個框架被稱為BDI：信念、欲望和意圖[27, 28]。基本的BDI范式被廣泛用于在基于代理的方法中實現類似人類的智能，但往往達不到真正的 "智能代理"，因為代理缺乏 "協調和學習"等理想特征[25]。BDI在[29]中得到了擴展，現在被廣泛用于實踐中。BDI可以用于OODA循環步驟中，并且通常被應用于定向和決策步驟中[30]。

在這兩種情況下，模型的創建者決定世界的哪些相關因素被包括在所謂的世界模型中，以及這些因素如何被允許相互作用。如果互動是嚴格定義的，那么就會使用一個更經典的方法，如規則引擎或決策樹。如果不能創建足夠明確的模型，那么機器可以接受任務，根據數據學習各因素的相關性（例如，用神經網絡）。在所有情況下，如果一個因素被遺漏了，要么是模型設計者沒有包括它的定義，要么是排除了相關的數據，那么模型就不可能考慮到它。因此，模型的性能與創造者對問題的洞察力息息相關。

在仔細設計、調整或學習模型之后，模型的使用就很簡單了。設計的因素輸入到模型中，并通過預先設計或學習的步驟進行轉換，以產生所需的輸出。由于設計、調整和學習的方法和組合的數量是巨大的，因此出現了各種研究學科，專注于高效創建模型的研究領域。許多這些研究領域需要數據來創建行為模型。

C. 獲取有用的數據

當談到軍事數據時，首先想到的是分類和分享數據的限制[31]。由于信息的分類級別通常是受限制的，例如國家或北約的級別，可以獲得的數據量是有限的。這意味著，任何研究都取決于是否有適當的許可，以及是否在數據供應界（通常是國防部）內有適當的聯系。在獲得接收數據的許可之前，人們必須知道并確定需要什么樣的數據。

創建行為模型的最佳數據來自于實際的戰斗行動。然而，從實際作戰行動中記錄的數據并不多，而且記錄的數據往往不能用于創建行為模型。為研究目的生成數據是不可行的，因為這需要與敵對勢力交戰。使用歷史數據也是有問題的，因為軍事技術和理論變化很快，所需背景的數據并不存在。

一個合理的方法是使用在訓練和演習中收集的數據。這樣的訓練可以是(1)在模擬環境中執行，使用建設性的模擬，如VR部隊，它可以模擬許多規模的部隊[32]，或者(2)在現場與實際士兵一起執行。使用實際數據的承諾是，可以創建行為模型，而不需要創建（復雜的）模擬器來促進訓練。在這項研究中，我們希望能實現這一承諾，盡管使用原始數據會帶來各種問題，如噪音和缺失的背景。如第三節所述，我們選擇了移動作戰訓練中心的一次演習作為使用案例。

III. 用例：使用移動作戰訓練中心的城市戰爭

移動作戰訓練中心（MCTC）[33]于2003年由荷蘭國防部引進，使士兵能夠在真實的環境中練習作戰，但不使用彈藥。激光器和傳感器被用來模擬發射武器。該系統跟蹤士兵和車輛的位置、使用的彈藥和健康狀況。各種武器（如步槍、重機槍、間接射擊）、車輛（如Fennek、Boxer）和地形（如越野、城市）都可以納入演習。系統產生的所有數據都被記錄下來，以便在行動后的審查中使用。圖1顯示了一名使用MCTC訓練的士兵。注意頭盔上的激光傳感器在士兵被擊中時進行記錄，而槍上的激光則用于射擊對方的部隊。

圖1：一名士兵在MCTC中訓練[35］

我們選擇了一個在荷蘭訓練村Marnehuizen進行的演習，該村完全是為了訓練城市地形上的軍事行動而建造的[34]。圖2顯示了該村的概況。在選定的演習中，藍方部隊從東北部的橋上進入村莊，任務是清除村莊中的敵軍。一場挨家挨戶的戰斗持續了兩天，直到村子西側的最后一棟房子被宣布沒有敵人。

圖2：荷蘭Marnehuizen的城市環境中軍事行動訓練場的地形圖。(右圖)解析過的地形圖，半自動地從左圖中得出[34]。

記錄的MCTC數據包含士兵和車輛的定期位置。此外，數據中還包括射擊事件、命中事件、殺傷事件和車輛關聯（當士兵進入或離開車輛時）。這些數據可以讓訓練員對戰場的當前狀態有一個大致的了解。數據的一致性在幾個方面有所欠缺。士兵的位置每15秒才提供一次，而且是在網格上的一個單元中（單元大小大約為1米×1米）。士兵的方向沒有被報告。有時士兵會同時移動幾個網格單元，例如車輛快速行駛時。也并不總是清楚一個士兵是在建筑物內還是在建筑物外，因為建筑物的墻可能穿過這樣一個網格單元的中心。其他的局限性包括，并不總是清楚士兵在向什么地方開火，而且（未）登上車輛的不確定性很大。這些局限性對于獲得數據所針對的行動狀態的粗略概述來說不是問題，但對于訓練模型來說確實是一個額外的障礙。

V. 手工制作的行為模型

提高軍事行為模型真實性的一個直接方法是手動創建模型的結構，并根據收集的數據調整其參數。通過這種方式，專家保持對模型所能學習的內容控制，并且參數的調整應該很容易執行。創建的模型可以被看作是一種將數據與專家知識相結合的方法。該模型最常反映的是當前學說中明確定義的戰術或行為，如邊界超視距[36, 37]。然而，在這樣的方法中，模型永遠不會比它的創造者更聰明，因為在人造的結構中不存在創造力的空間。當更多的自由被賦予算法時，可以觀察到更多的創造力，甚至可以超過人類的表現[38, 39]。然而，手工制作的模型確實有一個優勢，那就是對軍事專家來說非常容易理解和解釋，因為該模型的結構與專家的決策過程非常相似。例如，這樣的模型可以通過比較從數據中產生的模型和正確行為的模型來用于行動后的審查，從而幫助只有有限時間分析訓練中所有數據的訓練教官向受訓者介紹情況。模型參數的巨大差異是學習點的指標。

在這一節中，我們想說明如何用Marnehuizen軍事演習的數據來創建和調整手工制作的行為模型。確定的用例是一輛Boxer車的行為，它為進行挨家挨戶作戰的士兵提供火力支援。該車被召喚到建筑物中，提供壓制性火力，并撤退，以便在很長一段時間內不容易受到反裝甲彈藥的影響。這種行為的示意圖見圖3。

圖3：Boxer車提供的火力支援示意圖。(1) 左上角：Boxer手的初始位置用紅色表示，一個步兵小組用藍色表示。(2) 右上角：Boxer車輛接近右下角的建筑物并提供火力壓制。(3) 左下角：步兵接近建筑物。(4) 右下角：Boxer的車輛撤退。

圖3中顯示的行為必須被抽象成一個模型。在這項研究中，我們純粹考慮時間方面。其他方面，如Boxer和步兵之間的相對位置，或Boxer和建筑物之間的相對位置，則留待今后的工作。我們對五個步驟進行了區分：

• 1.Boxer進入射擊位置所需的時間。

• 2.在步兵開始移動之前，Boxer提供壓制火力的時間。

• 3.步兵移動到建筑物所需的時間。

• 4.步兵到達建筑物和Boxer出發之間的時間間隔。

• 5.清理建筑物并從步驟1重新開始所需的時間。

在這項研究中，我們重點關注步驟2和3。為了確定這些參數，必須知道Boxer和步兵何時到達建筑物。其他參數可以用下面描述的類似方法得出。在練習中，如圖3所示，要接近幾座建筑物，可以對這一程序的每一次迭代進行分析。根據Boxer車輛和步兵小組的位置，對建筑物的位置以及這種迭代的開始和結束時間進行注釋，是手工完成的，這已經是一項具有挑戰性的任務。由于有多輛車，第一個問題是：哪輛Boxer目前正在提供壓制火力？這輛Boxer是否真的在向選定的建筑物開火？射擊事件是數據集的一部分，但是當射擊沒有與命中事件相聯系時，就不知道射擊的方向是什么。特別是在壓制火力的情況下，大多數的射擊都沒有擊中任何可以記錄射擊方向的傳感器。這就使得人們猜測Boxer是在對建筑物進行壓制射擊，還是在對其他東西進行射擊。另外，步兵群的移動也不是微不足道的。從一個建筑到另一個建筑的小組并沒有被定義為戰斗順序（Orbat）中的小組：他們是在現場從排（Orbat中定義的）的可用士兵中挑選出來的，并在每次迭代中進行改變。為了能夠衡量任何必須學習（一組）士兵和輔助車輛行為的算法的有效性，數據集通過選擇提供火力支援的Boxer車輛和步兵清理建筑物的時間段進行了人工注釋。

從算法的角度來看，我們把Boxer到達現場提供火力支援的時刻定義為車輛離建筑物最近的時間段。圖4顯示了Boxer車輛的距離如何隨時間變化的例子。演習開始時的大峰值是因為Boxer在沒有積極參與的情況下停在一個大的距離上。

圖4：隨著時間的推移（X軸），Boxer（Y軸，以英里為單位）與目標建筑的距離。

Boxer車輛到建筑物的最小距離被選為火力支援的開始。這個衡量標準可能是有問題的，因為在建筑物被清理后駛過可能會進一步減少距離，但這是一個直接的計算方法。圖5顯示了計算出的事件和人工注釋的事件之間的絕對差異，以分鐘為單位。在最壞的情況下，該算法的錯誤超過600分鐘。由于演習需要兩天時間，而且晚上沒有運動，在錯誤的一天選擇一個時刻就會產生很大的誤差。可以得出結論，這種檢測Boxer何時提供火力支援的方法并不十分準確。

圖5：通過選擇 Boxer 到建筑物的最近距離，以分鐘為單位測量與手動注釋事件的差異。每棟樓都是單獨的一列，各列已按誤差排序（即第1列的建筑物誤差最大，第25列的樓房是誤差最小的建筑物）

對于檢測步兵何時在清理建筑物，可以采取稍微不同的方法。由于在演習過程中，清理建筑物的士兵小組會被定期洗牌，我們必須在數據中找到哪些（子）士兵小組實際上正在清理哪座建筑物。為此，我們把清場的時刻定義為X個士兵在距離建筑物Y米范圍內的時刻，而X和Y的參數應該被仔細選擇。請注意，藍軍的任何X名士兵，無論他們在戰斗順序中的分配如何，都足以觸發這一條件。對于每個建筑，不同的士兵可以觸發該條件。參數X和Y可以通過使用提供的數據來選擇，如表1所示。通過選擇5名士兵在建筑物15米半徑范圍內的時間戳，可以獲得最佳效果。圖6顯示了每個建筑物在這種設置下獲得的誤差。

表1 在不同的士兵人數和距離參數下，檢測到士兵清理建筑物的時間與人工標注的時間戳的平均差異。(x)表示在該設置下，有x次沒有檢測到建筑物的清場，因為在演習中沒有出現所需數量的士兵足夠接近建筑物的情況。這個數字代表了演習中26座建筑物的平均誤差。

圖6：與手動注釋事件的差異，以分鐘為單位，選擇 5 名士兵，建筑半徑為 15 米。每棟樓都是一個單獨的列，并且列已經按錯誤排序（即第 1 列中的建筑物錯誤最高，第 25 列的建筑物是錯誤最低的）

本節表明，用軍事數據調整專家模型是可能的，但并不容易。主要的挑戰是，在記錄數據的行為層面和我們試圖建立模型的層面之間存在著不匹配（見第二節A）。數據是在技術層面上記錄的（例如，在不知道射擊方向的情況下開槍），而我們試圖模擬的決策是在戰術層面上（例如，清除建筑物）。如果數據能在戰術層面上創建（例如，清除建筑物的時間戳），以及更精確和一致，專家模型就能更容易地創建。在數據采集步驟中，用戰術信息自動充實技術層面的數據，這本身就是一個具有挑戰性的課題。我們現在已經創建了兩個模型，為Boxer的火力支援理論做出了貢獻（見圖3）。為了完成Boxer的理論，還需要幾個模型，但由于很難從軍事數據中創建專家模型，我們決定研究一種完全不同的方法：模仿學習。

V. 模仿學習

模仿學習技術試圖模仿人類在特定任務中的行為[9, 40]。這些技術屬于更廣泛的觀察性學習范疇。在一般的觀察性學習中，原始行為不一定是由愿意或知道的參與者創造的[41]。模仿學習可以被看作是觀察學習的一個特例，學習的目的是在相同的情況下再現與原行為完全相同的動作，以及展現以前未見過情況的逼真行為。模仿學習與示范學習密切相關，在示范學習中，人有目的地示范如何執行任務，以使代理執行同樣的任務[42, 43]。從示范中學習這一術語經常被用于機器人技術[44, 45, 46, 47]。

除了在機器人領域的廣泛應用外，模仿學習也被應用于模擬器和游戲。玩家的行為可以通過這種方式被輕易地記錄下來，模擬器或游戲可以被用于訓練目的[48, 49, 50, 51]。一些應用側重于模仿玩家的確切行為，以便將學到的行為用于其他目的。例如，在[52]中，玩家在賽道上的行為被學習，這樣新的賽道就可以使用模型進行測試，而不是由人類游戲測試員進行測試。其他工作的重點是利用人類的例子來創造超人類的表現[53, 54, 55]。

模仿學習大致可以歸為三類。(1) 在最基本的形式中，人們有一個標記的狀態集。這些標簽是人類在給定狀態下選擇的行動。現在，這個問題可以被當作一個有監督的學習任務來處理，類似于分類任務。這種方法被稱為行為克隆[47]。行為克隆不需要訪問一個模擬器。(2) 當一個人確實有機會接觸到模擬器，因此也有機會接觸到狀態轉換內核時，我們說的是直接策略學習[50]。在這個類別中，我們知道行為人在每個狀態下的可用行動是什么，并且可以學習一個過渡策略。過渡策略在所有可用的行動中選擇最理想的行動。(3) 當人們對學習人類在評估未來狀態時使用的狀態屬性值權重感興趣時，我們說的是反強化學習[56]。這些方法通常使用過渡核來觀察可能的未來狀態，以便創建一個類似于人類演示者偏好狀態的可解釋評價函數。

手工制作的模型和模仿學習的主要區別在于算法在正確再現行為方面的自由度。在提供火力支援的Boxer的手工模型中，我們選擇距離是決定當前提供火力支援的最有辨識度的因素。唯一需要調整的參數是距離閾值。在模仿學習的環境中，算法被提供了所有的狀態信息，并被給予自由來決定最相關的特征是什么。這種方法在很難手動創建合適的模型領域中特別成功[57]。

VI. 模仿軍事專家

模仿學習在軍事領域也有一些應用[58, 59]。例如在[60]中，模仿學習被應用于學習計算機生成部隊的決策策略。所學到的行為隨后可以在模擬器中用于訓練士兵[39]。

前面提到的研究有一個共同點，就是使用人在環模擬器來收集人類案例。它確切地知道當前的狀態是什么，可能的行動是什么，以及采取了行動后的下一個狀態會是什么。這使得行為模型的創建成為可能。然而，在MCTC數據的情況下，只有狀態信息是可用的，沒有關于當前可用行動的知識，也沒有關于士兵的信息位置是什么。例如，只知道士兵的位置，而不知道士兵所面對的方向或士兵正在考慮的潛在行動。這個問題在文獻中被定義為從觀察中模仿（Ifo）[61]。Ifo可以進一步細分為基于模型和無模型。在基于模型的情況下，要么必須學習從狀態到行動的轉換，要么必須學習從狀態-行動對到下一個狀態的轉換。MCTC的用例屬于無模型的范疇。在這個類別中，我們可以進一步區分為：（1）使用模擬器收集數據并將數據與專家示范進行比較的對抗性方法，以及（2）獎勵工程[62]，用于學習狀態獎勵函數。典型的例子是通過觀看一個人執行所需任務的視頻圖像來學習一個任務[63, 64]。

由于MCTC沒有可執行的模擬器，對于MCTC的用例來說，只有獎勵工程是一個可行的選擇。我們開發了一個系統，當給定當前的參與狀態時，能夠預測未來一定秒數的狀態。這與[65]密切相關，后者在強化學習環境中使用預測狀態和實際狀態之間的差異作為獎勵函數。主要的區別是，由于沒有模擬器，所以不能用MCTC的數據進行強化學習。

我們必須定義 "狀態"在MCTC方面的含義。收集到的數據包擁有完整的數據，包括所有士兵和車輛、藍色和紅色部隊的數據。如果把整個交戰過程看作是狀態（即所有玩家和環境中一切事物的狀態），那么就有可能出現天文數字般的許多下一個狀態，例如每個士兵或車輛可以向任何方向移動。而且，士兵也不是用所有的全局信息來決定自己的行動，而是用自己的局部信息。因此，我們將狀態定義簡化為士兵的局部環境，并試圖預測士兵的下一個位置。盡管士兵的狀態還有很多，如射擊狀態、健康狀態、當前姿勢，但我們目前只關注預測下一個位置，以便評估獎勵工程的適用性和MCTC提供的數據的適用性。

周圍的狀態特征被抽象為一個網格，每個網格單元和特征的組合都是決策的輸入。做出決策的士兵位于網格的中心位置。真正的士兵有可能考慮到網格外的信息（例如，當能見度好時，或通過無線電接收信息時），但我們只考慮到屬于網格單元內的信息。也有可能目前考慮了太多的信息，因為包括了不在視線范圍內的信息（例如，當有建筑物擋住時）。可以增加士兵可能考慮的各種特征：河流的位置、一天中的時間、當前的任務、剩余的彈藥、當前的健康狀況、過去采取的行動等等。這與士兵的實際推理方式越接近，預計學習結果就越準確。

在我們的環境中，我們使用一個8x8的網格，每個網格的實際大小為83米乘83米，如圖7所示。我們考慮到友軍和敵軍士兵的鄰近情況。在圖7的狀態中，士兵西北面的單元格中有1名友軍士兵，而其他單元格都有0名友軍士兵，西南面有一名敵軍士兵。位于網格外的士兵沒有被考慮在內。我們還考慮到過去采取了什么行動（即過去三個episode的位置）。這個輸入網格是重復的，并為三個歷史episode中的每一個填補。我們選擇以15秒為一個episode的步驟，因為這符合MCTC收集數據的速度。任何更短的時間都是沒有用的，因為在各集之間沒有新的位置被告知。

作為監督學習的目標，如圖8所示，使用3乘3的網格，單元的寬度和高度為2米。單元的大小與數據記錄的分辨率一致。網格在單元移動到的位置上有一個1，其他地方有0。在單元的下一個已知位置在網格之外的情況下，將選擇最近的網格位置作為目標。

圖7：用于決策的局部特征的輸入網格。每個單元是83x83米，我們計算每個單元中友軍和敵軍的數量。最后三個episode的輸入網格構成了神經網絡的輸入。

圖8：決策的輸出。一個3x3的運動位置的網格，每個單元是2x2米。箭頭表示根據MCTC的數據，15秒后士兵的位置在左下角的網格單元，這個單元被用作情況的監督標簽。

我們訓練一個具有3個隱藏層的全連接神經網絡，每層有100個隱藏神經元。我們使用整流的線性單元激活函數和平均平方誤差作為損失函數。一個有趣的討論是如何評估創建的神經網絡的性能。雖然預測位置的小差異看起來并不壞，但一系列的小差異會在以后累積成一個大的差異。同時，一個決定可以將士兵帶入一個不同的環境（例如，通過左邊或右邊的建筑物）。這個決定點之后的行動可能會有很大的不同（例如，向左走時要找掩護，而向右走時要成功清除建筑物）。因此，我們無法評估士兵行為的真實性，除非準確的位置和狀態已經在原始數據中出現。

因此，我們以兩種方式來衡量學習行為的真實性。(1) 基于原始數據，使用測試集上的精度和召回率，這是定量的衡量標準。(2) 我們重新播放軍事演習，其中一個或幾個單位由所學模型控制，并判斷其行為。所有其他單位都使用原始數據進行放置和移動。這提供了對所學行為的洞察力，這是一種定性的衡量標準。

表2顯示了監督學習方法的衡量標準：準確度、精確度、召回率和f1-score。請記住，有9個輸出單元，隨機猜對的概率是0.11，在這種情況下，所有四個衡量標準的值預計都在0.11左右，用于隨機猜測。訓練集是平衡的，所以每個輸出單元都有同等數量的例子。表2顯示，準確度比隨機猜測高，但離穩定地預測下一個狀態仍有距離。

表2：預測士兵下一個狀態的量化

為了分析所學模型的行為，我們在演習中放置了一個由該模型控制的單一士兵。顯示了由模型創建的士兵的運動路徑與原始士兵的運動路徑的比較。這里我們看到，神經網絡的移動方式與原始士兵的移動方式大致相同。這個例子也突出了處理這些數據的難度。原始士兵的位置（綠色）有時會出現大的跳躍（例如，東部的第一個數據點附近沒有鄰居）。

圖9：模型的移動和實際的移動比較。突出顯示的藍色位置是由神經網絡引導的士兵。高亮的綠色位置是原始士兵的實際位置。兩者的起點都是在城鎮的東邊，并且都逐漸向西移動。

通過分析這些痕跡中的幾個，我們可以得出結論，該模型學到了兩個與實際士兵行為相似的行為特征。(1) 靠近友軍士兵是有益的。士兵們經常作為一個群體移動，模型通常選擇向友軍單位移動。(2) 當歷史上的移動是朝著一個方向的時候，下一次移動也是朝著這個方向的概率很高。由于士兵有一定的任務，即清除建筑物，所以士兵一直向目標方向移動，直到到達目標為止，這是合理的。盡管這些特征是有道理的，但它們也在某些情況下產生了不現實的行為。(1) 當多個士兵被模型控制時，他們往往會相互粘在一起，停止移動。人造的士兵并不想與對方拉開距離。(2)當一個模型控制的士兵進入一個沒有朋友或敵人的領地時，它傾向于一直朝同一方向行走，直到退出戰場。由于預測是由最近的歷史移動主導的，而所有其他的輸入都是0，所以模型決定繼續朝同一方向移動。造成這種情況的原因之一是，當前的任務不是輸入特征的一部分。

我們認為，這一結果表明，在自動創建一個基于獎勵工程方法的士兵決策過程模型方面邁出了第一步。雖然目前只學到了基本的行為，但我們預見到，當更多類型的輸入，如地形特征和命令，被納入學習過程中時，會出現更復雜的模式。

VII. 結論

本文研究了以數據驅動的方式，利用軍事決策創建單位行為模型的可能性。我們表明，用軍事數據調整由主題專家創建的模型參數是可能的。但對于數據而言即使是手動注釋的，也不能直接使用。由于數據的收集是為了其他目標，行為背景是不同的，這阻礙有效使用數據達成我們的目的。我們調查了模仿學習這一新興的研究領域，并將其應用于學習預測城市建筑清理工作中的士兵行動這一用例。這種技術不僅可以在相同的情況下再現真實的士兵行為，而且還可以對行為進行概括，以獲得以前未見過情況下的真實行為。雖然該研究領域有許多子領域，但目前只有獎勵工程似乎是適用的，在既沒有模擬器，也沒有可能性在一個狀態下檢索一組動作來學習動作策略的情況下。我們通過嘗試根據本地狀態信息來預測士兵的下一個狀態來證明獎勵工程的方法。神經網絡學習了兩種基本的士兵行為特征，在某些情況下創造了現實行為，而在其他情況下則表現出不合邏輯的行為。我們認為，不符合邏輯的行為仍然可以通過額外的特征輸入進行改進。

我們的總體結論是，模仿學習對于創建軍事決策的行為模型似乎很有希望。如果成功的話，以這種方式創建的行為模型可以在幾個方面給軍隊帶來好處。例如，可以考慮為創造新的訓練場景做出貢獻，在這些場景中，計算機生成部隊的行為得到了改善，通過比較受訓者的行為和學到的正確行為來支持行動后的審查，比較并調整基本的戰斗程序以適應戰場上的行為，能夠顯示準確行為的模擬實體合成包。根據所開發模型的準確性，一些應用可能比其他應用更容易支持。例如，在決策支持環境中，與合成包環境相比，對精度的要求可能更高。

在未來，我們希望（1）創建自動方法，通過在戰術層面上創建額外的背景來預處理MCTC的數據。我們想到的方法有：估計當前的觀點，或當前執行的是什么（類型的）命令。這種額外的背景可以幫助改善模型的參數調整。(2)我們想改進獎勵工程方法的特征集，以使行為更加真實。(3) 我們想探索可解釋的學習方法，以便使學習的行為更加明確。然后，解釋可以用于各種目的，如行動后審查。

致謝

這項研究有助于V/L1801 AIMS（AI for Military Simulation）研究計劃，研究如何有效地創建軍事行為模型，用于解釋和模擬（人類和實體）行為。

注意力是一種重要的機制，可用于跨許多不同領域和任務的各種深度學習模型。這項綜述提供了一個關于深度學習注意力機制的重要概述。各種注意力機制通過一個由注意力模型，統一符號，和一個全面的分類注意力機制組成的框架來進行解釋。在此基礎上，本文綜述了注意力模型評價的各種方法，并討論了基于該框架的注意力模型結構表征方法。最后，對注意力模型領域的未來工作進行了展望。

1. 引言

**模擬人類注意力的想法最早出現在計算機視覺領域[1]，[2]，試圖通過引入一個只關注圖像特定區域而不是整個圖像的模型來降低圖像處理的計算復雜度，同時提高性能。然而，我們今天所知道的注意力機制的真正起點通常是源于自然語言處理領域[3]。Bahdanau等人的[3]在機器翻譯模型中實現了注意力，以解決循環神經網絡結構中的某些問題。在Bahdanau等人的[3]強調了注意力的優點后，注意力技術得到了改進，[4]，并迅速流行于各種任務，如文本分類[5]、[6]、圖像字幕[7]、[8]、情感分析[6]、[9]，以及語音識別[10]、[11]、[12]。

注意力已經成為深度學習中的一種流行技術，原因有幾個。首先，整合了注意力機制的模型在上述所有任務和許多其他任務中都獲得了最先進的結果。此外，大多數注意力機制可以與基本模型聯合訓練，如使用規則反向傳播[3]的循環神經網絡或卷積神經網絡。此外，attention向神經網絡模型[8]引入了一種特定類型的解釋，這種解釋通常被認為非常復雜。此外，Transformer模型[13]的引入進一步證明了注意力的有效性，進一步提高了注意力機制的受歡迎程度。注意力最初是作為循環神經網絡[14]的擴展而引入的。然而，在[13]中提出的Transformer模型是注意力研究的一個重大發展，因為它證明了注意力機制足以建立一個最先進的模型。這意味著可以避免一些缺點，比如遞歸神經網絡特別難以并行化的事實。就像引入最初的注意力機制[3]一樣，Transformer模型是為機器翻譯創建的，但很快就被用于其他任務，如圖像處理[15]、視頻處理[16]和推薦系統[17]。

本綜述的目的是解釋注意力的一般形式，并提供一個在深度學習注意力技術的全面概述。關于注意力模型的其他綜述已經發表。例如，在[18]中，給出了計算機視覺中注意力的調研，[19]提供了圖模型中注意力的概述，[20]，[21]，[22]都是自然語言處理中注意力的調研。本文部分地建立在上述綜述所提供的資料之上。本綜述與前面提到的綜述的主要區別在于，其他的綜述一般都關注某個領域內的注意力模型。然而，這項綜述提供了一個跨領域的注意力技術概述。我們將以一種通用的方式討論注意力技術，使它們能夠被理解并應用于各種領域。此外，我們發現以往研究中提出的分類方法缺乏恰當區分各種注意力機制所需的深度和結構。此外，某些重要的注意力技巧在以前的綜述中還沒有得到適當的討論，而其他提出的注意力機制似乎缺乏技術細節或直觀的解釋。因此在本文中，我們通過使用統一符號的單一框架，結合技術和直觀的解釋，提出了重要的注意力技術，并對注意力機制進行了全面的分類。 本文的結構如下:第2節介紹了一個一般的注意力模型，為讀者提供了一個基本的了解注意力的屬性和如何應用它。本文的主要貢獻之一是在第3節中介紹的注意力技術的分類。在本節中，將根據所提供的分類法對注意機制進行解釋和分類。第4節概述了評估注意力模型的性能測量和方法。此外，該分類方法還用于評價各種注意模型的結構。最后，在第五部分，我們給出了結論和進一步研究的建議。

2. 通用注意力模型

本節介紹一種注意力一般性與相應的符號。這里介紹的符號是基于[23]中引入并在[13]中普及的符號。本節中介紹的框架將在本文的其余部分中使用。為了實現一個通用的注意力模型，首先需要描述一個可以使用注意力的模型的一般特征。首先，我們將完整的模型稱為任務模型，其結構如圖1所示。這個模型只接受一個輸入，執行指定的任務，并產生所需的輸出。例如，任務模型可以是一種語言模型，它將一段文本作為輸入，并將內容摘要、情緒分類或逐字翻譯成另一種語言的文本作為輸出。或者，任務模型可以獲取圖像，并為該圖像生成標題或分割。任務模型由四個子模型組成: 特征模型、查詢模型、注意力模型和輸出模型。在2.1小節中，我們討論了特征模型和查詢模型，它們是用來為注意力計算準備輸入的。在2.2小節中，我們討論了注意力模型和輸出模型，它們與產生輸出有關。

3. 注意力分類法**

有許多不同類型的注意力機制和擴展，一個模型可以使用這些注意技術的不同組合。因此，我們提出了一種分類法，可以用來對不同類型的注意機制進行分類。圖3提供了不同類別和子類別的視覺概述，注意力機制可以涵蓋在其中。基于是否關注技術是設計來處理特定類型的特征向量(相關特性),特定類型的模型查詢(查詢相關),或者它僅僅是一個通用的機制, 分成三大類。這些類別及其子類別的進一步解釋將在下面的小節中提供。本節中討論的每一種機制要么是對第2節中介紹的一般注意模塊現有內部機制的修改，要么是對其的擴展。

注意力機制分類法

特征相關注意力機制

**基于特定的一組輸入數據，特征模型提取特征向量，從而使注意力模型能夠關注這些不同的向量。這些特征可能具有特定的結構，需要特殊的注意力機制來處理它們。可以對這些機制進行分類，以處理以下特征特征之一: 特征的多樣性、特征的級別或特征的表示。

通用注意力機制

這個主要的類別包括了可以應用于任何類型的注意力模型的注意力機制。該組件的結構可以分解為以下幾個子方面:注意力評分函數、注意力對齊和注意力維度。

查詢相關的注意力機制查詢是任何注意力模型的重要組成部分，因為它們直接決定從特征向量中提取哪些信息。這些查詢基于任務模型的期望輸出，可以解釋為文字問題。有些查詢具有特定的特征，需要特定類型的機制來處理它們。因此，這一類封裝了處理特定類型查詢特征的注意力機制。這一類中的機制處理以下兩個查詢特征之一:查詢的類型或查詢的多樣性。**

4. 注意力模型評價

在本節中，我們介紹了各種類型的注意力模型的評估。首先，我們可以使用第3節中介紹的分類法來評估注意力模型的結構。對于這樣的分析，我們考慮注意力機制類別(見圖3)作為模型的正交維數。可以通過確定模型對每個類別使用的機制來分析模型的結構。表3提供了文獻中發現的注意模型的概述，并基于模型實現的注意力機制進行了相應的分析。其次，我們討論了評價注意力模型表現的各種技術。注意力模型的性能可以通過外部或內部性能測量來評估，這將分別在第4.1和4.2小節中討論。

5. 結論

本研究綜述了近年來關于深度學習中的注意力模型的研究進展。注意力機制已經成為深度學習模型的一個顯著發展，因為它們已經表明可以顯著提高模型性能，在幾個研究領域的各種任務中產生了最先進的結果。我們提出了一個全面的分類，可以用來分類和解釋不同數量的注意力機制提出的文獻。分類法的組織基于任務模型的結構，該任務模型由一個特征模型、一個注意力模型、一個查詢模型和一個輸出模型組成。此外，還使用基于查詢、鍵和值的框架討論了注意力機制。最后，我們展示了如何使用外在和內在的測量方法來評估注意力模型的表現，以及如何使用分類方法來分析注意力模型的結構。

參考文獻：

[1] H. Larochelle and G. E. Hinton, “Learning to combine foveal glimpses with a third-order Boltzmann machine,” in 24th Annual Conference in Neural Information Processing Systems (NIPS 2010). Curran Associates, Inc., 2010, pp. 1243–1251. [2] V. Mnih, N. Heess, A. Graves, and k. kavukcuoglu, “Recurrent models of visual attention,” in 27th Annual Conference on Neural Information Processing Systems (NIPS 2014). Curran Associates, Inc., 2014, pp. 2204–2212.

本文研究了深度學習理論中一個基本的開放挑戰: 為什么深度網絡在過度參數化、非正則化和擬合訓練數據為零誤差的情況下仍能很好地泛化? 在論文的第一部分，我們將實證研究如何通過隨機梯度下降訓練深度網絡隱式控制網絡容量。隨后，為了說明這如何導致更好的泛化，我們將推導基于數據的一致收斂的泛化邊界，并改進參數計數的依賴性。由于其簡單性和通用性，一致收斂實際上已經成為深度學習文獻中使用最廣泛的工具。鑒于它的流行，在這篇論文中，我們也將后退一步，確定一致收斂的基本極限，作為解釋泛化的工具。特別地，我們將證明在一些過度參數化的設置的例子中，任何一致收斂界將只提供一個空洞的泛化界。考慮到這一點，在論文的最后一部分，我們將改變航向，并引入一種經驗技術來估計使用未標記數據的泛化。我們的技術不依賴于任何基于一致收斂的復雜性概念，而且非常精確。我們將從理論上說明為什么我們的技術如此精確。最后，我們將討論未來的工作如何探索在泛化邊界中納入分布假設的新方法(例如以未標記數據的形式)，并探索其他工具來推導邊界，可能是通過修改統一收斂或開發完全新的工具。

持續學習變得越來越重要，因為它使NLP模型能夠隨著時間的推移不斷地學習和獲取知識。以往的持續學習方法主要是為了保存之前任務的知識，并沒有很好地將模型推廣到新的任務中。在這項工作中，我們提出了一種基于信息分解的正則化方法用于文本分類的持續學習。我們提出的方法首先將文本隱藏空間分解為對所有任務都適用的表示形式和對每個單獨任務都適用的表示形式，并進一步對這些表示形式進行不同的規格化，以更好地約束一般化所需的知識。我們還介紹了兩個簡單的輔助任務:下一個句子預測和任務id預測，以學習更好的通用和特定表示空間。在大規模基準上進行的實驗證明了我們的方法在不同序列和長度的連續文本分類任務中的有效性。

深度學習在實踐中的顯著成功，從理論的角度揭示了一些重大的驚喜。特別是，簡單的梯度方法很容易找到非凸優化問題的接近最優的解決方案，盡管在沒有任何明確的努力控制模型復雜性的情況下，這些方法提供了近乎完美的訓練數據，這些方法顯示了優秀的預測精度。我們推測這些現象背后有特定的原理: 過度參數化允許梯度方法找到插值解，這些方法隱含地施加正則化，過度參數化導致良性過擬合，也就是說，盡管過擬合訓練數據，但仍能準確預測。在這篇文章中，我們調查了統計學習理論的最新進展，它提供了在更簡單的設置中說明這些原則的例子。我們首先回顧經典的一致收斂結果以及為什么它們不能解釋深度學習方法的行為方面。我們在簡單的設置中給出隱式正則化的例子，在這些例子中，梯度方法可以得到完美匹配訓練數據的最小范數函數。然后我們回顧顯示良性過擬合的預測方法，關注二次損失的回歸問題。對于這些方法，我們可以將預測規則分解為一個用于預測的簡單組件和一個用于過擬合的尖狀組件，但在良好的設置下，不會損害預測精度。我們特別關注神經網絡的線性區域，其中網絡可以用一個線性模型來近似。在這種情況下，我們證明了梯度流的成功，并考慮了雙層網絡的良性過擬合，給出了精確的漸近分析，精確地證明了過參數化的影響。最后，我們強調了在將這些見解擴展到現實的深度學習設置中出現的關鍵挑戰。

//www.zhuanzhi.ai/paper/324cdbb68665c1675a05bc147210d8c8