亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

具有沉浸顯示、智能輔助、自然化人機交互等先進控制能力的新型無人機地面站已成為當前無人機控制領域的研究熱點。為分析其中的技術脈絡,系統性地梳理國內外一系列無人機先進地面站的功能要點及設計理念,在此基礎上從無人機地面站指揮控制的觀察—判斷—決策—行動回路出發,歸納提煉了其技術體系構成,分析指出了其中的任務環境構建、戰場態勢沉浸式顯示、智能化輔助決策和自然化人機交互等關鍵技術,并對各項技術的主要研究方法進行了深入剖析,還對無人機先進地面站目前存在的挑戰和未來發展趨勢進行了研判。該研究對新型地面站的研制具有指導和借鑒意義。

博弈智能是一個涵蓋博弈論, 人工智能等方向的一個交叉領域, 重點研究個體或組織間的交 互作用, 以及如何通過對博弈關系的定量建模進而實現最優策略的精確求解, 最終形成智能化決策和 決策知識庫. 近年來, 隨著行為數據的海量爆發和博弈形式的多樣化, 博弈智能吸引了越來越多學者 的研究興趣, 并在現實生活中得到廣泛應用. 本文圍繞博弈智能這一研究領域, 分別從三個方面進行 了系統的調研. 首先, 回顧了博弈智能的相關背景, 涵蓋了單智能體馬爾可夫決策過程, 基于博弈論 的多智能體建模技術, 以及強化學習, 博弈學習等多智能體求解方案. 其次, 本文依照智能體之間的 博弈關系不同, 將博弈分為合作博弈, 對抗博弈以及混合博弈這三大類范式, 并分別介紹每種博弈智 能范式下的主要研究問題, 主流研究方法以及當前典型應用. 最后, 本文總結博弈智能的研究現狀, 以 及亟待解決的主要問題與研究挑戰, 并給出學術界和工業界的未來展望, 為更多的相關研究人員提供 參考, 進一步推動國家人工智能發展戰略。

1. 引言

博弈論 (game theory) [1,2] 作為 20 世紀經濟學偉大的成果之一, 主要研究個體或群體在特定約 束下的策略優化問題, 在經濟學, 運籌學, 政治學, 信息技術, 數理科學以及軍事戰略領域具有廣泛應 用. 人工智能 (artificial intelligence, AI) 自從 1956 年在達特茅斯會議上被提出, 經過六十多年地 快速發展, 已在現代人類生活的方方面面取得了應用, 世界各主要國家也分別指定了國家人工智能戰 略. 博弈智能作為一門新興交叉領域, 其融合了人工智能和博弈論各自方法的優勢, 通過對博弈關系 的定量建模進而實現最優策略的精確求解, 最終形成決策智能化和決策知識庫. 近年來, 隨著行為數 據的海量爆發和博弈形式的多樣化 (例如, 人機博弈, 非對稱博弈, 非完全信息博弈等), 博弈智能受 到了不同領域學者的廣泛關注, 并在現實生活中得到廣泛應用. 博弈智能主要研究多智能體系統中的博弈策略學習與求解問題, 一個典型的多智能體系統 (multi-agent system, MAS[3] ) 是由多個智能 體組成的博弈系統, 其中每個智能體均在決策上具有一定獨立性和自主性. 博弈智能旨在對復雜動 態多智能體系統內的各智能體之間的交互關系進行建模, 實現對不同博弈參與方最優目標或策略的 有效求解.

**近年來, 以深度神經網絡為代表的機器學習研究提升了決策系統的感知和認知能力, 進而極大加 速了博弈智能的發展. **在以圍棋為代表的兩人零和博弈中, DeepMind 團隊研發的 AlphaGo[4,5] 綜合 深度神經網絡, 蒙特卡洛樹搜索和自博弈等技術, 擊敗了人類圍棋冠軍并引起學術界的廣泛關注. 在 以星際爭霸, Dota2 為代表的不完美信息博弈中, AlphaStar[6] 和 OpenAI Five[7] 也達到了人類頂級 專家水平, 將博弈智能的研究推到了一個新的高度. 這也為后續博弈智能技術發展提供了新的思路, 例如, 在訓練過程中引入對抗訓練和基于種群的訓練, 大幅提升了策略的魯棒性. 此外, 在早期雙重 預言機 (double oracle[8] ) 技術的基礎上, 結合強化學習 (reinforcement learning, RL[9] ) 衍生出了一系 列對抗博弈的求解方法, 例如, 策略空間的應對預言機 (policy space response oracle, PSRO[10] ) 等. 雖然兩人博弈研究取得了快速進展, 但是在多人對抗博弈中如何提升策略的魯棒性和多樣性, 高效求 解均衡, 目前仍是一個開放問題. 此外, 棋類, 視頻游戲和現實世界中的群體決策問題尚存在較大差 異, 現有博弈智能方法的實際應用也面臨諸多挑戰. 例如, 復雜動態的自動駕駛路口交互場景下, 交 通參與者均有其各自目標, 且相互間的博弈關系存在空間和時間上的動態性, 導致各交通參與者的最 優博弈策略難以求解. 因此, 如何縮短虛擬環境下博弈智能技術到現實物理世界落地的差距, 實現大 規模實際場景的博弈關系建模與策略求解, 是博弈智能發展的重要目標.

**根據智能體間的博弈關系, 博弈智能可分為合作博弈智能, 對抗博弈智能和混合博弈智能等形 式. 在合作博弈智能中, 所有智能體共享一個全局獎勵函數, 所有智能體需要相互合作來最大化整體 的求解效率和性能. 從學習范式角度, 合作博弈可劃分為獨立學習[11] , 聯合學習[12] , 協作學習[13] , 集 中訓練分布執行[14] 等形式. 由于所有智能體共享同一個獎勵函數, 如何劃分每個智能體的貢獻, 設 計各智能體間的信譽分配和通信機制, 是學習最優合作策略的挑戰問題. **此外, 由于實際問題中往往 涉及大量智能體, 如何實現大規模多智能體高效合作是未來的一個重要研究方向. 在對抗博弈智能 中, 博弈雙方處于對抗競爭的關系, 每方優化自身的收益都會降低對方的收益. 根據博弈參與方數量 的不同又可分為兩人零和博弈, 兩隊零和博弈和多人零和博弈. 不同于合作博弈以明確的收益作為 優化目標, 對抗博弈以更為復雜的隱含均衡作為目標, 從而對策略求解的高效性, 多樣性和魯棒性提 出了挑戰. 在混合博弈智能中, 所有智能體都有各自的優化目標, 參與方之間需要進行有機地協作, 既要保證優化個體目標, 也要實現系統整體收益的最大化 [15,16] . 混合博弈研究重點關注社會困境和 自主協作兩大難題, 前者研究如何鼓勵智能體學習更加符合群體利益的行為, 或是如何懲罰逾越道德 規則的行為. 后者研究在最優策略難以快速求解的情況下, 如何實現各獨立智能體在最大化自身收 益的同時進行自主協作.

**本文圍繞博弈智能, 首先總結相關技術背景, 涵蓋強化學習, 多智能體系統建模求解, 博弈論等 基礎知識. **其次, 本文按照現有博弈智能范式 [17] , 將博弈智能分為合作博弈, 對抗博弈以及混合博弈 這三大類, 分別介紹每一類下的主要研究問題, 主流研究方法以及當前典型應用. 具體而言, 針對合 作博弈的研究, 介紹主要學習范式, 智能體間通信, 信譽分配等基礎研究問題和主流方法. 對于多智 能體系統的可擴展性, 分析幾種主要可擴展架構. 同時從游戲 AI, 求解器參數優化, 無線通信性能優 化, 推薦系統等四個代表性場景介紹合作博弈的實際應用. 對于對抗博弈, 根據博弈參與方的智能體數量劃分為兩人零和博弈, 兩隊零和博弈, 多人零和博弈, 并分別介紹三種類型博弈的主流研究方法, 以及對抗博弈在游戲, 網絡攻防, 軍事推演等領域的應用. 針對混合博弈, 介紹以社會困境求解和群 體協作博弈為代表的混合博弈主要研究問題和方法, 并分析能源分配和自動駕駛兩種代表性的混合 博弈應用. 最后, 本文總結當前博弈智能技術的研究現狀, 以及復雜任務訓練慢, 行為策略遷移難, 基 線構建不充分, 推理架構待優化等亟待解決的主要挑戰, 并給出學術界和工業界的未來展望, 為博弈 智能提供系統性的參考.

2. 博弈智能

本文圍繞博弈智能，首先總結相關技術背景，涵蓋強化學習、多智能體系統建模求解、博弈論等基礎知識。其次，本文按照現有博弈智能范式，將博弈智能分為合作博弈、對抗博弈以及混合博弈這三大類，分別介紹每一類下的主要研究問題、主流研究方法以及當前典型應用。

2.1 合作博弈智能

任何博弈的研究范疇都主要包含博弈建模和博弈求解. 從博弈建模的角度看, 馬爾可夫博弈[21] 是用來建模多智能體博弈的一般性框架 (詳細定義參考第2節), 圖1則展示了典型的合作式馬爾可夫 博弈的流程. 與其它博弈相比, 合作式博弈最大的特點是, 所有智能體的獎勵函數完全相同, 即 r = r1 = r2 = ... = rn. 從博弈求解的角度看, 由于所有智能體共享獎勵函數, 這就要求所有智能體相互配合, 學習一種最優的聯合策略 π(a|s) = π(?a1, a2, ..., an?|s) 來最大化共同的累積獎勵, 這本質上是 尋找一種社會最優解 (social optimal solution). 合作博弈在現實社會中有著廣泛的應用, 例如在交通 信號燈自主控制問題中, 所有信號燈組成合作多智能體, 需要觀測不同的車流情況, 即 ?s1, ..., sn?, 一 起決定每個信號燈的顯示顏色, 即 ?a1, ..., an?, 從而最大化整個城市的交通安全和通行效率, 即 r. 本 章主要關注合作博弈的求解方案, 將首先詳細調研合作博弈智能的主要研究熱點, 在此基礎上探索合 作博弈技術在實際中的應用. 本章的架構和涉及到的代表算法如表1所示.

2.2 對抗博弈智能

對抗博弈描述的是參與多方的利益相互沖突, 一方所得收益等于其他參與方所失的博弈場景. 各方在利益的驅動下會展開激烈的競爭. 對抗場景在現實中廣泛存在, 從棋牌類對局到即時策略類 游戲, 對抗博弈是檢驗智能程度的 “試金石”; 從網絡攻防到軍事推演, 對抗博弈是安全領域重要的演 練場[92] . 對抗博弈智能不僅可以用于這些現實中的對抗場景, 以獲得博弈參與方的最優策略; 也可以 構造性地用于諸如圖像生成、魯棒優化等問題中, 將優化問題轉化為均衡求解. 因此, 對抗博弈智能 研究不僅可以在動態且復雜的對抗場景中得出最優決策, 還可以為傳統優化問題提供新的思路, 對學 術界和產業界的應用均有重要意義.

在博弈論中, 完全對抗的交互場景往往用零和博弈來刻畫, 即各方的收益加和為零. 以兩方博弈 為例, 作為博弈中的一方, 在面對特定的對手時, 最優策略往往是直接探測對手的弱點并加以利用. 然而, 一方面, 對手的策略是動態變化的, 在利用對手的策略時常常會暴露自身的弱點反而被對手利 用[93] ; 另一方面, 現實中的對抗博弈場景往往是非常復雜的, 很難實現對手建模并根據博弈收益作出 最優應對. 這些挑戰要求博弈參與方具有高級別的對抗博弈智能, 在面對多樣化的對手時都能有優 異的表現. 在博弈論中, 通用方案是求解零和博弈的均衡, 即博弈雙方均不斷優化各自收益后得到 的一對穩態策略. 博弈雙方的均衡策略互為彼此的最優應對, 并且均衡也是關于對手行為的合理預 測[94] . 考慮參與方 X 和 Y 的兩人零和博弈, 根據均衡的定義可知, 當參與方 X 采用均衡策略, 面對 參與方 Y 的任意策略時, X 至少可以獲得均衡收益; 并且當 Y 偏離均衡時, X 可能取得優勢從而獲 得超過均衡的收益; 而當參與方 Y 采用均衡策略時也有類似的效果. 這些性質確保博弈參與方可以 使用均衡策略來面對多樣化的對手, 為實現對抗博弈智能提供了理論保證. 因此在本章中, 會首先探討兩人零和博弈均衡求解相關技術的發展.

在對抗博弈中, 博弈的一方不僅可以是單個智能體, 還可以是團體, 例如團隊作戰的軍事對抗. 團體對抗不僅涉及與對手的競爭, 還需考慮團體內部智能體的分布式執行、智能體間的合作等與完 全合作博弈類似的問題. 然而, 相比于完全合作博弈以明確的團體收益作為優化目標, 團體對抗以更 為復雜的兩隊博弈的均衡作為目標, 需要研究解決團體策略性能魯棒提升、團隊成員策略的多樣性 等特殊問題. 因此, 本章還會詳細討論兩隊零和博弈的具體技術及其發展. 多方對抗也是現實中常見的場景, 例如多人德州撲克、麻將、軍事對抗等. 當對抗博弈中存在多 個參與方時, 博弈的解概念相對于兩人零和或兩隊零和博弈會有較大差異. 因此, 在本章最后, 會簡 要介紹多人零和博弈的求解思路和相關成果. 對抗博弈涉及到的算法眾多, 在經典算法的基礎上不斷創新的工作也層出不窮, 為了更系統地理 解對抗博弈的求解思路, 選取一些代表性算法進行分類總結, 如表 2所示.

5 混合博弈智能

在上述章節介紹的合作與對抗博弈中，參與者通常為具有固定形式獎勵（payoff）函數的純動機 智能體，此時參與者們的收益關系具有固定形式，即彼此目標一致或完全相反. 然而，現實場景中也 普遍存在著大量混合動機參與者，即獎勵函數形式不固定，即組成獎勵的關鍵權重可能隨環境動態 變化；或者不同參與者間的目標關系各不相同，既無法應用合作博弈智能中參與者目標與系統整體 目標一致的假設，也無法應用對抗博弈智能中參與者間目標彼此相反的假設. 因此，本文將此類場 景定義為“混合博弈（mixed-motive games）”，其中各個博弈參與者保持自身獎勵最大化的目標，但 彼此間獨立，不共享自身狀態與參數. 在這類博弈中，多智能體系統的求解目標往往比較復雜，需要 根據實際場景具體分析. 除了以納什均衡為博弈求解目標外, 多智能體系統往往需要考慮參與方的 協作, 以帕累托最優 (Pareto optimality) 為系統的求解目標。

針對混合博弈的相關理論, 目前絕大多數研究工作基于博弈論中的均衡解概念 (如: 納什均衡), 使用一般和博弈的形式來表示混合博弈問題, 即一種可能存在多個納什均衡點的矩陣博弈模型. 以 獵鹿博弈 (stag hunt game) 為例, 在參與者獎勵函數 r 明確的情況下, 一個親社會的 (prosocial) 參 與者 i 的收益函數如下:

其中 α 代表參與者的親社會程度, 即參與者對其它參與者目標的“妥協”程度. 對于不同的邊界條 件, α = 0 表示參與者是完全自私的, α = 1 表示參與者是完全無私的. 此時, 兩參與者同時選擇 “狩獵”所對應的概率大小隨著雙方參與者親社會級別的增加而增加. 從納什均衡求解的角度, 存在 αˉ ∈ (0, 1], 使得當任意參與者的收益函數中親社會程度滿足 α ? αˉ, 上述問題均能唯一收斂到由參與 者共同“狩獵”所主導的納什均衡 [149] . 由于上述親社會等級等復雜概念的引入, 一般和博弈與零和 博弈和合作博弈相比, 在求解理論與具體應用角度上均具有更大的挑戰性. 從理論角度來說, 以較為 簡單的一般和正規形式博弈為例. 一方面, 雖然納什定理確保該類博弈存在混合納什均衡, 但在該類 博弈中求解納什均衡是一個 PPAD 完全問題 [122,123] , 即目前不存在一個多項式時間算法能高效求 解該類博弈的納什均衡. 另一方面, 該類博弈的納什均衡往往也不具有價值唯一性, 即如果同時存在 多個納什均衡, 參與者在不同的納什均衡中可能會得到不同獎勵. 從應用角度來說, 早期一般和博弈 的相關算法主要面向表格式的有限狀態空間, 例如, 納什 Q 學習 [150]、相關 Q 學習 [151]、朋友或敵 人 Q 學習 [152] . 然而, 面向現實世界中普遍存在的高維或連續的狀態空間, 以及交互參與者間復雜多 變的行為空間, 上述算法難以直接應用

近年來, 針對如何構建面向實際問題的混合博弈智能, 學術界主要存在以下兩個研究熱點: ? **社會困境: **混合博弈可用于描述個體利益與集體利益相沖突的情況, 即社會困境問題. 此類場景 中通常容易出現更接近人類的復雜行為, 如: 在一個大團隊中, 某參與者采用欺騙 (deception)、搭便 車 (free-riding) 等方式獲得更高的個體獎勵, 但損害了團隊整體利益. 因此, 如何鼓勵參與者學習更 加符合群體利益的行為, 或如何懲罰具有上述逾越道德規則行為的參與者, 都是目前社會困境面臨的 技術難題.

? **協作博弈 ** 在混合博弈中, 不同于一般的合作博弈, 某一參與者通常不僅需要對其他參與者的 行為做出最佳反應, 同時也需要預測其它參與者對自身行為可能的最佳反應, 此時需引入遞歸推理的 決策范式, 這極大增加了參與者間交互行為的靈活度與建模難度. 以自動駕駛場景為例, 車輛在多車 交互場景中既需要動態推理其他車輛的意圖, 還需要針對其他車輛的策略作出最優應對. 因此, 如何 實現各個獨立參與者在最大化自身獎勵的同時自主地進行協作, 是另一個亟待解決的技術難題. 接下來, 本文將從混合博弈智能的上述兩個研究熱點出發, 介紹相關的最新學術進展、尚未解決 的問題和未來研究方向. 本章的架構和涉及到的代表算法如表3所示.

3. 總結與展望

本文圍繞著博弈智能這一前沿交叉領域, 總結了博弈智能的相關技術背景, 涵蓋馬爾可夫決策過 程、基于博弈論的交互建模等多智能體建模技術, 以及強化學習、博弈學習等多智能體求解方案. 本 文按照博弈問題中智能體之間的不同關系, 依次介紹了合作博弈、對抗博弈、混合博弈這三大范式的 博弈智能技術的發展現狀與典型應用, 并總結了目前研究的成果與不足. 博弈智能是一個具有重大前景的研究方向, 在現實生活中有著廣泛的應用. 該領域的研究發展有助于理解群體認知規律和運行規則, 也有助于實現更接近人類水平或超越人類水平的群體智能. 然而, 現有博弈智能取得的成果是初步的, 在解決真實世界的復雜問題時, 仍面臨著復雜任務訓練慢、 行為策略遷移難、基線構建不充分、推理架構待優化等多方面的挑戰. 未來的博弈智能研究將帶來 很多嶄新的研究方向.

**有模型博弈智能. **基于模型的方法通過學習博弈過程的動力學模型或多智能 體交互模型, 可以提升訓練樣本的利用率, 實現博弈過程的高效推演. 層次化博弈智能. 通過對復雜 的多智能體決策問題進行逐級解耦, 或引入專家先驗進行層次劃分, 有效降低多智能體決策的計算復 雜度. **元學習博弈智能. **從模型參數初始化或上下文學習角度, 元學習技術有助于實現大規模場景下 博弈智能的遷移泛化. 表征博弈智能. 通過結合基礎模型的多模態和多任務學習技術, 實現博弈智能 在高維復雜場景下的通用表征學習. 魯棒博弈智能. 真實問題往往存在大量的魯棒安全性要求, 通過 約束帶入或者嚴格懲罰等方式發展魯棒安全的博弈智能技術對于真實應用至關重要. **離線博弈智能.**現有博弈智能技術需要在仿真環境中不斷演練推理, 然而構建和真實應用匹配的仿真環境非常困難. 發展基于離線數據的博弈智能技術有助于降低對仿真環境的依賴. **因果博弈智能. **通過構建因果推 理模型, 識別博弈智能中不同概念主體的高階聯系, 進一步提升博弈模型的魯棒性. **認知博弈智能.**認知博弈智能的發展離不開研究人機博弈、意識理論等前沿智能技術, 這也是決策智能上升到認知 智能的關鍵. 本文希望通過相關介紹, 對該領域研究提供一些幫助, 引導研究人員繼續加大力度去解 決博弈智能的基礎問題, 建立博弈智能理論研究和應用實踐的協同發展, 推動博弈智能技術的真實落 地, 更好地讓博弈智能技術賦能人類社會。

郝建業, 邵坤, 李凱, 李棟, 毛航宇, 胡舒悅, 王震. 博弈智能的研究與應用. 中國科學: 信息科學, doi: 10.1360/SSI-2023-0010

在過去的十年中，使用自主無人機系統進行測量、搜索和救援或最后一英里的交付已經成倍增加。隨著這些應用的興起，需要高度穩健、對安全至關重要的算法，這些算法可以在復雜和不確定的環境中操作無人機。此外，快速飛行使無人機能夠覆蓋更多的地面，這反過來又提高了生產力，并進一步加強了它們的使用情況。開發用于高速導航的算法的一個代表是自主無人機競賽的任務，研究人員對無人機進行編程，使其盡可能快地使用機載傳感器和有限的計算能力飛過一連串的閘門并避開障礙。速度和加速度分別超過80公里/小時和4克，在感知、規劃、控制和狀態估計方面提出了重大挑戰。為了實現最大的性能，系統需要對運動模糊、高動態范圍、模型不確定性、空氣動力干擾和通常不可預知的對手具有魯棒性的實時算法。本調查涵蓋了自主無人機競賽的進展，包括基于模型和學習的方法。我們提供了該領域的概述，其多年來的演變，并以未來將面臨的最大挑戰和開放性問題作為結論。

縱觀歷史，人類一直癡迷于比賽，在那里，身體和精神的健康受到了考驗。最早提到的正式比賽可以追溯到公元前3000年的古埃及，法老被認為在賽德節上進行了一場比賽，以顯示他的身體素質，表明他有能力統治王國[1], [2]。隨著時代的發展，人類已經從步行比賽轉向使用戰車、汽車、飛機，以及最近的四軸飛行器[3]。雖然船只經常變化，但自早期的賽車以來，有一件事一直保持不變，那就是把任務作為科學和工程發展的催化劑，這是一個反復出現的主題。最近，我們看到有人推動將人類從循環中移除，將高度復雜的賽車任務自動化，以推動車輛性能超越人類所能實現的。

A 為什么要舉辦無人機比賽?

無人機競賽是一項受歡迎的運動，有高知名度的國際比賽。在傳統的無人機比賽中，每架無人機都由一名人類飛行員控制，他從機載攝像機接收第一人稱視角（FPV）的實時流，并通過無線電發射器駕駛無人機。圖1中可以看到無人機的機載圖像。人類無人機飛行員需要多年的訓練來掌握先進的導航和控制技能，這些技能是在國際比賽中取得成功所必需的。這種技能對于必須快速、安全地在復雜環境中飛行的自主系統也很有價值，其應用包括災難響應、空中運送和復雜結構的檢查。例如，在搜救場景中，無人機必須能夠在復雜的環境中快速導航，以最大限度地擴大其空間覆蓋。更簡單地說，能夠快速飛行的無人機就能飛得更遠[4]。

圖1：無人機競賽是一項迅速普及的運動，對手在由一系列門組成的預設賽道上競爭。自主的無人機競賽研究旨在建立能夠在這種比賽中勝過人類飛行員的算法。 a) 自主的無人機競賽任務在過去幾年中獲得了研究界的大量關注，每年相關出版物的數量不斷增加就說明了這一點。 b) 自主的無人機依靠視覺和慣性傳感器來估計自己的狀態，以及對手的狀態。

檢查任務的自動化可以拯救生命，同時比人工檢查更有成效。根據最近一項關于無人駕駛飛行器（UAV）在橋梁檢測中的使用的調查[5]，大多數用于檢測任務的無人機依靠GPS導航，而檢測效率的最大限制因素是無人機的耐力和機動性。此外，作者指出，美國幾個交通部用于勘察的最流行的無人機并不是完全自主的，需要專業的人類飛行員[5]。高度靈活的無人機系統的商業和安全優勢是顯而易見的，然而對自主無人機競賽的研究也可以幫助我們對人類飛行員的視覺處理和控制是如何工作的獲得新的理解，如[6]所示。

在過去的五年里，已經啟動了幾個項目來鼓勵該領域的快速進展，如DARPA的快速輕量級自主（FLA）[8]和歐洲研究理事會的AgileFlight[9]。這些項目的資金池都超過100萬美元，并具有巨大的商業潛力，這對研究人員和企業家探索敏捷飛行研究的新模式有很大的激勵作用。諸如IROS'16-19自主無人機競賽系列[10]、NeurIPS 2019的無人機游戲[11]和2019年AlphaPilot挑戰賽[12]、[13]等競賽為研究人員提供了進一步的機會，以競爭方式相互比較他們的方法。圖2中可以看到這些比賽所取得的進展的描述。

無人機競賽是一個具有挑戰性的基準，可以幫助研究人員衡量復雜的感知、規劃和控制算法的進展。比賽中的自主無人機必須能夠在幾十毫秒的范圍內進行感知、推理、計劃和行動，所有這些都在一個計算有限的平臺上進行。除了具有很大的挑戰性外，無人機競賽任務提供了一個衡量自主飛行機器人技術進展的唯一標準：單圈時間。解決這個問題需要算法高效、輕便，并實時提供最佳決策和控制行為。此外，如圖1所示，我們看到該領域的論文數量逐年呈指數式增長。

據作者所知，這是第一份關于自主無人機競賽技術狀況的調查。這一概述對于那些希望在現有工作之間建立聯系、了解當前和過去方法的優勢和劣勢，以及確定前進方向的研究人員來說是非常有用的，這將使該領域獲得有意義的進展。

B 任務說明

無人機競賽的任務是在最短的時間內駕駛四旋翼飛機按照給定的順序通過一系列的門，同時避免碰撞。人類在這項任務上的表現令人吃驚，他們以遠遠超過100公里/小時的速度飛行，只用第一人稱視角的攝像機作為他們的感官輸入。除此之外，專家級飛行員可以在幾分鐘內迅速適應新的賽道，然而專業無人機飛行員所需的感覺運動技能需要多年的訓練才能獲得。

對于自主無人機來說，要成功完成這項任務，它必須能夠檢測對手和賽道上的航點，計算它們在三維空間中的位置和方向，并計算出一個動作，使其能夠盡快地在賽道上導航，同時還能控制一個高度非線性系統的極限。這在三個不同方面具有挑戰性。感知、計劃和控制。其中任何一個方面的不良設計都可能造成比賽的勝負，而比賽的勝負可能由不到十分之一秒的時間決定。

本文的結構如下。首先，在第1節中詳細討論了無人機的建模過程，包括空氣動力學、電池、電機、相機和系統的非線性因素。第2節然后在第二節中介紹了一個經典的機器人管道。第3節介紹了一個經典的機器人管道，并深入探討了與敏捷飛行相關的文獻，分為感知、規劃和控制三個子節。之后，在第4節中我們深入研究了基于學習的感知、規劃和控制的方法，這些方法依賴于機器學習界的最新進展。然后，第5節討論了仿真工具的發展，這些工具可以使敏捷飛行的應用得到快速發展。第6節介紹了無人機競賽的歷史和用于每項競賽的方法。接下來，在第7節中提供了一個開放源代碼庫、硬件平臺和研究人員的數據集的摘要。最后，在第8節中對未來對自主無人機競賽感興趣的研究人員的機會和挑戰進行了前瞻性的討論。

數字孿生以數字化的形式對生產的全過程進行動態仿真實現，覆蓋了產品的全生命周期和全 價值鏈，對推動智能制造等領域發展具有重要意義。概述數字孿生概念的起源、梳理技術發展歷程 和相關技術體系；簡述數字孿生技術在智能制造產品生命周期、生產生命周期的應用，并總結分析 了其在智慧城市建設方面的主要應用特點。以智能制造和智慧城市發展為例，分析了相關應用面臨 的主要網絡安全風險和挑戰，并嘗試給出了數字孿生技術的網絡安全保障方案，為推動數字孿生技 術和應用的安全發展提供參考。 數字孿生(Digital Twins)，是現實世界(系統) 的數字化。在物聯網的背景下，數字孿生體與真實 世界的物體系統相連，并提供有關物品狀態的信 息，響應變化，改善操作并增加價值。作為一種前沿技術，數字孿生引起了工業界與學術界的廣泛關 注。全球最具權威的 IT 研究與顧問咨詢公司 Gartner 將數字孿生列為十大戰略科技發展趨勢之 一[1-3]。目前，數字孿生主要被應用于制造業領域[4]， 國際數據公司(IDC)表示現今有 40%的大型制造商 都會應用這種虛擬仿真技術為生產過程建模，數字 孿生已成為制造企業邁向工業 4.0 的解決方案。到 2020 年，估計有 210 億個連接的傳感器和終端服 務于數字孿生，在不久的將來數字化孿生將存在 數十億種[5]。黨的十九大報告明確提出要加快建設制造強 國，《中國制造 2025》指出“將智能制造作為兩 化融合的主攻方向，推進生產過程智能化，培育 新型生產方式，全面提升企業研發、生產、管理 和服務的智能化水平”。在此背景下，數字孿生 技術受到廣泛關注，并將具有巨大的發展潛力。與 此同時，開放環境下的網絡安全問題隨之而來，這 在一定程度上制約了技術的發展和應用。 //www.china-simulation.com/CN/10.16182/j.issn1004731x.joss.19-0025 **1 概述 **

1.1 基本概念和發展歷程 如圖 1 所示，數字孿生的理念可追溯到 1969 年，而其明確的概念則普遍認為是在 2003 年由美 國密歇根大學的 Michael Grieves 教授提出，當時 被稱為“與物理產品等價的虛擬數字化表達”，但 由于當時技術和認知上的局限，數字孿生的概念并 沒有得到重視[6-8]。在 2003-2005 年間，數字孿生 一直被稱為“鏡像的空間模型”，2006-2010 年被稱 為“信息鏡像模型”。美國空軍研究實驗室與 NASA 在 2011 年開展合作，提出了飛行器的數字孿生體 概念，數字孿生才有了明確的定義。2012 年，NASA 發布“建模、仿真、信息技術和處理”路線圖，數 字孿生概念正式進入公眾視野。2013 年，美空軍 發布《全球地平線》頂層科技規劃文件，將數字線 索和數字孿生并列視為“改變游戲規則”的顛覆性 機遇，并從 2014 財年起組織洛馬、波音、諾格、 通用電氣、普惠等公司開展了一系列應用研究項 目。就此，數字孿生理論與技術體系初步建立，美 國防部、NASA、西門子等公司開始接受這一概念 并對外推廣。 隨著工業 4.0，智能制造等技術和發展戰略的 不斷出臺，數字孿生技術逐步成為智能制造的一 個基本要素，并得到了各方的普遍關注。洛克希 德馬丁公司于 2017-11 將數字孿生列為 2018 年未 來國防和航天工業頂尖技術之首；英國國家基礎 設施委員會于 2017-12 發布《數據的公共利益報 告》(Public Good report)，提出創建一個與國家基 礎設施相對應的數字孿生體，并于 2019-01 啟動 相關計劃；Gartner 公司連續 3 年(2017-2019 年) 將數字孿生列為當年十大戰略科技發展趨勢之一 [1-3]。 當前，數字孿生在工業界和學術界有多種不同 的定義和理解，但從根本上講，數字孿生是以數字 化的形式對某一物理實體過去和目前的行為或流 程進行動態呈現。表 1 梳理了不同機構對數字孿生 技術的不同概念理解。

**1.2 相關技術 **

基于工業界及學術界對數字孿生的定義，工 四 100 術語編寫組對數字孿生進行了較為全面的 概括，將數字孿生技術定義為：是充分利用物理 模型、傳感器更新、運行歷史等數據，集成多學 科、多物理量、多尺度、多概率的仿真過程，在 虛擬空間中完成映射，從而反映相對應的實體裝 備的全生命周期過程[8]。這一理解得到較為廣泛 的認同。根據其定義，數字孿生的技術體系必須 支撐虛擬空間、物理空間以及雙向的信息流動等 要素，并在其全生命周期發揮作用。 從虛實空間映射以及協同角度出發，西門子 公司給出了如圖 2 所示的應用方案。 在虛擬空間，需要具備對基礎設備、產品系 統、生產環境等進行多層次的仿真和建模能力。 在物理空間，需要具備完整的生產系統運營管理 能力、全集成自動化系統工程能力以及基于云計 算、物聯網和大數據的數字孿生分析和服務能 力。同時，在連接和協同方面，需要具備虛擬空 間和物理空間的信息集成和閉環反饋能力[12-14]。 從產品設計、制造和服務的全周期出發，數 字孿生技術在各個階段均發揮了重要作用。在產 品設計階段，模型定義(MBD)技術實現了產品數 據的高效表達、模型輕量化技術優化了模型的存 儲結構、仿真及優化技術使產品數字孿生模型與 物理產品的功能和特點更加接近[15-16]。在產品制 造階段，數字孿生技術通過于工業互聯網、物聯 網、傳感器等發生多級互聯，與人工智能、機器 學習、數據挖掘、高性能計算等信息技術進行協 同，在復雜動態空間的多源構數據采集、數據集 成展示、產品生產監督和質量管理、智能分析決 策等方面均發揮了重要作用。在產品服務階段， 數字孿生綜合利用傳感技術、追溯技術、仿真技 術、物聯網技術等，在產品狀態跟蹤監控、故障 預警和定位分析等方面提供支持。

三維視覺測量是計算機視覺與精密測量原理交叉融合的前沿高新技術,是工業4.0的基礎支撐,是以網絡化、智能化制造為變革特征的先進制造業的核心關鍵技術。經過幾十年的發展,三維視覺測量技術在基礎研究和應用研究上均獲得了快速深入發展,形成了理論方法、技術工藝、系統研發和產品應用四位一體較為完備的方向體系,呈現出理論系統化、方法多維化、精度精準化和速度快捷化的發展趨勢,成為智能制造過程控制、產品質量檢驗保證和裝備整機服役測試的不可或缺的優選技術。本報告主要圍繞單相機、雙相機、結構光等典型三維視覺測量技術展開論述,概要介紹其關鍵技術內涵,綜述其發展現狀、前沿動態、熱點問題和發展趨勢。重點論述條紋投影三維測量技術和相位測量偏折術。最后給出了三維視覺測量的發展趨勢與未來展望。

//www.cjig.cn/jig/ch/reader/download_new_edit_content.aspx?edit_id=202001&file_no=2020&journal_id=jig

自動駕駛車輛的本質是輪式移動機器人，是一個集模式識別、環境感知、規劃決策和智能控制等功能于一體的綜合系統。人工智能和機器學習領域的進步極大推動了自動駕駛技術的發展。當前主流的機器學習方法分為：監督學習、非監督學習和強化學習3種。強化學習方法更適用于復雜交通場景下自動駕駛系統決策和控制的智能處理，有利于提高自動駕駛的舒適性和安全性。深度學習和強化學習相結合產生的深度強化學習方法成為機器學習領域中的熱門研究方向。首先對自動駕駛技術、強化學習方法以及自動駕駛控制架構進行簡要介紹，并闡述了強化學習方法的基本原理和研究現狀。隨后重點闡述了強化學習方法在自動駕駛控制領域的研究歷史和現狀，并結合北京聯合大學智能車研究團隊的研究和測試工作介紹了典型的基于強化學習的自動駕駛控制技術應用，討論了深度強化學習的潛力。最后提出了強化學習方法在自動駕駛控制領域研究和應用時遇到的困難和挑戰，包括真實環境下自動駕駛安全性、多智能體強化學習和符合人類駕駛特性的獎勵函數設計等。研究有助于深入了解強化學習方法在自動駕駛控制方面的優勢和局限性，在應用中也可作為自動駕駛控制系統的設計參考。

//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210103&flag=1

摘要: 本文分析了控制理論與應用、模式識別與智能系統、導航制導與控制、系統科學與工程、人工智能與自動化交叉等領域的發展現狀. 結合科技發展、國內國際研究前沿和新興領域對自動化科學技術的需求, 提出重點發展智能控制理論和方法、高性能作業機器人、信息物理系統、導航與控制技術、重大裝備自動化技術、自主智能系統和人工智能驅動的自動化技術優先領域, 加強數據驅動控制理論、人工智能基礎理論研究, 進一步發展人機協同、跨域融合的智能自動化, 為實現國家社會的全面信息化智能化提供理論和技術保障.

機器視覺是建立在計算機視覺理論工程化基礎上的一門學科，涉及到光學成像、視覺信息處理、人工智能以及機電一體化等相關技術。隨著我國制造業的轉型升級與相關研究的不斷深入，機器視覺技術憑借其精度高、實時性強、自動化與智能化程度高等優點，成為了提升機器人智能化的重要驅動力之一，并被廣泛應用于工業生產、農業以及軍事等各個領域。在廣泛查閱相關文獻之后，針對近十多年來機器視覺相關技術的發展與應用進行分析與總結，旨在為研究學者與工程應用人員提供參考。首先，總結了機器視覺技術的發展歷程、國內外的機器視覺發展現狀；其次，重點分析了機器視覺系統的核心組成部件、常用視覺處理算法以及當前主流的機器視覺工業軟件；然后，介紹了機器視覺技術在產品瑕疵檢測、智能視頻監控分析、自動駕駛與輔助駕駛與醫療影像診斷等四個典型領域的應用；最后分析了當前機器視覺技術所面臨的挑戰，并對其未來的發展趨勢進行了展望。希望為機器視覺技術的發展和應用推廣發揮積極作用。