亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要: 以大模型在材料科學中的應用為著眼點，首先綜述了大模型，介紹了大模型的基本概念、發展過程、技術分類與特點等內容；其次從通用領域大模型和垂直領域大模型兩個角度，總結了大模型的應用，列舉分析了不同種類大模型的應用場景和功能. 再次，結合材料科學領域中的具體需求研究現狀，調研并綜述了語言大模型、視覺大模型和多模態大模型在材料科學中的應用情況，以自然語言處理和計算機視覺中的具體任務為切入，參考典型應用案例，綜合提示工程策略和零樣本知識遷移學習，厘清了當前將大模型應用至材料科學的研究范式和制約因素，并利用改進SAM視覺大模型在四種材料顯微圖像數據上進行了驗證性圖像分割與關鍵結構提取實驗，結果表明SAM帶來的零樣本分割能力對于材料微結構的精準高效表征具有巨大應用潛力. 最后，提出了大模型相關技術、方法在材料科學中的未來研究機遇，從單模態到綜合性多模態的大模型研發與調優，評估了可行性及技術難點.

//115.25.60.6/article/doi/10.13374/j.issn2095-9389.2023.09.20.002

人工智能（Artificial intelligence，AI）在各領域中的廣泛應用從科研熱點、社會關切、政策支持等維度都體現出極大的研究與應用價值[1]. 隨著人工智能的土壤——數據的指數級增長以及計算能力的躍升，以深度學習為代表的突破性人工智能算法不斷涌現[2]，逐漸代替傳統的機器學習和基于規則的方法，并在眾多場景下得以大范圍實際應用[3?4]，如人臉識別[5]、自動駕駛[6]、文本生成[7]等. 2022年底，OpenAI公司發布ChatGPT應用并迅速進入大眾的視野[8]，推出僅兩個月后月活躍用戶就已超一億，成為歷史上用戶群增長最快的消費應用. 基于語言大模型開發的人工智能產品ChatGPT被認為是人工智能技術的新突破，吸引了社會各界的重點關注，引發了國內外新一輪人工智能產品應用落地. 可以這樣說，以ChatGPT為時間起點，人工智能正式進入“大模型時代”，大模型也正在重塑各種任務并在眾多復雜的下游任務中取得了不俗的成績[9?11].

邊緣智能作為一項新興技術，正受到國內外學者的廣泛關注，其作為人工智能技術與邊緣計算技術的結 合，有望促進人工智能技術在各行業的部署，加速產業智能化進程。該文首先介紹了邊緣智能技術的基本原理、 系統架構及其比較優勢，梳理了邊緣智能技術的國內外研究現狀；分析了邊緣智能在軌道交通建設工程、運維調 度、智能控制、改造升級的全生命周期應用前景，詳述了邊緣智能技術在軌道交通過程管理控制、建設現場數據 采集分析、信息共享、智能運維、智能調度、自動駕駛系統、列車協同控制及改造升級等全生命周期中的賦能作 用。該文隨后設計與實現了軌道交通智能運行控制為背景下的邊緣智能平臺，測試基于深度學習和強化學習的邊 緣智能應用的功能及性能。最后，歸納了邊緣智能技術在軌道交通領域應用的問題與挑戰。該文的研究期望為軌 道交通領域的邊緣智能應用提供有益的借鑒和實踐基礎。

當前，隨著全球科技革命浪潮的興起，人工智 能逐漸在各傳統產業中占據越來越重要的位置。近 年來，軌道交通領域信息化、智能化建設的步伐逐 漸加快，也因此正面臨著越來越多的問題和挑戰。 邊緣智能技術作為一種將人工智能推向網絡邊緣的 新型技術，正成為充分發展人工智能技術時不可或 缺的一環。 邊緣智能技術的構想最早于2009年由微軟公司提出[1]，他們嘗試構建了一個給予邊緣設備的移動 語音識別支持的系統。隨后，邊緣智能的概念經歷 了兩個階段的更迭[2]。第1階段，通常認為邊緣智 能的概念僅限于在數據生產的終端設備上運行人工 智能應用。隨后，學者將邊緣智能的概念擴展至包 括云計算中心、邊緣節點、終端設備的全場景架構 模式[3]。邊緣智能是通過邊緣計算技術將人工智能 技術推廣到網絡邊緣的一種新型技術[4]。邊緣智能 作為一種可以充分利用現有云、邊、端網絡帶寬資 源、計算資源的整體架構，為人工智能算法大規模 部署提供了基礎平臺。這意味著，邊緣智能技術將 解決傳統計算中心模式下單節點故障、隱私泄露、 主干網絡帶寬資源不足的情況，同時解決終端設備 計算資源緊缺的問題。

軌道交通作為一種運力大、速度高的交通方式， 在保障游客出行、貨物運輸和緩解交通壓力等方面 發揮著巨大的作用[5]。軌道交通的安全、高效運行， 是軌道交通運營的核心目標[6]。近年來，我國在建 設智能化、信息化軌道交通的建設上高速發展。為 進一步提升軌道交通運行安全性、可靠性，提高運 輸能力，減少人為失誤，智能駕駛、智能調度、智 能運維等基于人工智能算法的應用被廣泛使用[7]。 現如今，隨著大數據賦能的人工智能技術的廣泛研 究及應用，軌道交通信息化及智能化的進程得到了 進一步提高。例如，京張鐵路就將人工智能技術深 度融合至智能車站、智能列車、智能運輸、旅客智 能出行等各方面[8]。與此同時，人工智能應用帶來 的龐大的算力需求對軌道交通基礎設施提出了挑戰。 在大量人工智能技術運用到軌道交通中各個方面的 同時，一些應用場景對低時延、高算力、高信息隱私 安全的需求及傳統的軌道交通數據提出了新的要求。 軌道交通傳統數據處理方式以云計算架構為主[9]。 云計算中心具有算力強、數據存儲空間大等特點， 但依然存在以下問題嚴重阻礙了人工智能在軌道交 通中的應用：軌道交通中的智能駕駛、智能調度等 業務需要很強的實時性，云計算架構的集中式遠端 服務器由于物理傳輸時延無法消除等因素，無法滿 足系統進一步實時性的需求；軌道交通系統是極度 依賴于傳感網絡的系統，由于各種傳感設備數量的 指數式增加，軌道交通現有的通信架構無法滿足大 量、異構結構數據的上傳；基于云平臺的軌道交通 系統多依賴于集中式服務器，這給軌道交通系統的 安全性帶來極大的挑戰。同時，由于傳統軌道交通 煙囪式業務系統存在基礎設施重復建設、運維成本 高、信息孤島等問題，導致雖然軌道交通海量傳感 器產生的大數據無法賦能人工智能應用。

張春杰等人[10]對物聯網及人工智能技術在城市 軌道交通監控系統中的應用進行了討論，探索了先 進的城市軌道交通綜合監控系統的可能性。其中， 人工智能技術作為核心推動力，是無人化、智能化 監控系統的保障。魏秀琨等人[11]系統性地總結了機 器視覺在軌道交通系統狀態檢測中的應用，詳細分 析了基于人工智能的機器視覺檢測方式相較于人工 檢測方法有著更高的效率及準確率。文中詳述了人 工智能技術在弓/網系統檢測、軌道交通線路狀態 檢測上，基于機器視覺的自動化檢測方式相較于傳 統人工巡檢、接觸式檢測等方式具備顯著的成本成本， 檢測靈活性高，準確度高，設備智能程度高，并且 對正常行車干擾影響小等優勢。同時，在諸如司機 行為檢測、車站安全監控等機器視覺傳統優勢場景 下，人工智能的廣泛引用進一步推進了軌道交通智 能化等進程。然而，車載服務器算力限制、基于邊 緣計算等技術的架構設計等尚未得到充分研究等問 題，制約了人工智能技術在軌道交通中的實際應 用。周超等人[12]研究了云邊協同技術在軌道交通中 的應用，并提出了城市軌道交通的典型應用場景視 頻監控系統云邊協同技術架構。通過利用云計算高 算力及邊緣計算高實時性的優勢，對客流密度、 人員行為等任務進行合理的資源分配，完成高效的 感知識別。然而該研究中未考慮車載算力，架構 設計上欠缺了云-邊-端協同架構。以上這些研究主 要著眼于人工智能技術或邊緣計算技術在軌道交通 中的應用。然而，當前尚未有研究者嘗試將邊緣智 能技術及其計算架構引入軌道交通中，也沒有研究 者嘗試綜合分析邊緣智能技術在軌道交通中的應用 前景。 在軌道交通中采用邊緣智能的架構，由于邊緣 計算的固有特性，不僅可以有效解決軌道交通應用 對低延時、高數據安全的要求，同時可以將更多傳 感器數據應用起來，打破信息孤島，賦能智能軌道 交通。目前，我國正大力建設軌道交通信息化、智 能化發展，邊緣智能作為一種新型技術，通過靈活 的計算架構，將充分利用有限資源最大化人工智能 在軌道交通中的應用。本文研究了邊緣智能技術及 其在軌道交通中的應用。首先闡述了邊緣智能的定 義及其架構；然后對邊緣智能技術在軌道交通領域 的應用前景進行詳細分析，并介紹了本文設計與實 現的軌道交通邊緣智能應用，以及系統性能測試； 最后總結了邊緣智能在軌道交通應用中的挑戰與問 題。由于邊緣智能技術在軌道交通中的應用尚處于 極其早期的起步階段，相關研究仍有巨大空缺，因 此我們希望通過本文為研究者構建起連接邊緣智能與軌道交通的橋梁，為未來更加智能化的軌道交通 系統提供可能性。

2 邊緣智能技術概述

邊緣智能是利用邊緣計算技術運行人工智能應 用程序的一種范式，其能充分利用邊緣資源。邊緣 計算是邊緣智能的基礎，從原理上講，邊緣計算是 將計算單元部署在終端設備以及云計算中心的新型 計算范式[13]。隨著人工智能應用的大數據屬性不斷 提升，大數據使能的人工智能應用正逐漸成為主導[14]。 近年來，軌道交通大數據化已成為趨勢[15]。然而， 現有的計算架構在面臨海量數據處理時面臨著不可 避免的缺陷。終端設備由于其自身算力薄弱，無法 支撐海量數據的計算任務。與此同時，云計算架構 又面臨著巨大的主干網絡壓力以及較大的傳輸時 延。因此，通過將人工智能應用推向網絡邊緣，邊 緣智能的理念應運而生。 邊緣智能中的資源涵蓋了從云計算中心到終端 設備上所有的計算、網絡資源。邊緣智能，即將人 工智能技術應用于邊緣計算框架中。邊緣智能涵蓋 了協同訓練及協同推斷，如圖1所示，其基礎架構 可分為7層(Level)：模型放置與云計算中心訓練， 并由云-邊協同推理模型(Level 1)、模型放置與云 計算中心訓練，邊緣側協同推理模型(Level 2)、模 型放置與云計算中心訓練，模型均于終端設備推理 (Level 3)；基于邊緣側訓練模型的云-邊協同推理 (Level 4)、全于邊緣側推理(Level 5)、邊緣-終端 協同推理(Level 6)、全于終端設備推理(Level 7)。 在邊緣智能框架中，數據更多地留在邊緣服務 器或終端設備中處理，原始數據將避免在主干網絡 中直接傳輸。其中，隨著邊緣智能等級(Level)的提 升，網絡中數據的上傳量越少，因此由于數據傳輸 過程中的網絡攻擊帶來的信息泄露、信息被篡改的 風險也將顯著降低。特別地，在全于終端設備推理 (Level 7)模式下，所有的數據將在終端設備本地生 成、處理、推理計算，具備離線運行屬性，滿足部 分高隱私敏感性應用的運行需求。因此，對于隱私 高敏感性的數據源來說，其數據由于在主干網絡的 傳輸過程中由于數據泄露、黑客攻擊導致的隱私安 全問題將得以緩解。與此同時，相較于傳統的基于 云計算中心的計算架構模式，在邊緣智能架構中由 于邊緣服務器與終端設備間物理距離相較云計算服 務器與終端設備間顯著縮短，其數據傳輸時延將顯 著降低，具備更強的數據處理低延遲特性。將計算 過程從云計算服務器移動至邊緣服務器，極大減少 了不可避免的數據網絡傳輸時延，可以讓實時性要 求較高的應用成為可能。同時，對比傳統的邊緣計 算模式，邊緣智能將人工智能技術引入其架構之 中，依托人工智能技術將更好地完成任務卸載、資 源費配的決策，從系統架構上賦予了智能化服務的 能力。智能化的服務卸載策略將根據實際情況動態 做最優化判斷，保證用戶始終擁有最好的服務水 平。由于邊緣服務器可以對數據進行預處理，終端 設備產生的原始數據不再需要全部上傳至云計算中 心，邊緣服務器可以選擇性地上傳數據處理后的信 息至云計算中心。因此，主干網絡的壓力將得到極 大的緩解。邊緣智能同時還具有更高的隱私安全 性。綜上，在邊緣智能框架中，既可以將人工智能 軟件部署在邊緣計算框架中以實現低延遲、高隱私 安全的智能化應用，又可以應用人工智能算法實現 邊緣服務器智能切換以提升服務質量。

人工智能技術被各主要強國視為“改變游戲規則”的尖端技術之一，有望提升航天裝備可靠 性、快速性和自主性，從而產生顛覆性影響。簡要分析了人工智能的技術發展態勢及其在航天裝 備中的應用態勢。建立了人工智能在航天裝備領域應用體系，并在此基礎上，按照進入太空、利用 太空和控制太空的維度，從運載火箭、衛星通信、衛星遙感、衛星導航、載人飛船、太空態勢感知等 方面，深入分析了人工智能在航天裝備領域的應用場景。最后，歸納了人工智能在航天裝備領域 應用的趨勢。為我國發展人工智能技術在航天裝備領域的應用提供參考。大 數 據 、云 計 算 、人 工 智 能（artificial intelligence，AI）等高新技術促進了航天事業飛速發 展，加速了可回收火箭、智能遙感衛星、新型載人飛 船、太空機器人等一系列新型高科技航天裝備落地 應 用 ，初 步 展 現 了 人 工 智 能 技 術 +航 天 的 時 代 雛 形［1-6］。自 2006 年深度學習取得突破以來，人工智 能因可感知或認知外界環境并產生交互，可自我學 習，有望進一步提升航天裝備可靠性、快速性及自 主性，實現航天活動能力質的飛躍［7-8］ 。人工智能在 航天裝備領域的應用，涉及運載火箭、衛星、載人飛 船、太空態勢感知裝備等方面［9-12］。本文重點討論 人工智能在軍事航天裝備領域的應用。世界各主要強國均大力推進航天裝備的智能 化戰略，人工智能技術在航天裝備領域的應用成為 國內外研究熱點。Gianluca Furano 重點探討了人工 智能技術在遙感、導航以及航天器健康監測等航天 裝備原位測量中的應用［13］。郝曉龍等分析了智能 航天體系的概念內涵及架構［14］ 。然而，當前研究大 多從航天裝備的某幾個具體應用點展開討論，從進 入太空、利用太空、控制太空維度，系統全面分析人 工智能在航天裝備領域應用的較少。本文在簡要分析航天裝備領域對人工智能技 術需求、人工智能技術發展態勢以及人工智能航天 裝備應用發展態勢的基礎上，對應進入/利用/控制 太空，從運載火箭、衛星遙感、衛星通信、載人飛船、 太空態勢感知等方面，系統研究人工智能在航天裝 備領域應用場景，探討人工智能在航天裝備領域應 用發展趨勢。

近年來，無人機因其小巧靈活、智能自主等特點被廣泛應用于民用 和軍事等領域中，特別是搜索偵察過程中首要的目標跟蹤任務。無人機 視覺目標跟蹤場景的復雜性和運動目標的多變性，使得目標特征提取及 模型建立困難，對目標跟蹤性能帶來巨大的挑戰。本文首先介紹了無人 機視覺目標跟蹤的研究現狀，梳理了經典和最新的目標跟蹤算法，特別 是基于相關濾波的跟蹤算法和基于深度學習的跟蹤算法，并對比了不同 算法的優缺點。其次，歸納了常用的目標跟蹤數據集和性能評價指標。 最后，展望了無人機視覺目標跟蹤算法的未來發展趨勢。

近年來，無人機憑借其體積小、動作靈活及易于 操控等特點，在民用、軍事以及科學研究等多個領域 得到越來越廣泛的應用，例如，惡劣環境下的電力線 路檢測、大氣環境檢測、搶險救災、偵察敵情、敵方 目標跟蹤、搜索戰場情報等［１－６］ 。在無人機的諸多 任務類型中，無人機目標跟蹤有著重要的研究意義， 并逐漸成為目前無人機領域熱點研究方向之一［７－８］ 。**無人機的目標跟蹤能夠通過多種方式來實現，比如，在跟蹤目標上綁定電子標簽或安裝 ＧＰＳ追蹤 器來輔助跟蹤，但該類方法需要與目標進行近距離 接觸，在實際跟蹤任務中往往難以做到。**隨著計算 機視覺技術的飛速發展，基于視覺的無人機目標跟 蹤已成為最接近人類行為且最為直觀的跟蹤形式。 具體地，視覺目標跟蹤是指在給定某視頻初始幀中 感興趣區域（如人、車輛等）的情況下，對視頻中的 運動目標進行特征提取，根據提取到的目標特征來 預測未來時間幀中運動目標的位置和大小，從而完 成對目標的追蹤任務［９－１１］ 。

無人機視覺目標跟蹤與地面目標跟蹤相比，面 臨著 ４個挑戰：１）由于空中視野廣闊，干擾物體數 量較多，目標與其他物體之間、目標與背景之間相 互干擾，可區分性差，導致目標模型的可辨識性和 排他性不高，建立精準的目標模型較困難。２）當 無人機飛行在一定高度時，圖像影幅變大，分辨率 和清晰度變低，地面上的待跟蹤目標尺度變得很 小，目標特征和紋理變得稀少，使得目標特征提取 困難，特征表示不顯著，導致目標檢測和跟蹤難度 變大。３）無人機在跟蹤過程中易受到風力等外界 因素的影響，導致相機抖動、視角變化、運動模糊 等現象頻繁，從而易產生跟蹤漂移和丟失的情況， 實現魯棒、穩定、長時的無人機目標跟蹤較為困 難。４）由于無人機自身結構特點，大多數無人機 僅有一個 ＣＰＵ，計算資源有限，無法承受復雜度太 高的運算，如何在保證精度的情況下開發復雜度低 的跟蹤算法是極具挑戰的。隨著無人機技術的發展 和計算機信息處理能力的提升，盡管無人機視覺目 標跟蹤算法有了突破性進展，但由于上述難點的存 在，無人機視覺目標跟蹤算法仍有很大的發展空間。 視覺目標跟蹤方法主要分為生成類跟蹤方 法［１２－１３］ 和判別類跟蹤方法［１４－１６］ 。生成類跟蹤方法 通常忽略背景信息的影響且假設目標外觀在一定時 間內保持不變，故該方法無法處理和適應復雜的跟 蹤變化。判別類跟蹤方法，尤其是基于相關濾波和 基于深度學習的算法，在一定程度上解決了樣本不 足的問題，且能夠提取目標中更多有用信息，顯著 提高目標跟蹤準確率和速度。判別類跟蹤算法出現 之后，經典的生成類跟蹤算法逐漸淡出，其主要原 因是因為這些算法無法適應復雜多變的跟蹤場景， 其魯棒性和準確性被前沿算法所超越。然而，由于 上述目標跟蹤挑戰的存在，判別類跟蹤算法仍存在 一些不足。為了構建一個更精準、更高效且更魯棒 的通用跟蹤器，未來研究應重點關注高效的在線訓 練和失跟后的重新檢測機制，提高目標被完全遮擋 后的跟蹤效果，同時，應關注如何引入遷移學習和 對抗學習等前沿方法來提高特征提取有效性，提高 算法對低分辨率的小目標的跟蹤性能，從而應用于 機載無人機來完成實時跟蹤任務。文［１］重點對無 人機目標跟蹤算法的共同框架進行了詳細描述，分 析了現有技術的不足，并提出了目標跟蹤未來的發 展方向。文［１６］系統地介紹了基于生成類和判別 類的視覺目標跟蹤算法，但未涉及目標跟蹤效果的 相關評估標準，且未對無人機空中監視場景中的難 點進行分析。為使相關研究人員對無人機視覺目標 跟蹤領域的研究有更加清晰深入的了解，本文結合 無人機自身結構特點，首先對應用于無人機領域的 目標跟蹤算法進行了梳理總結，分析了各算法的核 心思想及優缺點。其次，考慮到跟蹤算法在無人機 平臺上的應用前景，重點對基于相關濾波的跟蹤算 法和基于深度學習的跟蹤算法進行了詳細介紹，闡 述了各算法的特點和貢獻，并對比了各算法的跟蹤 效果，圖 １為兩類目標跟蹤算法的分類框架圖，圖 中所涉及的算法縮寫及其全稱如表 １所示。接著， 歸納了無人機目標跟蹤領域的跟蹤數據集和跟蹤性 能評價標準。最后，對全文進行了總結，并對無人 機視覺目標跟蹤的發展方向進行了展望。

無人車（ＵＧＶ）可替代人類自主地執行民用和軍事任務，對未來智能 交通及陸軍裝備發展有重要戰略意義。隨著人工智能技術的日益成熟， 采用強化學習技術成為了無人車智能決策領域最受關注的發展趨勢之 一。本文首先簡要概述了強化學習的發展歷程、基礎原理和核心算法；隨后，分析總結了強化學習在無人車智能決策中的研究進展，包括障礙 物規避、變道與超車、車道保持和道路交叉口通行四種典型場景；最后， 針對基于強化學習的智能決策面臨的問題和挑戰，探討并展望了未來的 研究工作與潛在的研究方向。

1. 引言

無人車是指不具有人類駕駛機構并可以自主執 行運輸、公交、物流、清掃、巡邏、救援、作戰、偵 察等民用或軍用任務的智能車輛。在民用領域，無 人車已成為未來智能交通與智慧城市建設的核心要素。在軍用領域，無人車也已成為各軍事大國競相 角逐的新一代陸軍裝備。無人車的核心技術主要有 環境感知、智能決策、路徑規劃、動力學控制、集 群調度等相關技術。其中，智能決策是無人車的關 鍵核心技術之一，其性能是衡量無人車智能化水平 的重要標準。智能決策系統根據任務調度信息、環 境感知信息和無人車狀態信息等，做出合理、安全 的駕駛決策，并輸出車輛控制指令，以控制車輛完 成指定任務。 無人車智能決策系統的算法主要包含規則驅 動［１－２］ 和數據驅動兩類算法［３－４］ 。由規則驅動的決 策系統基于既定規則構建，其根據人類駕駛經驗及 交通規則等建立相應的駕駛行為決策庫，結合感知 系統得到的環境信息進行車輛狀態的劃分，依據預 設的規則邏輯確認車輛行為［５］ 。這類基于規則的 決策系統無法枚舉和覆蓋所有交通場景，且在交通 復雜、不確定性強的路況中，常因規則數目冗雜和 行為決策庫觸發條件的重疊而導致決策無法求解、 決策系統的自適應性和魯棒性不足等問題。基于強 化學習的決策方法是數據驅動的無人車決策系統的 代表，該方法將無人車決策過程視為黑箱，利用機 器學習建立由傳感器到轉向系統、驅動系統、制動 系統等執行機構的映射，實現基于高維度感知數據 對執行機構的直接控制。這類決策算法把整個自動 駕駛過程與神經網絡深度融合，通過由數據驅動的 仿真訓練使神經網絡學習在不同交通場景下的智能 決策能力。

強化學習技術是人工智能領域的研究熱點，適 用于 解 決 復 雜 的 序 貫 決 策 問 題，在 機 器 人 控 制［６－７］ 、調度優化［８－９］ 、多智能體協同［１０－１１］ 等領域 中，取得了令人矚目的成果。強化學習的基本思路 是智能體依靠探索試錯以及環境交互的方式，結合 反饋信號學習最優策略。近些年，隨著強化學習的 廣泛研究和應用，特別是綜合了深度學習的特征提 取能力和強化學習的策略優化能力的深度強化學習 （ｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ，ＤＲＬ）取得突破性進展 之后，采用強化學習技術解決無人車智能決策問題 成為無人車領域最受關注的研究方向之一。

本文旨在綜述強化學習在無人車領域的應用。首先介紹了強化學習的發展歷史、基礎原理和核心 算法；然后分析總結了強化學習在無人車智能決策 問題中的研究現狀，包括避障、變道與超車、車道 保持及道路交叉口通行四個典型的決策場景；最后 探討并展望了未來的研究工作和潛在的研究方向。

１ 強化學習的基本理論

強化學習是動物心理學、最優控制理論和時序 差分學習等學科交叉的產物［１２］ 。強化學習的“試 錯”思想源于動物心理學家對試錯行為的研究，最 早可追溯到 Ｐａｖｌｏｖ的條件反射實驗。１９１１年美國 心理學家 Ｔｈｏｒｎｄｉｋｅ提出效應定律，第一次明確地 闡述了試錯行為的本質是學習。最優控制理論，是 現代控制體系的關鍵分支之一。在 ２０世紀 ５０年代 初，美國數學家 Ｂｅｌｌｍａｎ等提出求解最優控制的動 態規劃法（ｄｙｎａｍｉｃｐｒｏｇｒａｍｍｉｎｇ，ＤＰ），該方法衍生 出了強化學習試錯迭代求解的機制。時序差分學習 （ｔｅｍｐｏｒａｌｄｉｆｆｅｒｅｎｃｅｌｅａｒｎｉｎｇ，ＴＤＬ）是 ＤＰ和蒙特卡 洛方法結合的產物。１９５９年 Ｓａｍｕｅｌ首次提出并實 現一個包含時序差分思想的學習算法。１９８９年 Ｗａｔｋｉｎｓ在他的博士論文將最優控制和 ＴＤＬ整合， 并提出 Ｑ學習算法，這項工作正式標志著強化學習 的誕生，該算法通過優化累積未來獎勵信號學習最 優策略。隨后，Ｗａｔｋｉｎｓ和 Ｄａｙａｎ共同證明 Ｑ學習 算法的收斂性。表 １總結了強化學習發展歷程中的 若干重要事件。

２ 強化學習在自動駕駛領域的應用

2.1 在避障問題中的應用

在避障問題中無人車根據自車和障礙物的位置 和狀態信息，在滿足乘坐舒適性和行駛安全性的條 件下，輸出轉向、制動和油門指令控制車輛規避障 礙物。 Ａｒｖｉｎｄ等［２２－２３］提出基于 ＭＬＰＳＡＲＳＡ和基于 ＭＬＰＱ學習的避障算法。設計了以車載的 ７個超 聲波雷達的感知數據為輸入量，輸出離散的制動、 轉向和加速動作的端對端決策模型，將多層感知機 （ｍｕｌｔｉｌａｙｅｒｐｅｒｃｅｐｔｒｏｎ，ＭＬＰ）引入到對 Ｑ函數的預 測中，以提高避障策略的收斂速度。車輛在包含多 個動態障礙物的仿真環境下實現自主避障，且無碰 撞通行的成功率達 ９６％。 Ｃｈａｅ等［２４］ 提出復雜城市場景下基于 ＤＱＮ的主 動制動算法，如圖 ４所示。使用 ６層的深度神經網 絡架構，采用障礙物相對于主車的橫向和縱向的位 置和速度作為 ＤＱＮ網絡輸入，輸出無制動、弱制 動、中制動和強制動四個不同強度等級的制動動 作。在獎勵函數的設計中，考慮車輛的乘坐舒適性 和安全性，對過早的制動行為和與障礙物發生碰撞 進行懲罰。經過 ２０００次的迭代訓練，無人車能有 效地處理行人橫穿馬路等隨機突發事件，但面對碰 撞時間（ｔｉｍｅｔｏｃｏｌｌｉｓｉｏｎ，ＴＴＣ）等于 １．４ｓ的緊急工 況僅有 ７４％的避障成功率。

雖然上述基于值函數的避障算法通過將動作離 散化取得較好的避障效果，但在執行動作的精度和 緊急情況下的避障成功率上仍然有待提高。部分學 者考慮將用于高維連續空間的基于策略的強化學習 方法應用于避障問題中。 Ｚｏｎｇ等［２５－２６］ 設計基于 ＤＤＰＧ的避障算法，策 略網絡以車載的多類型傳感器融合感知數據作為狀 態輸入，輸出動作空間連續的轉向、油門、制動動 作。相比于文［２４］，該算法解決了連續動作空間下 避障決策所引發的維數災難，實現動作空間連續的 車輛動作輸出，提高了決策模型輸出動作的精度。 Ｐｏｒａｖ等［２７］ 在研究中運用變分自編碼器（ｖａｒｉａ ｔｉｏｎａｌａｕｔｏｅｎｃｏｄｅｒ，ＶＡＥ）對障礙物特征降維，將高 維語義圖像映射到低維且保留原始語義信息的隱變 量，將低維的隱變量及其預測狀態作為 ＤＤＰＧ網絡 輸入，有效剔除了環境無關因素對決策的影響，并 提高了決策模型訓練收斂速度。此外，作者建立基 于 ＤｅｌｔａＶ模型的獎勵函數，利用碰撞前后車輛速 度差值衡量車輛碰撞的嚴重程度，以量化危險駕駛 行為的懲罰。相比于文［２４］，該算法在 ＴＴＣ為 １ｓ 和 ０．７５ｓ的極端緊急情況，仍能保持 １００％和 ９５％ 的避障成功率。

Ｆｕ等［２８］ 詳細分析了車輛在緊急情況下的制動 過程和乘坐舒適性變化，提出包含多目標獎勵函數 的 ＤＤＰＧ算法，可綜合衡量制動觸發時刻、事故嚴 重程度和乘坐舒適度等指標。在仿真試驗中，所提 出算法在緊急情況下避障成功率相較于基于 ＤＤＰＧ 和 ＤＱＮ的避障算法分別提高 ４％和 １２％。 余伶俐等［２９］ 針對無人車在避障過程中對周圍 車輛駕駛意圖預判不足的問題，設計了基于蒙特卡 洛預測—深度確定性策略梯度（ＭＣＰＤＤＰＧ）的決策 方法。該方法假設車輛狀態的轉移滿足馬爾可夫 性，將周圍車輛的位置和速度作為觀測方程參數， 利用 ＭＣＰ預測其他車輛的運動軌跡，有效地提高 決策模型在緊急情況下的響應時間。實車試驗證明 該決策方法能夠有效預估碰撞風險，降低無人車發 生碰撞的概率。 基于強化學習的方法雖然可通過增加避障場景 庫的廣度，以盡可能多地覆蓋各種復雜避障工況。 但當面臨 ＴＴＣ過小等臨近碰撞的極端工況，決策模 型的穩定性和安全性亟待提高。

2.2 在變道與超車問題中的應用

在變道與超車問題中，無人車根據自車和周圍 車輛狀態、自車的期望速度和交通規則約束等，做出變道及超車決策，指導車輛超越前方低速車輛， 以盡快地通過特定的交通流。 Ｌｏｉａｃｏｎｏ等［３０］ 提出基于 Ｑ學習的超車決策算 法，建立了包含主車和前方車輛相對距離、相對速 度，主車和車道邊緣橫向距離等在內的離散狀態， 并以 有 限 的 離 散 動 作 驅 動 車 輛 完 成 超 車。在 ＴＯＲＣＳ賽車模擬器中驗證了該算法在直線賽道和 彎道上的超車效果，在超車持續時間、超車時最高 車速和超車成功率等指標上明顯優于人類駕駛員。 針對求解連續空間下超車決策問題時 Ｑ學習 存在的計算效率低的問題。Ｌｉｕ等［３１－３２］提出基于 線性函數逼近強化學習的變道決策算法。作者將變 道場景建立為狀態、動作空間連續的 ＭＤＰ模型，將 基于多核的最小二乘策略迭代法（ｍｕｌｔｉｋｅｒｎｅｌＬＳＰＩ， ＭＫＬＳＰＩ）引入對 Ｑ函數的擬合中，并基于國防科技 大學研制的紅旗 ＨＱ３無人車采集的實車感知數據， 對決策算法開展離線測試工作，論證了算法的有效 性和泛化能力。Ｍｉｎ等［３３］利用非線性值函數逼近 的方法，提出基于 ＤｕｅｌｉｎｇＤＱＮ的超車決策算法， 構建以卷積神經網絡（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ， ＣＮＮ）和長短期記憶網絡（Ｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙ， ＬＳＴＭ）提取的視覺圖像和雷達點云的特征作為狀態 輸入，輸出橫向的變道操作及縱向的車速變化的決 策模型。該算法改進 ＤＱＮ網絡結構，利用 ＤＮＮ輸 出的狀態值函數和動作優勢函數近似擬合 Ｑ函數， 提高了策略學習的收斂速度。 Ａｎ等［３４］ 提出車聯網環境下基于 ＤＤＰＧ的變道 決策算法，網絡結構如圖 ５所示。該算法策略網絡 輸入包含兩部分，分別為由車載傳感器獲得的主車 狀態信息和由 Ｖ２Ｘ通信獲得的前方車輛狀態信息， 并通過 ２個全連接的隱藏層輸出對主車油門和方向 盤的控制。在 Ａｉｒｓｉｍ軟件中的仿真實驗驗證該算 法的有效性，但由于輸入層網絡結構固定，其僅能 處理 ２個車輛交互這種簡單場景，缺少對更為復雜 交通場景的適應性。

針對文［３４］無法處理無人車在復雜的包含多 車交互場景下變道的問題。Ｗｏｌｆ等［３５］提出一種基 于通用語義狀態模型的超車決策算法。該算法將駕 駛場景抽象映射到一個包含交通參與者列表（車 輛、行人、車道等）并疊加場景關系描述（交通參與 者相對于主車的速度、位置、相對車道信息等）的 跨場景、通用的語義狀態模型，實時地輸入到基于 ＤＱＮ的決策模型中。在 ＳＵＭＯ仿真環境中，該算 法可處理存在 ７輛交互車輛場景下的超車決策問題。Ｈｕｅｇｌｅ等［３６－３７］提 出 基 于 ＤｅｅｐＳｅｔＱ 學 習 和 Ｓｅｔ２ＳｅｔＱ學習的超車決策算法。作者分別利用深 度集（ｄｅｅｐｓｅｔｓ，ＤＳ）和圖卷積網絡（ｇｒａｐｈｃｏｎｖｏｌｕ ｔｉｏｎａｌｎｅｔｗｏｒｋ，ＧＣＮ）提取無人車感知域內多車的狀 態特征，作為 ＤＱＮ網絡輸入，解決了基于 ＤＱＮ的 決策算法因網絡結構固定，無法處理數量可變的狀 態輸入的問題，提高超車決策算法在不同交通密度 場景應用的可移植性。

在變道與超車場景中，復雜的環境狀態和車輛 動作空間，以及多車間的交互行為，導致訓練過程 中策略難以收斂。有學者將分層思想和模仿學習 （ｉｍｉｔａｔｉｏｎｌｅａｒｎｉｎｇ，ＩＬ）引入到基于強化學習的決策 算法中。 Ｄｕａｎ等［３８］ 提出高速公路場景下基于分層強化 學習（ｈｉｅｒａｒｃｈｉｃａｌｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ，ＨＲＬ）的變 道決策算法，算法框架如圖 ６所示。決策網絡包括 主策略和子策略兩層，分別用于高層行為決策（車 道內駕駛、左／右車道變換）和底層運動控制（方向 盤轉角、車輛速度等控制）。ＨＲＬ將復雜的變道決 策任務分解為若干個簡單的子任務，在不發生維數 災難的情況下實現多任務學習，提高決策算法場景 遍歷的廣度。此外，受啟發于 Ａ３Ｃ算法多線程并 行的訓練方式，作者利用異步并行訓練的網絡參數 的平均梯度更新共享網絡參數，以加快 ＨＲＬ訓練 速度。 宋曉琳等［３９］ 提出 ＩＬ和強化學習結合的決策算 法，將變道決策劃分為宏觀決策層和細化決策層。 宏觀決策層中，作者基于專家變道決策的示范數據 集構建極端梯度提升（ｅＸｔｒｅｍｅＧｒａｄｉｅｎｔＢｏｏｓｔｉｎｇ， ＸＧＢｏｏｓｔ）模型，模仿經驗豐富的專家駕駛員做出宏 觀決策。細化決策層中，作者構造多個基于 ＤＤＰＧ 算法的子模塊，分別處理車道保持、左變道和右變道中具體執行的動作。在 Ｐｒｅｓｃａｎ軟件中的仿真訓 練，所提出方法策略收斂所需的步數較基于強化學 習的方法降低約 ３２％。Ｌｉａｎｇ等［４０］ 提出基于可控模 仿 強 化 學 習 （ｃｏｎｔｒｏｌｌａｂｌｅ ｉｍｉｔａｔｉｖｅ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ，ＣＩＲＬ）的變道決策算法。首先利用引入門 控機制的 ＩＬ網絡學習專家提供的駕駛示范集，通 過網絡權重共享的方式將預訓練結果遷移到 ＤＤＰＧ 決策模型中，以初始化 ＤＤＰＧ動作探索策略，解決 了連續動作空間下 ＤＤＰＧ算法探索效率低、對超參 數敏感的問題。

針對變道與超車過程中未知和不確定性因素對 無人車安全性的影響。Ｚｈａｎｇ等［４１］ 考慮前車異常駕 駛行為對超車安全性的影響，將模糊推理系統 （ｆｕｚｚｙｉｎｆｅｒｅｎｃｅｓｙｓｔｅｍ，ＦＩＳ）引入到變道決策中。 其主要思想是基于車載激光雷達獲得的前方車輛的 位置、速度和航向角，利用 ＦＩＳ分析前方車輛的駕 駛激進度，進而判斷超車風險類型，以指導基于強 化學習的決策算法采取保守或激進的超車策略。 Ａｌｔｈｏｆｆ等［４２－４３］ 考慮周圍車輛駕駛意圖未知、感知 系統觀測不完整、傳感器的擾動與噪音等不確定因 素，提出基于安全強化學習的變道決策算法。運 用可達性分析（ｒｅａｃｈａｂｉｌｉｔｙａｎａｌｙｓｉｓ，ＲＡ）［４４－４６］ 預測 周圍車輛在滿足物理約束和交通規則下，在設定時 間內所有可能的可達集，通過判斷無人車和其他車 輛的可達集是否存在交集，來驗證變道決策的安 全性。 從上文綜述可知，基于強化學習的決策算法在 處理動態多車交互、策略收斂速度、決策安全性方 面有較大的局限性，且難以從強化學習模型本身加 以改進。與安全驗證、行為分析及其他機器學習方 法相結合，可顯著地提高基于強化學習的變道和超車決策算法的性能。

2.3 在車道保持問題中的應用

在車道保持問題中，無人車根據車載傳感器獲 得的車道線信息，輸出車輛方向盤轉角控制指令， 以使車輛在車道中心線附近行駛。 視覺感知是檢測車道線的最有效手段。方 川［４７］ 提出基于 ＤｏｕｂｌｅＤＱＮ的車道保持算法，以原 始的 ＲＧＢ圖像作為網絡輸入，分別利用當前 Ｑ網 絡和目標 Ｑ網絡處理方向盤控制動作選擇和目標 Ｑ 函數預測。在仿真試驗中，車輛在直線車道及大曲 率彎道的車道保持任務中均表現出良好的性能。 Ｋｅｎｄａｌｌ等［４８］提出視覺感知數據輸入下基于 ＤＤＰＧ 的車道保持算法（如圖 ７），并將在虛擬環境中訓練 好的算法網絡結構和參數遷移到實車上，車輛僅依 靠單目相機的 ＲＧＢ圖像完成了 ２５０ｍ的車道保持 路測。然而該方法忽略視覺傳感器抗干擾能力差、 易受光照影響等缺點，且決策模型場景遍歷的深度 不足，難以完成特殊天氣條件下的車道保持任務。

原始視覺圖像包含大量與決策無關的環境細 節，而細微的環境變化易導致決策模型錯誤，進而 引發車輛駛出車道等危險駕駛行為。針對此問題， Ｗｏｌｆ［４９］ 利用機器視覺剔除無關環境信息，提取車道 線的灰度化圖像，構建由灰度化的視覺圖像到車輛 方向盤的端對端決策，降低細微的環境亮度變化及 無關環境細節對決策模型的影響。并利用經驗回放 機制降低訓練樣本的相關性，以減輕 ＤＱＮ算法處 理高維圖像數據時存在的不穩定性。 視覺感知缺少車輛與道路邊緣的距離信息，而 其他具有目標距離測量功能的傳感器對提取車道線 信息具有重要的補充作用。楊順等［５０］研究了多源 感知數據輸入下基于 ＤＤＰＧ的車道保持算法，如圖 ８所示。策略網絡分別利用一維和二維 ＣＮＮ提取低 維目標級感知數據和高維視覺圖像數據的特征，并 輸出每一時間步長內車輛的動作，價值網絡根據策 略網絡提取的低維特征和輸出的車輛動作預測 Ｑ 函數。作者構建包含期望車速、車輛偏離中心距 離、車輛與車道中心線的夾角在內的獎勵函數，指導車輛與環境交互。在直線車道和彎道下的仿真實 驗中，車輛的橫向偏移量和車輛與車道中心線的夾 角均保持在理想的范圍內。作者利用不同 ＣＮＮ對 多類型傳感器數據進行特征提取，并通過特征組合 的方式，解決了視覺傳感器獲取車道線信息不完 備、信息冗余性差的問題。

基于強化學習的車道保持算法具有重大的應用 潛力，但是視覺傳感器作為主要的車道線檢測手 段，其感知圖像包含豐富的環境細節，且圖像細節 隨光照、天氣等環境因素顯著變化，給決策模型的 穩定性和泛化能力帶來巨大的影響。引入能穩定地 在復雜多變環境下提取車道線特征的方法，并有效 地利用和融合其他類型傳感器數據，對提高決策性 能有著重要意義。

2.4 在道路交叉口通行問題中的應用

在道路交叉口通行問題中，無人車根據交叉口 各車道上車輛位置、速度及交通規則等，輸出執行 機構控制指令，以控制車輛無碰撞地通過交叉口。 無交通信號燈的交叉口通行是最具挑戰性的交 通場景，學者們對基于強化學習的通行決策方法進 行大量研究。Ｓａｘｅｎａ等［５１］設計基于近端策略優化 （ｐｒｏｘｉｍａｌｐｏｌｉｃｙｏｐｔｉｍｉｚａｔｉｏｎ，ＰＰＯ）的通行決策算 法。作者利用由數據驅動的仿真訓練建立交叉口中 無人車周圍車輛間交互的隱式模型，并通過設置車 輛的加速度和轉向角度閾值，減少不良的加速和轉 向動作，提高乘坐舒適性。Ｑｉａｏ等［５２］提出課程式 學習（ｃｕｒｒｉｃｕｌｕｍｌｅａｒｎｉｎｇ，ＣＬ）和 ＤＲＬ結合的交叉 口決策算法。作者利用 ＣＬ自動生成若干由簡單到 復雜的樣本，引導 ＤＲＬ學習駛入并通過城市交叉路口的策略，仿真實驗中通過交叉口的成功率達 ９８．７％。 Ｍüｌｌｅｒ等［５３］提出基于視覺場景理解的決策算 法，引入編碼器—解碼器網絡來提取 ＲＧＢ視覺圖 像更細化的語義特征，實現原始圖像到多場景通用 的語義分割圖像的映射，將語義圖像作為決策模型 輸入，輸出車輛期望的軌跡。其后，作者將訓練好 的決策模型遷移至小型卡車上，車輛可在多個駕駛 場景（晴朗、陰天、雨雪）自主地通過交叉路口。該 方法通過模塊化和抽象語義分割的方法降低真實場 景傳感器噪聲等對決策的影響，提高決策算法的遷 移能力。 無交通信號燈的交叉口中車輛缺少交通規則約 束。無人車無法獲悉其他車輛的駕駛意圖，因而無 法預判其行駛軌跡，且因車輛間的相互遮擋易造成 無人車的感知盲區，給決策的安全性帶來巨大隱 患。Ｉｓｅｌｅ等［５４－５５］利用卡爾曼濾波 （Ｋａｌｍａｎｆｉｌｔｅ ｒｉｎｇ，ＫＦ）預測可能與無人車發生碰撞車輛的行駛 軌跡，并根據預測結果約束 ＤＱＮ決策算法的動作 空間，提高車輛在交叉口通行的安全裕度。Ｇｒｕｂｅｒ 等［５６］ 設計基于 ＲＡ的在線安全驗證方法，利用 ＲＡ 建立其他車輛未來時間在交叉口所有可達集，以驗 證決策的安全性。其后，Ｌａｕｅｒ等［５７］提出基于 ＲＡ和責任敏感安全模型（ｒｅｓｐｏｎｓｉｂｉｌｉｔｙｓｅｎｓｉｔｉｖｅｓａｆｅｔｙ， ＲＳＳ）的驗證方法，解決了 ＲＡ因考慮最危險情況下 周圍車輛的占用空間而導致的無人車在交叉口駕駛 策略過度保守的問題。Ｓｔｉｌｌｅｒ等［５８］ 提出一種風險認 知 ＤＱＮ的交叉口決策算法，在獎勵函數中引入風 險項度量感知盲區內的車輛對決策安全性的程度， 減少無人車采取冒進決策行為的概率。 無交通信號燈的交叉口的復雜程度高，且事故 風險隱患多，給無人車決策的安全性帶來巨大挑 戰。基于強化學習的決策模型無法有效預估事故風 險，結合行駛軌跡預測、安全性驗證等方法對提高 決策安全性具有重要意義。

３ 強化學習在無人車領域的應用展望

無人車可自主執行運輸、物流、清掃、巡邏、 救援、作戰、偵察等民用或軍用任務，是未來智能 交通與新一代陸軍裝備發展的核心要素，對汽車產 業發展與國防安全建設具有重要意義。面向未來無 人車技術發展需求，高效、準確、穩定的智能決策 技術已經成為限制無人車行業水平提升與大規模產 業應用的關鍵技術瓶頸。強化學習技術是實現無人 車智能決策技術水平提升的最重要突破口之一。但 是，基于強化學習的智能決策存在泛化能力弱、可 解釋性差，缺少安全驗證等問題，限制了其在實車 上的應用。此外，云控制、車聯網及大數據等先進 技術在無人車領域的應用極大程度拓寬了強化學習 技術的應用內涵，帶來了全新的挑戰與不確定性。 下面指出未來強化學習技術在無人車領域的研究 重點：

１）提高強化學習在無人車決策上的泛化能力當前研究多利用強化學習構建從無人車的傳感 器到執行機構的端對端決策。而以復雜高維的圖 像、雷達點云等原始感知數據作為決策模型的輸 入，使得表征環境狀態的特征維度過多，導致決策 模型過擬合于特定的訓練環境，難以遷移至新的駕 駛場景。此外，模型訓練中常忽略光照變化、背景 干擾等敏感環境細節以及傳感器噪音和自身擾動的 影響，使得訓練好的決策模型需要人工調參后才能 遷移到實車上。提高強化學習在無人車決策上的泛 化能力，已經成為其在無人車應用亟需解決的關鍵 問題之一。為突破決策算法在新場景中泛化能力弱 的瓶頸：（１）可借鑒虛擬到現實（Ｓｉｍ２Ｒｅａｌ）領域的 研究成果，利用領域自適 應 （ｄｏｍａｉｎａｄａｐｔａｔｉｏｎ， ＤＡ）等方法將虛擬訓練環境映射到真實行駛環境［５９］ ，以在訓練過程中最大限度地模擬無人車與 真實場景的交互過程。（２）從原始感知數據中提取 或抽象出面向通用場景的低維環境狀態表征，替代 復雜高維的原始數據作為決策模型的輸入［６０］ ，可 以降低決策模型精度對行駛環境的依賴性。

２）提升強化學習在無人車決策上的可解釋性

當前研究多利用基于復雜深度神經網絡的深度 強化學習學習駕駛策略。而訓練好的決策模型因其 復雜的網略結構及龐大的網略參數，導致人們難以 理解模型內部的決策過程。在決策模型出現偏差和 故障時，難以對錯誤源頭進行排查和分析。提高強 化學習在無人車決策上的可解釋性，已成為提高其 決策合理性與安全性的關鍵挑戰之一。為解決決策 算法的內部運行機制可解釋性差的弱點：（１）利用 概率圖模型（ｐｒｏｂａｂｉｌｉｓｔｉｃｇｒａｐｈｉｃａｌｍｏｄｅｌ，ＰＧＭ）深 度綜合表征無人車行駛環境、行駛軌跡、交通參與 者等的時序特征，并將高度可解釋化的隱含狀態作 為模型輸入［６１－６３］ ，可顯著地提高模型的可解釋性。 （２）利用神經網絡可視化技術以熱力圖的形式表征 決策模型內部每一層的權重參數、特征圖等，以實 現模型決策過程的透明化［６４］ 。（３）也可借鑒機器人 領域的最新進展，根據人類經驗將復雜的作業任務 分解為若干子任務，決策模型輸出子任務的序貫組 合，以組合的順序表征無人車決策的合理性［６５］ ，也 是值得深入探討的話題。

３）提高強化學習在無人車決策上的安全性

當前研究多圍繞感知完備等理想工況下的決策 任務，且對車輛行駛中的不確定性因素考慮不足。 而強化學習通過探索試錯的機制學習駕駛策略，其 隨機性的探索策略常導致不安全的駕駛行為，給決 策模型帶來潛在的安全風險。此外，無人車行駛環 境具有高度的不確定性，具體表現為周圍車輛行駛 意圖和駕駛風格的不確定性，因遮擋和感知盲區造 成的感知不完整性等，給決策模型的安全性帶來巨 大挑戰。提高強化學習在無人車決策上的安全性， 已經成為其在無人車應用亟需解決的重要技術瓶頸 之一。為提高決策算法在復雜動態場景下決策的安 全性：（１）可通過在獎勵函數中引入風險項［６６］ ，在 動作探索策略中引入安全約束［６７］ ，在動作執行中 引入安全驗證［６８］等方法，降低決策模型做出激進 和危險決策的概率。（２）利用部分可觀測 ＭＤＰ （ｐａｒｔｉａｌｌｙｏｂｓｅｒｖａｂｌｅＭＤＰ，ＰＯＭＤＰ）將環境的不確 定性因素作為隱變量［６９］ ，實現環境不完全觀測下 周圍車輛的軌跡預測，可有效地提高車輛感知能力受限下決策的安全性。（３）利用基于嚴格數學定義 的形式驗證精確求解當前狀態下無人車在預定時間 內不安全狀態的可達范圍［７０］ ，驗證其決策行為的 安全性，以保證系統安全驗證的完備性。

４）研究無人車大數據背景下基于強化學習的

云端決策技術 基于云控制、車聯網、大數據等先進技術的云 控系統（ｃｌｏｕｄｃｏｎｔｒｏｌｓｙｓｔｅｍ，ＣＣＳ）［７１］在無人車領 域的應用為無人車產業化落地提供重要的技術支 撐，ＣＣＳ擴大了無人車的感知域，并提供強大的算 力支持，實現無人車綜合性能的顯著提升。此外， ＣＣＳ可實時地獲取并存儲各無人車的硬件和軟件系 統海量的運行數據，并基于大數據分析建立云端的 無人車性能預測模型、故障預警模型、交通流量預 測模型、車輛集群調度模型等［７２－７３］ ，以提高無人 車群體的安全性和效率。ＣＣＳ在無人車中的應用是 未來無人車發展的重要趨勢［７４］ ，并極大地豐富了 強化學習在無人車領域的應用場景。研究無人車大 數據背景下，云端決策系統利用強化學習技術，結 合多源的時空感知數據和云端的交通流量、車輛性 能等大數據預測結果，實現面向群體及單車層級的 決策，將是非常有意義的工作。

４ 結論

本文綜述了強化學習技術在無人車領域的研究 現狀，重點介紹了基于強化學習技術的無人車智能 決策在避障、變道與超車、車道保持等典型場景下 的應用。其次，展望了強化學習技術在無人車領域 的應用前景。筆者看來，強化學習技術將極大程度 地提高無人車的智能決策能力，是實現無人車規模 化產業應用并服務于智能交通系統建設和新一代陸 軍裝備發展的重要支撐。

知識圖譜尤其是垂直知識圖譜技術是目前學術界和工業界研究的熱點，在人工智能領域具有廣泛的應用。為了充分展現國內在垂直知識圖譜領域研究的現狀，以垂直領域知識圖譜為研究對象，對其發展現狀和趨勢進行綜 述。首先，對垂直領域知識圖譜的定義和分類、架構和關鍵技術的發展現狀進行了詳細論述；然后，針對垂直領域 知識圖譜的具體應用進行了論述，并以學術信息知識圖譜和醫藥衛生知識圖譜為例進行了詳細介紹。最后對垂直領 域知識圖譜發展中存在的問題和對策，以及未來的趨勢進行了探討。