摘要: 組合優化問題廣泛存在于國防、交通、工業、生活等各個領域, 幾十年來, 傳統運籌優化方法是解決組合優化問題的主要手段, 但隨著實際應用中問題規模的不斷擴大、求解實時性的要求越來越高, 傳統運籌優化算法面臨著很大的計算壓力, 很難實現組合優化問題的在線求解. 近年來隨著深度學習技術的迅猛發展, 深度強化學習在圍棋、機器人等領域的矚目成果顯示了其強大的學習能力與序貫決策能力. 鑒于此, 近年來涌現出了多個利用深度強化學習方法解決組合優化問題的新方法, 具有求解速度快、模型泛化能力強的優勢, 為組合優化問題的求解提供了一種全新的思路. 因此本文總結回顧近些年利用深度強化學習方法解決組合優化問題的相關理論方法與應用研究, 對其基本原理、相關方法、應用研究進行總結和綜述, 并指出未來該方向亟待解決的若干問題.
摘要: 推薦系統致力于從海量數據中為用戶尋找并自動推薦有價值的信息和服務,可有效解決信息過載問題,成為大數據時代一種重要的信息技術。但推薦系統的數據稀疏性、冷啟動和可解釋性等問題,仍是制約推薦系統廣泛應用的關鍵技術難點。強化學習是一種交互學習技術,該方法通過與用戶交互并獲得反饋來實時捕捉其興趣漂移,從而動態地建模用戶偏好,可以較好地解決傳統推薦系統面臨的經典關鍵問題。強化學習已成為近年來推薦系統領域的研究熱點。文中從綜述的角度,首先在簡要回顧推薦系統和強化學習的基礎上,分析了強化學習對推薦系統的提升思路,對近年來基于強化學習的推薦研究進行了梳理與總結,并分別對傳統強化學習推薦和深度強化學習推薦的研究情況進行總結;在此基礎上,重點總結了近年來強化學習推薦研究的若干前沿,以及其應用研究情況。最后,對強化學習在推薦系統中應用的未來發展趨勢進行分析與展望。
摘要: 移動邊緣計算是近年出現的一種新型網絡計算模式,它允許將具有較強計算能力和存儲性能的服務器節點放置在更加靠近移動設備的網絡邊緣(如基站附近),讓移動設備可以近距離地卸載任務到邊緣設備進行處理,從而解決了傳統網絡由于移動設備的計算和存儲能力弱且能量較有限,從而不得不耗費大量時間、能量且不安全地將任務卸載到遠方的云平臺進行處理的弊端。但是,如何讓僅掌握局部有限信息(如鄰居數量)的設備根據任務的大小和數量選擇卸載任務到本地,還是在無線信道隨時間變化的動態網絡中選擇延遲、能耗均最優的移動邊緣計算服務器進行全部或部分的任務卸載,是一個多目標規劃問題,求解難度較高。傳統的優化技術(如凸優化等)很難獲得較好的結果。而深度強化學習是一種將深度學習與強化學習相結合的新型人工智能算法技術,能夠對復雜的協作、博弈等問題作出更準確的決策,在工業、農業、商業等多個領域具有廣闊的應用前景。近年來,利用深度強化學習來優化移動邊緣計算網絡中的任務卸載成為一種新的研究趨勢。最近三年來,一些研究者對其進行了初步的探索,并達到了比以往單獨使用深度學習或強化學習更低的延遲和能耗,但是仍存在很多不足之處。為了進一步推進該領域的研究,文中對近年來國內外的相關工作進行了詳細地分析、對比和總結,歸納了它們的優缺點,并對未來可能深入研究的方向進行了討論。
許多解決組合優化問題的傳統算法都涉及使用手工構造的啟發式算法,這些啟發式算法能夠依次地構造解決方案。這種啟發式方法是由領域專家設計的,且一般由于問題的困難性,這種方法不是最佳的。強化學習(RL)提出了一種很好的選擇,使用監督或自我監督的方式訓練 agent 來自動搜索這些啟發式方法。
在這篇調研中,我們探索了將 RL 框架應用于困難的組合問題的最新進展。我們的調研為運籌學和機器學習社區提供了必要的背景,并展示了推動領域向前發展的工作。我們將最近提出的 RL 方法并置在一起,列出了每個問題改進方法的時間線,并與傳統算法進行了比較,這表明 RL 模型可以成為解決組合問題的有希望的方向。
論文標題:Reinforcement Learning for Combinatorial Optimization: A Survey
論文作者:Nina Mazyavkina, Sergey Sviridov, Sergei Ivanov, Evgeny Burnaev
摘要:復雜未知環境下智能感知與自動控制是目前機器人在控制領域的研究熱點之一,而新一代人工智能為其實現智能自動化賦予了可能.近年來,在高維連續狀態-動作空間中,嘗試運用深度強化學習進行機器人運動控制的新興方法受到了相關研究人員的關注.本篇綜述首先回顧了深度強化學習的興起與發展,將用于機器人運動控制的深度強化學習算法分為基于值函數和策略梯度2類,并對各自典型算法及其特點進行了詳細介紹;其次,針對仿真至現實之前的學習過程,簡要介紹了5種常用于深度強化學習的機器人運動控制仿真平臺;然后根據研究類型的不同,綜述了目前基于深度強化學習的機器人運動控制方法在自主導航、物體抓取、步態控制、人機協作以及群體協同等5個方面的研究進展.最后,對其未來所面臨的挑戰以及發展趨勢進行了總結與展望.
近年來,深度強化學習的取得了飛速發展,為了提高深度強化學習處理高維狀態空間或動態復雜環境的能力,研究者將記憶增強型神經網絡引入到深度強化學習,并提出了不同的記憶增強型深度強化學習算法,記憶增強型深度強化學習已成為當前的研究熱點.本文根據記憶增強型神經網絡類型,將記憶增強型深度強化學習分為了4類:基于經驗回放的深度強化學習、基于記憶網絡的深度強化學習算法、基于情景記憶的深度強化學習算法、基于可微分計算機的深度強化學習.同時,系統性地總結和分析了記憶增強型深度強化學習的一系列研究成果存在的優勢和不足.另外,給出了深度強化學習常用的訓練環境.最后,對記憶增強型深度強化學習進行了展望,指出了未來研究方向.
自動駕駛車輛的本質是輪式移動機器人,是一個集模式識別、環境感知、規劃決策和智能控制等功能于一體的綜合系統。人工智能和機器學習領域的進步極大推動了自動駕駛技術的發展。當前主流的機器學習方法分為:監督學習、非監督學習和強化學習3種。強化學習方法更適用于復雜交通場景下自動駕駛系統決策和控制的智能處理,有利于提高自動駕駛的舒適性和安全性。深度學習和強化學習相結合產生的深度強化學習方法成為機器學習領域中的熱門研究方向。首先對自動駕駛技術、強化學習方法以及自動駕駛控制架構進行簡要介紹,并闡述了強化學習方法的基本原理和研究現狀。隨后重點闡述了強化學習方法在自動駕駛控制領域的研究歷史和現狀,并結合北京聯合大學智能車研究團隊的研究和測試工作介紹了典型的基于強化學習的自動駕駛控制技術應用,討論了深度強化學習的潛力。最后提出了強化學習方法在自動駕駛控制領域研究和應用時遇到的困難和挑戰,包括真實環境下自動駕駛安全性、多智能體強化學習和符合人類駕駛特性的獎勵函數設計等。研究有助于深入了解強化學習方法在自動駕駛控制方面的優勢和局限性,在應用中也可作為自動駕駛控制系統的設計參考。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210103&flag=1
深度強化學習作為機器學習發展的最新成果,已經在很多應用領域嶄露頭角。關于深度強化學習的算法研究和應用研究,產生了很多經典的算法和典型應用領域。深度強化學習應用在智能制造中,能在復雜環境中實現高水平控制。對深度強化學習的研究進行概述,對深度強化學習基本原理進行介紹,包括深度學習和強化學習。介紹深度強化學習算法應用的理論方法,在此基礎對深度強化學習的算法進行了分類介紹,分別介紹了基于值函數和基于策略梯度的強化學習算法,列舉了這兩類算法的主要發展成果,以及其他相關研究成果。對深度強化學習在智能制造的典型應用進行分類分析。對深度強化學習存在的問題和未來發展方向進行了討論。
摘要: 近年來, 卷積神經網絡(Convolutional neural network, CNNs)在計算機視覺、自然語言處理、語音識別等領域取得了突飛猛進的發展, 其強大的特征學習能力引起了國內外專家學者廣泛關注.然而, 由于深度卷積神經網絡普遍規模龐大、計算度復雜, 限制了其在實時要求高和資源受限環境下的應用.對卷積神經網絡的結構進行優化以壓縮并加速現有網絡有助于深度學習在更大范圍的推廣應用, 目前已成為深度學習社區的一個研究熱點.本文整理了卷積神經網絡結構優化技術的發展歷史、研究現狀以及典型方法, 將這些工作歸納為網絡剪枝與稀疏化、張量分解、知識遷移和精細模塊設計4個方面并進行了較為全面的探討.最后, 本文對當前研究的熱點與難點作了分析和總結, 并對網絡結構優化領域未來的發展方向和應用前景進行了展望.
摘要: 強化學習作為一種用于解決無模型序列決策問題的方法已經有數十年的歷史, 但強化學習方法在處理高維變量問題時常常會面臨巨大挑戰. 近年來, 深度學習迅猛發展, 使得強化學習方法為復雜高維的多智能體系統提供優化的決策策略、在充滿挑戰的環境中高效執行目標任務成為可能. 本文綜述了強化學習和深度強化學習方法的原理, 提出學習系統的閉環控制框架, 分析了多智能體深度強化學習中存在的若干重要問題和解決方法, 包括多智能體強化學習的算法結構、環境非靜態和部分可觀性等問題, 對所調查方法的優缺點和相關應用進行分析和討論. 最后提供多智能體深度強化學習未來的研究方向, 為開發更強大、更易應用的多智能體強化學習控制系統提供一些思路.
深度強化學習(deep reinforcement learning, DRL)方法在經濟學中的普及度呈指數級增長。DRL通過從增強學習(RL)到深度學習(DL)的廣泛功能,為處理復雜的動態業務環境提供了巨大的機會。DRL的特點是可擴展性,有可能應用于高維問題,并結合經濟數據的噪聲和非線性模式。本文首先對DL、RL和深度RL方法在經濟學中不同應用的簡要回顧,提供了對現有技術的深入了解。此外,為了突出DRL的復雜性、魯棒性、準確性、性能、計算任務、風險約束和盈利能力,還研究了DRL在經濟應用中的體系結構。調查結果表明,與傳統算法相比,DRL在面臨風險參數和不確定性不斷增加的現實經濟問題時,可以提供更好的性能和更高的精度。