快速復雜控制系統的實時優化
控制系統是使汽車、機器人和制造過程等動力系統實現理想行為的機制;雖然看不見,但它們往往是我們日常生活中必不可少的。控制工程涉及控制系統的分析和設計,最優控制是控制工程中的重要問題之一。在最優控制問題中,在給定約束條件下,控制輸入以最小化代價函數為目標。即使已知控制系統的數學模型,由于大量的計算或數據存儲,通常很難找到其最優控制輸入,幾十年來,開發高效的最優控制問題算法一直是一個活躍的研究領域。在動態系統數學模型未知的情況下,通過自適應或學習實現動態系統的最優控制具有挑戰性;此外,開發實用的未知動力系統最優控制方法是控制工程和機器學習的一個挑戰。因此,控制系統為機器學習提供了充足的動力和機會。本教程旨在幫助機器學習領域的研究人員和工程師解決控制系統中的問題。首先概述了控制工程中的問題和概念,并概述了不需學習控制方法的具體好處; 本文主要研究的是基于實時優化的模型預測控制(MPC),該方法近年來得到了迅速的發展。MPC可以解決傳統控制目標之外的各種控制問題,如調節和跟蹤,并且在實時優化可行的情況下適用于各種類型的動力系統。MPC的典型應用包括基于詳細非線性模型的機械系統,如無人機、汽車和機器人,采樣周期為毫秒量級。此外,MPC能夠實現最優控制性能,常被用于學習控制方法的參考。在這些現有成果的背景下,將展開一場關于控制工程的思想和方法的討論,這將證明對機器學習是有益的。
摘要: 為了滿足日益增長的能源需求并減少對環境的破壞, 節能成為全球經濟和社會發展的一項長遠戰略方針, 加強能源管理能夠提高能源利用效率、促進節能減排. 然而, 可再生能源和柔性負載的接入使得綜合能源系統(Integrated energy system, IES)發展成為具有高度不確定性的復雜動態系統, 給現代化能源管理帶來巨大的挑戰. 強化學習(Reinforcement learning, RL)作為一種典型的交互試錯型學習方法, 適用于求解具有不確定性的復雜動態系統優化問題, 因此在綜合能源系統管理問題中得到廣泛關注. 從模型和算法的層面系統地回顧了利用強化學習求解綜合能源系統管理問題的現有研究成果, 并從多時間尺度特性、可解釋性、遷移性和信息安全性4個方面提出展望.
專家系統(expert system,ES)是人工智能另一個最早的和主要的應用研究領域。20世 紀70年代中期,專家系統的開發獲得成功。正如專家系統的先驅費根鮑姆(Feigenbaum) 所說:專家系統的力量是從它處理的知識中產生的,而不是從某種形式主義及其使用的參 考模式中產生的。這正符合一句名言:知識就是力量。到80年代,專家系統在全世界得到 迅速發展和廣泛應用。現在,專家系統并不過時,而是不斷更新,被稱為“21世紀知識管理 和決策的技術。
顧名思義,專家控制系統是一個應用專家系統技術的控制系統,也是一個典型的和廣泛 應用的基于知識的控制系統。海斯?羅思(Hayes Roth)等在1983年提出專家控制系統。 他們指出,專家控制系統的全部行為能被自適應地支配;為此.該控制系統必須能夠取復解 釋當前狀況,預測未來行為?診斷出現問題的原因.制定補救(校正)規劃.并監控規劃的執 行,確保成功。關于專家控制系統應用的第一次報道是在1984年,它是一個用于煉油的分 布式實時過程控制系統。奧斯特洛姆 ( A s i r d m )等在 1 9 8 6年發表了題為“專家控制” (Expert Control)的論文。從此之后,更多的專家控制系統獲得開發與應用。專家系統和智 能控制兩者都是以模仿人類智能為基礎的.而且都涉及某些不確定性問題。專家控制既可 包括高層控制(決策與規劃),又可涉及低層控制(動作與實現)。
本章主要討論如下5個問題.即專家系統基本原理、專家系統的主要類型及其結構、專 家控制系統的結構與類型、專家控制器的設計以及專家控制系統的應用實例等。下面我們 將逐一對它們加以介紹。
在理論計算機科學、概率、機器學習、離散數學、優化和壓縮感知等各個領域,對統計物理方法和概念的興趣正在迅速增長。本課程將涵蓋這一豐富而活躍的跨學科研究領域。
具體地說,我們將回顧統計物理方法對問題的處理,從圖論(滲透、社區檢測)到離散優化和約束滿足(可滿足性、著色性、二分法),再到推理和學習問題(神經網絡中的學習、數據和網絡的聚類、壓縮感知或稀疏線性回歸、低秩矩陣和張量分解等)。
本課程面向具有概率論和分析基礎知識的所有自然科學和工程學科的研究生和研究人員。
這套課程將討論概率模型,并關注來自統計、機器學習和使用統計物理工具和技術的約束優化的問題。重點將更多的是理論而不是實際,所以你已經被警告!我們的目標是展示一些統計物理學的方法是如何得到許多數學問題的精確答案的。正如阿基米德所指出的那樣,一旦給出了這些答案,即使它們是通過啟發式方法得到的,嚴格地證明它們也是一種更簡單(但仍然不平凡)的方法。在過去的幾十年里,理論物理和應用數學之間的興趣和方法日益趨同,許多統計物理和計算機科學的理論和應用工作都依賴于自旋玻璃統計物理的聯系。本講座的目的是介紹進入這個快速發展的領域所必需的背景知識。
自動駕駛車輛的本質是輪式移動機器人,是一個集模式識別、環境感知、規劃決策和智能控制等功能于一體的綜合系統。人工智能和機器學習領域的進步極大推動了自動駕駛技術的發展。當前主流的機器學習方法分為:監督學習、非監督學習和強化學習3種。強化學習方法更適用于復雜交通場景下自動駕駛系統決策和控制的智能處理,有利于提高自動駕駛的舒適性和安全性。深度學習和強化學習相結合產生的深度強化學習方法成為機器學習領域中的熱門研究方向。首先對自動駕駛技術、強化學習方法以及自動駕駛控制架構進行簡要介紹,并闡述了強化學習方法的基本原理和研究現狀。隨后重點闡述了強化學習方法在自動駕駛控制領域的研究歷史和現狀,并結合北京聯合大學智能車研究團隊的研究和測試工作介紹了典型的基于強化學習的自動駕駛控制技術應用,討論了深度強化學習的潛力。最后提出了強化學習方法在自動駕駛控制領域研究和應用時遇到的困難和挑戰,包括真實環境下自動駕駛安全性、多智能體強化學習和符合人類駕駛特性的獎勵函數設計等。研究有助于深入了解強化學習方法在自動駕駛控制方面的優勢和局限性,在應用中也可作為自動駕駛控制系統的設計參考。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210103&flag=1
數據驅動的發現正在徹底改變復雜系統的建模、預測和控制。這本教科書匯集了機器學習、工程數學和數學物理,將動態系統的建模和控制與現代數據科學方法相結合。它強調了科學計算領域的許多最新進展,使數據驅動的方法能夠應用于各種復雜系統,如湍流、大腦、氣候、流行病學、金融、機器人和自主。旨在在工程和物理科學的高級本科和開始研究生,文本提出了從介紹到藝術的狀態的一系列主題和方法。
主要特點:
深入的工作示例與全面的開源代碼
對復雜概念及其應用的簡明易懂的解釋
廣泛的在線補充包括練習,案例研究,課程視頻,數據和補充代碼
第一部分:降維與變換
盡管測量和計算的分辨率迅速提高,但許多復雜系統在數據中表現出主導的低維模式。模式提取涉及到找到坐標變換,從而簡化系統。的確,數學物理的豐富歷史是以坐標變換為中心的(例如,譜分解、傅里葉變換、廣義函數等),盡管這些技術在很大程度上僅限于簡單的理想化幾何和線性動力學。獲得數據驅動轉換的能力為將這些技術推廣到具有更復雜幾何和邊界條件的新研究問題提供了機會。
這本書的這一部分將調查兩個最強大和普遍的算法轉換和減少數據:奇異值分解(SVD)和傅立葉變換。數據可以在這些轉換后的坐標系統中壓縮,這一事實使建模和控制的高效傳感和緊湊表示成為可能。因此,第三章涉及到利用這種低維結構的稀疏采樣方法。
第二部分:機器學習和數據分析
機器學習是基于數據優化技術的。目標是找到一個低秩子空間來最優地嵌入數據,以及回歸方法來聚類和分類不同的數據類型。因此,機器學習提供了一套有原則的數學方法,用于從數據中提取有意義的特征,即數據挖掘,以及將數據分成不同的有意義的模式,可以用于決策制定、狀態估計和預測。具體來說,它從數據中學習并根據數據做出預測。對于商業應用程序,這通常被稱為預測分析,它處于現代數據驅動決策制定的前沿。在一個集成系統中,如自主機器人,各種機器學習組件(例如,處理視覺和觸覺刺激)可以被集成,形成我們現在所說的人工智能(AI)。明確地說,人工智能建立在集成的機器學習算法之上,而機器學習算法又從根本上植根于優化。
第三部分:動力學和控制
數據驅動的發現正在徹底改變我們建模、預測和控制復雜系統的方式。現代最緊迫的科學和工程問題是不服從經驗模型或基于第一性原理的推導的。研究人員越來越多地轉向數據驅動的方法,用于各種復雜系統,如動蕩、大腦、氣候、流行病學、金融、機器人和自主。這些系統通常是非線性的、動態的、空間和時間的多尺度的、高維的,具有主導的潛在模式,應該為感知、預測、估計和控制的最終目標進行特征化和建模。借助現代數學方法,以及前所未有的可用數據和計算資源,我們現在能夠解決以前無法實現的挑戰問題。
第四部分:簡化訂單模型(ROMs)
適當的正交分解(POD)是應用于偏微分方程(PDEs)的SVD算法。因此,它是研究復雜時空系統最重要的降維技術之一。這樣的系統典型的例子是非線性偏微分方程,它規定了在給定的物理、工程和/或生物系統中感興趣的數量在時間和空間上的進化。POD的成功與一個普遍存在的現象有關:在大多數復雜系統中,有意義的行為被編碼在動態活動的低維模式中。POD技術試圖利用這一事實,以生產能夠精確建模控制復雜系統的完整時空演化的低秩動力系統。具體來說,簡化階模型(ROMs)利用POD模式將PDE動力學投影到低階子空間,在這些子空間中,控制PDE模型的模擬可以更容易地進行評估。重要的是,ROM產生的低秩模型在計算速度方面有了顯著的改進,潛在地使昂貴的PDE系統蒙特卡羅模擬、參數化PDE系統的優化和/或基于PDE的系統的實時控制成為可能。
經典的隨機優化結果通常假設數據的各種屬性的已知值(例如Lipschitz常數、到最優點的距離、平滑性或強凸性常數)。不幸的是,在實踐中,這些值是未知的,因此必須經過長時間的反復試驗才能找到最佳參數。
為了解決這一問題,近年來許多無參數算法已經被開發用于在線優化和在線學習。無參數算法對數據的性質不作任何假設,但收斂速度與最優優化算法一樣快。
這是一項令人興奮的工作,現在已經足夠成熟,可以教授給普通觀眾了。實際上,這些算法還沒有得到機器學習社區的適當介紹,只有少數人完全理解它們。本教程旨在彌補這一差距,介紹使用和設計無參數算法的實踐和理論。我們將介紹該領域的最新進展,包括優化、深度學習和使用內核學習的應用。
深度學習系統在許多任務中都取得了顯著的性能,但要確保生成的模型服從硬約束(在許多控制應用程序中可能經常需要這樣做),常常是出了名的困難。在這次演講中,我將介紹一些最近的關于在深度學習系統中加強不同類型的約束的工作。具體來說,我將重點介紹最近的一些工作,包括將一般的凸優化問題集成為深網絡中的層次,研究保證表示凸函數的學習網絡,以及研究增強非線性動力學的全局穩定性的深層動力系統。在所有情況下,我們都強調我們可以設計網絡結構來編碼這些隱性偏見的方式,這種方式可以讓我們輕松地執行這些硬約束。