本書提供了分布式優化、博弈和學習的基本理論。它包括那些直接從事優化工作的人,以及許多其他問題,如時變拓撲、通信延遲、等式或不等式約束,以及隨機投影。本書適用于在動態經濟調度、需求響應管理和智能電網插電式混合動力汽車路由等領域使用分布式優化、博弈和學習理論的研究人員和工程師。
無線技術和計算能力的進步使得理論、模型和工具的發展成為必要,以應對網絡上大規模控制和優化問題帶來的新挑戰。經典的優化方法是在所有問題數據都可用于集中式服務器的前提下工作的。然而,這一前提不適用于由電力系統、傳感器網絡、智能建筑和智能制造等應用驅動的分布式環境中的大型網絡系統。在這樣的環境中,每個節點(agent)根據自己的數據(信息)以及通過底層通信網絡從相鄰的agent接收到的信息進行本地計算,從而分布式地解決大規模控制和優化問題。最終,集中式優化方法必然會走向衰落,從而產生一種新的分布式優化類型,它考慮了多個agent之間的有效協調,即所有agent共同協作,使一個局部目標函數之和的全局函數最小化。
本書研究了近年來分布式優化問題中的幾個標準熱點問題,如無約束優化、有約束優化、分布式博弈和分布式/分散學習等。為了強調分布式優化在這些主題中的作用,我們將重點放在一個簡單的原始(次)梯度方法上,但我們也提供了網絡中其他分布式優化方法的概述。介紹了分布式優化框架在電力系統控制中的應用。這本書自然主要包括三個部分。第一部分討論了分布式優化算法理論,共分為四章:(1)多智能體時滯網絡中的協同分布式優化;(2)時變拓撲多智能體系統的約束一致性;(3)不等式約束和隨機投影下的分布式優化;(4)隨機矩陣有向圖上的加速分布優化。第二部分作為過渡,研究了分布式優化算法理論及其在智能電網動態經濟調度問題中的應用,包括兩章:(5)時變有向圖約束優化的線性收斂性;(6)時變有向圖上經濟調度的隨機梯度推動。第三部分對分布式優化、博弈和學習算法理論進行了分析和綜合,本部分所有算法都是針對智能電網系統內的特定案例場景設計的。本部分共分三章:(7)智能微電網能源交易博弈中的強化學習;(8)不完全信息約束博弈的強化學習;(9)基于擁塞博弈的插電式混合動力汽車路徑選擇強化學習。其中,給出了仿真結果和實際應用實例,以說明前面提出的優化算法、博弈算法和學習算法的有效性和實用性。
藍光輝教授的專著系統地介紹了機器學習算法基礎概念和近期進展,尤其是基于優化方法的算法。 機器學習算法領域近期出現了大量研發進展,但目前社區尚缺乏對機器學習算法基礎概念和近期進展的系統性介紹,尤其是基于隨機優化方法、隨機算法、非凸優化、分布式與在線學習,以及無投影方法的機器學習算法。
佐治亞理工終身教授藍光輝出版的一本關于機器學習算法的專著《First-order and Stochastic Optimization Methods for Machine Learning》。
這本專著具備以下特點:
系統梳理優化算法的進展
在該書序言部分,藍光輝教授介紹了寫作此書的初衷:
優化在數據科學中一直發揮重要作用。很多統計和機器學習模型的分析與解決方法都依賴于優化。但是,近期社區對計算數據分析優化的興趣往往伴隨著一些難題。高維度、大型數據規模、內在不確定性、無法避免的非凸問題,以及實時和分布式設置的要求,給現有的優化方法帶來了大量困難。 在過去十年中,為解決以上挑戰,優化算法在設計和分析方面出現了巨大進步。然而,這些進步分散在多個不同學科的大量文獻中,缺乏系統性的梳理。而這使得年輕研究人員更難進入優化算法領域,更難構建必要的基礎知識、了解目前的前沿成果,以及推動該領域的發展。 這本書嘗試用更有條理的方式介紹領域進展,主要聚焦于已得到廣泛應用或具備大規模機器學習和數據分析應用潛力的優化算法,包括一階方法、隨機優化方法、隨機和分布式方法、非凸隨機優化方法、無投影方法,以及算子滑動和分散式方法。 本書的寫作目標是介紹基礎算法機制,它們能在不同環境設置下提供最優性能保障。不過在探討算法之前,本書首先簡要介紹了多個常見的機器學習模型和一些重要的優化理論,希望借此為初學者提供良好的理論基礎。
此外,藍教授表示這本書的目標讀者是對優化算法及其在機器學習和人工智能中的應用感興趣的研究生和高年級本科生,也可以作為更高階研究人員的參考書目。這本書的最初版本已經作為佐治亞理工學院高年級本科生和博士課程的教材。
核心內容
這本書共包括八個章節,涵蓋機器學習模型、凸優化、非凸優化、無投影方法等內容,是對優化算法近期進展的一次系統性梳理。
書籍鏈接://www.springer.com/gp/book/9783030395674
作者簡介
本書作者藍光輝教授,博士畢業于佐治亞理工學院,目前任教于佐治亞理工 H. Milton Stewart 工業和系統工程學院。此外,他還擔任《Computational Optimization and Applications》、優化算法頂級期刊《Mathematical Programming》和《SIAM Journal on Optimization》等雜志的副主編,是國際機器學習和深度學習算法方向的頂級專家。
藍光輝教授專注于計算機科學領域的基礎研究,他的研究方向包括:隨機優化和非線性規劃的理論、算法和應用,包括隨機梯度下降和加速隨機梯度下降,以及用于解決隨機凸和非凸優化問題。
這本書的目的是介紹圖理論的基礎。在第一章中,我們對數學符號和證明技巧給予了明確的關注。這種方法使學生逐漸為使用圖論所必需的工具——復雜網絡——做好準備。在書的第二部分,學生學習關于隨機網絡,小世界,互聯網和網絡的結構,點對點系統,和社會網絡。再說一次,所有的問題都是在初級階段討論的,但這樣到最后學生們確實會有這樣的感覺:1。學會了如何閱讀和理解與圖論相關的基本數學。了解基本圖論如何應用于優化問題,如通訊網絡中的路由。更多地了解這個小世界和隨機網絡的神秘領域。
關于圖信號處理、圖分析、圖機器學習比較全面的一本書,值得關注!
當前強大的計算機和龐大的數據集正在為計算數學創造新的機會,將圖論、機器學習和信號處理的概念和工具結合在一起,創建圖數據分析。
在離散數學中,圖僅僅是連接一些點(節點)和線的集合。這些圖表的強大之處在于,節點可以代表各種各樣的實體,比如社交網絡的用戶或金融市場數據,這些可以轉換成信號,然后使用數據分析工具進行分析。《圖數據分析》是對生成高級數據分析的全面介紹,它允許我們超越時間和空間的標準常規采樣,以促進建模在許多重要領域,包括通信網絡,計算機科學,語言學,社會科學,生物學,物理學,化學,交通,城市規劃,金融系統,個人健康和許多其他。
作者從現代數據分析的角度重新審視了圖拓撲,并著手建立圖網絡的分類。在此基礎上,作者展示了頻譜分析如何引導最具挑戰性的機器學習任務,如聚類,以直觀和物理上有意義的方式執行。作者詳細介紹了圖數據分析的獨特方面,例如它們在處理從不規則域獲取的數據方面的好處,它們通過局部信息處理微調統計學習過程的能力,圖上的隨機信號和圖移位的概念,從圖上觀察的數據學習圖拓撲,以及與深度神經網絡、多路張量網絡和大數據的融合。包括了大量的例子,使概念更加具體,并促進對基本原則的更好理解。
本書以對數據分析的基礎有良好把握的讀者為對象,闡述了圖論的基本原理和新興的數學技術,用于分析在圖環境中獲得的各種數據。圖表上的數據分析將是一個有用的朋友和伙伴,所有參與數據收集和分析,無論應用領域。
地址: //www.nowpublishers.com/article/Details/MAL-078-1
Graph Signal Processing Part I: Graphs, Graph Spectra, and Spectral Clustering
圖數據分析領域預示著,當我們處理數據類的信息處理時,模式將發生改變,這些數據類通常是在不規則但結構化的領域(社交網絡,各種特定的傳感器網絡)獲得的。然而,盡管歷史悠久,目前的方法大多關注于圖本身的優化,而不是直接推斷學習策略,如檢測、估計、統計和概率推理、從圖上獲取的信號和數據聚類和分離。為了填補這一空白,我們首先從數據分析的角度重新審視圖拓撲,并通過圖拓撲的線性代數形式(頂點、連接、指向性)建立圖網絡的分類。這作為圖的光譜分析的基礎,圖拉普拉斯矩陣和鄰接矩陣的特征值和特征向量被顯示出來,以傳達與圖拓撲和高階圖屬性相關的物理意義,如切割、步數、路徑和鄰域。通過一些精心選擇的例子,我們證明了圖的同構性使得基本屬性和描述符在數據分析過程中得以保留,即使是在圖頂點重新排序的情況下,在經典方法失敗的情況下也是如此。其次,為了說明對圖信號的估計策略,通過對圖的數學描述符的特征分析,以一般的方式介紹了圖的譜分析。最后,建立了基于圖譜表示(特征分析)的頂點聚類和圖分割框架,說明了圖在各種數據關聯任務中的作用。支持的例子展示了圖數據分析在建模結構和功能/語義推理中的前景。同時,第一部分是第二部分和第三部分的基礎,第二部分論述了對圖進行數據處理的理論、方法和應用,以及從數據中學習圖拓撲。
Graph Signal Processing Part II: Processing and Analyzing Signals on Graphs
本專題第一部分的重點是圖的基本性質、圖的拓撲和圖的譜表示。第二部分從這些概念著手,以解決圍繞圖上的數據/信號處理的算法和實際問題,也就是說,重點是對圖上的確定性和隨機數據的分析和估計。
Graph Signal Processing -- Part III: Machine Learning on Graphs, from Graph Topology to Applications
許多關于圖的現代數據分析應用都是在圖拓撲而不是先驗已知的領域上操作的,因此它的確定成為問題定義的一部分,而不是作為先驗知識來幫助問題解決。本部分探討了學習圖拓撲。隨著越來越多的圖神經網絡(GNN)和卷積圖網絡(GCN)的出現,我們也從圖信號濾波的角度綜述了GNN和卷積圖網絡的主要發展趨勢。接著討論了格結構圖的張量表示,并證明了張量(多維數據數組)是一類特殊的圖信號,圖的頂點位于高維規則格結構上。本部分以金融數據處理和地下交通網絡建模的兩個新興應用作為結論。
圖片
線性代數是計算和數據科學家的基本工具之一。這本書“高級線性代數:基礎到前沿”(ALAFF)是一個替代傳統高級線性代數的計算研究生課程。重點是數值線性代數,研究理論、算法和計算機算法如何相互作用。這些材料通過將文本、視頻、練習和編程交織在一起來保持學習者的參與性。
我們在不同的設置中使用了這些材料。這是我們在德克薩斯大學奧斯汀分校名為“數值分析:線性代數”的課程的主要資源,該課程由計算機科學、數學、統計和數據科學、機械工程以及計算科學、工程和數學研究生課程提供。這門課程也通過UT-Austin計算機科學碩士在線課程提供“高級線性代數計算”。最后,它是edX平臺上名為“高級線性代數:基礎到前沿”的大規模在線開放課程(MOOC)的基礎。我們希望其他人可以將ALAFF材料重新用于其他學習設置,無論是整體還是部分。
為了退怕學習者,我們采取了傳統的主題的數字線性代數課程,并組織成三部分。正交性,求解線性系統,以及代數特征值問題。
第一部分:正交性探討了正交性(包括規范的處理、正交空間、奇異值分解(SVD)和解決線性最小二乘問題)。我們從這些主題開始,因為它們是其他課程的先決知識,學生們經常與高等線性代數并行(甚至在此之前)進行學習。
第二部分:求解線性系統集中在所謂的直接和迭代方法,同時也引入了數值穩定性的概念,它量化和限定了在問題的原始陳述中引入的誤差和/或在計算機算法中發生的舍入如何影響計算的正確性。
第三部分:代數特征值問題,重點是計算矩陣的特征值和特征向量的理論和實踐。這和對角化矩陣是密切相關的。推廣了求解特征值問題的實用算法,使其可以用于奇異值分解的計算。本部分和本課程以在現代計算機上執行矩陣計算時如何實現高性能的討論結束。
這本書系統性講述了統計學理論,包括概率理論、分布式理論與統計模型,基本統計理論、貝葉斯理論、無偏點估計、最大似然統計推斷、統計假設與置信集、非參與魯棒推斷。
第一門課程以對統計中有用的測量論概率論的概念和結果的簡要概述開始。隨后討論了統計決策理論和推理中的一些基本概念。探討了估計的基本方法和原理,包括各種限制條件下的最小風險方法,如無偏性或等方差法,最大似然法,以及矩法和其他插件方法等函數法。然后詳細地考慮了貝葉斯決策規則。詳細介紹了最小方差無偏估計的方法。主題包括統計量的充分性和完全性、 Fisher信息、估計量的方差的界、漸近性質和統計決策理論,包括極大極小和貝葉斯決策規則。
第二門課程更詳細地介紹了假設檢驗和置信集的原理。我們考慮了決策過程的表征,內曼-皮爾森引理和一致最有力的測試,置信集和推理過程的無偏性。其他主題包括等方差、健壯性和函數估計。
除了數理統計的經典結果外,還討論了馬爾可夫鏈蒙特卡洛理論、擬似然、經驗似然、統計泛函、廣義估計方程、折刀法和自舉法。
這本書的第五版繼續講述如何運用概率論來深入了解真實日常的統計問題。這本書是為工程、計算機科學、數學、統計和自然科學的學生編寫的統計學、概率論和統計的入門課程。因此,它假定有基本的微積分知識。
第一章介紹了統計學的簡要介紹,介紹了它的兩個分支:描述統計學和推理統計學,以及這門學科的簡短歷史和一些人,他們的早期工作為今天的工作提供了基礎。
第二章將討論描述性統計的主題。本章展示了描述數據集的圖表和表格,以及用于總結數據集某些關鍵屬性的數量。
為了能夠從數據中得出結論,有必要了解數據的來源。例如,人們常常假定這些數據是來自某個總體的“隨機樣本”。為了確切地理解這意味著什么,以及它的結果對于將樣本數據的性質與整個總體的性質聯系起來有什么意義,有必要對概率有一些了解,這就是第三章的主題。本章介紹了概率實驗的思想,解釋了事件概率的概念,并給出了概率的公理。
我們在第四章繼續研究概率,它處理隨機變量和期望的重要概念,在第五章,考慮一些在應用中經常發生的特殊類型的隨機變量。給出了二項式、泊松、超幾何、正規、均勻、伽瑪、卡方、t和F等隨機變量。
這本書的目標是介紹自動微分的基本算法,以及流行的數學和統計函數的自動微分規則的百科全書式的集合。
自動微分是一種通用的技術,用于將函數的計算值轉換為可計算導數的值。導數計算只給用于計算函數值的每個操作增加一個常數的開銷,因此可微函數與原始函數具有相同的復雜度階數。在描述了自動微分的標準形式之后,這本書提供了一個百科全書收集的正切和伴隨規則的前向模式和后向模式自動微分,涵蓋了最廣泛使用的標量,向量,矩陣和概率函數。附錄包含正向模式、反向模式和混合模式自動區分的工作示例代碼。
決策理論是現代人工智能和經濟學的基礎。本課程主要從統計學的角度,也從哲學的角度,為決策理論打下堅實的基礎。本課程有兩個目的:
課程可分為兩部分。
第一部分,我們介紹了主觀概率和效用的概念,以及如何用它們來表示和解決決策問題。然后討論未知參數的估計和假設檢驗。最后,我們討論了順序抽樣、順序實驗,以及更一般的順序決策。
第二部分是不確定性下的決策研究,特別是強化學習和專家咨詢學習。首先,我們研究幾個有代表性的統計模型。然后,我們給出了使用這些模型做出最優決策的算法的概述。最后,我們來看看學習如何根據專家的建議來行動的問題,這個領域最近在在線廣告、游戲樹搜索和優化方面有很多應用。
題目:Applied Reinforcement Learning with Python With OpenAI Gym, Tensorflow, and Keras
深入研究強化學習算法,并通過Python將它們應用到不同的用例中。這本書涵蓋了重要的主題,如策略梯度和Q學習,并利用框架,如Tensorflow, Keras,和OpenAI Gym。
Python中的應用增強學習向您介紹了強化學習(RL)算法背后的理論和用于實現它們的代碼。您將在指導下了解OpenAI Gym的特性,從使用標準庫到創建自己的環境,然后了解如何構建強化學習問題,以便研究、開發和部署基于rl的解決方案。
你將學習:
這本書是給誰看的: 數據科學家、機器學習工程師和軟件工程師熟悉機器學習和深度學習的概念。
地址:
//www.springerprofessional.de/en/applied-reinforcement-learning-with-python/17098944
目錄:
第1章 強化學習導論
在過去的一年里,深度學習技術的不斷擴散和發展給各個行業帶來了革命性的變化。毫無疑問,這個領域最令人興奮的部分之一是強化學習(RL)。這本身往往是許多通用人工智能應用程序的基礎,例如學習玩視頻游戲或下棋的軟件。強化學習的好處是,假設可以將問題建模為包含操作、環境和代理的框架,那么代理就可以熟悉大量的任務。假設,解決問題的范圍可以從簡單的游戲,更復雜的3d游戲,自動駕駛汽車教學如何挑選和減少乘客在各種不同的地方以及教一個機械手臂如何把握對象和地點在廚房柜臺上。
第二章 強化學習算法
讀者應該知道,我們將利用各種深度學習和強化學習的方法在這本書。然而,由于我們的重點將轉移到討論實現和這些算法如何在生產環境中工作,我們必須花一些時間來更詳細地介紹算法本身。因此,本章的重點將是引導讀者通過幾個強化學習算法的例子,通常應用和展示他們在使用Open AI gym 不同的問題。
第三章 強化學習算法:Q學習及其變體
隨著策略梯度和Actor-Critic模型的初步討論的結束,我們現在可以討論讀者可能會發現有用的替代深度學習算法。具體來說,我們將討論Q學習、深度Q學習以及深度確定性策略梯度。一旦我們了解了這些,我們就可以開始處理更抽象的問題,更具體的領域,這將教會用戶如何處理不同任務的強化學習。
第四章 通過強化學習做市場
除了在許多書中發現的強化學習中的一些標準問題之外,最好看看那些答案既不客觀也不完全解決的領域。在金融領域,尤其是強化學習領域,最好的例子之一就是做市。我們將討論學科本身,提出一些不基于機器學習的基線方法,然后測試幾種基于強化學習的方法。
第五章 自定義OpenAI強化學習環境
在我們的最后一章,我們將專注于Open AI Gym,但更重要的是嘗試理解我們如何創建我們自己的自定義環境,這樣我們可以處理更多的典型用例。本章的大部分內容將集中在我對開放人工智能的編程實踐的建議,以及我如何編寫這個軟件的建議。最后,在我們完成創建環境之后,我們將繼續集中精力解決問題。對于這個例子,我們將集中精力嘗試創建和解決一個新的視頻游戲。