人工智能 (AI) 應用為我們的生活帶來了敏捷性和現代性,而增強學習技術正處于這項技術的前沿。在策略游戲、創意組合和自主運動方面,它可以超越人類競爭者。更重要的是,它剛開始改變我們的文明。 本書介紹了AI的基礎知識,詳述了機器學習技術,并探索了增強學習的各個方面,以教育性和插圖的方式介紹最新概念。它面向那些希望成為技術進步一部分的學生,以及參與開發創新應用的教授,幫助他們應對學術和工業上的挑戰。
理解增強學習的基礎知識將使你能夠:
這本書涵蓋了人工智能的基本概念,穿越了機器學習并深入探討了RL,既有理論又有實踐。在各章節中,有用虛線標出的灰色信息塊,這些信息塊提供了工具和補充信息的鏈接,作為技巧并擴展了本書的資源。本書的組織始終從總覽轉向更為具體的視角。每一章也是如此。因此,學生可以按順序閱讀,或根據需要及時參考各章,如下:
第1章介紹人工智能的研究領域,以及區分各種機器學習方法和它們解決的問題類型。通過有趣的例子生動地介紹了增強學習的含義,并解釋了其框架。然后,探討了滲透多個科學領域的相關歷史里程碑,這些里程碑對這一研究方向的發展做出了貢獻。
第2章涵蓋了理解涉及增強學習的整個系統所需的基本知識。討論了如代理、環境、動作、獎勵、策略和價值函數等概念。提供了例子和類比來幫助解釋這些概念,從Markov鏈的問題結構開始,經過Watkins和Dayan的提議,展開為Bellman方程。最后,介紹了在這一創新研究領域中取得成功的算法的類別和特點。
第3章描述了增強學習中最常用的算法之一——Q-Learning算法的逐步操作。呈現了算法的每個組件的含義及其通過偽代碼的演示。然后,通過代理在環境中互動的視覺例子詳細解釋了算法的工作原理,從Q-Table的初始化到代理根據與環境的經驗進行決策,再到構建要遵循的策略。
第4章涉及用于開發增強學習解決方案的實用工具。討論了一些主要的庫和框架,可用于實現RL算法,如TensorFlow、Keras和OpenAI Gym。還討論了一些用于進行RL實驗的有用數據源。
第5章提出了使用Python開發自主出租車的AI的實際案例。討論了環境的細節,并舉例說明了代理在不使用AI的情況下的行動。作為對比,接下來簡化地展示了如何實現一個RL算法。代碼帶有注釋,并詳細解釋,說明在這類問題中使用RL的差異和優勢。該系統可供進一步測試和實施。
第6章展示了增強學習如何影響各個知識領域的最新應用。介紹了RL在機器人技術、游戲、教育和量子力學等領域的應用實例。還討論了RL應用在不同領域的主要優勢和挑戰,以及在這些領域未來使用RL的展望。
在我們引人入勝的電子書中,探索令人激動的強化學習(RL)世界!從人工智能智能體和環境到獎勵和動作,學習RL的基礎知識。探索現實世界的應用,如機器人技術、醫療保健和個性化推薦,強化學習正在改變產業。
《強化學習:釋放AI代理的力量》 在我們引人入勝的電子書中,探索令人激動的強化學習(RL)世界!從人工智能代理和環境到獎勵和動作,學習RL的基礎知識。探索現實世界的應用,如機器人技術、醫療保健和個性化推薦,強化學習正在改變產業。
親身體驗實際實現,構建您自己的RL代理并獲得寶貴的經驗。我們強調倫理考慮,確保您創建與人類價值觀一致的負責任的AI系統。
緊跟強化學習領域的最新趨勢和尖端研究。與志同道合的愛好者合作,為RL這個充滿活力的領域做出貢獻,推動塑造未來人工智能的進步。
在《強化學習:釋放AI代理的力量》中開始一段學習和創新的旅程。無論您是初學者還是人工智能愛好者,這本電子書都將激發您對RL及其無限可能性的熱情。加入我們,釋放AI代理的真正力量!
這是關于分布式強化學習的首本全面指南,提供了從概率視角考慮決策的新數學形式。 分布式強化學習是考慮決策的新數學形式。它超越了強化學習和期望值的常見方法,專注于因智能體的選擇而獲得的總獎勵或回報 - 特別是,這種回報從概率視角看表現如何。在這本首本全面的分布式強化學習指南中,Marc G. Bellemare, Will Dabney, 和 Mark Rowland,他們引領了這個領域的發展,介紹了其關鍵概念并回顧了其許多應用。他們展示了其解釋因與環境互動而產生的許多復雜有趣現象的能力。
作者們從經典強化學習中介紹核心思想,以使分布式主題有所背景,并包含了對文本中討論的主要結果的數學證明。他們引導讀者通過一系列的算法和數學發展,從而表征,計算,估計,以及基于隨機回報做決策。在金融(風險管理)、計算神經科學、計算精神病學、心理學、宏觀經濟學和機器人技術等多種學科中的實踐者已經在使用分布式強化學習,為其在數學金融、工程和生命科學中的擴展應用鋪平了道路。分布式強化學習不僅僅是一種數學方法,它代表了智能體如何進行預測和決策的新視角。
**物理系統的數字孿生是一個自適應的計算機模擬,它存在于云端,動態地適應物理系統的變化。**這本書介紹了計算,數學,和工程背景,以理解和發展的概念的數字孿生。它提供了建模/仿真、計算技術、傳感器/執行器等發展下一代數字孿生所需的背景知識。討論了云計算、大數據、物聯網、無線通信、高性能計算和區塊鏈等相關概念。特點:
提供了解數字孿生技術所需的背景材料 * 介紹數字孿生的計算方面 * 包括基于物理的和代理模型表示 * 解決測量和建模中的不確定性問題 * 討論實現數字孿生的實際案例研究,包括增材制造、服務器場、預測性維護和智慧城市
這本書是針對在電氣,機械,計算機和生產工程的研究生和研究人員。
過去的十年見證了人工智能和機器學習(AI/ML)技術的廣泛采用。
然而,由于缺乏對其廣泛實施的監督,導致了有害的結果,而這些結果本可以通過適當的監督避免。在我們認識到AI/ML的真正好處之前,從業者必須了解如何減輕其風險。本書描述了負責任的人工智能,這是一種基于風險管理、網絡安全、數據隱私和應用社會科學的最佳實踐,用于改進AI/ML技術、業務流程和文化能力的整體方法。這是一項雄心勃勃的事業,需要各種各樣的人才、經驗和視角。需要招募數據科學家和非技術監督人員,并授權他們審計和評估高影響力的AI/ML系統。作者Patrick Hall為新一代審計師和評估人員創建了本指南,他們希望讓AI系統更好地為組織、消費者和廣大公眾服務。
如今,機器學習(ML)是人工智能(AI)中最具商業可行性的子學科。ML系統被用于在就業、保釋、假釋、貸款和世界各地的許多其他應用中做出高風險決策。在企業環境中,ML系統用于組織的所有部分——從面向消費者的產品到員工評估、后臺辦公自動化等等。事實上,過去十年帶來了ML技術的廣泛采用。但它也證明了ML會給運營商和消費者帶來風險。不幸的是,就像幾乎所有其他技術一樣,ML可能會失敗——無論是由于無意的誤用還是故意的濫用。截至目前,人工智能事件數據庫伙伴關系擁有超過1000份關于算法歧視、數據隱私侵犯、訓練數據安全漏洞和其他有害故障的公開報告。在組織和公眾能夠意識到這項令人興奮的技術的真正好處之前,必須減輕這些風險。直到今天,這仍然需要人們的行動——不僅僅是技術人員。解決復雜的ML技術帶來的各種風險需要不同的人才、經驗和觀點。這種整合了技術實踐、業務流程和文化能力的整體風險緩解方法,正被稱為負責任的人工智能。
讀完本書,讀者將了解負責任人工智能的文化能力、業務流程和技術實踐。本書分為三個部分,呼應負責任人工智能的每個主要方面。本書的每一部分都進一步分成幾章,討論特定的主題和案例。雖然本書仍在規劃和編寫中,但《面向高風險應用的機器學習》將以介紹這個主題開始,然后進入第1部分。下面是本書的初步提綱。
第1部分:人類的觸覺——負責任的機器學習的文化能力
第一部分針對的是組織文化在更廣泛的負責任人工智能實踐中的重要性。第一部分第一章的計劃涉及呼吁停止快速前進和破壞事物,重點是眾所周知的AI系統故障以及相關的詞匯和案例。第2章將分析消費者保護法、風險管理模型,以及其他指導方針、教訓和案例,這些對人工智能組織和系統中培養問責制很重要。第3章將探討團隊、組織結構和人工智能評估器的概念。第4章將討論人類與AI系統進行有意義交互的重要性,第5章將詳細介紹傳統組織約束之外的重要工作方式,如抗議、數據新聞和白帽黑客。
第2部分:為成功做準備——負責任的機器學習的組織過程關注點
第二部分將介紹負責任的人工智能過程。它將從第6章開始,探索組織策略和過程如何影響人工智能系統的公平性,以及令人吃驚的公平性缺失。第7章將概述人工智能系統的常見隱私和安全政策。第8章將考慮管理在美國部署人工智能的現有和未來法律和法規。第9章將強調AI系統的模型風險管理的重要性,但也指出了一些缺點。最后,第10章的藍圖是討論在未來負責任的人工智能采用的背景下,企業如何聽取過去對社會和環境責任的呼吁。
第三部分: 增強人類信任和理解的技術方法
第三部分的議程涵蓋了負責任人工智能的新興技術生態系統。第11章將介紹實驗設計的重要科學,以及當代數據科學家如何在很大程度上忽視了它。第12章將總結提高人工智能透明度的兩種主要技術:可解釋的機器學習模型和事后可解釋的人工智能(XAI)。第13章計劃深入探討機器學習模型的偏差測試和補救的世界,并應該解決傳統的和緊急的方法。第14章將介紹ML算法和AI系統的安全性,第15章將結束第3部分,廣泛討論AI系統的安全性和性能測試,有時也稱為模型調試。
面向數據編程是介紹面向數據范式的獨一無二的指南。這種開創性的方法用通用的不可變數據結構表示數據。它簡化了狀態管理,簡化了并發性,并消除了在面向對象代碼中會發現的常見問題。這本書通過對話、代碼片段和圖表展示了強大的新思想,幫助您快速了解關于DOP的偉大之處。最重要的是,該范例與語言無關,您將學習編寫可以用JavaScript、Ruby、Python、Clojure實現的DOP代碼,也可以用傳統的OO語言(如Java或c#)實現。
//www.manning.com/books/data-oriented-programming
面向數據的編程是為了幫助開發人員降低他們構建的系統的復雜性而編寫的。本書中的思想主要適用于操作信息的系統,如前端應用程序、后端Web服務器或Web服務。
這本書講述了一個故事,說明了面向數據編程(DOP)的價值,以及如何在現實生產系統中應用它的原則。我的建議是跟著故事走,按順序讀各個章節。然而,如果有些章節比其他章節更能激發你的好奇心,請注意,第一部分和第7部分的材料是需要理解第二和第三部分的。在本書中,我們使用Lodash ()來說明如何使用泛型函數操作數據。如果您正在閱讀的代碼片段使用的是您不熟悉的Lodash函數,您可以參考附錄D來理解函數的行為。第1部分,靈活性,包含六個章節,重點介紹了傳統面向對象編程(OOP)的挑戰,并將面向數據編程(DOP)放在中心位置,揭示了如何使用DOP的基本原則來構建靈活的系統。這些章節是這樣排列的:
在第一章“面向對象編程的復雜性”中,我們將討論面向對象編程的復雜性。然后,我們的DOP傳奇開始了!聽一聽高級開發人員Theo和他前途無量的同事Dave之間的對話。對Theo與OOP的復雜性作斗爭感到同情,并發現嘗試不同編程范式的一個極好的理由。
第二章,代碼和數據的分離,我們的朋友Theo正在尋找一種解決方案,可以降低系統的復雜性,增加系統的靈活性。他的工作有危險。Joe是一位經驗豐富的開發人員,他有一個答案——dop。了解DOP原則#1如何幫助降低信息系統的復雜性。
第三章,基本數據操作,探討了如何通過應用DOP原則#2,將數據從類剛性的封裝中解放出來,并使用泛型函數自由地操作它。Vive la革命!
第四章,狀態管理,通過多版本方法探索狀態管理,通過將系統恢復到以前的狀態,讓我們回到過去,因為在DOP中,狀態只是數據。時間旅行是真實存在的!
第五章,基本并發控制,通過應用樂觀并發控制策略,幫助我們在并發系統中獲得高的讀寫吞吐量。不需要玫瑰色的眼鏡!
第六章,單元測試,提供了一杯咖啡…與喬!我們的朋友Joe證明了面向數據的代碼單元測試非常簡單,你可以在咖啡店里完成它。喝杯茶,了解一下為什么它如此簡單——即使是突變!當你和Joe一起寫DOP單元測試的時候。它很酷豆!
第2部分 (可擴展性)演示了如何大規模構建DOP系統,重點關注數據驗證、多線程環境、大型數據集合、數據庫訪問和web服務。需要超大的系統?沒問題!
第7章,基本數據驗證,教我們如何確保數據進出我們的系統是有效的,只是以防萬一…因為,正如Joe所說,您不必在DOP中強制驗證數據,但是在需要時可以驗證。驗證還是不驗證,這是一個問題!
第8章,高級并發控制,在我們的朋友Joe分解原子機制的實現細節之后,我們將學習如何在不使用任何鎖的情況下以線程安全的方式管理整個系統狀態。你根本不知道從原子到原子的復雜性!
第9章,持久數據結構,轉移到一個更學術的環境,我們的朋友Joe揭示了一個更安全、更可伸縮的方式來保持數據不變性的內部細節,以及如何有效地實現它,無論數據大小。現在開始上課!
第10章,數據庫操作,教我們如何表示、訪問和操作數據庫中的數據,并提供額外的靈活性,你猜對了!表示“不”的復雜性。?第11章,Web服務,讓我們發現與Web服務通信的簡單性。我們會學到喬說的“我們應該像構建外部那樣構建系統的內部”是什么意思。
第3部分,可維護性,介紹高級數據驗證、多態、有效代碼和調試技術的DOP技術,這些技術在團隊中工作時非常重要。歡迎加入我們的團隊!
第12章,高級數據驗證,允許我們發現未來事物的形狀。在這里,您將學習如何在數據在系統內部流動時驗證數據,通過定義函數參數和返回值的預期形狀,從而簡化開發。
第13章,多態性,帶我們和Theo和Dave一起上了一節鄉下的課——一個適合與動物玩耍的地方,并通過多重方法學習沒有對象的多態性。
第十四章,高級數據操作,讓我們看到Dave和Theo如何應用Joe的明智建議,在他們創建自己的數據操作工具時,將乏味的代碼變成有說服力的代碼。本末倒置。“——又是喬送的寶石!”
第十五章,調試,把Dave和Theo帶到博物館最后一次“歡呼”,因為他們創造了一個創新的解決方案來重現和修復錯誤。
一本嚴謹而全面的教科書,涵蓋了知識圖譜的主要方法,人工智能中的一個活躍和跨學科領域。
知識圖譜領域允許我們從復雜的現實世界數據中建模、處理和得出見解,在過去十年中,它已經成為人工智能的一個活躍的跨學科領域,借鑒了自然語言處理、數據挖掘和語義Web等領域。目前的項目包括預測網絡攻擊、推薦產品,甚至從數千篇關于COVID-19的論文中收集見解。這本教科書提供了該領域的嚴格和全面的覆蓋。它系統地關注主要的方法,包括那些經受住時間考驗的方法和最新的深度學習方法。
在介紹了介紹性和背景材料之后,本文涵蓋了構建知識圖譜、向知識圖譜添加新知識(或在知識圖中精煉舊知識)以及訪問(或查詢)知識圖譜的技術。最后,書中描述了特定的知識圖譜生態系統,與每個生態系統對應的幾個現實世界的應用和案例研究。每一章結尾都有軟件和資源部分,以及建議閱讀的參考書目。章末練習共130個,代表了不同的抽象層次。
強化學習(RL)將成為未來10年人工智能領域最大的突破之一,使算法能夠從環境中學習以實現任意目標。這一令人興奮的發展避免了傳統機器學習(ML)算法中的限制。這本實用的書向數據科學和人工智能專業人士展示了如何通過強化學習,讓機器自己學習。
Winder研究的作者Phil Winder涵蓋了從基本的模塊到最先進的實踐。您將探索RL的當前狀態,關注工業應用,學習許多算法,并從部署RL解決方案到生產的專門章節中受益。這不是一本教譜; 不回避數學,并希望熟悉ML。
目錄內容: Preface
本書分為三個部分。第一部分介紹了分布式強化學習的構建模塊。我們首先介紹了我們的基本研究對象,收益分布和分布Bellman方程(第二章)。第三章介紹了分類時間差分學習,一種簡單的學習收益分布的算法。在第三章結束時,讀者應該理解分布式強化學習的基本原則,并且應該能夠在簡單的實際設置中使用它。
第二部分是對分布式強化學習理論的發展。第4章介紹了一種用于測量返回分布之間距離的語言,以及與這些分布交互的操作符。第5章介紹了實現分布式強化學習所需的概率表示的概念;在此基礎上,研究了用這種表示來計算和近似收益分布的問題,并引入了分布動態規劃的框架。第6章研究了如何從樣本中以增量的方式學習返回分布,給出了類別時間差分學習的正式結構,以及其他算法,如分位數時間差異學習。第7章將這些思想擴展到最優決策的設置(也稱為控制設置)。最后,第8章介紹了基于統計泛函概念的分布強化學習的不同視角。在第二部分結束時,讀者應該理解在設計分布式強化學習算法時出現的挑戰,以及解決這些挑戰的可用工具。
第三部分和最后一部分為實際場景ios開發了分布式強化學習。第九章回顧了線性值函數逼近的原理,并將這些思想推廣到分布環境中。第10章討論了如何將分布方法與深度神經網絡相結合來獲得深度強化學習的算法,并提出了一個模型來研究這種結合所產生的現象。第11章討論了分布式強化學習在兩個進一步研究領域(多主體學習和神經科學)的新興應用,并得出結論。
圖像分類、目標檢測與跟蹤、姿態估計、人臉識別和情感估計在解決計算機視覺問題中都起著重要的作用。
本書將重點介紹這些和其他深度學習架構和技術,以幫助您創建使用Keras和TensorFlow庫的解決方案。您還將回顧多種神經網絡架構,包括LeNet、AlexNet、VGG、Inception、R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO和SqueezeNet,并通過最佳實踐、技巧、捷徑和陷阱了解它們如何與Python代碼一起工作。所有代碼片段都將被分解并進行詳細討論,以便您可以在各自的環境中實現相同的原則。
使用深度學習的計算機視覺提供了一個全面而簡潔的指南,將DL和CV結合在一起,實現自動化操作,減少人工干預,提高能力,并降低成本。
你會:
不久前,計算機視覺還只是科幻小說的專屬內容,但現在,即使不是在整個社會,也正迅速成為各行各業的普遍現象。人類視覺是人類感官中最珍貴的一種,在模仿人類視覺這一領域取得的進展令人驚嘆。直到1957年,拉塞爾·基爾希才掃描出了世界上第一張照片——他兒子的黑白照片。到20世紀80年代末,西羅維奇和柯比的工作幫助人臉識別成為一種可行的生物識別技術。盡管存在隱私問題和法律挑戰,但Facebook在2010年將人臉識別技術納入其社交媒體平臺時,使這項技術無處不在。
這本書試圖解釋計算機視覺問題的深度學習和神經網絡的概念。我們正在詳細研究卷積神經網絡,以及它們的各個組成部分和屬性。我們正在探索各種神經網絡架構,如LeNet, AlexNet, VGG, R-CNN, Fast R-CNN, Faster R-CNN, SSD, YOLO, ResNet, Inception, DeepFace,和FaceNet的細節。我們還在開發實用的解決方案,以解決二值圖像分類、多類圖像分類、目標檢測、人臉識別和視頻分析的用例。我們將使用Python和Keras作為解決方案。所有的代碼和數據集被檢入GitHub repo快速訪問。在最后一章中,我們將學習深度學習項目中的所有步驟——從定義業務問題到部署。我們還在處理在制定解決方案時面臨的重大錯誤和問題。在這本書中,我們提供了訓練更好的算法的技巧和技巧,減少訓練時間,監測結果,并改進解決方案。我們也分享代表性的研究論文和數據集,你應該使用它們來獲得進一步的知識。
這本書把這個主題分成三部分。在第1章到第4章,本書描述了神經網絡的本質和揭秘他們如何學習。并指出了不同的架構及其歷史意義。實踐者在擁有所有所需資源的情況下,可以體驗到LeNet優雅的簡單性、AlexNet提高的效率以及流行的VGG Net。在第5至7章,從業人員運用簡單而強大的計算機視覺應用,如訓練算法來檢測物體和識別人臉。在進行視頻分析時,我們遇到了漸變消失和爆炸的困擾問題,以及如何在ResNet架構中使用跳過連接來克服它。最后,在第8章中,我們回顧了完整的模型開發過程,從正確定義的業務問題開始,系統地推進,直到模型在生產環境中部署和維護。