亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

這本書的目的是將不確定情況下的決策基礎結果集中在一處。特別的，目標是對序列決策制定問題的算法和理論給出統一的描述，包括強化學習。從基礎的統計決策理論開始，我們進展到強化學習問題和各種解決方法。本書的最后聚焦于模型和近似算法的當前藝術狀態。不確定性下的決策制定問題可以分解為兩部分。首先，我們如何了解世界？這包括了關于我們最初對世界的不確定性建模的問題，以及從證據和我們的初始信仰中得出結論的問題。其次，考慮到可能改變我們結論的未來事件和觀察，我們當前對世界的了解，我們應該如何決定要做什么？通常，這將涉及創建覆蓋可能未來情況的長期計劃。也就是說，在不確定性下規劃時，我們還需要考慮在執行我們的計劃時可能產生的未來知識。直觀地說，執行涉及嘗試新事物的計劃應該提供更多的信息，但很難判斷這些信息是否會有益。在已知能產生好結果的事物和試驗新事物之間的選擇被稱為探索–利用困境，它是學習和規劃互動的根源。這本書的第一部分，第1-4章，專注于非序列設置下的不確定性決策。這包括假設測試等場景，其中決策者必須根據可用證據選擇一個行動。大部分的發展都是通過貝葉斯推理和決策理論的視角給出的，其中決策者對真實情況有一個主觀信仰（以概率分布表示）。本書的第二部分，第5-8章，介紹了序列問題和馬爾可夫決策過程的形式主義。其余章節致力于強化學習問題，這是最通用的不確定性下的序列決策問題之一。最后，我們增加了一些理論和實踐練習，希望能幫助讀者理解這些材料。

 本書全面、深入地探討了人工智能（AI）領域的理論和實踐，以統一的風格將當今流行的人工智能思想和術語融合到引起廣泛關注的應用中，真正做到理論和實踐相結合。全書分7個部分，共28章，理論部分介紹了人工智能研究的主要理論和方法并追溯了兩千多年前的相關思想，內容主要包括邏輯、概率和連續數學，感知、推理、學習和行動，公平、信任、社會公益和安全；實踐部分完美地踐行了“現代”理念，實際應用選擇當下熱度較高的微電子設備、機器人行星探測器、擁有幾十億用戶的在線服務、AlphaZero、人形機器人、自動駕駛、人工智能輔助醫療等。本書適合作為高等院校人工智能相關專業本科生和研究生的教材，也可以作為相關領域專業人員的參考書。智能體（intelligent agent）的概念是貫穿整本書的主題思想。我們將人工智能定義為對從 環境中接收感知并執行動作的智能體的研究。每個這樣的智能體都要實現一個將感知序列映射 為動作的函數，我們介紹了表示這些函數的不同方法，如反應型智能體、實時規劃器、決策論 系統和深度學習系統。我們強調，學習既是構造良好系統的方法，也是將設計者的影響范圍擴 展到未知環境的方法。我們沒有把機器人學和視覺看作獨立定義的問題，而是將其看作實現目 標的服務。我們強調任務環境在確定合適的智能體設計中的重要性。我們的主要目標是傳達在過去 70 多年的人工智能研究和過去 2000 多年的相關工作中涌現 出現的思想。在表達這些思想時，我們在保持準確性的前提下盡量避免過于拘泥于形式。書中提供了數學公式和偽代碼算法，讓關鍵思想具體化；附錄 A 中給出了數學概念和符號，附錄 B 中給出了偽代碼。本書主要用作本科人工智能課程或課程序列的教科書。本書共 28 章，每章大約需要一周 的課程量，因此完成整本書的教學需要兩學期的時間。如果課程只有一學期，可以按教師和學 生的興趣選擇部分章節進行教學。本書也可用于研究生課程（可能需要增加參考文獻中建議的 一些主要資料）或用于自學或作為參考書。在整本書中，定義了新術語的地方，都會以藍色粗體顯示。該術語的后續重要用法也以粗 體顯示。本書還提供了簡要的索引。閱讀本書唯一的先修要求是對計算機科學基本概念（算法、數據結構、復雜性）的熟悉程 序達到大學二年級的水平。大學一年級的微積分和線性代數知識對一些主題的閱讀很有幫助。

開發能夠與其他智能體互動以完成特定任務的自主智能體是人工智能和機器學習的一個核心研究領域。為了實現這一目標，自主智能體研究小組為自主系統控制開發了新的機器學習算法，具體重點是深度強化學習和多智能體強化學習。研究問題包括協調智能體策略和智能體間通信的可擴展學習；從有限的觀察中推理其他智能體的行為、目標和構成；以及基于內在動機、課程學習、因果推理和表征學習的樣本效率學習。本文對該小組正在進行的研究組合進行了廣泛的概述，并討論了未來方向的開放問題。

學習解決順序決策任務是困難的。人類花了數年時間，基本上以一種隨機的方式探索環境，直到他們能夠推理，解決困難的任務，并與他人合作實現一個共同的目標。人工智能智能體在這方面和人類很像。強化學習(RL)是一種眾所周知的通過與環境的交互來訓練自主智能體的技術。遺憾的是，學習過程具有很高的樣本復雜性來推斷一個有效的驅動策略，特別是當多個智能體同時在環境中驅動時。

然而，以前的知識可以用來加速學習和解決更難的任務。同樣，人類通過關聯不同的任務來構建技能并重用它們，RL代理可能會重用來自先前解決的任務的知識，以及來自與環境中其他智能體的知識交換的知識。事實上，目前RL解決的幾乎所有最具挑戰性的任務都依賴于嵌入的知識重用技術，如模仿學習、從演示中學習和課程學習。

本書概述了多agent RL中關于知識重用的文獻。作者為重用知識定義了最先進的解決方案的統一分類，提供了該領域最近進展的全面討論。在這本書中，讀者將發現關于知識在多智能體順序決策任務中重用的許多方法的全面討論，以及在哪些場景中每種方法更有效。作者還提供了他們對該地區目前低垂的發展成果的看法，以及仍然開放的大問題，可能導致突破性的發展。最后，本書為想要加入這一領域或利用這些技術的研究人員提供了資源，包括會議、期刊和實現工具的列表。

這本書將對廣大讀者有用;并有望促進社區間的新對話和該地區的新發展。

//www.morganclaypool.com/doi/10.2200/S01091ED1V01Y202104AIM049

新版變化之處

這一版反映了自 2010 年上一版以來人工智能的變化：

• 由于數據、計算資源和新算法的可用性增加，我們更關注機器學習而不是手工制作的知識工程。

• 深度學習、概率編程和多智能體系統得到了擴展，每一個都有自己的章節。

• 對自然語言理解、機器人和計算機視覺的覆蓋面進行了修訂，以反映深度學習的影響。

• 機器人章節現在包括與人類交互的機器人以及強化學習在機器人技術中的應用。

• 之前，我們將 AI 的目標定義為創建試圖最大化預期效用的系統，其中特定的效用信息——目標——由系統的人類設計者提供。現在我們不再假設目標是固定的并且由 AI 系統知道；相反，系統可能不確定它所代表的人類的真正目標。它必須學會最大化什么，并且即使在目標不確定的情況下也必須適當地發揮作用。

• 我們增加了對人工智能對社會影響的報道，包括道德、公平、信任和安全等重要問題。

• 我們已將每章末尾的練習移至在線站點。這使我們能夠不斷添加、更新和改進練習，以滿足教師的需求，并反映該領域和人工智能相關軟件工具的進步。

• 總的來說，書中大約 25% 的材料是全新的。剩下的 75% 已在很大程度上被重寫，以呈現該領域更統一的圖景。本版中 22% 的引用來自 2010 年之后發表的作品。

新版概述

主要的統一主題是智能體概念。我們將人工智能定義為研究從環境中接收感知并執行行動的智能體。每個這樣的智能體實現了一個將感知序列映射到行動的功能，我們涵蓋了表示這些功能的不同方式，如反應式智能體、實時計劃者、決策理論系統和深度學習系統。我們強調學習既是有能力的系統的構建方法，也是將設計者的觸角延伸到未知環境的一種方式。我們不把機器人技術和視覺當作獨立的問題，而是當作為實現目標而發生的問題。我們強調任務環境在決定適當的智能體設計中的重要性。

我們的主要目的是傳達在過去七十年的人工智能研究和過去兩千年的相關工作中出現的想法。我們試圖避免在表述這些思想時過分拘泥于形式，同時保留精確性。我們加入了數學公式和偽代碼算法，以使關鍵思想具體化；數學概念和符號在附錄A中描述，我們的偽代碼在附錄B中描述。

本書主要用于本科課程或課程序列。這本書有 28 章，每章都需要大約一周的講課時間，因此通讀整本書需要兩個學期的時間。一個學期的課程可以使用選定的章節來滿足教師和學生的興趣。這本書也可以用于研究生課程（也許加上參考書目注釋中建議的一些主要來源），或用于自學或作為參考。

在全書中，重要的內容都在頁邊用三角形的圖標標出。每當定義一個新術語時，也會在頁邊注明。該術語的后續重要用法以黑體字顯示，但不在頁邊。我們包括一個全面的索引和一個廣泛的參考書目。

唯一的先決條件是熟悉二年級計算機科學的基本概念（算法、數據結構、復雜性）、微積分和線性代數。

網上資源

在線資源可通過 pearsonhighered.com/cs-resources 或本書的網站 aima.cs.berkeley.edu 獲得。在那里你會發現：

• 練習，編程項目，研究項目。這些練習不再出現在每一章的末尾；它們只在網上出現。在書中，我們用 "Exercise 6.NARY "這樣的名字來指代在線練習。

• 網站上的說明允許你按名稱或按主題找到練習。書中算法在Python、Java和其他編程語言中的實現（目前托管在github.com/aimacode）。

• 超過1400所使用該書的學校名單，其中許多學校有在線課程材料和教學大綱的鏈接。

• 為學生和教員提供的補充材料和鏈接。關于如何報告書中的錯誤的說明，如果可能存在一些錯誤的話。

作者

• STUART RUSSELL：1962年出生于英國樸茨茅斯。他于1982年以一級榮譽獲得牛津大學物理學學士學位，并于1986年獲得斯坦福大學計算機科學博士學位。然后他加入了加州大學伯克利分校的教師隊伍，在那里他是計算機科學的教授和前主席，人類兼容人工智能中心的主任，以及史密斯-扎德工程講座的持有人。1990年，他獲得了美國國家科學基金會的總統青年研究者獎，1995年，他獲得了計算機與思想獎。他是美國人工智能協會、計算機械協會和美國科學促進會的會員，牛津大學瓦德姆學院的榮譽會員，以及安德魯-卡內基會員。2012年至2014年，他在巴黎擔任布萊斯-帕斯卡爾主席。他已經發表了300多篇關于人工智能廣泛主題的論文。他的其他書籍包括《知識在類比和歸納中的使用》、《做正確的事：有限理性研究》（與Eric Wefald合作）和《人類兼容》。人工智能和控制問題。

• PETER NORVIG：目前是谷歌公司的研究總監，之前是負責核心網絡搜索算法的總監。他與人合作教授了一個在線人工智能課程，注冊了16萬名學生，幫助啟動了當前一輪大規模開放的在線課程。他曾是美國宇航局艾姆斯研究中心計算科學部的負責人，負責監督人工智能和機器人的研究和開發。他獲得了布朗大學的應用數學學士學位和伯克利大學的計算機科學博士學位。他曾在南加州大學擔任教授，并在伯克利和斯坦福大學擔任教員。他是美國人工智能協會、計算機械協會、美國藝術與科學學院和加州科學院的院士。他的其他書籍有《人工智能編程范式》。通用語言的案例研究，Verbmobil: 面對面對話的翻譯系統，以及UNIX的智能幫助系統。

兩位作者在2016年共享了首屆AAAI/EAAI杰出教育家獎。

Leiden大學Aske Plaat教授《深度強化學習》2022新書，值得關注！

深度強化學習近年來備受關注。在自動駕駛、游戲、分子重組和機器人等各種活動中，他們都取得了令人印象深刻的成果。在所有這些領域，計算機程序已經學會了解決困難的問題。他們學會了飛行模型直升機和表演特技動作，如回旋和翻滾。在某些應用中，他們甚至比最優秀的人類還要優秀，比如Atari、Go、撲克和星際爭霸。深度強化學習探索復雜環境的方式提醒我們，孩子們是如何學習的，通過開玩笑地嘗試東西，獲得反饋，然后再嘗試。計算機似乎真的擁有人類學習的各個方面; 這是人工智能夢想的核心。教育工作者并沒有忽視研究方面的成功，大學已經開始開設這方面的課程。這本書的目的是提供深度強化學習領域的全面概述。這本書是為人工智能的研究生寫的，并為希望更好地理解深度強化學習方法和他們的挑戰的研究人員和實踐者。我們假設學生具備本科水平的計算機科學和人工智能知識;本書的編程語言是Python。我們描述了深度強化學習的基礎、算法和應用。我們將介紹已建立的無模型和基于模型的方法，它們構成了該領域的基礎。發展很快，我們還涵蓋了一些高級主題: 深度多智能體強化學習、深度層次強化學習和深度元學習。

//deep-reinforcement-learning.net/

這本書的目的是呈現在一個單一的深度強化學習的最新見解，適合教學一個研究生水平一個學期的課程。除了涵蓋最先進的算法，我們涵蓋經典強化學習和深度學習的必要背景。我們還涵蓋了自我游戲、多主體、層次和元學習方面的先進的、前瞻性的發展。

深度強化學習建立在深度監督學習和表格強化學習的基礎上

在這些章節中有很多材料，既有基礎的，也有先進的，有很多文獻。一種選擇是講授一門關于書中所有主題的課程。另一種選擇是慢一些、深入一些，在基礎知識上花足夠的時間，創建關于Chaps. 2-5的課程，以涵蓋基本主題(基于值、基于策略和基于模型的學習)，并創建關于Chaps. 6-9的單獨課程，以涵蓋多智能體、分層和元學習等更高級的主題。

在這一介紹性的章節之后，我們將繼續學習第二章，在第二章中，我們將詳細討論表格(非深度)強化學習的基本概念。我們從馬爾可夫決策過程開始，并詳細討論它們。第三章解釋了基于深度價值的強化學習。本章涵蓋了為尋找最優策略而設計的第一個深度算法。我們仍將在基于價值、無模型的范式中工作。在本章的最后，我們將分析一個自學如何玩上世紀80年代Atari電子游戲的玩家。下一章，第四章，討論了一種不同的方法:基于深度策略的強化學習。下一章，第5章，介紹了基于深度模型的強化學習與學習模型，該方法首先建立環境的過渡模型，然后再建立策略。基于模型的強化學習有希望獲得更高的樣本效率，從而加快學習速度。

【導讀】佛羅里達大學電子與計算機工程系教授Sean Meyn撰寫的新書稿《強化學習與控制系統》，重點講述了與強化學習最相關的控制基礎，以及基于這些基礎的RL算法設計的大量工具。

Sean Meyn，佛羅里達大學電子與計算機工程系教授兼Robert C. Pittman杰出學者主席，認知與控制實驗室主任，佛羅里達可持續能源研究所所長。Sean于1982年獲得加利福尼亞大學洛杉磯分校數學學士學位，于1987年獲得麥吉爾大學電子工程博士學位。他的學術研究興趣包括決策和控制的理論與應用，隨機過程和優化。他在這些主題上的研究獲得了許多獎項，并且是IEEE會士。

//www.meyn.ece.ufl.edu/

為了定義強化學習(RL)，首先需要定義自動控制。例如，在你的日常生活中，可能包括你的汽車巡航控制，你的空調恒溫器，冰箱和熱水器，以及現代的衣物烘干機的決策規則。有收集數據的傳感器，有收集數據以了解世界狀態的計算機”(汽車以正確的速度行駛嗎?毛巾還濕嗎?)，根據這些測量結果，由計算機驅動的算法會發出命令來調整需要調整的東西:油門、風扇速度、加熱盤管電流，或者……更令人興奮的例子包括太空火箭、人造器官和微型機器人來進行手術。RL的目標是真正自動的自動控制:沒有任何物理學或生物學或醫學知識，RL算法調整自己成為一個超級控制器: 最平穩的飛行進入太空，和最專業的微型外科醫生! 這個夢想在大多數應用中肯定是遙不可及的，但最近的成功故事鼓舞了工業界、科學家和新一代學生。繼2015年擊敗歐洲圍棋冠軍樊麾之后，DeepMind的AlphaGo再次刷新了世界紀錄。不久之后的新聞是令人震驚的AlphaZero續集，它在“沒有任何專家幫助的情況下”自學下國際象棋和圍棋。這在現在看來已經不是什么新鮮事了，似乎每個月都會有新的突破。

今天的強化學習有兩個同等重要的基礎: 1. 最優控制:兩個最著名的RL算法，TD-和q -學習，都是關于逼近最優控制的核心價值函數。2. 統計和信息理論。RL中的loration是本書的一大焦點，它強調了最優控制的幾何性質，以及為什么創建可靠的學習算法并不困難。我們不會忽視第二個基礎: 動機和成功的啟發式將在不深入研究理論的情況下進行解釋。讀者將學到足夠的知識，開始嘗試自制的計算機代碼，并擁有一個大的算法設計選擇庫。在完成這本書的一半之前，我希望學生能對為什么這些算法被期望是有用的以及為什么它們有時會失敗有一個扎實的理解。

本書的重點是與強化學習最相關的控制基礎，以及基于這些基礎的RL算法設計的大量工具。

圖像分類、目標檢測與跟蹤、姿態估計、人臉識別和情感估計在解決計算機視覺問題中都起著重要的作用。

本書將重點介紹這些和其他深度學習架構和技術，以幫助您創建使用Keras和TensorFlow庫的解決方案。您還將回顧多種神經網絡架構，包括LeNet、AlexNet、VGG、Inception、R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO和SqueezeNet，并通過最佳實踐、技巧、捷徑和陷阱了解它們如何與Python代碼一起工作。所有代碼片段都將被分解并進行詳細討論，以便您可以在各自的環境中實現相同的原則。

使用深度學習的計算機視覺提供了一個全面而簡潔的指南，將DL和CV結合在一起，實現自動化操作，減少人工干預，提高能力，并降低成本。

你會:

• 掌握深度學習的代碼和概念，將指導原則應用到您自己的項目中
• 對各種體系結構進行分類和評估，以更好地理解您在各種用例中的選擇
• 深入基本深度學習功能，找出它們是如何工作的。

不久前，計算機視覺還只是科幻小說的專屬內容，但現在，即使不是在整個社會，也正迅速成為各行各業的普遍現象。人類視覺是人類感官中最珍貴的一種，在模仿人類視覺這一領域取得的進展令人驚嘆。直到1957年，拉塞爾·基爾希才掃描出了世界上第一張照片——他兒子的黑白照片。到20世紀80年代末，西羅維奇和柯比的工作幫助人臉識別成為一種可行的生物識別技術。盡管存在隱私問題和法律挑戰，但Facebook在2010年將人臉識別技術納入其社交媒體平臺時，使這項技術無處不在。

這本書試圖解釋計算機視覺問題的深度學習和神經網絡的概念。我們正在詳細研究卷積神經網絡，以及它們的各個組成部分和屬性。我們正在探索各種神經網絡架構，如LeNet, AlexNet, VGG, R-CNN, Fast R-CNN, Faster R-CNN, SSD, YOLO, ResNet, Inception, DeepFace，和FaceNet的細節。我們還在開發實用的解決方案，以解決二值圖像分類、多類圖像分類、目標檢測、人臉識別和視頻分析的用例。我們將使用Python和Keras作為解決方案。所有的代碼和數據集被檢入GitHub repo快速訪問。在最后一章中，我們將學習深度學習項目中的所有步驟——從定義業務問題到部署。我們還在處理在制定解決方案時面臨的重大錯誤和問題。在這本書中，我們提供了訓練更好的算法的技巧和技巧，減少訓練時間，監測結果，并改進解決方案。我們也分享代表性的研究論文和數據集，你應該使用它們來獲得進一步的知識。

這本書把這個主題分成三部分。在第1章到第4章，本書描述了神經網絡的本質和揭秘他們如何學習。并指出了不同的架構及其歷史意義。實踐者在擁有所有所需資源的情況下，可以體驗到LeNet優雅的簡單性、AlexNet提高的效率以及流行的VGG Net。在第5至7章，從業人員運用簡單而強大的計算機視覺應用，如訓練算法來檢測物體和識別人臉。在進行視頻分析時，我們遇到了漸變消失和爆炸的困擾問題，以及如何在ResNet架構中使用跳過連接來克服它。最后，在第8章中，我們回顧了完整的模型開發過程，從正確定義的業務問題開始，系統地推進，直到模型在生產環境中部署和維護。

為工程師寫的機器學習簡介（A Brief Introduction to Machine Learning for Engineers）

//arxiv.org/abs/1709.02840

摘要

本專著的目標是介紹機器學習領域內的關鍵概念、算法和理論框架，涵蓋了監督學習與無監督學習、統計學習理論、概率圖模型和近似推斷等方向。本專著的目標讀者是具有概率學和線性代數背景的電氣工程師。本書基于第一原理（first principle）寫作，并按照有清晰定義的分類方式對其中的主要思想進行了組織，其中的類別包含鑒別式模型和生成式模型、頻率論者和貝葉斯方法、準確推斷和近似推斷、有向模型和無向模型、凸優化和非凸優化。本書中的數學框架使用了信息論的描述方式，以便工具具有統一性。書中提供了簡單且可重復的數值示例，以便讀者了解相關的關鍵動機和結論。本專著的目的并不是要為每個特定類別中已有的大量解決方案提供詳盡的細節描述（這些描述讀者可參閱教科書和論文了解），而是為了給工程師提供一個切入點，以便他們能借此進一步深入機器學習相關文獻。