亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的二十年里，機器學習已經成為信息技術的支柱之一，并因此成為我們生活中相當核心(盡管通常是隱藏的)的一部分。隨著可用數據量的不斷增加，我們有充分的理由相信，智能數據分析將變得更加普遍，成為技術進步的必要因素。本章的目的是為讀者提供一個廣泛的應用的概述，這些應用的核心是一個機器學習問題，并給這一大堆問題帶來一定程度的秩序。在那之后，我們將討論一些來自統計和概率論的基本工具，因為它們構成了許多機器學習問題必須被表述成易于解決的語言。最后，我們將概述一套相當基本但有效的算法來解決一個重要的問題，即分類。更復雜的工具，更普遍的問題的討論和詳細的分析將在本書后面的部分。

深度生成建模是一類訓練深度神經網絡對訓練樣本分布進行建模的技術。

研究已經分成了各種相互關聯的方法，每一種方法都進行了權衡，包括運行時、多樣性和體系結構限制。

特別是，本綜述涵蓋了基于能量的模型、變分自編碼器、生成對抗網絡、自回歸模型、規格化流，以及許多混合方法。這些技術是在一個單一的內聚框架下繪制的，比較和對比來解釋每種技術背后的前提，同時回顧當前最先進的進展和實現。

引言

使用神經網絡的生成式建模起源于上世紀80年代，目的是在沒有監督的情況下學習數據，可能為標準分類任務提供好處。這是因為收集無監督學習的訓練數據自然要比收集標記數據花費更少的精力和成本，但仍然有大量可用的信息表明生成模型對于各種各樣的應用是至關重要的。

除此之外，生成模型有很多直接的應用;最近的一些工作包括圖像生成:超分辨率，文本到圖像和圖像到圖像轉換，修復，屬性操作，姿態估計; 視頻:合成與重定向;音頻:語音和音頻合成;文本:生成、翻譯;強化學習;計算機圖形學:快速渲染、紋理生成、人物運動、液體模擬;醫學:藥物合成、方式轉換;密度估計;數據增加;特征生成。

生成模型的核心思想是訓練一個生成模型，其樣本x ~ pθ(x )來自與訓練數據分布相同的分布，x ~ pd(x)。第一個神經生成模型，即基于能量的模型，通過在與似然成比例的數據點上定義能量函數來實現這一點，然而，這些模型難以縮放到復雜的高維數據，如自然圖像，并且在訓練和推理過程中都需要蒙特卡羅馬爾可夫鏈(MCMC)采樣，這是一個緩慢的迭代過程。近年來，人們對生成模型重新產生了興趣，總的來說，這是由于大型免費數據集的出現，以及通用深度學習架構和生成模型的進步，在視覺保真度和采樣速度方面開辟了新領域。在許多情況下，這是通過使用潛在變量z來實現的，這很容易從樣本和/或計算密度，而不是學習p(x, z);這就需要對未觀察到的潛在變量進行邊緣化，然而，一般來說，這很難做到。因此，生成模型通常會在執行時間、架構或優化代理功能方面進行權衡。選擇優化的對象對樣本質量有重要影響，直接優化可能性往往導致樣本質量顯著低于替代函數。

有許多綜述論文關注于特定的生成模型，如歸一化流[108]，[157]，生成對抗網絡[60]，[219]和基于能量的模型[180]，然而，這些自然地深入到各自方法的復雜性，而不是與其他方法進行比較;此外，有些人關注的是應用而不是理論。雖然最近有一個關于生成模型作為一個整體的綜述[155]，但它深入研究了一些特定的實現，而不是檢查整個領域。

本綜述提供了生成建模趨勢的全面概述，引入新的讀者到該領域，通過在單一統計框架下的方法，比較和對比，以便解釋建模決策背后的每個各自的技術。從理論上講，為了讓讀者了解最新的研究成果，本文對新舊文獻進行了討論。特別地，本調查涵蓋了基于能量的模型(第2節)、典型的單一非歸一化密度模型、變分自編碼器(第3節)、基于潛在模型的后驗的變分近似、生成對抗網絡(第4節)、在最小-最大博弈中設置的兩個模型、自回歸模型(第5節)、將模型數據分解為條件概率的產品，以及歸一化流(第6節)、使用可逆轉換的精確似然模型。這種細分被定義為與研究中的典型劃分緊密匹配，然而，存在著許多模糊這些界限的混合方法，這些將在最相關的章節中討論，或者在合適的情況下兩者都討論。

為了簡單地了解不同架構之間的差異，我們提供了表1，通過容易比較的星級評級對比了各種不同的技術。具體來說，訓練速度是根據報告的總訓練時間來評估的，因此要考慮多種因素，包括架構、每一步的函數評估數量、優化的便捷性和所涉及的隨機性;樣本速度是基于網絡速度和所需評估的數量;參數效率是由訓練數據集所需的參數總數決定的，而功能更強大的模型通常會有更多的參數，在模型類型之間與質量的相關性不強;一星-一些結構/紋理被捕捉，二星-一個場景可識別但缺少全局結構/細節，三星-重要結構被捕捉但場景看起來“怪異”，四星-與真實圖像的差別是可識別的，五星-差別是完全不可察覺的

機器學習使用各種數學領域的工具。本文試圖對機器學習入門課程所需的數學背景進行總結，這門課在加州大學伯克利分校被稱為CS 189/289A。我們假設讀者已經熟悉多變量微積分和線性代數的基本概念(UCB數學53/54的水平)。這里介紹的大多數主題都很少涉及; 我們打算給出一個概述，并向感興趣的讀者指出更全面的處理以獲得進一步的細節。請注意，本文關注的是機器學習的數學背景，而不是機器學習本身。我們將不討論具體的機器學習模型或算法，除非可能通過強調數學概念的相關性。該文件的早期版本不包括校樣。我們已開始在有助于理解的相當短的證明里加上證明。這些證明不是cs189的必要背景，但可以用來加深讀者的理解。

強化學習定義了僅通過行動和觀察來學習做出好的決策的代理所面臨的問題。為了成為有效的問題解決器，這些代理必須能有效地探索廣闊的世界，從延遲的反饋中分配信用，并歸納出新的經驗，同時要利用有限的數據、計算資源和感知帶寬。抽象對所有這些努力都是必要的。通過抽象，代理可以形成其環境的簡潔模型，以支持一個理性的、自適應的決策者所需要的許多實踐。在這篇論文中，我提出了強化學習中的抽象理論。首先，我提出了執行抽象過程的函數的三個要求:它們應該1)保持近似最優行為的表示，2) 有效地被學習和構造，3) 更低的規劃或學習時間。然后，我提出了一套新的算法和分析，闡明了代理如何根據這些需求學習抽象。總的來說，這些結果提供了一條通向發現和使用抽象的部分路徑，將有效強化學習的復雜性降到最低。

強化學習問題如下。RL代理通過以下兩個離散步驟的無限重復與環境進行交互:

1. 代理收到觀察和獎勵。
2. 代理從這種交互中學習并執行一個動作。 這個過程如圖1.2所示。在這種互動過程中，agent的目標是做出決策，使其獲得的長期報酬最大化。

論文余下組織如下： 第1部分。在第2章中，我提供了關于RL(2.1節)以及狀態抽象(2.2節)和動作抽象(2.3節)的必要背景知識。

第2部分。下一部分將專注于狀態抽象。我提出了新的算法和三個緊密相連的分析集，每一個目標是發現滿足引入的需求的狀態抽象。在第3章中，我開發了一個形式化的框架來推理狀態抽象，以保持近似最優的行為。這個框架由定理3.1總結，它強調了值保持狀態抽象的四個充分條件。然后，在第4章中，我將這一分析擴展到終身RL設置，在終身RL設置中，代理必須不斷地與不同的任務交互并解決不同的任務。本章的主要觀點是介紹了用于終身學習設置的PAC狀態抽象，以及澄清如何有效計算它們的結果。定理4.4說明了保證這些抽象保持良好行為的意義，定理4.5說明了有多少以前已解決的任務足以計算PAC狀態抽象。我著重介紹了模擬實驗的結果，這些結果說明了所介紹的狀態抽象類型在加速學習和計劃方面的效用。最后，第五章介紹了信息論工具對狀態抽象的作用。我提出了狀態抽象和率失真理論[283,43]和信息瓶頸方法[318]之間的緊密聯系，并利用這種聯系設計新的算法，以高效地構建狀態抽象，優雅地在壓縮和良好行為表示之間進行權衡。我以各種方式擴展了這個算法框架，說明了它發現狀態抽象的能力，這些狀態抽象提供了良好行為的樣本高效學習。

第3部分。然后我轉向行動抽象。在第6章中，我展示了Jinnai等人的分析[144]，研究了尋找盡可能快地做出計劃的抽象動作的問題——主要結果表明，這個問題通常是NP困難的(在適當簡化的假設下)，甚至在多項式時間內很難近似。然后，在第7章中，我解決了在規劃中伴隨高層次行為構建預測模型的問題。這樣的模型使代理能夠估計在給定狀態下執行行為的結果。在本章中，我將介紹并分析一個用于這些高級行為的新模型，并證明在溫和的假設下，這個簡單的替代仍然是有用的。我提供的經驗證據表明，新的預測模型可以作為其更復雜的對等物的適當替代者。最后，在第8章中，我探討了抽象行動改善探索過程的潛力。我描述了Jinnai等人開發的一種算法[145]，該算法基于構建可以輕松到達環境所有部分的抽象行動的概念，并證明該算法可以加速對基準任務的探索。

第4部分。最后，我轉向狀態動作抽象的聯合過程。在第9章中，我介紹了一個將狀態和動作抽象結合在一起的簡單機制。使用這個方案，然后我證明了哪些狀態和動作抽象的組合可以在任何有限的MDP中保持良好的行為策略的表示，定理9.1總結了這一點。接下來，我將研究這些聯合抽象的反復應用，作為構建分層抽象的機制。在對層次結構和底層狀態動作抽象的溫和假設下，我證明了這些層次結構也可以保持全局近最優行為策略的表示，如定理9.3所述。然后，我將在第十章中總結我的思考和今后的方向。

總的來說，這些結果闡明了強化學習的抽象理論。圖1.4展示了本文的可視化概述。

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

近年來，神經網絡已成為分析復雜和抽象數據模型的有力工具。然而，它們的引入本質上增加了我們的不確定性，即分析的哪些特征是與模型相關的，哪些是由神經網絡造成的。這意味著，神經網絡的預測存在偏差，無法與數據的創建和觀察的真實本質區分開來。為了嘗試解決這些問題，我們討論了貝葉斯神經網絡:可以描述由網絡引起的不確定性的神經網絡。特別地，我們提出了貝葉斯統計框架，它允許我們根據觀察某些數據的根深蒂固的隨機性和我們缺乏關于如何創建和觀察數據的知識的不確定性來對不確定性進行分類。在介紹這些技術時，我們展示了如何從原理上獲得神經網絡預測中的誤差，并提供了描述這些誤差的兩種常用方法。我們還將描述這兩種方法在實際應用時如何存在重大缺陷，并強調在使用神經網絡時需要其他統計技術來真正進行推理。

決策理論是現代人工智能和經濟學的基礎。本課程主要從統計學的角度，也從哲學的角度，為決策理論打下堅實的基礎。本課程有兩個目的:

• 深入了解統計決策理論、實驗設計的自動化方法，并將其與人類決策聯系起來。
• 通過開發算法和智能代理的實驗，將該理論應用到強化學習和人工智能的實際問題中。

課程可分為兩部分。

• 第一部分，我們介紹了主觀概率和效用的概念，以及如何用它們來表示和解決決策問題。然后討論未知參數的估計和假設檢驗。最后，我們討論了順序抽樣、順序實驗，以及更一般的順序決策。

• 第二部分是不確定性下的決策研究，特別是強化學習和專家咨詢學習。首先，我們研究幾個有代表性的統計模型。然后，我們給出了使用這些模型做出最優決策的算法的概述。最后，我們來看看學習如何根據專家的建議來行動的問題，這個領域最近在在線廣告、游戲樹搜索和優化方面有很多應用。

統計學習理論是一個新興的研究領域，它是概率論、統計學、計算機科學和最優化的交叉領域，研究基于訓練數據進行預測的計算機算法的性能。以下主題將包括:統計決策理論基礎;集中不平等;監督學習和非監督學習;經驗風險最小化;complexity-regularized估計;學習算法的泛化界VC維與復雜性;極大極小下界;在線學習和優化。利用一般理論，我們將討論統計學習理論在信號處理、信息論和自適應控制方面的一些應用。

【導讀】這本書對自動化機器學習（AutoML）的一般化方法進行了全面的闡述，并且收集了以這些方法為基礎的系統的描述和一系列關于自動化機器學習系統領域的挑戰。最近，機器學習在商業領域取得的成就和該領域的快速增長對機器學習產生了大量的需求，尤其是可以很容易地使用，并且不需要專家知識的機器學習方法。然而，當前許多表現優異的機器學習方法的大多都依賴人類專家去手動選擇適當的機器學習架構以及模型的超參數（深度學習架構或者更加傳統的機器學習方法）。為了克服這個問題，AutoML基于優化原理和機器學習本身去逐步實現機器學習的自動化。這本書可以為為研究人員和高年級學生提供一個進入這個快速發展的領域的切入點，同時也為打算在工作中使用AutoML的從業者提供參考。

第一部分 自動機器學習方法

每個機器學習系統都有超參數，而自動化機器學習最基本的任務就是自動設置這些超參數來優化性能。尤其是最近的深度神經網絡嚴重依賴對于神經網絡的結構、正則化和優化等超參數的選擇。自動優化超參數(HPO)有幾個重要的用例：?

• 減少機器學習應用過程中所需的人力。這在自動化機器學習（AutoML）的上下文中尤其重要。
• 提高機器學習算法的性能(根據實際問題調整算法);這已經在一些研究中對重要的機器學習基準方法產生了效果。
• 提高科學研究的再現性和公平性。自動化的HPO顯然比手工搜索更具可重復性。它使得不同的方法可以公平的比較，因為不同的方法只有在它們在相同級別的問題上調優時才能公平地進行比較。

第二部分 自動化機器學習系統

越來越多的非領域專家開始學習使用機器學習工具，他們需要非獨立的解決方案。機器學習社區通過開源代碼為這些用戶提供了大量復雜的學習算法和特征選擇方法，比如WEKA和mlr。這些開源包需要使用者做出兩種選擇：選擇一種學習算法，并通過設置超參數對其進行定制。然而想要一次性做出正確的選擇是非常具有挑戰性的，這使得許多用戶不得不通過算法的聲譽或直覺來進行選擇，并將超參數設置為默認值。當然，采用這種方法所獲得的性能要比最佳方法進行超參數設置差得多。

第三部分 自動化機器學習面臨的挑戰

直到十年之前，機器學習還是一門鮮為人知的學科。對于機器學習領域的科學家們來說，這是一個“賣方市場”:他們研究產出了大量的算法，并不斷地尋找新的有趣的數據集。大的互聯網公司積累了大量的數據，如谷歌，Facebook，微軟和亞馬遜已經上線了基于機器學習的應用，數據科學競賽也吸引了新一代的年輕科學家。如今，隨著開放性數據的增加，政府和企業不斷發掘機器學習的新的應用領域。然而，不幸的是機器學習并不是全自動的：依舊很難確定哪個算法一定適用于哪種問題和如何選擇超參數。完全自動化是一個無界的問題，因為總是有一些從未遇到過的新設置。AutoML面臨的挑戰包括但不限于：

• 監督學習問題（分類和回歸）
• 特征向量表示問題
• 數據集特征分布問題（訓練集，驗證集和測試集分布相同）
• 小于200兆字節的中型數據集
• 有限的計算資源