亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

強化學習和最優控制是解決動態系統決策問題的兩種方法，分別從數據驅動和模型驅動的角度出發。現代應用這些方法的場景往往涉及高維狀態和動作空間，因此開發高效的高維算法至關重要。本篇論文旨在從兩個角度來應對這一挑戰。在第一部分中，我們分析了強化學習在一般再生核希爾伯特空間（RKHS）中的樣本復雜性。我們關注一類馬爾可夫決策過程，其中獎勵函數位于RKHS的單位球內，而轉移概率位于任意集合中。我們引入了一個稱為分布不匹配下的擾動復雜性的量，用于描述在給定尺度下RKHS中的擾動所導致的可接受狀態-動作分布空間的復雜性。我們證明了這個量不僅為所有可能算法的誤差提供了下界，還為解決強化學習問題的兩種特定算法提供了上界。因此，擾動復雜性隨著給定尺度的衰減，衡量了強化學習問題的難度。我們進一步提供了一些具體例子，并討論了這些例子中擾動復雜性是否迅速衰減。在第二部分中，我們介紹了一種高效學習高維閉環最優控制的算法。該方法是從最近提出的基于監督學習的方法進行改進的，該方法利用強大的開環最優控制求解器生成訓練數據，并使用神經網絡作為高效的高維函數逼近器來擬合閉環最優控制。這種方法成功地處理了某些高維最優控制問題，但在更具挑戰性的問題上表現仍然不佳。其中一個關鍵原因是由受控動力學引起的所謂分布不匹配現象。在本篇論文中，我們對這一現象進行了研究，并提出了初始值問題增強采樣方法來緩解這個問題。我們進一步證明了所提出的采樣策略在經過測試的控制問題上顯著提高了性能，包括經典的線性二次調節器、四旋翼飛行器的最優著陸問題以及7自由度機械臂的最優達到問題。強化學習和最優控制是兩個不同的領域，它們都專注于動態系統的最優決策。強化學習是數據驅動的，旨在在未知環境中學習最優策略，以最大化累積獎勵。最優控制是模型驅動的，旨在基于動態系統的數學模型找到給定系統的最優控制策略。在強化學習中，智能體與環境進行交互，通過獎勵形式的反饋來改進策略。它不需要對系統進行顯式建模，直接從數據中進行學習。強化學習算法已成功應用于各種領域，如視頻游戲[60]、圍棋[80]、機器人技術[45]等。另一方面，最優控制使用模型來預測動態系統在不同控制策略下的行為，并通過優化預定義的成本函數來找到最優策略。這種方法可以對系統進行精確控制，并考慮系統的約束條件。它在機器人技術[52]、航空航天[55]等領域有廣泛的應用。現代強化學習和最優控制的應用往往涉及高維狀態空間和動作空間，這使得問題的解決變得非常困難。自從Bellman以來，人們就意識到解決高維閉環最優控制問題是一項艱巨的任務[7]。廣泛使用的術語“維度詛咒”最初是為了強調這些困難[7]。因此，從業者通常不得不采用不受控制的近似方法，比如假設值函數或策略函數具有特定的低維結構，以滿足實際需求[72]。然而，機器學習的出現帶來了新的希望，因為深度神經網絡能夠高效地逼近高維函數。這使得結合深度神經網絡的強化學習和最優控制算法能夠解決許多高維問題，包括圍棋[80]和50維隨機控制問題[35]。在這篇論文中，我們將討論高維強化學習和最優控制的兩個重要主題。在第一部分中，我們將分析在一般再生核希爾伯特空間（RKHS）中強化學習的樣本復雜性。RKHS是在核方法研究中引入的數學概念，與神經網絡密切相關，這在之前的神經切線核和Barron空間的研究中得到了證實。因此，理解在RKHS中強化學習的樣本復雜性是理解高維強化學習問題的關鍵一步。我們考慮一類馬爾可夫決策過程M，其中獎勵函數位于RKHS的單位球內，轉移概率位于給定的任意集合中。為了描述對RKHS中尺度為?的擾動所產生的可接受狀態-動作分布空間的復雜性，我們定義了一個稱為分布不匹配下的擾動復雜性?M(?)的量。我們展示了?M(?)既給出了所有可能算法的誤差下界，也給出了兩種具體算法——擬合獎勵算法和擬合Q迭代算法——對于強化學習問題的上界。因此，?M(?)隨著?的衰減衡量了在M上強化學習問題的難度。我們進一步證明了擾動復雜性與常用于研究RKHS中強化學習樣本復雜性的集中系數和特征值衰減有關。作為副產品，我們還表明當獎勵函數位于高維RKHS中時，即使轉移概率是已知的且動作空間是有限的，強化學習問題仍然可能受到維度詛咒的影響。這一部分主要基于我的先前工作[53]。

在第二部分中，我們提出了一種用于高維系統閉環最優控制學習的高效算法。該方法基于一種監督學習方法，利用開環最優控制求解器生成訓練數據，并使用神經網絡作為高維函數逼近器來擬合閉環最優控制。雖然這種方法成功地處理了某些高維最優控制問題，但在更具挑戰性的問題上表現較差，主要是由于受控動態引起的分布不匹配現象。該現象指的是訓練數據的狀態分布與由神經網絡控制器生成的狀態分布之間的差異通常會隨著時間的推移而增加，導致訓練數據不能很好地代表使用訓練后的神經網絡控制器時遇到的狀態。 為了解決這個問題，我們提出了初始值問題增強采樣方法。在這種方法中，我們通過解初始值問題迭代地重新評估神經網絡控制器到達的狀態，并通過解以這些狀態為起點的開環控制問題來重新計算新的訓練數據。我們從理論上證明了這種采樣策略在經典的線性二次調節器上的改進效果與總時間持續時間成比例。我們進一步通過數值實驗證明了所提出的采樣策略在經過測試的控制問題上顯著提高了性能，包括四旋翼飛行器的最優著陸問題和7自由度機械臂的最優達到問題。這一部分主要基于我的先前工作[92]。

機器學習領域，特別是深度學習，由于算法、計算能力和數據集的改進，近年來取得了巨大進步。為支持深度學習而構建的系統主要針對用于生成學習模型的計算。 本論文提出改為關注數據在訓練和驗證中的作用。在論文的第一部分，我們關注訓練數據，展示了負責訓練數據的數據管道是性能考慮的首要目標。為了解決性能問題，我們引入了一種在數據轉換空間中進行數據子采樣的方式，一種降低精度的輸入/輸出格式，以及一個自動調整數據管道性能參數的系統。在論文的第二部分，由于日益增長和表達能力增強的模型的趨勢，我們轉向驗證環境，開發了一個系統，可以使用標準正則表達式自動查詢和驗證大型語言模型的行為。我們以機器學習的數據系統領域的未來工作作為結論。在過去的十年里，機器學習（ML）在應用方面經歷了迅猛的增長。這個領域關注的是隨著數據或經驗而改進的算法[201]，已經從一系列專業化的應用（例如，廣告[195]，推薦系統[60, 106, 213]，垃圾郵件檢測[316]）演變為應用于幾乎所有技術領域。例如，深度學習應用于游戲玩法[261, 286]，蛋白質折疊[143]，機器人學[80]，一系列自然語言處理任務[43, 55]，并且預計將達到一種無處不在的程度，可能導致重大的經濟顛覆[87]。在這場革命的最前沿是深度學習子領域[108, 173]。深度學習使用多層結構 - 數學操作 - 來構建模型。這些層被聯合學習，以便早期層簡化后續層面臨的任務。雖然深度網絡在理論上可能不如其他機器學習或人工智能方法那么被理解，但它們已經表明，盡管在計算上開銷巨大但通用的方法最終會主導利用額外專業化的算法[268]。這種在計算上開銷巨大但通用的方法已經受益于像摩爾定律[209]這樣的趨勢 - 硬件性能的指數級增長 - 以及硬件和軟件的專業化[165, 275]。如今眾多的深度學習軟件使深度學習或許比其他替代方案更易于獲取 - 只需獲得通常是開源且隨時可用的模型規范代碼，就可以訓練最先進的模型。深度學習技術的核心已經被商品化和民主化，使任何人都可以受益于人類多年的研究和開發。

然而，盡管使用深度學習的常規方面變得更加容易，但仍然存在一些基本問題有待解決，并影響許多應用的下游性能。對這些問題（及其相應解決方案）進行分類的一種方法是將它們分為三個領域：1）機器學習算法，2）計算能力，和3）數據。這三個領域的每一個都已經經過優化以持續推動該領域的進步，并且被列為導致深度學習興起的關鍵因素[35]。例如，缺乏訓練數據和計算能力被歸因為深度網絡在2000年初的衰退[35]。直到大約十年后，這些因素的缺乏才得以彌補，當時在2012年ImageNet大規模視覺識別挑戰（ILSVRC）比賽中取得了創紀錄的表現[71]。獲勝的提交，AlexNet[156]，是一個深度卷積神經網絡（CNN），并且在圖形處理單元（GPU）的幫助下接受了一百萬張圖像的訓練。機器學習算法也有所進步，使學習更加高效。例如，ReLU激活和dropout是2012年提交[156, 173]的關鍵算法組件，是廣泛用于加速學習的數學操作。當這些進步結合起來時，由此產生的模型以絕對誤差超過了僅次于其的提交，開始了計算機視覺的革命[173]。今天在自然語言處理方面的最新趨勢可以類似地視為核心算法創新[285]，并擴展到大量數據和計算[43, 55]，從而導致性能的可預測提升。在民主化機器學習的最前沿是機器學習系統[239]。這些系統包含并解決機器學習方法中足夠公式化的部分，使從業者能夠將時間集中在其他問題上。如果機器學習算法，計算能力和數據是支撐現代機器學習的支柱，那么機器學習系統就是用來將它們置于適當位置的工具。如今的系統包括用于數學表達式符號操作的功能，跨各種硬件平臺的可移植性，分布式執行，以及與常用實用程序和數學表達式一起預先打包的庫[11, 49, 96, 222]。

作為這篇論文的一部分，我們探討了現代機器學習技術棧中新功能或修訂功能的幾個方向，重點關注整個技術棧中數據的處理。研究數據很重要，因為在三個問題領域中，數據是最具動態性的 — 數據總是可以進一步優化以涵蓋更多樣本、更多特征或某些類型的行為，而模型（和計算）在處理某種類型的數據時必然是固定的。此外，對數據的優化可能導致應用程序的顯著增益，從而刺激數據為中心的AI研究[3]。然而，這并非輕而易舉，改變數據容易說難做。由于缺乏理論理解，對于任何新類型的機器學習任務，從業者可能必須測試哪種數據組合效果最好。如果沒有適當的數據抽象，任務中的單一變化可能導致從業者必須手動評估和調整應用程序數據的特征。調整數據的方面不僅是單調乏味的，而且根據數據評估模型以及系統性能的行為需要機器學習和系統的專業知識，而這些專業知識通常是由不同群體的人擁有的。如果機器學習系統的目標是支持從業者解決重復問題，那么可以合理地期望機器學習系統能夠使數據的快速配置和原型制作成為可能。簡而言之，數據管道應該是機器學習系統棧中的一等公民 - 它們不應該是作為附加工具支持模型和計算的事后考慮。本章其余部分的組織結構如下。首先，我們概述機器學習系統是如何構建和評估的（§1.1）。然后，我們概述機器學習中的工作負載是如何發生根本性變化的，這使得社區分裂成兩個部分（§1.2），并激勵對機器學習系統進行根本不同的處理。然后我們轉向論文的動機，重新審視數據在當前機器學習環境中的重要性（§1.3）。最后，我們介紹論文陳述并概述本文的章節（§1.4）。熟悉當前機器學習和機器學習系統狀態的讀者可以跳過第1.1節和第1.2節的“教科書材料”，并直接前往第1.3節。

最近在無監督表示學習方面的進展導致了許多廣泛使用的人工智能工具，如ChatGPT和穩定擴散。這些工具是將相對簡單的訓練算法應用于大規模GPU集群上的大規模模型，甚至是大量未標記的訓練數據，以及在大量標記的評估任務上調整算法的結果。在這篇論文中，我們提出了一些方法來解決在訓練模型進行表示學習時去除這些組件的問題，即有限的計算量、有限的訓練數據和有限的評估數據。本文主要分為四章，重點研究數據和標簽高效的表示學習。

數據高效表示學習的重點是用較少的數據(有標記或無標記)學習有用的表示，這在本文中討論過，對于數據可用性有限的應用特別重要。標記高效表示學習專注于在訓練數據很少或沒有人工標注的情況下學習有用的表示。正如將要討論的，這對于通常很難或不可能獲得準確標記數據的應用程序很重要，例如在隱私敏感領域或具有高度模糊的標簽定義的應用程序。

(1)自增強:用于自監督學習的自動增強策略，探索了如何在很少/沒有標記訓練數據和少量無標記數據的情況下為無監督學習管道開發增強策略。(2)數據高效的自監督表示學習，探索了如何利用一種形式的分層預訓練進行數據高效80倍的預訓練。(3)區域相似性表示學習，通過在區域(基于塊的)水平上進行對比學習，探索了學習區域級表示的首批方法之一，并在標記數據很少的情況下，對目標檢測/分割等下游任務進行了實質性的改進。(4) scale - mae:一種面向多尺度地理空間表示學習的尺度感知掩碼自編碼器，探索了利用已知尺度信息進行地理空間表示學習的方法。

自從深度學習和深度強化學習出現以來，已經有大量的經驗成功地利用某種人工神經網絡來解決給定的優化問題。然而，許多公司的內部運作方式只被人們模糊地了解，并隱藏在成功的故事中。通過揭示各種含義，這篇論文試圖建立一個理解為什么某些神經網絡架構設計工作，以及關鍵的是為什么其他的不能工作。本文不關注實證結果，而是從研究反向傳播在架構設計和訓練中的簡單數學含義開始。然后，提出一種稀疏的全連接層替代方案，以避免信號傳播中的瓶頸。它進一步展示了如何設計單調神經網絡，以及如何使用這些網絡在連續動作空間控制設置中為智能體提供更靈活的策略表示。這本書進一步討論了將神經網絡分成多個模塊的權衡和設計。特別是，模塊化的需求在目標相互沖突的多任務設置中得到了體現。最后，討論了最近提出的注意力架構及其隱含含義。貫穿整篇論文的結果強調了超參數之間的關聯效應和定制架構設計的必要性。本文適合有技術背景的讀者。它被寫得讓剛開始接觸神經網絡的人也能理解。然而，即使是該領域的資深研究人員也可能對所呈現的獨特觀點感興趣。

//www.research-collection.ethz.ch/handle/20.500.11850/541752

作為一個由經驗結果驅動的領域，深度學習是眾多神經結構設計方案的發源地。幾乎每天都有新的論文發表，建議對某些架構組件進行輕微修改，以提高性能。然而，由于大量的混雜因素，通常不清楚性能的提高實際上是由于架構的變化，還是由于超參數的差異，數據預處理的變化，表示能力的增加，或者只是初始化參數的幸運抽獎。本文著眼于深度強化學習的應用前景，旨在更好地理解神經網絡的基本內部工作原理及其設計。

特別地，本文首先強調了反向傳播的隱式內存需求、常用激活函數的工作范圍以及體系結構組件對梯度傳播的影響。展示了架構瓶頸和門控機制如何導致梯度消失，并討論了殘差連接對梯度動態的影響。它還強調了通過體系結構提供算法結構的必要性，以及結構和有利的訓練動態之間的內在權衡。在第一個實際示例中，本文提出了一種全連接層的稀疏替代方案，可以減少參數計數，而不會引入不必要的瓶頸。在強化學習方面，本文提出了一種在連續動作空間環境中控制的新方法。該方法基于分位數回歸和神經網絡的單調性約束。這種組合允許在網絡參數中隱式地表示策略，從而提供了表示復雜動作分布的靈活性。這種策略的必要性在競爭游戲和約束內存設置中得到了證明。此外，該方法還提高了經典控制問題的學習性能。本文進一步探討了多任務學習的局限性，并針對干擾任務目標的問題提出了兩種解決方案——一種是基于注意力架構先驗的解決方案，另一種是基于與無監督任務聚類配對的神經網絡解決方案。這兩種方法都有效地緩解了這個問題，從而提高了性能，并在不同的環境中具有更廣泛的適用性。 本文最后深入研究了注意力架構和transformer對超參數的敏感性。它強調了將注意力權重約束到概率單形的含義，以及這些如何反映訓練表現。它進一步展示了內部softmax激活如何像sigmoid一樣容易飽和，以及transformer在初始化時如何不是序列長度獨立的。在對抽象任務的大規模實證研究中，將Transformer與可選架構設計進行比較。結果突出了超參數選擇的相關效應，不同架構對數據偏差的魯棒性，以及算法對齊對底層任務的重要性。

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

大規模的神經語言模型在自然語言生成方面取得了令人印象深刻的進展。然而，典型的模型以一種從左到右的、不受約束的方式運行，對生成的內容的控制有限。本文探討了柔性序列模型和弱監督方法來執行各種控制生成任務。我們預計這些技術將廣泛應用于其他領域，如圖像、分子和生物序列的生成。

我們首先介紹了一類稱為空白語言模型(BLMs)的序列模型，它通過動態創建和填充空白來生成序列。給定帶有一個或多個空格的部分指定文本，BLM將使用與上下文一致的可變數量的標記來填充這些空格。我們的模型非常適合各種文本編輯和重寫任務，并在文本填充、古代文本恢復和情感遷移方面證明了有效性。

接下來，我們研究文本自動編碼器及其通過潛在空間操作控制生成的用途。我們建立了一個理論，如何塑造一個有意義的潛在空間幾何離散文本數據。在此基礎上，我們開發了一系列去噪文本自動編碼器，通過簡單的矢量算法展示了屬性修改(例如，時態，情感等)的潛力。

最后兩章討論了在沒有監督數據的情況下的語言風格遷移。我們首先將非并行風格遷移的任務形式化，并討論學習問題的可行性。我們提出了一種利用潛在表示的分布對齊來執行樣式傳輸的方法。然后，我們研究了混雜因素，并表明通過將數據分為兩組不同的風格，每組中的集合說明了我們不希望改變的變化，我們可以利用不變性來隔離混雜因素，并向所需的方向轉移文本。

//dspace.mit.edu/handle/1721.1/144561

深度學習(Deep learning, DL)已經成為現代人工智能中最成功和被廣泛采用的方法之一。與這些成功相伴而來的是越來越復雜和昂貴的架構設計，其基礎是一個核心概念:層。本文對層次的這一基本作用提出了挑戰，并深入介紹了一種新的、無層次的深度學習范式，將輸出計算為動態系統的不動點:深度均衡(DEQ)模型。

首先，我們介紹深度均衡模型的一般公式。我們討論了這些模型如何表達“無限級”的神經網絡，向前和向后解耦傳遞，但與傳統層的成本和設計復雜性-即使在一些最具競爭力的設置(例如，語言建模，語義分割等)。

其次，我們進一步討論了這種均衡方式帶來的挑戰和機遇。我們表明，DEQ公式揭示了深度學習的許多新特性，這些特性長期以來被傳統的層-堆疊方案所掩蓋。利用它們，我們可以訓練和部署這些新的輕量級均衡算法，大大補充了深度學習的現有發展，并使我們能夠在最先進的水平上改善多個現有結果(例如，光流估計)。

DEQ方法已經在理論和實證兩方面引領了社區內隱深度學習的新研究領域(例如，NeurIPS 2020教程)。因此，我們通過討論未來的工作如何進一步利用這一平衡視角來構建更可擴展、高效和準確的下一代DL算法，包括科學計算，這通常是復雜的、高維動力系統的解決方案。

隨著我們構建能夠與周圍真實世界互動的新人工智能技術，從多種模態學習的問題占據了中心舞臺。從醫療保健、教育到通信等應用，越來越多地依賴多種模態已被證明是更準確地感知和處理我們周圍世界的一個獨特因素。在這篇論文中，我們關注在現實世界中學習多模態表示的問題。我們概述了多模態機器學習的三個主要挑戰，并采取具體步驟來解決它們。首先，我們解決了局部融合的挑戰，重點是學習跨模態動力學，包括語言、視覺和聽覺(我們周圍最常見的三種模態)之間的單模態、雙模態和三模態交互作用。隨后，我們躍進到時間融合，其中局部融合挑戰擴展到時間域。時間融合需要模式之間的對齊，這和學習跨模式動力學一樣重要。隨后，第三個挑戰涉及的事實是，在現實世界中，多模態數據幾乎總是部分可見的。我們擴展了變分推理(VI)的功能，以處理甚至是最極端的缺失率和缺失模式的情況。在本文深入研究這些挑戰的過程中，我們對多模態機器學習做出了算法、理論和經驗貢獻。

本論文研究了語言、視覺和聲學模態的多模態學習面臨的三大挑戰： 局部融合挑戰涉及模態間復雜的跨模態交互建模。 時間融合挑戰涉及建模可能存在于順序模式之間的異步數據 丟失數據挑戰涉及建模真實世界部分可觀測的多模態數據