亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在這篇論文中，我們研究了深度強化學習中的對稱性和結構。我們將論文分為兩部分。在第一部分，我們探討如何在強化學習中利用對稱性的知識。在第二部分，我們提出了一些方法，用于學習智能體的環境和狀態的結構。我們提出了MDP 同態網絡，這是一種在 MDP 的聯合狀態-動作空間下對稱性下是等變的神經網絡。由于等變性，我們發現與非等變的基線相比，數據效率得到了提高。我們提出了多智能體MDP 同態網絡，一類網絡，允許使用僅局部信息的分布式執行，但能夠在合作多智能體系統的聯合狀態-動作空間的全局對稱性之間分享經驗。我們顯示全局等變性比對稱協調問題的非等變分布式網絡的數據效率更高。我們提出了 PRAE。PRAE 利用動作等變性進行強化學習中的表示學習。動作下的等變性表明輸入空間中的轉換被潛在空間中的等效轉換所鏡像，而映射和轉換函數也應該交換。我們證明，在某些假設下，學到的映射是一個 MDP 同態，并且通過實驗證明該方法是數據高效的，易于訓練，能很好地推廣到具有相同環境動力學的新目標狀態和實例。我們提出了 C-SWMs，它使用對比編碼和圖神經網絡轉換函數，從像素中找到狀態的面向對象的表示。我們顯示與使用解碼器、非結構化轉換或非結構化表示相比，在多步預測和泛化到未見環境配置方面有所改善。

對稱性和結構無處不在。當我們行走時，右腿的運動鏡像了左腿的運動。當分子旋轉時，它們的分子性質不變。當我們導航到一個目的地時，我們會考慮不同路段的連通性。當我們交談時，我們可以將單詞串聯起來，形成完全新的句子。在日常生活中，我們使用關于任務的對稱性和結構的信息來指導我們的決策制定。

在人工智能中，對稱性和結構也無處不在。考慮一下在運動過程中鏡像左右腿運動的機器人，自動化芯片設計，追蹤野生動物運動的無人機群，玩 Atari Pong 的機器人，其中屏幕的上下部分是彼此的反射，分子設計，計算機玩家在圍棋游戲中考慮旋轉的棋盤狀態，以及自動駕駛車輛從荷蘭的右側道路切換到英國的左側道路。這些都是 AI 中展示了某種對稱性或結構的任務的例子。利用固有對稱性和結構的知識是構建可擴展系統的重要一步。

強化學習是人工智能的一個基礎研究領域，它鼓勵智能體從正反饋信號中學習，我們稱這為獎勵。通過試錯，智能體可以學會將情境、動作和反饋關聯起來，從而改善其決策。例如，我們可以給一個機器人正向獎勵以鼓勵它快速行走，而給它負向獎勵以防止它跌倒。同樣，我們可以給計算機玩家正向獎勵以鼓勵它贏得比賽，負向獎勵以防止輸掉比賽，或者給一個提出特別高效的芯片設計的智能體正向獎勵。使用強化學習領域的概念，我們可以將上述示例正式化，以提出導致智能體做出良好決策的方法。在深度強化學習中，智能體使用神經網絡來決定采取哪個動作，而神經網絡會根據收到的獎勵信號適應任務。然而，即使是那些遠遠不及人類能力的智能任務，對于人工決策者來說也可能會遇到問題。考慮任何一個在現實世界中運作的基于視覺的控制系統。智能體接收到攝像頭輸入作為觀測，然后必須學習采取最佳動作。可能的觀測數量是極其龐大的，而智能體不太可能遇到兩個完全相同的狀態。因此，我們希望智能體能夠重用先前狀態的經驗，以便在具有相似特征的未見狀態中做出良好的決策。例如，在決定如何移動左腿時，智能體應該模仿它學到的移動右腿的動作。

上述示例只是強化學習問題中對稱性和結構出現的幾個案例。這可以通過考慮在一個狀態中采取一個動作是否等同于在另一個狀態中采取另一個動作來形式化。在這篇論文中，我們將研究當我們知道對稱性和結構時如何在強化學習中使用它，以及如果不知道時如何提取它。智能體不應該學習已知的東西。知識是由系統設計者作為先驗知識提供的，還是通過智能體自身的泛化獲得的，應取決于問題的上下文。通過適當地重復使用知識，我們可以減少智能體需要與世界互動的次數，這是擴展到真實世界設置的重要部分。在這篇論文中，我們將特別關注強化學習中的對稱性和結構。

基于圖的學習側重于圖形結構數據的建模。其重要應用包括基于分子結構分析化學化合物、基于輻射傳感器網絡數據預測太陽能農場的產出、根據城市間的地理關系和社交網絡互動預測流行病爆發等。基于圖的學習算法已經迅速發展，解決了以下基本挑戰：

? 編碼圖中每個單獨節點和節點組合的豐富信息，也被稱為圖表示學習挑戰； ? 在圖只部分可觀察時恢復缺失的邊，也被稱為圖完成挑戰； ? 在標記節點非常稀疏的圖形設置中利用主動學習，也被稱為標簽稀疏挑戰； ? 提高在非常大的圖上進行訓練和推斷的可行性，也被稱為擴展挑戰。

本論文旨在通過以下主要貢獻從上述各個方面增強基于圖的機器學習：

• 用于二分圖邊緣預測的圖卷積矩陣分解：對于一類特定的圖，即二分圖，傳統的矩陣分解方法不能有效地利用節點兩組內的相似度測量等邊信息。因此，我們建議使用圖卷積來增強學習到的分解表示與結構化的邊信息，以獲得更好的預測精度。

• 使用圖神經網絡（GNNs）進行通用邊緣預測：雖然GNNs在節點分類中取得了很大成功，但在邊緣預測方面并沒有達到相匹配的性能水平。這種現象的一個可能解釋是GNNs中的潛在嵌入嚴重依賴于輸入節點特征，如果這些輸入特征質量不高，或者對于手頭的預測任務而言噪聲較大，那么就無法避免次優性能。我們建議通過結合使用傳統的GNN和Transformer模型來解決這個問題，這可以通過Transformer模型中的靈活位置嵌入來改進節點的嵌入。

• 用于節點分類的圖增強主動學習（Graph-AL）：主動學習已被深入研究，以解決標簽稀疏問題，并已成功應用于文本/視頻/音頻數據，但沒有應用于圖。流行的主動學習策略可能不適用于圖。例如，基于密度的文檔選擇將所有候選文檔視為不相關的實例，忽略了輸入圖中節點之間的依賴結構。我們提出了第一個專為圖神經網絡量身定制的基于圖的主動學習方法，它同時考慮節點內部特征和節點間連接，以便在主動學習中進行節點選擇。

大規模基于圖的學習的各種實際應用：我們已將基于圖的學習應用于各種實際問題，包括基于多圖的協同過濾，跨語言的基于圖的遷移學習，基于圖的深度學習用于流行病學預測，圖增強節點分類，邊緣檢測和知識庫完成；在這些領域我們分別獲得了最先進的結果（Chang等，2017; Liu等，2017a; Wu等，2018b, c; Xu等，2018b）。

機器學習領域，特別是深度學習，由于算法、計算能力和數據集的改進，近年來取得了巨大進步。為支持深度學習而構建的系統主要針對用于生成學習模型的計算。 本論文提出改為關注數據在訓練和驗證中的作用。在論文的第一部分，我們關注訓練數據，展示了負責訓練數據的數據管道是性能考慮的首要目標。為了解決性能問題，我們引入了一種在數據轉換空間中進行數據子采樣的方式，一種降低精度的輸入/輸出格式，以及一個自動調整數據管道性能參數的系統。在論文的第二部分，由于日益增長和表達能力增強的模型的趨勢，我們轉向驗證環境，開發了一個系統，可以使用標準正則表達式自動查詢和驗證大型語言模型的行為。我們以機器學習的數據系統領域的未來工作作為結論。在過去的十年里，機器學習（ML）在應用方面經歷了迅猛的增長。這個領域關注的是隨著數據或經驗而改進的算法[201]，已經從一系列專業化的應用（例如，廣告[195]，推薦系統[60, 106, 213]，垃圾郵件檢測[316]）演變為應用于幾乎所有技術領域。例如，深度學習應用于游戲玩法[261, 286]，蛋白質折疊[143]，機器人學[80]，一系列自然語言處理任務[43, 55]，并且預計將達到一種無處不在的程度，可能導致重大的經濟顛覆[87]。在這場革命的最前沿是深度學習子領域[108, 173]。深度學習使用多層結構 - 數學操作 - 來構建模型。這些層被聯合學習，以便早期層簡化后續層面臨的任務。雖然深度網絡在理論上可能不如其他機器學習或人工智能方法那么被理解，但它們已經表明，盡管在計算上開銷巨大但通用的方法最終會主導利用額外專業化的算法[268]。這種在計算上開銷巨大但通用的方法已經受益于像摩爾定律[209]這樣的趨勢 - 硬件性能的指數級增長 - 以及硬件和軟件的專業化[165, 275]。如今眾多的深度學習軟件使深度學習或許比其他替代方案更易于獲取 - 只需獲得通常是開源且隨時可用的模型規范代碼，就可以訓練最先進的模型。深度學習技術的核心已經被商品化和民主化，使任何人都可以受益于人類多年的研究和開發。

然而，盡管使用深度學習的常規方面變得更加容易，但仍然存在一些基本問題有待解決，并影響許多應用的下游性能。對這些問題（及其相應解決方案）進行分類的一種方法是將它們分為三個領域：1）機器學習算法，2）計算能力，和3）數據。這三個領域的每一個都已經經過優化以持續推動該領域的進步，并且被列為導致深度學習興起的關鍵因素[35]。例如，缺乏訓練數據和計算能力被歸因為深度網絡在2000年初的衰退[35]。直到大約十年后，這些因素的缺乏才得以彌補，當時在2012年ImageNet大規模視覺識別挑戰（ILSVRC）比賽中取得了創紀錄的表現[71]。獲勝的提交，AlexNet[156]，是一個深度卷積神經網絡（CNN），并且在圖形處理單元（GPU）的幫助下接受了一百萬張圖像的訓練。機器學習算法也有所進步，使學習更加高效。例如，ReLU激活和dropout是2012年提交[156, 173]的關鍵算法組件，是廣泛用于加速學習的數學操作。當這些進步結合起來時，由此產生的模型以絕對誤差超過了僅次于其的提交，開始了計算機視覺的革命[173]。今天在自然語言處理方面的最新趨勢可以類似地視為核心算法創新[285]，并擴展到大量數據和計算[43, 55]，從而導致性能的可預測提升。在民主化機器學習的最前沿是機器學習系統[239]。這些系統包含并解決機器學習方法中足夠公式化的部分，使從業者能夠將時間集中在其他問題上。如果機器學習算法，計算能力和數據是支撐現代機器學習的支柱，那么機器學習系統就是用來將它們置于適當位置的工具。如今的系統包括用于數學表達式符號操作的功能，跨各種硬件平臺的可移植性，分布式執行，以及與常用實用程序和數學表達式一起預先打包的庫[11, 49, 96, 222]。

作為這篇論文的一部分，我們探討了現代機器學習技術棧中新功能或修訂功能的幾個方向，重點關注整個技術棧中數據的處理。研究數據很重要，因為在三個問題領域中，數據是最具動態性的 — 數據總是可以進一步優化以涵蓋更多樣本、更多特征或某些類型的行為，而模型（和計算）在處理某種類型的數據時必然是固定的。此外，對數據的優化可能導致應用程序的顯著增益，從而刺激數據為中心的AI研究[3]。然而，這并非輕而易舉，改變數據容易說難做。由于缺乏理論理解，對于任何新類型的機器學習任務，從業者可能必須測試哪種數據組合效果最好。如果沒有適當的數據抽象，任務中的單一變化可能導致從業者必須手動評估和調整應用程序數據的特征。調整數據的方面不僅是單調乏味的，而且根據數據評估模型以及系統性能的行為需要機器學習和系統的專業知識，而這些專業知識通常是由不同群體的人擁有的。如果機器學習系統的目標是支持從業者解決重復問題，那么可以合理地期望機器學習系統能夠使數據的快速配置和原型制作成為可能。簡而言之，數據管道應該是機器學習系統棧中的一等公民 - 它們不應該是作為附加工具支持模型和計算的事后考慮。本章其余部分的組織結構如下。首先，我們概述機器學習系統是如何構建和評估的（§1.1）。然后，我們概述機器學習中的工作負載是如何發生根本性變化的，這使得社區分裂成兩個部分（§1.2），并激勵對機器學習系統進行根本不同的處理。然后我們轉向論文的動機，重新審視數據在當前機器學習環境中的重要性（§1.3）。最后，我們介紹論文陳述并概述本文的章節（§1.4）。熟悉當前機器學習和機器學習系統狀態的讀者可以跳過第1.1節和第1.2節的“教科書材料”，并直接前往第1.3節。

最近在無監督表示學習方面的進展導致了許多廣泛使用的人工智能工具，如ChatGPT和穩定擴散。這些工具是將相對簡單的訓練算法應用于大規模GPU集群上的大規模模型，甚至是大量未標記的訓練數據，以及在大量標記的評估任務上調整算法的結果。在這篇論文中，我們提出了一些方法來解決在訓練模型進行表示學習時去除這些組件的問題，即有限的計算量、有限的訓練數據和有限的評估數據。本文主要分為四章，重點研究數據和標簽高效的表示學習。

數據高效表示學習的重點是用較少的數據(有標記或無標記)學習有用的表示，這在本文中討論過，對于數據可用性有限的應用特別重要。標記高效表示學習專注于在訓練數據很少或沒有人工標注的情況下學習有用的表示。正如將要討論的，這對于通常很難或不可能獲得準確標記數據的應用程序很重要，例如在隱私敏感領域或具有高度模糊的標簽定義的應用程序。

(1)自增強:用于自監督學習的自動增強策略，探索了如何在很少/沒有標記訓練數據和少量無標記數據的情況下為無監督學習管道開發增強策略。(2)數據高效的自監督表示學習，探索了如何利用一種形式的分層預訓練進行數據高效80倍的預訓練。(3)區域相似性表示學習，通過在區域(基于塊的)水平上進行對比學習，探索了學習區域級表示的首批方法之一，并在標記數據很少的情況下，對目標檢測/分割等下游任務進行了實質性的改進。(4) scale - mae:一種面向多尺度地理空間表示學習的尺度感知掩碼自編碼器，探索了利用已知尺度信息進行地理空間表示學習的方法。

**訓練基于深度神經網絡的自動語音識別(ASR)模型通常需要數千小時的轉錄數據，將其限制在少數語言中。此外，目前最先進的聲學模型基于Transformer架構，該架構隨著序列長度的二次增長，阻礙了其對長序列的使用。本文旨在減少(a)數據和(b)開發最先進的ASR系統的計算需求，只有幾百小時或更少的轉錄數據。本文的第一部分著重于減少訓練這些模型所需的轉錄數據量。本文提出一種使用dropout進行不確定性感知半監督學習的方法。該方法為未標記數據的訓練產生了更好的假設。研究了兩種流行的自監督預訓練方法的域外和跨語言泛化:掩碼聲學建模和wav2vec 2.0。兩種預訓練方法都可以泛化到未見過的域，并明顯優于僅用監督數據訓練的模型。//infoscience.epfl.ch/record/297304?ln=en在第二部分中，專注于減少Transformer模型的計算需求，(a)通過設計高效的注意力計算形式，(b)通過減少注意力計算的輸入上下文長度。**本文首次提出"線性"注意力，使用注意力的核公式將自回歸transformer表示為遞歸神經網絡，并將序列長度的計算復雜度從二次降低到線性。提出"聚類"注意力，通過對輸入序列進行聚類并使用質心進行計算來近似自注意力。在給定的計算預算下，聚類注意力優于普通注意力。對于ASR，我們發現線性注意力導致詞錯誤率下降，而聚類在處理較短序列時引入了開銷。為解決這一限制，本文開發了一種方法，用均值池化對輸入進行隨機下采樣，以實現高效的wav2vec 2.0訓練。這使得在推理過程中可以在不同的壓縮因子下使用相同的模型。對wav2vec 2.0預訓練的隨機壓縮，能夠為轉錄數據有限的語言建立計算高效的ASR模型。

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

大規模的神經語言模型在自然語言生成方面取得了令人印象深刻的進展。然而，典型的模型以一種從左到右的、不受約束的方式運行，對生成的內容的控制有限。本文探討了柔性序列模型和弱監督方法來執行各種控制生成任務。我們預計這些技術將廣泛應用于其他領域，如圖像、分子和生物序列的生成。

我們首先介紹了一類稱為空白語言模型(BLMs)的序列模型，它通過動態創建和填充空白來生成序列。給定帶有一個或多個空格的部分指定文本，BLM將使用與上下文一致的可變數量的標記來填充這些空格。我們的模型非常適合各種文本編輯和重寫任務，并在文本填充、古代文本恢復和情感遷移方面證明了有效性。

接下來，我們研究文本自動編碼器及其通過潛在空間操作控制生成的用途。我們建立了一個理論，如何塑造一個有意義的潛在空間幾何離散文本數據。在此基礎上，我們開發了一系列去噪文本自動編碼器，通過簡單的矢量算法展示了屬性修改(例如，時態，情感等)的潛力。

最后兩章討論了在沒有監督數據的情況下的語言風格遷移。我們首先將非并行風格遷移的任務形式化，并討論學習問題的可行性。我們提出了一種利用潛在表示的分布對齊來執行樣式傳輸的方法。然后，我們研究了混雜因素，并表明通過將數據分為兩組不同的風格，每組中的集合說明了我們不希望改變的變化，我們可以利用不變性來隔離混雜因素，并向所需的方向轉移文本。

//dspace.mit.edu/handle/1721.1/144561

互聯多模態信息源的日益可用性推動了推薦系統的新概率模型的開發，該模型利用關系數據中的上下文。因此，我們尋求整合上下文信息，以預測用戶的信息需求。在這篇論文中，我們關注一組將上下文信息建模到因子化模型的技術，特別是使用隱式反饋(如事件計數)的模型。此外，我們提出了這些模型的分析工具，提高了我們尋找合適超參數的能力。為了將計數(例如，頁面中的點擊次數)建模為隱式用戶反饋，我們選擇使用泊松分解作為構建塊。然后，我們開發了兩個泊松分解模型，其中包括社會網絡、項目文本內容和作為上下文信息的周期時間事件，并將其合并到一個聯合矩陣和張量分解模型中(第3章和第4章)。我們開發了一個聯合層次遞歸神經網絡和一個時間點過程模型來解決多會話推薦的問題，我們觀察項目的序列分組到會話序列中，并創建了一個能夠提供itens推薦和下一次會話時間預測的模型(第5章)。我們利用并開發了一種基于先驗預測分布的方法，該方法允許我們設置泊松因子分解模型的超參數，而不需要將模型與數據擬合，(第6章)這里的一個相關結果是泊松因子分解模型中潛在空間維度的一個封閉形式方程。一般來說，我們將這項工作定位為在推薦系統的背景下利用多關系和計數數據作為上下文信息的信號的概率建模的貢獻，貢獻范圍包括模型設計、分析和超參數選擇。