亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在現實生活中部署人工智能體的一個基本問題是它們快速適應環境的能力。傳統的強化學習(RL)以兩種方式與這一需求作斗爭。首先，對不受約束的環境動態的迭代探索會產生大量信息不足的更新，從而導致適應速度緩慢。其次，最終的策略沒有能力適應未來的觀察結果，必須隨著觀察結果的發生緩慢地無限學習或完全重新訓練。本文探討了兩種旨在解決這些問題的表述。元強化學習對整個任務分布的考慮使策略能夠快速適應特定實例。通過強迫智能體特定地請求反饋，主動強化學習強制進行選擇性的觀察和更新。這兩個公式都簡化為貝葉斯-自適應設置，在其中保持對可能環境的概率信念。許多現有的解只提供了在實際環境中使用有限的漸近保證。我們開發了一種近似信念管理的變分方法，并通過廣泛的消融實證支持其有效性。然后，我們考慮最近成功的規劃方法，但發現和討論它們在應用到所討論的設置中的障礙。影響RL系統的數據需求和穩定性的一個重要因素是選擇合適的超參數。我們開發了一種貝葉斯優化方法，利用訓練過程的迭代結構，其經驗性能超過現有基線。本文的最后一個貢獻是提高高斯過程(GPs)的可擴展性和表達性。雖然我們沒有直接使用現有的框架，但GPs已經被用于在密切相關的設置中建模概率信念。

//ora.ox.ac.uk/objects/uuid:54963b90-2d7c-41a9-9bf3-065a3097c077

模型必須能夠自我調整，以適應新環境。深度網絡在過去十年取得了巨大成功，特別是當訓練和測試數據來自相同的分布時。不幸的是，當訓練(源)與測試(目標)數據不同時，性能會受到影響，這種情況稱為域移位。模型需要自我更新以應對這些意外的自然干擾和對抗性擾動，如天氣變化、傳感器退化、對抗性攻擊等。如果我們有一些標記的目標數據，可以使用一些遷移學習方法，如微調和少樣本學習，以有監督的方式優化模型。然而，對目標標簽的要求對于大多數現實場景是不實際的。**本文專注于無監督學習方法，以將模型泛化到目標域。

本文研究了完全測試時自適應的設置，在不獲取目標標簽和源數據的情況下，將模型更新到不可控的目標數據分布。換句話說，模型在這個設置中只有它的參數和未標記的目標數據。其核心思想是利用測試時間優化目標，熵最小化，作為可學習模型的反饋機制，在測試時間內關閉循環。我們通過在線或離線的方式優化模型，以測量輸出熵的置信度。這種簡單有效的方法可以降低自然破壞和對抗性擾動圖像分類的泛化誤差。此外，語義分割模型的自適應特性可用于處理場景理解的動態尺度推理。通過對比學習和擴散模型，我們可以學習目標域特征并生成源風格的圖像，進一步提高動態環境下的識別性能。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-229.html

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

在存在智能對手的情況下，博弈論模型（如安全博弈）已被證明是減輕保護和安全協議中可利用漏洞風險的有效工具，因為它們模擬了對手和防御者之間的戰略互動，并允許防御者在面對這種對手時計劃使用稀缺或有限的資源。然而，標準的安全博弈模型在允許防御者執行的規劃類型方面具有有限的表現力，因為它們只關注一組固定的安全資源的部署和分配。這忽略了兩個非常重要的規劃問題，它們涉及安全系統的戰略設計和部署的資源，以及安全協議的可用性和實施。當這些問題出現在現實世界的系統中時，如果不以一種原則性的方式來處理，安全協議的效用和效率就會出現重大損失。

為了解決這些局限性，在這篇論文中，我為安全博弈的規劃問題引入了一個新的層次結構，將問題分為三個層次的規劃（i）戰略規劃，考慮長期的規劃期限，以及與游戲設計有關的決策，這些決策限制了可能的防御者策略；（ii）戰術規劃，考慮較短的期限，處理資源的部署，以及在戰略層面的限制下選擇防御者策略；（iii）行動規劃，處理在現實世界中的策略實施。

首先，以戰略規劃為重點，我討論了選擇一組資源和時間表類型的設計問題。我引入了一個新的基本問題，即資源團隊和戰術的同步優化（SORT），它模擬了戰略和戰術規劃的耦合問題，在選擇資源類型方面對游戲設計進行了優化，并對它們在現場的實際部署進行了優化。我提供了有效解決SORT問題的算法，該算法使用優化問題的分層放松來計算這些戰略層面的投資決策。我表明，這種更具表現力的模型使防御者能夠進行更精細的決策，從而在效用上獲得巨大的收益。其次，在資源異質性的安全博弈的相關性和艱巨性的激勵下，我還通過提供一個計算異質資源的適應性策略的框架來解決戰術規劃方面的挑戰。最后，我研究了行動規劃的問題，這在安全博弈的文獻中從未被正式研究過。我提出了一個可操作策略的新解決方案概念，它隨機選擇一個最優選擇的純策略子集，其基數由防御者選擇。我展示了計算這種可操作策略的難度，并提供了一種用于計算可操作的最佳均衡的算法。

在所有這些問題中，我的動力來自于現實世界的挑戰，以及開發可在現實世界中使用的解決方法。因此，許多工作都是與Panthera、WWF和其他非政府組織（NGO）合作，幫助保護國家公園和野生動物免受森林砍伐和偷獵，以及與TSA合作，保護我們的機場等關鍵基礎設施免受恐怖襲擊。正因為如此，在處理這三個層次的規劃時，我開發的解決方案不僅是新穎的、學術上有趣的，而且是可部署的、對現實世界有影響的。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

在許多現實世界的應用中，多主體決策是一個普遍存在的問題，如自動駕駛、多人視頻游戲和機器人團隊運動。多智能體學習的主要挑戰包括其他智能體行為的不確定性，以及由聯合觀察、行動和策略空間的高維性導致的維數災難。由于未知的智能體意圖和意外的、可能的對抗性行為，這些挑戰在對抗性場景中進一步加劇。本文提出了魯棒和可擴展的多智能體學習方法，目標是高效地構建可以在對抗性場景中魯棒運行的自主智能體。通過觀察智能體的行為準確推斷其意圖的能力是魯棒決策的關鍵。在這種情況下，一個挑戰是對手實際行為的高度不確定性，包括潛在的欺騙，這可能與先驗行為模型有很大的不同。捕捉自我主體和對手之間的交互以及對雙方主體可用信息的推理，對于建模這種欺騙行為至關重要。本文采用博弈論對手建模方法解決了這一意圖識別問題，該方法基于一種新的多樣性驅動的信念空間集合訓練技術，用于實現對欺騙的魯棒性**。為了將集成方法擴展到具有多個智能體的場景，本文提出了一種可擴展的多智能體學習技術，該技術通過稀疏注意力機制促進了接近最優的聯合策略學習。該機制的結果是集中的參數更新，這大大提高了采樣效率**。此外，本文還提出了一種新的隱式集成訓練方法，該方法利用多任務學習和深度生成策略分布，以較低的計算和內存成本獲得更好的魯棒性。將魯棒的意圖識別和可擴展的多智能體學習結合起來，可以實現魯棒的、可擴展的離線策略學習。然而，完全自主的智能體還需要能夠不斷地從新的環境和對等智能體中學習(并適應)。因此，本文還提出了一種安全的適應方法，既能適應新的對手，又能在對抗場景中對任何可能的對手剝削保持低可利用性。本文的貢獻有助于構建自主代理，使其能夠在具有不確定性的競爭多智能體場景下做出魯棒的決策，并通過計算效率學習安全地適應以前未見的對等智能體。

強化學習(Reinforcement Learning, RL)是一種訓練人工智能體自主與世界互動的方法。然而，在實踐中，強化學習仍然有局限性，禁止在許多現實世界環境中部署強化學習智能體。這是因為RL需要很長時間，通常需要人工監督，并產生在不熟悉的情況下可能表現出出乎意料的特殊智能體。本文的目標是使RL智能體在現實世界中部署時更加靈活、穩健和安全。我們開發具有快速適應能力的智能體，即能夠有效學習新任務的智能體。為此，我們使用元強化學習(Meta- RL)，在這里我們不僅教智能體自主行動，而且教智能體自主學習。基于快速適應可以分為“任務推理”(理解任務)和“任務求解”(解決任務)的直覺，我們提出了四種新的元RL方法。我們假設這種分離可以簡化優化，從而提高性能，并且更適合下游任務。為了實現這一點，我們提出了一種基于上下文的方法，在這種方法中，智能體以表示其對任務的當前知識的上下文為條件。然后，智能體可以使用這一點來決定是進一步了解任務，還是嘗試解決它。在第5章中，我們使用確定性上下文，并確定這確實可以提高性能并充分捕獲任務。在接下來的章節中，我們將在上下文中引入貝葉斯推理，以實現在任務不確定性下的決策。通過結合元強化學習、基于上下文的學習和近似變分推理，開發了為單智能體設置(第6章)和多智能體設置(第7章)計算近似貝葉斯最優智能體的方法。最后，第8章解決了稀疏獎勵的元學習的挑戰，這是許多現實世界應用的重要設置。觀察到，如果獎勵稀疏，現有的元強化學習方法可能會完全失敗，并提出一種方法來克服這一問題，即鼓勵智能體在元訓練期間進行探索。我們以對當前發展背景下的工作的反思和對開放問題的討論來結束論文。綜上所述，本文的研究成果極大地推動了基于Meta-RL的快速適應領域的發展。本文開發的智能體可以比以前的任何方法更快地適應各種任務，并且可以為比以前可能的更復雜的任務分布計算近似貝葉斯最優策略。我們希望這有助于推動Meta-RL研究的發展，并從長遠來看，利用RL解決重要的現實世界挑戰。

《元強化學習》最新，70頁ppt

在構建機器學習管道時，一些常見的假設是：(1）訓練數據足夠 "干凈"，表現良好，因此很少或沒有離群值，或者數據的分布沒有長尾，（2）測試數據遵循與訓練數據相同的分布，以及（3）數據產生于或接近于一個已知的模型類，如線性模型或神經網絡。

然而，隨著計算機、互聯網和各種基于傳感器的技術更容易獲得，科學和工程的各個分支中出現的現代數據集不再是精心策劃的，往往是以分散的、分布式的方式收集。因此，它們受到異質性、對抗性操作和異常值等復雜因素的困擾。隨著我們進入這個臟的數據時代，上述的機器學習管道的假設越來越站不住腳。

對于機器學習的廣泛采用，我們認為任何模型都必須具備以下三個基本要素：

• 穩健性。該模型即使在有噪音和損壞的數據下也能被訓練。

• 可信賴。在訓練結束后，當在現實世界中部署時，該模型在分布的良性變化下不應該崩潰。

• 有彈性。建模程序應該在模型錯誤指定的情況下工作，也就是說，即使建模假設崩潰，模型也應該找到可能的最佳解決方案。

在這篇論文中，我們的目標是修改最先進的ML技術并設計新的算法，使其即使在沒有上述假設的情況下也能工作，并且是穩健、可信和有彈性的。我們的貢獻如下。

在第二章中，我們提供了一類新的統計最優估計器，這些估計器對各種環境是穩健的，如任意污染和重尾數據等。

在第三章中，我們用一類新的計算效率高的穩健風險最小化估計器來補充我們的統計最優估計器。這些結果為一般的統計模型，如線性回歸、邏輯回歸等，提供了一些最早的可計算的、可證明的穩健估計器。

在第四章中，我們研究了在基礎分布中的一些樣本可能被任意破壞的情況下學習Ising模型的問題。

最后，在第五章，我們討論了我們的結果對現代機器學習的影響。

在過去的十年里，人們對人工智能和機器學習的興趣有了相當大的增長。從最廣泛的意義上說，這些領域旨在“學習一些有用的東西”，了解生物體所處的環境。如何處理收集到的信息導致了算法的發展——如何處理高維數據和處理不確定性。在機器學習和相關領域的早期研究階段，類似的技術在相對孤立的研究社區中被發現。雖然不是所有的技術都有概率論的自然描述，但許多都有，它是圖模型的框架(圖和概率論的結合)，使從統計物理、統計、機器學習和信息理論的想法的理解和轉移。在這種程度上，現在有理由期待機器學習研究人員熟悉統計建模技術的基礎知識。這本書集中在信息處理和機器學習的概率方面。當然，沒有人說這種方法是正確的，也沒有人說這是唯一有用的方法。事實上，有人可能會反駁說，這是沒有必要的，因為“生物有機體不使用概率論”。無論情況是否如此，不可否認的是，圖模型和概率框架幫助機器學習領域出現了新算法和模型的爆炸式增長。我們還應該清楚，貝葉斯觀點并不是描述機器學習和信息處理的唯一方法。貝葉斯和概率技術在需要考慮不確定性的領域中發揮了自己的作用。

//www0.cs.ucl.ac.uk/staff/d.barber/brml/

本書結構

本書第一部分的目的之一是鼓勵計算機科學專業的學生進入這一領域。許多現代學生面臨的一個特別困難是有限的正規微積分和線性代數訓練，這意味著連續和高維分布的細節可能會讓他們離開。在以概率作為推理系統的一種形式開始時，我們希望向讀者展示他們可能更熟悉的邏輯推理和動態規劃的想法如何在概率環境中有自然的相似之處。特別是，計算機科學的學生熟悉的概念，算法為核心。然而，在機器學習中更常見的做法是將模型視為核心，而如何實現則是次要的。從這個角度來看，理解如何將一個數學模型轉換成一段計算機代碼是核心。

第二部分介紹了理解連續分布所需的統計背景，以及如何從概率框架來看待學習。第三部分討論機器學習的主題。當然，當一些讀者看到他們最喜歡的統計話題被列在機器學習下面時，他們會感到驚訝。統計學和機器學習之間的一個不同觀點是，我們最終希望構建什么樣的系統(能夠完成“人類/生物信息處理任務的機器)，而不是某些技術。因此，我認為這本書的這一部分對機器學習者來說是有用的。第四部分討論了明確考慮時間的動態模型。特別是卡爾曼濾波器被視為圖模型的一種形式，這有助于強調模型是什么，而不是像工程文獻中更傳統的那樣把它作為一個“過濾器”。第五部分簡要介紹了近似推理技術，包括隨機(蒙特卡羅)和確定性(變分)技術。