亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在近年來，模仿學習（IL）領域取得了顯著進展，研究人員已將這種機器學習技術應用于機器人學、自動駕駛汽車、醫療保健和游戲玩法等多個領域。每個領域都通過開發和應用新方法解決特定于其領域的獨特問題，為該領域的進步做出了貢獻。在本論文中，我們重點關注在兩個具有獨特挑戰的領域中的IL應用。 第一個應用涉及學習模仿混合整數線性規劃（MILP）求解器的高精度啟發式算法，盡管準確，但由于計算效率低下而不實用。第二個應用涉及開發一個IL框架，通過使用新開發的主動接觸追蹤（PCT）框架，通過智能手機應用準確預測個體的傳染性，克服了傳統接觸追蹤方法的限制。

我們基于可管理環境（例如，模擬器）的動態設計IL框架，目的是將學習的模型轉移到更大的未見環境。這些框架的開發需要考慮和解決幾個挑戰。這些挑戰包括納入領域特定的歸納偏見，確保模型對分布偏移的魯棒性，以及設計適合部署的輕量級模型。通過解決這些挑戰，我們希望不僅為IL的進步做出貢獻，還為應用它的領域帶來新的和改進的解決方案。

為了模仿混合整數線性規劃（MILP）求解器的專家啟發式，我們識別并解決了現有模仿學習（IL）框架的兩個主要缺點。首先，我們提出的圖神經網絡（GNNs）在計算上開銷巨大但非常精確，而它們的運行性能在缺少GPU的情況下會降低。這種情況可能出現，因為MILP求解器只能在CPU上運行。為了解決這個問題，我們提出了新的架構，這些架構在GNNs的表現力和多線性感知器的低成本計算之間進行了權衡，同時提出了訓練協議，使模型能夠抵抗分布的變化。使用這些技術訓練的模型實現了高達26％的運行時間改進。第二個問題是無法捕捉觀測之間的依賴性以訓練GNNs。我們的研究揭示了專家啟發式中經常出現的“回顧”現象，即在子節點處的最佳決策往往是父節點的次佳決策。為了將這一現象納入損失函數中，我們提出了一種新的損失函數，更準確地模仿了這種啟發式，使模型的運行時間提高了高達15％。

最終，在 COVID-19 大流行期間，世界各國面臨一個難題，即是要開放經濟還是優先保護生命。作為回應，數字接觸追蹤應用程序應運而生。然而，為了避免侵犯用戶隱私，大多數應用依賴于一個具有有限智能的隔離與否界面，無法精確了解通知接收者的風險級別。這種方法導致了警報疲勞，使用戶更不可能遵循推薦。為了解決這些問題，同時保持用戶隱私和復雜的風險評估模型，我們提出了主動接觸追蹤（PCT）框架。我們的框架重新利用用戶通信來傳遞關于估計風險的信息，即“風險消息”。這些消息，連同個人信息（例如，醫療歷史或癥狀），用于風險估計模型，以輸出發送給其他用戶的風險消息。根據估計的風險，向用戶顯示分級通知（例如，小心行事或避免不必要的行為）。使用基于代理的模型（ABM）和一個簡單的可解釋的基于規則的模型，我們證明了基于規則的 PCT 在經濟-公共健康權衡方面優于現有應用。

在后續工作中，我們轉向深度學習來設計風險估計模型。雖然強化學習本來是理想的選擇，但計算成本高昂的ABM（代理基模型）排除了其使用。因此，我們采用了模仿學習框架來訓練深度學習模型，具體來說，我們提出了幾種集合變換器的變體。我們還使用了領域隨機化，通過使用ABM的幾種隨機實例收集觀測數據，以確保模型對嵌入ABM中的假設保持魯棒性。此外，我們使用迭代訓練以確保模型對自我引起的分布轉移保持魯棒性。總體來說，我們展示了基于深度學習的PCT（預測性控制技術）優于基于規則的PCT。為了完成我們的提議，我們建議一個迭代過程，用于應用部署和ABM校準，以彌合從ABM到實際部署的差距。

在過去的十年里，深度學習取得了令人興奮的進展。隨著大型基礎模型的不斷發展和在現實生活中的應用，一個重要的問題是，我們如何使這些昂貴、難以解讀的模型更加高效和可靠。在這篇論文中，我們提出了一系列基于共形預測的基本技術來構建和部署有效的深度學習系統。共形預測是一種模型不可知且無分布的不確定性估計框架。我們開發了理論和實踐，利用不確定性估計來構建適應性模型，這些模型運行成本更低，具有理想的性能保證，且通用性足以在許多現實世界場景中表現良好。在實證研究中，我們主要關注自然語言處理（NLP）應用，同時對計算機視覺、藥物發現和醫學領域的任務進行了大量拓展。

近年來，深度學習方法的穩步進展已導致在自然語言處理（Devlin et al., 2019; Brown et al., 2020; Schulman et al., 2023）、計算機視覺（He et al., 2015; Dosovitskiy et al., 2021）、計算化學（Jumper et al., 2021）以及預測醫學（Yala et al., 2021; Mikhael et al., 2023）等領域廣泛且有時是革命性的突破。這一進展的重要部分可以歸因于規模：在前所未有的數據量上訓練的大型基礎模型改變了許多預測任務的建模和解決方式。同時，隨著這些模型開始滲透到現實生活應用中，新的挑戰開始出現。特別是，最優秀的現代模型的巨大計算占用使得運行成本高昂，甚至這些最好的模型在部署期間也不可避免地會犯下有害的錯誤。 在這篇論文中，我們基于共形預測開發了嚴格的統計工具，以幫助解決這些相互關聯的挑戰的多個方面。共形預測（Vovk et al., 2005）是一個日益受到機器學習社區歡迎的不確定性估計框架，因其有利的模型不可知、無分布、有限樣本保證而受到青睞。我們在共形預測的基礎上提出了幾項基本的理論和實證進步，幫助用戶安全地使用在真實世界中出現的困難但常見情況下部署的模型。同時，我們還展示了如何利用這些不確定性估計技術通過采取相反的方法來做出更高效的預測：對于簡單的輸入，采用不那么保守的方式，并選擇使用更便宜、更簡單的函數來做出預測——但仍確保對模型整體性能的任何降級都嚴格限制在一定范圍內。

在大型神經網絡中的高效計算如變壓器（Transformers，Vaswani et al., 2017b）等大型多層神經網絡已成為解決自然語言處理等任務的事實標準方法。然而，盡管它們表現出色，但它們通常巨大的計算負擔使得運行成本高昂。關于它們效率的擔憂引發了該領域的大量研究（Schwartz et al., 2020a）。使模型更高效通常不是免費的：加速推斷的簡單技術可能會導致對依賴維度的不可預測打擊，如模型準確性，特別是在更難、少數群體子集的最壞情況下。然而，一個關鍵的洞察是，這種退化可以從輸入到輸入變化——并非所有示例都需要相同的計算量（例如，可以使用簡單函數來推斷它們的標簽）。我們開發了允許神經網絡中根據輸入示例的復雜性進行自適應計算的技術，并提供了精確的概率上界，用于可能遭受的誤差增加。

嚴謹的、通用目的的不確定性估計使模型更高效運行使它們能夠在計算限制可能是限制因素的實際場景中更廣泛地部署。然而，隨著模型在現實世界中的更廣泛部署，它們有可能犯下昂貴的錯誤。大多數現代系統輸出單一預測——無論是實值、標簽、自由形式生成的文本、結構化對象還是其他響應變量。然而，對于許多應用程序，用有意義的不確定性估計來豐富這種預測也至關重要（Amodei et al., 2016; Jiang et al., 2012, 2018; Rajpurkar et al.,2018）。在敏感的高風險應用中（如醫學應用），顯示置信度指標（實際反映模型是否可能正確或錯誤）與獲得高準確性一樣重要。不確定性估計也在用戶無法輕易驗證答案本身并必須盲目信任時相關。例如，大多數機器翻譯系統用戶無法知道特定翻譯是否準確。可靠的不確定性估計可以緩解這些錯誤的一些負面后果。一個意識到自己不確定性的模型可以用來（1）告訴用戶它有多確信某個概率，（2）說它確信正確答案是幾個選項之一，或者（3）完全放棄預測，以轉而依賴于不同的模型或人類。在這篇論文中，我們探索了這些方向的幾個，并在共形預測的基礎上建立了用于校準具有可證明性能保證的集合值不確定性估計的額外重要基礎。具體而言，我們提出了對共形預測的擴展，這些擴展可以可證明地控制各種類型的風險，更適合于具有非唯一答案的大標簽空間，適用于具有有限校準數據的少數鏡頭設置進行驗證，以及在具有約束的實際問題中應用時通常更有用。

我們研究了野外拍攝的視頻中多人三維重建的問題。人類的動作是動態的，準確地在各種環境中重建它們對于開發沉浸式社交遠程呈現、輔助性人形機器人和增強現實系統至關重要。然而，創建這樣的系統需要解決關于數據和模型架構的以前工作的基本問題。在這篇論文中，我們開發了幾個大規模的3D基準測試，旨在評估在苛刻條件下的多人重建，以及對遮擋和擁擠環境有韌性的自上而下的算法。 數據 - 為深度學習模型獲得大規模的3D監督是實現真實世界泛化的關鍵。然而，與大規模2D數據集不同，3D數據集的多樣性顯著受限 - 主要是因為在3D空間中手工注釋是不切實際的。因此，大多數3D基準測試都限制于室內環境，或者最多是兩個室外的人類主題，攝像機的移動緩慢或固定，并且遮擋最小。為了解決這個差距，我們探索使用3D合成數據，并構建兩個真實的多人3D數據集，這些數據集包括動態的人類活動、快速的攝像機移動和人與人之間的接觸，這些在之前的基準測試中都被忽視了；以突出現有方法的關鍵局限性。 方法論 - 一個通用的多人3D重建方法應該對尺度變化和遮擋具有韌性，并結合絕對深度理解。我們在2D和3D設置中引入了這些特性的算法，這些算法使我們能夠推理在動態環境和擁擠場景中的多個人。我們的自上而下的方法利用空間-上下文信息來推理3D場景中嚴重遮擋的人類。 基于這兩個組件，我們開發了從野外視頻中重建動態場景中的多個人的通用3D方法。

計算機視覺領域的一個主要目標是人體的三維重建[78]。這種能力對于視頻游戲、電影和遠程呈現的應用至關重要。然而，目前大多數關于3D人體重建的方法和數據集都是針對單一人體場景的[95, 109, 263]。考慮到人類本質上是社交生物，經常與其他人互動，多人場景的存在顯得十分重要。現有的方法往往做出了限制性的假設，不容易擴展到這些多人情境。此外，現有的單一人體數據集提供的監督在泛化到多人上下文時，特別是在不可預測的、野外的條件下，都顯得不足。 本論文描述了在野外捕獲的大規模3D多人數據集的新技術。此外，它還提出了一些不僅定制于多人場景，而且對于擁擠和遮擋等挑戰表現出強大韌性的方法。從圖像和視頻中推導人體的3D結構的主要挑戰是這個任務的數學病態性。正如Adelson和Pentland[1]在工作坊的比喻中所強調的，以及Sinha和Adelson[229]的多面體線條圖所展示的，許多3D配置都可以匹配一個給定的2D圖像。然而，我們的世界是有結構的，這些配置并不都同樣可能。盡管如此，我們的世界具有固有的結構，使得某些配置比其他配置更有可能。人們根據環境中的熟悉模式和規律來辨識可能的3D結構。同樣地，我們讓計算機掌握3D的努力也主要依賴于將這種先驗知識嵌入到推斷過程中。 在當前的計算機視覺領域，像圖像分類[46]、物體檢測[144]和語義分割[40]這樣的領域，3D人體重建主要依賴于帶有3D注釋的3D數據集來編碼這些固有的先驗。獲得這些3D人體注釋的主要方法是通過多視圖捕獲設置，因為手工3D注釋既低效又具有挑戰性。然而，值得注意的是，許多這些3D人體重建數據集主要集中在單一人體場景上，忽視了多人互動。是什么驅動了這種趨勢？人們可能會辯稱，收集單一人體數據更簡單、更直接。此外，在多視圖設置中，框架中只有一個主題可以避免多個個體之間的跨視圖對應關系的復雜性。然而，這種對數據集組成的狹隘關注無意中推動了該領域朝向在多人環境中失誤的方法，參見圖1.1。總之，深入研究構建一個全面的多人3D重建系統不僅需要開發能夠適當地建模人與人之間的深度關系和互動的方法，如人與人之間的接觸，而且更關鍵的是，解決現有3D人體數據集中的局限性。

在本論文中，我們解決了這兩個主要的挑戰：創建大規模的多人數據集以及改進3D人體重建技術。我們的討論分為三部分。在第一部分中，我們探討了使用合成3D監督以及它糾正當前數據集偏見的潛力。這引出了關鍵問題：純粹在合成數據上進行訓練的模型可以被信任在真實數據上工作得很好嗎？我們如何在它們之間建立域間的橋梁？在第二部分，我們評估了當前方法在多人上下文中的局限性，從簡單的任務如2D姿態估計開始，然后轉向更復雜的任務，如從單一圖像恢復3D網格。在第三部分，我們回到數據主題，考慮在確保其真實性和多樣性的同時，在大規模收集實際的多人數據的需要和挑戰。 第一部分：合成3D監督。利用最先進的模擬器為3D人體重建的大規模監督生成合成數據的想法是一個令人信服的想法。在這一部分，我們檢查一個中心問題：當純粹在合成數據上進行訓練時，3D方法可以可靠地擴展到真實世界的數據嗎？在第2章，我們提供了證據，表明使用域隨機化的數據允許方法泛化，即使沒有真實世界的注釋，特別是對于3D對象姿態估計任務。然而，我們觀察到，對域隨機化的普通方法并不是最有效率的，通常需要許多合成樣本才能達到可靠的實數據泛化。第3章解決了這一挑戰，引入了一個更有效的域隨機化方法，使合成數據的生成與深度模型在訓練期間的持續進展保持一致。這一章還概述了關于需要多少數據才能實現可靠的實際世界泛化的理論保證。

第二部分：多人姿態和形狀估計。在這部分，我們解決了3D多人重建方法的關鍵限制。第4章主要關注2D姿態估計，尤其是在由遮擋和擁擠標記的復雜多人情境中。我們介紹了一套專為這些場景設計的新穎的自上而下的方法，有效地擺脫了限制性的單人假設。基于這一基礎，第5章擴大了這些方法，以從圖像中解決3D人體網格恢復的問題。我們的主要哲學是將人的點基表示與它們的邊界框表示相結合。我們展示了，令人驚訝的是，這種簡單的集成能夠維持自己，即使在具有挑戰性的多人遮擋的情境中也能夠取得令人印象深刻的結果。 第三部分：真實的3D多人數據集。雖然在第一部分中，我們調查了用于3D的合成數據的使用，但第三部分將焦點轉向真實的多人數據。在第6章中，我們設計了一個適合野外設置的無標記捕獲系統，以記錄多人活動，重點是動態活動，如體育和舞蹈。同時，我們引入了一個半自動的注釋流程，以減少人為監督地生成大規模的3D注釋，如人體姿態和網格。此外，為了捕獲帶有移動相機的3D場景，我們利用了主題的自中心視圖，并為這一具有挑戰性的視圖提供了注釋。然后第7章深入探討，重點是多人互動，代表了人與人之間的擴展接觸，包括摔跤、擁抱和舞蹈等活動。利用我們之前的方法，我們引入了一個增強的注釋協議，旨在充分處理這些活動中固有的遮擋。總之，第6章和第7章中詳細描述的努力共同為建立兩個全面的多人3D數據集作出了貢獻。 然而，為了開發更大的數據集和高效且普遍的3D多人方法，還有更多的工作要做。第8章通過討論這一領域未來工作的具體方向來結束，包括短期和長期的方向。

互聯網擁有巨大的視頻庫，每秒鐘都有成千上萬的視頻上傳到YouTube等平臺。這些視頻代表了多模態信息的寶貴資源庫，為理解音頻-視覺-文本關系提供了寶貴的資源。此外，理解長視頻(比如2小時)的內容是一個開放性問題。本文研究了視頻中不同模態(音頻、視覺和文本)之間的錯綜復雜的相互作用，并利用它們的潛力來理解長視頻中的語義細微差別。我的研究探索了從這些模態中組合信息的多種策略，從而在視頻摘要和教學視頻分析方面取得了重大進展。

第一部分介紹了一種通過連貫地重新排列片段來從短片段合成長視頻紋理的方法，同時還考慮了音頻條件。第二部分討論了一種新的技術，用于在自然語言提示的指導下生成長視頻的簡明視覺摘要。此外，我們特別關注于總結教學視頻，利用視聽對齊和任務結構來生成信息摘要。為了進一步豐富對教學視頻的理解第一部分介紹了一種通過連貫地重新排列片段來從短片段合成長視頻紋理的方法，同時還考慮了音頻條件。第二部分討論了一種新的技術，用于在自然語言提示的指導下生成長視頻的簡明視覺摘要。此外，我們特別關注于總結教學視頻，利用視聽對齊和任務結構來生成信息摘要。為了進一步豐富對教學視頻的理解，本文介紹了一種前沿的方法，以促進教學內容中程序步驟的學習和驗證，使模型能夠掌握長而復雜的視頻序列，并確保程序準確性。最后，通過代碼生成探索了大型語言模型的潛力，以回答關于圖像的問題。通過全面的實驗，研究證明了所提出方法的有效性，并通過集成音頻、視覺和文本關系，展望了長視頻語義領域的美好前景。

機器學習領域，特別是深度學習，由于算法、計算能力和數據集的改進，近年來取得了巨大進步。為支持深度學習而構建的系統主要針對用于生成學習模型的計算。 本論文提出改為關注數據在訓練和驗證中的作用。在論文的第一部分，我們關注訓練數據，展示了負責訓練數據的數據管道是性能考慮的首要目標。為了解決性能問題，我們引入了一種在數據轉換空間中進行數據子采樣的方式，一種降低精度的輸入/輸出格式，以及一個自動調整數據管道性能參數的系統。在論文的第二部分，由于日益增長和表達能力增強的模型的趨勢，我們轉向驗證環境，開發了一個系統，可以使用標準正則表達式自動查詢和驗證大型語言模型的行為。我們以機器學習的數據系統領域的未來工作作為結論。在過去的十年里，機器學習（ML）在應用方面經歷了迅猛的增長。這個領域關注的是隨著數據或經驗而改進的算法[201]，已經從一系列專業化的應用（例如，廣告[195]，推薦系統[60, 106, 213]，垃圾郵件檢測[316]）演變為應用于幾乎所有技術領域。例如，深度學習應用于游戲玩法[261, 286]，蛋白質折疊[143]，機器人學[80]，一系列自然語言處理任務[43, 55]，并且預計將達到一種無處不在的程度，可能導致重大的經濟顛覆[87]。在這場革命的最前沿是深度學習子領域[108, 173]。深度學習使用多層結構 - 數學操作 - 來構建模型。這些層被聯合學習，以便早期層簡化后續層面臨的任務。雖然深度網絡在理論上可能不如其他機器學習或人工智能方法那么被理解，但它們已經表明，盡管在計算上開銷巨大但通用的方法最終會主導利用額外專業化的算法[268]。這種在計算上開銷巨大但通用的方法已經受益于像摩爾定律[209]這樣的趨勢 - 硬件性能的指數級增長 - 以及硬件和軟件的專業化[165, 275]。如今眾多的深度學習軟件使深度學習或許比其他替代方案更易于獲取 - 只需獲得通常是開源且隨時可用的模型規范代碼，就可以訓練最先進的模型。深度學習技術的核心已經被商品化和民主化，使任何人都可以受益于人類多年的研究和開發。

然而，盡管使用深度學習的常規方面變得更加容易，但仍然存在一些基本問題有待解決，并影響許多應用的下游性能。對這些問題（及其相應解決方案）進行分類的一種方法是將它們分為三個領域：1）機器學習算法，2）計算能力，和3）數據。這三個領域的每一個都已經經過優化以持續推動該領域的進步，并且被列為導致深度學習興起的關鍵因素[35]。例如，缺乏訓練數據和計算能力被歸因為深度網絡在2000年初的衰退[35]。直到大約十年后，這些因素的缺乏才得以彌補，當時在2012年ImageNet大規模視覺識別挑戰（ILSVRC）比賽中取得了創紀錄的表現[71]。獲勝的提交，AlexNet[156]，是一個深度卷積神經網絡（CNN），并且在圖形處理單元（GPU）的幫助下接受了一百萬張圖像的訓練。機器學習算法也有所進步，使學習更加高效。例如，ReLU激活和dropout是2012年提交[156, 173]的關鍵算法組件，是廣泛用于加速學習的數學操作。當這些進步結合起來時，由此產生的模型以絕對誤差超過了僅次于其的提交，開始了計算機視覺的革命[173]。今天在自然語言處理方面的最新趨勢可以類似地視為核心算法創新[285]，并擴展到大量數據和計算[43, 55]，從而導致性能的可預測提升。在民主化機器學習的最前沿是機器學習系統[239]。這些系統包含并解決機器學習方法中足夠公式化的部分，使從業者能夠將時間集中在其他問題上。如果機器學習算法，計算能力和數據是支撐現代機器學習的支柱，那么機器學習系統就是用來將它們置于適當位置的工具。如今的系統包括用于數學表達式符號操作的功能，跨各種硬件平臺的可移植性，分布式執行，以及與常用實用程序和數學表達式一起預先打包的庫[11, 49, 96, 222]。

作為這篇論文的一部分，我們探討了現代機器學習技術棧中新功能或修訂功能的幾個方向，重點關注整個技術棧中數據的處理。研究數據很重要，因為在三個問題領域中，數據是最具動態性的 — 數據總是可以進一步優化以涵蓋更多樣本、更多特征或某些類型的行為，而模型（和計算）在處理某種類型的數據時必然是固定的。此外，對數據的優化可能導致應用程序的顯著增益，從而刺激數據為中心的AI研究[3]。然而，這并非輕而易舉，改變數據容易說難做。由于缺乏理論理解，對于任何新類型的機器學習任務，從業者可能必須測試哪種數據組合效果最好。如果沒有適當的數據抽象，任務中的單一變化可能導致從業者必須手動評估和調整應用程序數據的特征。調整數據的方面不僅是單調乏味的，而且根據數據評估模型以及系統性能的行為需要機器學習和系統的專業知識，而這些專業知識通常是由不同群體的人擁有的。如果機器學習系統的目標是支持從業者解決重復問題，那么可以合理地期望機器學習系統能夠使數據的快速配置和原型制作成為可能。簡而言之，數據管道應該是機器學習系統棧中的一等公民 - 它們不應該是作為附加工具支持模型和計算的事后考慮。本章其余部分的組織結構如下。首先，我們概述機器學習系統是如何構建和評估的（§1.1）。然后，我們概述機器學習中的工作負載是如何發生根本性變化的，這使得社區分裂成兩個部分（§1.2），并激勵對機器學習系統進行根本不同的處理。然后我們轉向論文的動機，重新審視數據在當前機器學習環境中的重要性（§1.3）。最后，我們介紹論文陳述并概述本文的章節（§1.4）。熟悉當前機器學習和機器學習系統狀態的讀者可以跳過第1.1節和第1.2節的“教科書材料”，并直接前往第1.3節。

具有從過去的經驗中學習并根據環境或背景調整行為以實現特定目標的能力，是真正智能實體的特征。為了實現這一目標，開發高效、穩健和可靠的學習算法是研究的活躍領域，也是實現人工通用智能的重要步驟。在本論文中，我們研究了在兩種不同背景下進行最優決策的學習算法，第一部分是強化學習，第二部分是拍賣設計。

強化學習（RL）是機器學習的一個領域，關注的是智能體應該如何在環境中行動以最大化其隨時間累積的獎勵。在第二章中，受統計物理學的啟發，我們開發了一種新穎的強化學習方法，這種方法不僅學習具有增強期望屬性的最優策略，而且為最大熵強化學習帶來了新的見解。在第三章中，我們使用貝葉斯觀點來解決強化學習中的泛化問題。我們展示了環境動態的不完美知識實際上將一個完全觀察到的馬爾可夫決策過程（MDP）轉變為一個部分觀察到的馬爾可夫決策過程（POMDP），我們稱之為認知POMDP。根據這個觀察，我們開發了一種新的策略學習算法LEEP，它具有改進的泛化屬性。

拍賣是組織購買和銷售產品與服務的過程，具有很大的實際意義。設計一個激勵兼容、個體理性的拍賣以最大化收入是一個具有挑戰性且難以解決的問題。最近，有人提出了一種基于深度學習的方法，從數據中學習最優拍賣。盡管取得了成功，但這種方法存在一些局限性，包括樣本效率低、難以泛化到新的拍賣以及訓練困難。在第四章中，我們構建了一種保持對稱性的神經網絡結構，稱為EquivariantNet，適用于匿名拍賣。EquivariantNet不僅樣本效率更高，而且能夠學習到在其他設置中泛化性能良好的拍賣規則。在第五章中，我們將拍賣學習問題提出為一個雙人博弈的新穎表述。由此產生的學習算法ALGNet更容易訓練，更可靠，更適合非平穩設置。

本文為強化學習和計算機視覺應用構建深度學習模型，重點是設計新穎有效的表示學習框架。所提出的方法有兩個主要方面:神經網絡模型架構設計和目標工程。為演示如何操縱每個方面，深入研究了人工智能中兩個重要研究領域的代表性應用，即強化和計算機視覺。在這兩個領域，都強調了如何操縱抽象表示，以從目標任務和可用數據類型中建立強大的歸納偏差。我們希望我們的例子可以為今后處理相關領域和其他領域的問題提供啟發。 論文的第一部分研究了強化學習中的代表性任務。我們的貢獻如下:

作為起點，旨在改善通用和探索性行為，并反映一類流行的無模型、基于策略的強化學習算法、actor - critic方法的環境不確定性。本文提出隨機actor-critic方法(Shang et al., 2019b; Chapter 2;第2章)它采用了一種有效而靈活的方式將隨機性注入到actor-critic模型中。隨機性被注入到高級抽象表示中。測試了幾個用隨機激活增強的actor-critic模型，并在廣泛的Atari 2600游戲、連續控制問題和賽車任務中證明了它們的有效性。

接下來，我們將注意力轉向如何在一個更具體但更常見的RL問題設置中進行結構化探索:一個承載著不同任務套件的持久環境或世界。本文提出對環境進行世界圖分解，以加速強化學習(Shang et al., 2019a; Chapter 3;第3章)世界圖的節點是重要的航路點狀態，邊表示它們之間的可行遍歷。在識別世界圖之后，該框架將其應用于分層強化學習算法，以將探索偏向于與任務相關的航路點和區域。在一套具有挑戰性的迷宮任務上徹底評估了所提出方法，并表明使用環境的世界圖抽象可以顯著加速強化學習，實現更高的回報和更快的學習。

最后，考慮多智能體必須合作以實現共同目標的場景，這是多智能體強化學習的一個子集。建議將以智能體為中心的表示納入多智能體強化學習(Shang等人，2020a;第四章)以兩種方式。引入了一個以智能體為中心的注意力模塊，具有跨智能體的顯式連接。注意力模塊建立在智能體的抽象表示之上。利用了一個以智能體為中心的無監督預測目標，作為輔助損失或預訓練步驟的基礎。在谷歌Research Football環境和DeepMind Lab 2D上評估了這些方法，表明它們導致了智能體之間更復雜的合作策略的出現，并提高了樣本效率和泛化能力。

論文的第二部分將重點轉移到各種計算機視覺任務和領域的無監督學習。我們的貢獻如下:

為了更好地利用無標簽數據并增強無監督圖像建模，本文提出通道遞歸變分自編碼器(crVAE) (Shang等人，2018;第5章)。它將抽象卷積特征的跨通道循環連接集成到推理和生成步驟，允許以全局到局部、粗到細的方式捕獲由此產生的高級特征。結合對抗性損失，產生的通道循環VAE-GAN (crVAE-GAN)在生成不同光譜的高分辨率圖像方面優于基線VAE-GAN，同時保持相同的計算效率水平。

下一步，進一步擴展通道循環框架，并提出了注意力的條件通道循環自編碼;)屬性條件人臉合成。評估通過定性的視覺檢查和定量的指標進行，即inception分數、人類偏好和屬性分類精度。

考慮對無標記視頻序列進行無監督學習，并建議學習視頻級靜態和動態表示(Shang等人，2020b;第7章從時間一致性和動力學角度對視頻進行分解。本文展示了在幾個應用中學習到的表示的重要性，包括一個新的動力學檢索任務，在人臉、人類活動和機器人抓取數據集上。

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

隨著我們構建能夠與周圍真實世界互動的新人工智能技術，從多種模態學習的問題占據了中心舞臺。從醫療保健、教育到通信等應用，越來越多地依賴多種模態已被證明是更準確地感知和處理我們周圍世界的一個獨特因素。在這篇論文中，我們關注在現實世界中學習多模態表示的問題。我們概述了多模態機器學習的三個主要挑戰，并采取具體步驟來解決它們。首先，我們解決了局部融合的挑戰，重點是學習跨模態動力學，包括語言、視覺和聽覺(我們周圍最常見的三種模態)之間的單模態、雙模態和三模態交互作用。隨后，我們躍進到時間融合，其中局部融合挑戰擴展到時間域。時間融合需要模式之間的對齊，這和學習跨模式動力學一樣重要。隨后，第三個挑戰涉及的事實是，在現實世界中，多模態數據幾乎總是部分可見的。我們擴展了變分推理(VI)的功能，以處理甚至是最極端的缺失率和缺失模式的情況。在本文深入研究這些挑戰的過程中，我們對多模態機器學習做出了算法、理論和經驗貢獻。

本論文研究了語言、視覺和聲學模態的多模態學習面臨的三大挑戰： 局部融合挑戰涉及模態間復雜的跨模態交互建模。 時間融合挑戰涉及建模可能存在于順序模式之間的異步數據 丟失數據挑戰涉及建模真實世界部分可觀測的多模態數據

常見的圖像編輯方法側重于低級特征。在本論文中，我利用機器學習使圖像編輯在更高的概念層次上運行。從根本上說，所提出的方法旨在通過結合通用的視覺知識，從可能被編輯的信息中提取出必須在編輯過程中維護的視覺信息。因此，新方法可以以人類可理解的方式轉換圖像，比如將一個物體轉換為另一個物體，將照片程式化到特定藝術家的畫作中，或將日落加到白天拍攝的照片中。我們探索在不同的設置和不同數量的監督設計這樣的方法: 逐像素標簽，逐圖像標簽，和沒有標簽。首先，利用逐像素監督，我提出了一種新的深度神經網絡架構，可以從場景布局和可選目標風格合成逼真的圖像。其次，使用每個圖像監督，我探索了域翻譯的任務，其中一個類的輸入圖像被轉換為另一個類。最后，我設計了一個框架，可以從一組未標記的圖像中發現結構和紋理的分離操作。我們在廣泛的應用中提供令人信服的視覺效果，包括交互式照片繪圖工具、對象變形、虛擬和真實環境之間的域間隙減少，以及圖像紋理的逼真操作