亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在現實生活中部署人工智能體的一個基本問題是它們快速適應環境的能力。傳統的強化學習(RL)以兩種方式與這一需求作斗爭。首先，對不受約束的環境動態的迭代探索會產生大量信息不足的更新，從而導致適應速度緩慢。其次，最終的策略沒有能力適應未來的觀察結果，必須隨著觀察結果的發生緩慢地無限學習或完全重新訓練。本文探討了兩種旨在解決這些問題的表述。元強化學習對整個任務分布的考慮使策略能夠快速適應特定實例。通過強迫智能體特定地請求反饋，主動強化學習強制進行選擇性的觀察和更新。這兩個公式都簡化為貝葉斯-自適應設置，在其中保持對可能環境的概率信念。許多現有的解只提供了在實際環境中使用有限的漸近保證。我們開發了一種近似信念管理的變分方法，并通過廣泛的消融實證支持其有效性。然后，我們考慮最近成功的規劃方法，但發現和討論它們在應用到所討論的設置中的障礙。影響RL系統的數據需求和穩定性的一個重要因素是選擇合適的超參數。我們開發了一種貝葉斯優化方法，利用訓練過程的迭代結構，其經驗性能超過現有基線。本文的最后一個貢獻是提高高斯過程(GPs)的可擴展性和表達性。雖然我們沒有直接使用現有的框架，但GPs已經被用于在密切相關的設置中建模概率信念。

//ora.ox.ac.uk/objects/uuid:54963b90-2d7c-41a9-9bf3-065a3097c077

在這項工作中，我們探索了提高機器學習系統各方面效率的理論和算法。首先，我們研究了在ML中實現高效機器不學習的算法原理。我們提出了兩種無監督學習算法，它們在在線數據刪除方面實現了超過100倍的改進，同時產生了統計質量與標準k-means++基線相當的集群。

其次，我們探索混合維嵌入，這是一種嵌入層架構，其中特定嵌入向量的維數隨其查詢頻率的變化而變化。通過理論分析和系統實驗，我們證明了使用混合維可以大大減少內存使用，同時保持甚至提高預測性能。使用Criteo Kaggle數據集上一半的參數或使用16倍的參數進行點擊率預測，混合維層將精度提高0.1%。他們在GPU上的訓練速度也超過2倍。

最后，我們提出了一種用于ML部署監控的新方法MLDemon。MLDemon集成了未標記數據和少量按需標簽，從而對給定數據流上部署的模型當前的準確性進行實時估計。受預算限制，MLDemon決定何時獲得額外的、可能昂貴的、專家監督標簽來驗證模型。在基準測試中，MLDemon優于之前的方法。我們還提供了理論分析，表明MLDemon對于廣泛的一類分布漂移是極小極大速率最優的。

ConvNets和其他神經體系結構在計算機視覺方面的成功應用是過去十年人工智能革命的核心。對于可擴展視覺架構的強烈需求是既小又大。小型模型代表了對效率的需求，因為視覺識別系統通常部署在邊緣設備上;大型模型強調了對可擴展性的追求——利用日益豐富的計算和數據實現更高精度的能力。這兩個方向的研究都是卓有成效的，產生了許多有用的設計原則，對更多性能模型的追求從未停止。同時，文獻中非常快的發展速度有時會掩蓋某些方法取得良好結果的主要機制**。在本論文中，我們將從兩個方面展開研究:(1)開發高效靈活的ConvNet模型推理直觀算法;(2)研究基線方法，揭示流行可擴展方法成功背后的原因**。首先，我們將介紹我們對第一個隨時密集預測算法之一的工作。然后，我們將通過將模型修剪算法與一個極其簡單的基線進行比較來檢驗它們的有效性，并論證它們的真正價值可能在于學習架構。最后，通過采用《Transformers》中的設計技術對傳統的ConvNet進行現代化改造，我們提出了關于自注意力是否導致了Transformer最近出色的視覺擴展性的問題。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-205.html

深度學習的基本原理[103]可以追溯到幾十年前，20世紀80年代提出了基于梯度的反向傳播學習算法[151]，而ConvNets從早期就被應用于手寫數字識別等計算機視覺任務[105]。然而，深度學習的真正威力直到2012年才被揭示出來，那年AlexNet[99]贏得了ImageNet大規模圖像分類挑戰賽[34]。數據可用性的提高[34,110]、計算技術的進步[124,134]和改進的算法[64,181,95]是深度學習在各個應用領域持續成功的三大支柱[93,159]。隨著最近大型模型的興起，這一領域的快速發展還沒有顯示出放緩的跡象[13,144]。

深度學習不僅對我們的日常生活產生了顯著的影響，還改變了機器學習從業者和研究人員的工作流程——社區已經從使用手工制作的淺層模型特征123,32，轉向使用多層深度神經網絡自動提取特征表示。手工制作的特性通常是高度特定于任務的，而且不能一般化，設計它們的過程通常很乏味。這種轉變極大地解放了研究人員的雙手和思想，允許他們更多地專注于建模方面。

自動表示學習的前景令人鼓舞，但實際情況并非如此光明。在實踐中，網絡結構對學習到的表征的質量有很大的影響。當網絡在各種下游任務上進行微調時，學習表征的質量也會傳播到準確性。因此，設計正確的神經網絡架構現在是至關重要的，因此人類的任務是設計架構，而不是功能。在計算機視覺中，經典的AlexNet是一個復雜的手工設計卷積神經網絡的例子——層、內核大小、特征映射大小、深度、寬度和其他配置都是由人類精心選擇和平衡的。從那時起，各種各樣的神經網絡架構被提出，不僅本身作為特征提取器有用，而且帶來了新的設計原則。VGGNet[161]填充了3 × 3內核卷積的使用，是同構網絡設計的先驅例子。ResNet[64]引入了剩余連接，使數百層的訓練網絡成為可能。Transformers [181,39]采用多頭自注意力作為一種新的網絡內部信息交換方式，在大規模訓練中表現優異。神經體系結構搜索方法[2189]試圖實現神經體系結構設計的自動化，同時從人類設計的網絡中借鑒搜索空間設計的智慧[141]。這一領域的不斷創新，加上其他訓練技術，已經將ImageNet上排名前1的圖像分類精度從AlexNet的62.5%提高到現在的近90%。在架構設計的各種目標中，效率和可擴展是兩個重要的概念。

這兩個方向的研究進展都是卓有成效的，許多有用的架構設計原則被后來的工作所采用。這是一段非凡的旅程，該領域仍在以驚人的速度發展。同時，部分由于在實驗中有太多詳細的設計選擇和超參數，在性能基準上進行系統范圍的比較是很常見的，研究人員可以選擇有利的配置，并為他們的方法配備額外的技術。這可能導致無法確定實證收益的來源[112]。基線方法有時沒有被充分地調整或調整，導致我們無法理解所提議的方法的真正有效性。在本論文中，除了提出一種新的高效架構框架外，我們還采取了批判性的視角，對那些被認為是瑣碎或過時的基線的方法或模型進行了實證研究。我們發現，當提供正確的技術時，它們具有驚人的競爭力。這使我們對某些新方法的潛在機制有了更深入的理解，并幫助我們更公平、更準確地評價它們的有效性。

在構建機器學習管道時，一些常見的假設是：(1）訓練數據足夠 "干凈"，表現良好，因此很少或沒有離群值，或者數據的分布沒有長尾，（2）測試數據遵循與訓練數據相同的分布，以及（3）數據產生于或接近于一個已知的模型類，如線性模型或神經網絡。

然而，隨著計算機、互聯網和各種基于傳感器的技術更容易獲得，科學和工程的各個分支中出現的現代數據集不再是精心策劃的，往往是以分散的、分布式的方式收集。因此，它們受到異質性、對抗性操作和異常值等復雜因素的困擾。隨著我們進入這個臟的數據時代，上述的機器學習管道的假設越來越站不住腳。

對于機器學習的廣泛采用，我們認為任何模型都必須具備以下三個基本要素：

• 穩健性。該模型即使在有噪音和損壞的數據下也能被訓練。

• 可信賴。在訓練結束后，當在現實世界中部署時，該模型在分布的良性變化下不應該崩潰。

• 有彈性。建模程序應該在模型錯誤指定的情況下工作，也就是說，即使建模假設崩潰，模型也應該找到可能的最佳解決方案。

在這篇論文中，我們的目標是修改最先進的ML技術并設計新的算法，使其即使在沒有上述假設的情況下也能工作，并且是穩健、可信和有彈性的。我們的貢獻如下。

在第二章中，我們提供了一類新的統計最優估計器，這些估計器對各種環境是穩健的，如任意污染和重尾數據等。

在第三章中，我們用一類新的計算效率高的穩健風險最小化估計器來補充我們的統計最優估計器。這些結果為一般的統計模型，如線性回歸、邏輯回歸等，提供了一些最早的可計算的、可證明的穩健估計器。

在第四章中，我們研究了在基礎分布中的一些樣本可能被任意破壞的情況下學習Ising模型的問題。

最后，在第五章，我們討論了我們的結果對現代機器學習的影響。

盡管最近在深度學習方面取得了進展，但大多數方法仍然采用豎井式的解決方案，即為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實世界的問題需要同時解決許多任務。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，對其進行定位，估計其距離和軌跡等，以便在其周圍環境中安全導航。類似地，用于商業應用的圖像識別系統應該能夠標記產品、檢索類似的商品、提出個性化的建議等，以便為客戶提供盡可能好的服務。這類問題促使研究人員建立多任務學習模型。多任務學習的核心思想是并行學習多個任務，同時共享學習到的表示。與單任務情況相比，多任務網絡具有許多實際的優點，單任務情況下，每個單獨的任務由自己的網絡單獨解決。首先，由于層的共享，產生的內存占用大大減少。其次，由于它們避免在共享層中重復計算特征，每個任務一次，它們顯示出提高的推理速度。第三，如果相關的任務共享互補信息，或者作為一個正則化器，它們有可能提高性能。

在構建多任務學習模型時，我們面臨著兩個重要的挑戰。首先，我們需要想出能夠處理多個任務的神經網絡架構。其次，我們需要為共同學習任務制定新的訓練方案。特別是，由于我們并行地優化多個目標，一個或多個任務可能會開始主導權重更新過程，從而阻礙模型學習其他任務。在這份手稿中，我們在視覺場景理解的背景下鉆研了這兩個問題。我們提出了兩種新的模型類型來解決體系結構問題。首先，我們探索了分支多任務網絡，其中神經網絡的更深層次逐漸成長為更具體的任務。我們介紹了一種有原則的方法來自動構建這樣的分支多任務網絡。構造過程將可以用一組相似特征來解決的任務組合在一起，同時在任務相似性和網絡復雜性之間進行權衡。通過這種方式，我們的方法生成的模型可以在性能和計算資源量之間做出更好的權衡。

其次，我們提出了一種新的神經網絡結構，用于聯合處理多個密集的預測任務。其關鍵思想是從多個尺度上對其他任務的預測中提取有用信息，從而提高對每個任務的預測。包含多個尺度的動機是基于這樣的觀察:在某個尺度上具有高相似性的任務不能保證在其他尺度上保持這種行為，反之亦然。在密集標記的兩個流行基準上進行的廣泛實驗表明，與之前的工作不同，我們的模型提供了多任務學習的全部潛力，即更小的內存占用，減少的計算數量，以及更好的性能w.r.t.單任務學習。此外，我們還考慮了多任務學習優化問題。我們首先分析幾種平衡任務學習的現有技術。令人驚訝的是，我們發現了這些工作之間的一些差異。我們假設，這可能是由于多任務學習缺乏標準化的基準，不同的基準受益于特定的策略。基于這個結果，我們然后分離最有希望的元素，并提出一組啟發式方法來平衡任務。啟發式具有實際性質，并在不同的基準測試中產生更魯棒的性能。

在最后一章中，我們從另一個角度來考慮場景理解的問題。文獻中描述的許多模型都受益于有監督的預訓練。在這種情況下，在轉移到感興趣的任務之前，模型首先在一個更大的帶注釋的數據集(如ImageNet)上進行預訓練。這使得模型能夠很好地執行，即使是在只有少量標記示例的數據集上。不幸的是，有監督的預訓練依賴于帶注釋的數據集本身，這限制了它的適用性。為了解決這個問題，研究人員開始探索自監督學習方法。我們以對比學習為基礎來回顧最近流行的作品。首先，我們展示了現有的方法，如MoCo可以在不同的數據集上獲得穩健的結果，包括以場景為中心的數據、長尾數據和特定領域的數據。其次，我們通過增加額外的不變性來改進學習的表示。這一結果直接有利于許多下游任務，如語義分割、檢測等。最后，我們證明了通過自監督學習所獲得的改進也可以轉化為多任務學習網絡。綜上所述，本文提出了幾個重要的貢獻，以改進多任務學習模型的視覺場景理解。創新集中在改進神經網絡結構、優化過程和訓練前方面。所有方法都經過了各種基準測試。該代碼公開發布://github.com/SimonVandenhende。

【摘 要】

機器學習是一種很有前途的處理復雜信息的工具，但它仍然是一個不可靠不可信的控制和決策工具。將為靜態數據集開發的技術應用到現實世界的問題中，需要克服反饋和系統隨時間變化的影響。在這些設置中，經典的統計和算法保證并不總是有效。在部署機器學習系統之前，我們如何預測機器學習系統的動態行為?為了確保可靠可信的行為，本論文采取步驟來發展對反饋設置中出現的權衡和限制的理解。

在第一部分，我們關注機器學習在自動反饋控制中的應用。受物理自治系統的啟發，我們試圖為數據驅動的最優控制器設計建立理論基礎。我們關注的是由線性動力學控制的系統，其未知組件必須從數據中表征出來。研究了經典最優控制問題線性二次調節器(LQR)設定中的未知動力學問題，證明了最小二乘估計和魯棒控制設計過程保證了安全性和有界次最優性。在機器人技術中使用攝像機的啟發下，我們還研究了控制器必須根據復雜的觀察來行動的設置，其中狀態的子集由未知的非線性和潛在的高維傳感器進行編碼。我們提出使用一種感知映射作為近似逆，并表明只要a)控制器是魯棒設計來解釋感知誤差或b)感知映射是從足夠密集的數據中學習到的，由此產生的感知控制環具有良好的特性。

在第二部分，我們將注意力轉移到算法決策系統，其中機器學習模型用于與人反饋。由于測量的困難、有限的可預測性以及將人類價值轉化為數學目標的不確定性，我們避開了最優控制的框架。相反，我們的目標是在一步反饋模型下闡明簡單決策規則的影響。我們首先考慮相應的決策，這是受信用評分中放貸的例子啟發。在一個簡單的影響模型下，我們表明，幾個群體公平約束，提出減輕不平等，可能損害群體，他們的目標是保護。事實上，公平標準可以被視為一個更廣泛框架的特殊案例，用于設計在私人和公共目標之間權衡的決策政策，其中影響和福祉的概念可以直接編碼。最后，我們轉向推薦系統的設置，該系統根據個性化的相關性預測從廣泛的選擇中進行選擇。我們開發了一個基于可達性的新視角，量化了代理和訪問。雖然經驗審計表明，為準確性而優化的模型可能會限制可達性，但理論結果表明，這不是由于固有的權衡，這表明了一條前進的道路。從廣義上講，這項工作試圖重新想象機器學習中普遍存在的預測模型的目標，朝著優先考慮人類價值的新設計原則前進。

1 引 言

許多現代數字系統——從汽車到社交媒體平臺——都具有前所未有的測量、存儲和處理數據的能力。機器學習的并行進展推動了從這些數據中受益的潛力，其中巨大的數據集和強大的計算能力推動了圖像識別和機器翻譯等復雜任務的進步。然而，許多應用程序超出了處理復雜信息的范圍，而是基于它采取行動——從分類和轉變為做出決策和采取行動。將針對靜態數據集開發的技術應用于現實世界的問題需要處理隨時間變化的反饋和系統的影響。在這些設置中，經典的統計和算法保證并不總是成立。即使是嚴格評估性能也可能很困難。在部署機器學習系統之前，我們如何預測它們的行為？我們可以設計它們以確保良好的結果嗎？基本的限制和權衡是什么？

在本論文中，我們為各種動態設置開發了原則性技術，以實現可信機器學習的愿景。這項工作借鑒了控制理論中的工具和概念，控制理論在制定動態系統行為的保證方面有著悠久的歷史，優化提供了一種語言來表達目標和權衡，當然還有機器學習，它使用數據來理解和作用于世界。機器學習模型旨在做出準確的預測，無論是關于自動駕駛汽車的軌跡、償還貸款的可能性，還是對新聞文章的參與程度。傳統上，在靜態監督學習的框架中，這些模型一旦被用于采取影響環境的行動，就會成為動態系統的一部分（圖 1）。無論上下文是駕駛自動駕駛汽車、批準貸款還是推薦內容，將學習到的模型整合到策略中都會產生反饋循環。

圖1 盡管機器學習模型通常在大腦中以一個靜態的監督學習框架進行訓練(左)，但當部署時，它們成為反饋循環的一部分(右)。

在動態環境中使用靜態模型存在一些問題。無論是由于分布偏移、部分可觀察性還是錯誤累積，它們的預測能力都可能在反饋設置中失敗。監督學習通常旨在保證良好的平均情況性能，但平均工作良好的車道檢測器仍可能對特定圖像進行錯誤分類并導致崩潰。此外，用于進行準確預測的統計相關性實際上可能包含我們希望避免傳播的偏差或其他有害模式。在貸款決定中考慮申請人的郵政編碼可能在統計上是最優的，但會導致紅線的做法。推薦內容令人反感的視頻可能會增加參與度，但會損害觀看者的心理健康。應對這些挑戰需要仔細考慮如何使用機器學習模型，并設計確保理想結果和對錯誤具有魯棒性的策略。

在接下來的章節中，大致分為兩部分：數據驅動的最優控制和社交數字系統中的反饋。在第一部分中，我們展示了如何結合機器學習和魯棒控制來設計具有非漸近性能和安全保證的數據驅動策略。第 2 章回顧了一個框架，該框架能夠對具有不確定動態和測量誤差的系統進行策略分析和綜合。在第 3 章中，我們考慮了具有未知動力學的線性系統的設置，并研究了具有安全約束的經典最優控制問題的樣本復雜度。在第 4 章中，我們轉而關注復雜傳感模式帶來的挑戰，并為基于感知的控制提供保證。在第二部分中，從物理系統的動力學轉向對社會系統的影響，我們考慮學習與人互動的算法。在第 5 章中，我們描述了后續決策中公平和幸福之間的關系。我們將在第 6 章重點介紹內容推薦的設置，并開發一種在交互系統中表征用戶代理的方法。在本章的其余部分中，我們將介紹和激發后續章節的設置。

1.1 數據驅動的最優控制

在視頻游戲和圍棋中超越了人類的表現后，人們對將機器學習技術應用于規劃和控制重新產生了興趣。特別是，在開發自主系統與物理環境交互的連續控制新技術方面已經付出了相當大的努力。盡管在操縱等領域取得了一些令人印象深刻的成果，但近年來，由于自動車輛控制系統的故障。處理學習模型產生的錯誤不同于傳統的過程和測量噪聲概念。我們如何確保我們新的數據驅動自動化系統安全可信？

在本文的第一部分，我們試圖通過分析簡單的最優控制問題，為機器學習如何與控制接口建立理論理解的基礎。我們開發了基線來描述給定從具有未知組件的系統收集的固定數量的數據可實現的可能控制性能。標準最優控制問題旨在找到使給定成本最小化的控制序列。我們假設一個狀態為的動力系統可以被一個控制作用并服從動力學：

其中是過程噪聲。允許控制動作取決于系統狀態的觀測值，這可能是部分的和不完善的：，其中是測量噪聲。然后最優控制力求最小化：

這里，表示依賴于軌跡的成本函數，輸入允許依賴于所有先前的測量和動作。一般來說，問題（1.1.2）包含了強化學習文獻中考慮的許多問題。這也是一個一般難以解決的問題，但對于受限設置，控制理論中的經典方法在動力學和測量模型已知的情況下提供易于處理的解決方案。

當它的組成部分未知并且必須從數據中估計時，我們會研究這個問題。即使在線性動力學的情況下，推理機器學習錯誤對不確定系統演化的影響也是具有挑戰性的。第 2 章介紹了對我們的研究至關重要的線性系統和控制器的背景。它概述了系統級綜合，這是一個最近開發的優化控制框架，使我們能夠以透明和易于分析的方式處理不確定性。

在第 3 章中，我們研究了當系統動力學未知且狀態可以準確觀察時，機器學習如何與控制交互。我們分析了經典最優控制中研究最充分的問題之一，即線性二次調節器 (LQR)。在這種情況下，要控制的系統服從線性動力學，我們希望最小化系統狀態和控制動作的一些二次函數。我們通過考慮狀態和輸入都滿足線性約束的附加要求來進一步研究與安全性的權衡。這個問題已經被研究了幾十年并得到控制。無約束版本在無限時間范圍內具有簡單的封閉形式解決方案，在有限時間范圍內具有高效的動態規劃解決方案。約束版本在模型預測控制 (MPC) 社區中受到了廣泛關注。通過將線性回歸與穩健控制相結合，我們限制了保證安全性和性能所需的樣本數量。

在第 4 章中，我們轉向一個受以下事實啟發的設置：結合豐富的感知傳感模式（例如相機）仍然是控制復雜自主系統的主要挑戰。我們專注于實際場景，其中系統的基本動力學得到了很好的理解，并且與復雜傳感器的交互是限制因素。具體來說，我們考慮控制一個已知的線性動態系統，其部分狀態信息只能從非線性和潛在的高維觀測中提取。我們的方法是通過學習感知圖來設計虛擬傳感器，即從復雜觀察到狀態子集的地圖。表明感知圖中的錯誤不會累積并導致不穩定需要比機器學習中的典型情況更強的泛化保證。我們表明，魯棒控制或足夠密集的數據可以保證這種基于視覺的控制系統的閉環穩定性和性能。

1.2 社交數字系統中的反饋

從信用評分到視頻推薦，許多與人交互的機器學習系統都有時間反饋組件，隨著時間的推移重塑人口。例如，借貸行為可以改變人口中債務和財富的分布。招聘廣告分配機會。視頻推薦塑造興趣。在這些情況下使用的機器學習算法大多經過訓練以優化單個性能指標。此類算法做出的決定可能會產生意想不到的負面影響：利潤最大化貸款可能會對借款人產生不利影響，而假新聞可能會破壞民主制度。

然而，很難圍繞種群和算法之間的動態交互進行明確的建模或規劃。與物理系統不同，存在測量困難、可預測性有限以及將人類價值轉化為數學目標的不確定性。動作通常是離散的：接受或拒絕，選擇要推薦的特定內容。我們的目標是開發一個框架來闡明簡單決策規則的影響，而不是試圖設計一種策略來優化受不正確動態模型影響的可疑目標。因此，我們研究了在不使用最佳控制的完整框架的情況下量化和納入影響因素的方法。這項工作試圖重新構想機器學習中普遍存在的預測模型的目標，朝著優先考慮人類價值的新設計原則邁進。

第 5 章側重于相應的決策。從醫療診斷和刑事司法到金融貸款和人道主義援助，后續決策越來越依賴數據驅動的算法。現有的關于自動決策公平性的學術批評無限制的機器學習有可能傷害人口中歷史上代表性不足或弱勢群體。因此，已經提出了各種公平標準作為對標準學習目標的約束。盡管這些限制顯然旨在通過訴諸直覺來保護弱勢群體，但通常缺乏對此效果的嚴格論證。在第 5 章中，我們通過描述群體公平標準的延遲影響來將其置于語境中。通過以幸福的時間衡量來構建問題，我們看到僅靠靜態標準無法確保獲得有利的結果。然后我們考慮一個替代框架：直接對制度（例如利潤）和個人（例如福利）目標進行雙重優化。通過以特定的群體相關方式定義福利，可以通過雙重物鏡等效地看待被約束為遵守公平標準的決策。這種源自約束優化和正則優化之間的等價性的見解表明，公平約束可以被視為平衡多個目標的特例。

第 6 章側重于推薦系統，它提供了一系列不同的挑戰。通過推薦系統，個性化偏好模型可以調解對互聯網上多種類型信息的訪問。針對將被消費、享受和高度評價的表面內容，這些模型主要用于準確預測個人的偏好。提高模型準確性的重點有利于使人類行為變得盡可能可預測的系統——這些影響與極化或激進化等意外后果有關。在第 6 章中，我們試圖通過考慮用戶控制和訪問的概念來形式化一些風險價值。我們研究可達性作為在交互式系統中描述用戶代理的一種方式。我們開發了一種計算上易于處理的指標，可用于在部署之前審核推薦系統的動態屬性。我們的實驗結果表明，準確的預測模型在用于對信息進行分類時，可能會無意中使部分內容庫無法訪問。我們的理論結果表明，沒有內在的權衡，這表明可以設計出在保持準確性的同時提供代理的學習算法。

最終，將數據驅動的自動化集成到重要領域需要我們了解和保證安全、公平、代理和福利等屬性。這是動態和不確定系統中的挑戰。第一部分中介紹的工作朝著建立理論基礎邁出了一步，以保證數據驅動的最優控制的安全性。將重要屬性正式定義為易于處理的技術規范存在進一步的挑戰。對于代理和福祉等定性和上下文概念尤其如此。第二部分介紹的工作朝著評估提出的技術形式和闡明新的形式邁出了一步。為了在反饋系統中實現可信的機器學習，必須沿著這兩個方向取得進展。

強化學習(RL)智能體需要探索他們的環境，以便通過試錯學習最優策略。然而，當獎勵信號稀疏，或當安全是一個關鍵問題和某些錯誤是不可接受的時候，探索是具有挑戰性的。在本論文中，我們通過修改智能體解決的潛在優化問題，激勵它們以更安全或更有效的方式探索，來解決深度強化學習設置中的這些挑戰。

在這篇論文的第一部分，我們提出了內在動機的方法，在獎勵稀少或缺乏的問題上取得進展。我們的第一種方法使用內在獎勵來激勵智能體訪問在學習動力學模型下被認為是令人驚訝的狀態，并且我們證明了這種技術比單純探索更好。我們的第二種方法使用基于變分推理的目標，賦予個體不同的多種技能，而不使用特定任務的獎勵。我們證明了這種方法，我們稱為變分選擇發現，可以用來學習運動行為的模擬機器人環境。

在論文的第二部分，我們重點研究了安全勘探中存在的問題。在廣泛的安全強化學習研究的基礎上，我們提出將約束的RL標準化為安全探索的主要形式; 然后，我們繼續開發約束RL的算法和基準。我們的材料展示按時間順序講述了一個故事:我們首先介紹約束策略優化(Constrained Policy Optimization, CPO)，這是約束深度RL的第一個算法，在每次迭代時都保證接近約束的滿足。接下來，我們開發了安全健身基準，它讓我們找到CPO的極限，并激勵我們向不同的方向前進。最后，我們發展了PID拉格朗日方法，其中我們發現對拉格朗日原-對偶梯度基線方法進行小的修改，可以顯著改善求解Safety Gym中約束RL任務的穩定性和魯棒性。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html