許多目前自動化的順序決策問題，例如制造業或推薦系統中的問題，都是在幾乎沒有不確定性或零災難風險的環境中運行的。隨著公司和研究人員試圖在較少約束的環境中部署自主系統，賦予序列決策算法對不確定性和風險進行推理的能力變得越來越重要。在本文中，我們將討論序列決策的規劃和強化學習(RL)方法。在規劃設置中，假設提供了一個環境模型，并在該模型中優化策略。強化學習依賴于廣泛的隨機探索，因此通常需要一個模擬器來進行訓練。在現實世界的許多領域，不可能構建一個完全準確的模型或模擬器。因此，由于對環境的不完全了解，任何策略的執行都不可避免地具有不確定性。此外，在隨機領域中，由于環境固有的隨機性，任何給定運行的結果也是不確定的。這兩種不確定性的來源通常分別被歸類為認知的不確定性和偶然的不確定性。本文的首要目標是幫助開發算法，以減輕序列決策問題中的兩種不確定性來源。
本文為這一目標做出了一些貢獻，重點是基于模型的算法。本文從考慮馬爾可夫決策過程(MDP)完全已知的最簡單情況開始，提出了一種優化風險規避目標的方法，同時將優化期望值作為次要目標。對于本文的其余部分，我們不再假設MDP是完全指定的。考慮MDP上不確定性的幾種不同表示，包括a)候選MDP的不確定性集合，b) MDP的先驗分布，以及c)與MDP交互的固定數據集。在設置a)中，提出了一種新的方法來近似最小化最大遺憾目標，并在所有候選MDP中找到一個低次優的單一策略。在b)中，我們建議在貝葉斯自適應MDP中優化風險規避，以在單一框架下避免認知和偶然不確定性帶來的風險。在c)中，離線強化學習設置，本文提出兩種算法來克服由于只能訪問固定數據集而產生的不確定性。第一種方法提出了一種可擴展的算法來解決離線強化學習的魯棒MDP公式，第二種方法基于風險敏感優化。在最后一章中，我們考慮一種從演示中學習的交互式表述。在這個問題上，有必要對當前政策執行的不確定性進行推理，有選擇地選擇何時要求進行示威。實驗證明，所提出的算法可以在許多不同的領域中產生風險敏感或魯棒的行為。
付費5元查看完整內容
相關內容
強化學習（RL）是機器學習的一個領域，與軟件代理應如何在環境中采取行動以最大化累積獎勵的概念有關。除了監督學習和非監督學習外，強化學習是三種基本的機器學習范式之一。
強化學習與監督學習的不同之處在于，不需要呈現帶標簽的輸入/輸出對，也不需要顯式糾正次優動作。相反，重點是在探索（未知領域）和利用（當前知識）之間找到平衡。
該環境通常以馬爾可夫決策過程（MDP）的形式陳述，因為針對這種情況的許多強化學習算法都使用動態編程技術。經典動態規劃方法和強化學習算法之間的主要區別在于，后者不假設MDP的確切數學模型，并且針對無法采用精確方法的大型MDP。
貝葉斯不確定性的量化是許多機器學習應用的關鍵元素。為此，開發了近似推理算法[176]，以相對較低的成本執行推理。盡管最近將近似推理擴展到"大模型×大數據"機制取得了進展，但仍存在許多公開挑戰。例如，如何正確地量化復雜、不可識別的模型(如神經網絡)的參數不確定性?如何正確處理由缺失數據引起的不確定性，并以可擴展的方式進行學習/推理?此外，如何優化地收集新信息，使缺失數據的不確定性進一步減少，從而做出更好的決策?本文對這些研究問題提出了新的研究方向和新的技術貢獻。本文分為兩個部分(主題A和主題B)。在主題A中，我們考慮在監督學習設置下量化模型的不確定性。為了克服參數空間推理的一些困難，本文提出了一個新的研究方向，稱為函數空間近似推理。也就是說，通過將監督概率模型視為隨機過程(對函數的度量)，我們現在可以通過另一類(更簡單的)隨機過程來近似預測函數的真實后驗。為函數空間推理提供了兩種不同的方法，并證明它們返回更好的不確定性估計，以及在復雜模型上改進的經驗性能。在主題B中，我們考慮了無監督學習環境下缺失數據不確定性的量化。本文提出一種基于深度生成模型的缺失數據不確定性量化新方法。它允許我們擺脫傳統方法的計算負擔，并執行準確和可擴展的缺失數據填補。此外，利用生成模型返回的不確定性估計，提出了一個信息論框架，用于高效、可擴展和個性化的主動信息獲取。這使我們能夠最大限度地減少缺失數據的不確定性，并根據新信息做出改進的決策。
付費5元查看完整內容
機器學習的現實應用通常具有復雜的目標和安全關鍵約束。當代的機器學習系統擅長于在具有簡單程序指定目標的任務中實現高平均性能，但它們在許多要求更高的現實世界任務中很困難。本文致力于開發可信的機器學習系統，理解人類的價值觀并可靠地優化它們。
機器學習的關鍵觀點是，學習一個算法通常比直接寫下來更容易，然而許多機器學習系統仍然有一個硬編碼的、程序指定的目標。獎勵學習領域將這種見解應用于學習目標本身。由于獎勵函數和目標之間存在多對一的映射，我們首先引入由指定相同目標的獎勵函數組成的等價類的概念。
在論文的第一部分，我們將等價類的概念應用于三種不同的情形。首先，我們研究了獎勵函數的可識別性:哪些獎勵函數集與數據兼容?我們首先對誘導相同數據的獎勵函數的等價類進行分類。通過與上述最優策略等價類進行比較，我們可以確定給定數據源是否提供了足夠的信息來恢復最優策略。
其次，我們解決了兩個獎勵函數等價類是相似還是不同的基本問題。我們在這些等價類上引入了一個距離度量，即等價策略不變比較(EPIC)，并表明即使在不同的過渡動態下，低EPIC距離的獎勵也會誘導具有相似回報的策略。最后，我們介紹了獎勵函數等價類的可解釋性方法。該方法從等價類中選擇最容易理解的代表函數，然后將代表函數可視化。
在論文的第二部分，我們研究了模型的對抗魯棒性問題。本文首先介紹了一個物理上現實的威脅模型，包括在多智能體環境中行動的對抗性策略，以創建對防御者具有對抗性的自然觀察。用深度強化學習訓練對手，對抗一個凍結的最先進的防御者，該防御者通過自訓練，以對對手強大。這種攻擊可以可靠地戰勝最先進的模擬機器人RL智能體和超人圍棋程序。
最后，研究了提高智能體魯棒性的方法。對抗性訓練是無效的，而基于群體的訓練作為一種部分防御提供了希望:它不能阻止攻擊，但確實增加了攻擊者的計算負擔。使用顯式規劃也有幫助，因為我們發現具有大量搜索的防御者更難利用。
。
付費5元查看完整內容
本文提出了計算概率神經網絡局部魯棒性的方法，特別是由貝葉斯推理得到的魯棒性。從理論上講，將貝葉斯推理應用到神經網絡參數的學習中，有望解決頻繁主義學習范式下出現的許多實際困擾問題。特別是，貝葉斯學習允許有原則的架構比較和選擇，先驗知識的編碼，以及預測不確定性的校準。最近的研究表明，貝葉斯學習可以導致更多的對抗魯棒預測。雖然從理論上講是這樣的，并且在具體實例中已經證明了這一點，但提高魯棒性的軼事證據并不能為那些希望在安全關鍵環境中部署貝葉斯深度學習的人提供足夠的保證。雖然有方法可以保證確定性神經網絡的魯棒性，但貝葉斯神經網絡權重的概率性質使這些方法不可操作。本文研究了貝葉斯神經網絡的魯棒性概念，允許同時考慮模型的隨機性和模型決策的魯棒性保證。本文提供了一種方法，可以為給定的貝葉斯神經網絡計算這些數量，這些方法要么對估計的精度有先驗的統計保證，要么有可靠的概率上下界。最后，我們將魯棒性作為神經網絡參數貝葉斯推斷的主要要求，并演示了如何修改似然，以推斷出具有良好魯棒性的后驗分布。對似然的修正使我們的方法對貝葉斯神經網絡的近似推理技術是透明的。
我們使用貝葉斯神經網絡來評估我們提出的方法的實用性，這些神經網絡訓練了幾個真實的數據集，包括空中碰撞避免和交通標志識別。此外，我們評估了使用五種不同近似推理方法近似推斷的貝葉斯后驗分布的魯棒性。我們發現，我們的方法為貝葉斯神經網絡提供了第一個可證明的魯棒性保證，從而使它們能夠部署在安全關鍵場景中。此外，我們提出的神經網絡參數的魯棒貝葉斯推理方法使我們能夠推斷出后驗分布，這大大提高了可證明的魯棒性，即使是在全色圖像上。概述經典計算機科學關注的是如何創建解決給定問題的程序。相應地，經典程序驗證是確保(通常通過形式證明)給定程序在每個實例[6]中正確解決給定問題的任務。近年來，計算機科學家們已經將他們想要解決的問題的類別擴大到那些過于復雜或定義欠佳而無法用經典編程范式處理的任務。在程序不能再由人類設計的地方，它們可以通過示例[57]學習。隨著學習到的解決方案變得比手工編碼的解決方案好得多，它們所應用的領域也變得更加復雜。學習具有最大潛在影響的領域也具有最大的危害風險，這并不奇怪[1,10]。針對這類任務(包括醫療診斷和自動駕駛汽車)的學習解決方案，在部署和獲得公眾信任之前，必須保證其安全性。不幸的是，為這些任務編寫經典程序的障礙也阻礙了它們的正式驗證[79]。此外，檢驗習得解的基本穩定性的初步嘗試揭示了它們顯著的脆弱性[136]。這種脆弱性表現為過度自信、不正確的預測，幾乎對學習算法的每個輸入都可能產生這種預測。
因此，如果我們想要利用機器學習算法的光明未來，我們必須確保它們在部署之前是安全的。在這篇論文中，我們將關注到目前為止最流行和最強大的學習算法:深度神經網絡神經網絡是功能強大的函數逼近器，它有望在廣泛的任務中對先進性能的進步做出持續和重要的貢獻。神經網絡已經在諸如醫療診斷和病理以及控制和規劃等安全關鍵領域取得了顯著的強大性能。然而，在這些領域采用神經網絡的主要障礙是它們的預測缺乏可解釋性和可靠性[1]。我們將使用兩個主要漏洞來激發貝葉斯神經網絡(BNNs)的魯棒性研究，BNNs是由貝葉斯規則推斷的參數分布的神經網絡。第一個潛在的漏洞是確定性神經網絡(DNNs)缺乏校準的不確定性，即知道自己不知道什么[81]。當確定性神經網絡用于對統計上偏離訓練數據的數據點進行推斷時，這是一個特別的挑戰。在這種情況下，DNN經常會做出高度自信、不正確的預測，如果依賴這些預測，可能會導致糟糕的行為[104]。第二個弱點是對抗性的例子[136]。一個對抗性的例子是一個輸入，它被精心設計成與自然發生的輸入無法區分，但這會導致神經網絡在輸出中做出錯誤的分類或不安全的更改。在醫學診斷中，這可能是由于病理幻燈片色調的輕微變化而預測患者患有癌癥，或者在自主導航中，這可能是基于照明條件的輕微變化而預測轉向角度的較大變化[105]。對抗攻擊已被證明不僅在圖像分類[58]中存在安全隱患，在音頻識別[163]、惡意軟件識別[126]和自然語言處理[41]中也存在安全隱患。這些對安全性和安全性關鍵型應用程序構成了巨大的安全風險。當然，證明對抗實例的安全性是在安全關鍵環境下部署任何神經網絡的先決條件。
在過去幾年里，證明神經網絡預測的安全性一直是一個重要而活躍的研究領域，并且在有效證明對抗例子不存在方面取得了巨大進展[79,22,152]。雖然這滿足了我們的一個愿望(缺乏對抗性的例子)，但確定性神經網絡在校準不確定性方面仍然提供很少的東西。特別是，給定一個確定性神經網絡和一個我們想要分類的輸入，通常的情況是，如果一個對抗的例子存在，那么它被錯誤地分類，置信度非常高[58]。這意味著，基于輸出，無法推斷輸入是否可能不正確或損壞。此外，有關于確定性神經網絡的研究表明，對于許多任務來說，對抗實例的存在是不可避免的[47,46]，進一步說，魯棒確定性學習是不可能的[59]。雖然合理的局部驗證(證明不存在對抗性例子)對于向用戶保證在特定情況下的正確性能是必要的，但貝葉斯學習范式提供了一種系統的方法，可以在更一般的水平上減輕這些不可能結果的擔憂。通過引入校準的不確定性，貝葉斯神經網絡在理論和經驗上都被證明對對抗性例子具有更強的魯棒性，并且可以潛在地削弱或擊敗確定性網絡的不可能結果[53,23,7]。因此，在需要安全性和魯棒性證明的安全關鍵場景中，貝葉斯神經網絡似乎是一種自然和可行的部署方案。
盡管貝葉斯神經網絡有許多吸引人的特性，但無法用確定性神經網絡開發的技術直接分析貝葉斯神經網絡[168]。貝葉斯網絡與確定性網絡的主要區別在于前者的參數值具有后驗分布。為了驗證這種模型的魯棒性，必須找到一種方法來執行確定性神經網絡可用的正確性分析，同時以合理的方式考慮到范圍或可能的參數值。這樣做是在安全關鍵場景中安全部署貝葉斯神經網絡的必要前提。在這篇論文中，我們開發了一些工具，允許我們在貝葉斯環境下利用確定性神經網絡的魯棒性量化方面的進展。特別地，我們研究了貝葉斯神經網絡魯棒性的兩個概念，這允許從業者在給定貝葉斯神經網絡部署之前量化其最壞情況的行為。貝葉斯神經網絡魯棒性的第一個概念是概率魯棒性(在第4章中定義)。這允許從業者理解模型固有的隨機性及其對抗魯棒性之間的相互作用，也可以被視為不確定性的最壞情況度量。魯棒性的第二個概念是貝葉斯決策魯棒性。貝葉斯神經網絡除了在其權重上有一個分布之外，還與確定性神經網絡不同，因為我們必須對其預測分布和錯誤決策的風險或損失進行推理，以便做出預測。決策魯棒性考慮了考慮中的貝葉斯模型的決策過程，并允許我們證明即使在對手存在的情況下，也會發布正確的決策。這些定義允許我們量化貝葉斯神經網絡的概率正確性。
付費5元查看完整內容
在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。
//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。
付費5元查看完整內容
摘 要
人工智能體在我們的世界中的流行提高了確保它們能夠處理環境的顯著屬性的需求，以便計劃或學習如何解決特定任務。
第一個重要方面是現實世界的問題不限于一個智能體，并且通常涉及在同一環境中行動的多個智能體。此類設置已被證明難以解決，其中一些示例包括交通系統、電網或倉庫管理。此外，盡管許多問題域固有地涉及多個目標，但這些多智能體系統實現中的大多數旨在優化智能體相對于單個目標的行為。通過對決策問題采取多目標視角，可以管理復雜的權衡；例如，供應鏈管理涉及一個復雜的協調過程，用于優化供應鏈所有組件之間的信息和物質流。
在這項工作中，我們關注這些突出的方面，并討論當涉及多個智能體時，如何將人工智能體的決策和學習過程形式化，并且在該過程中需要考慮多個目標。為了分析這些問題，我們采用了基于效用的觀點，主張在相互競爭的目標之間做出妥協，應該基于這些妥協對用戶的效用，換句話說，它應該取決于結果的可取性。
我們對多目標多智能體決策 (MOMADM) 領域的分析表明，迄今為止該領域已經相當分散。因此，對于如何識別和處理這些設置還沒有統一的看法。作為第一個貢獻，我們開發了一種新的分類法來對 MOMADM 設置進行分類。這使我們能夠提供該領域的結構化視圖，清楚地描述當前多目標多智能體決策方法的最新技術，并確定未來研究的有希望的方向。
在多目標多智能體系統的學習過程中，智能體接收一個值列表，每個分量代表不同目標的性能。在自利智能體人的情況下（即，每個人都可能對目標有不同的偏好），在相互沖突的利益之間尋找權衡變得非常簡單。作為第二個貢獻，我們繼續分析和研究不同多目標優化標準下的博弈論均衡，并提供有關在這些場景中獲得此類解決方案的存在和條件的理論結果。我們還表明，在某些多目標多智能體設置中，納什均衡可能不存在。
當決策過程中的每個參與者都有不同的效用時，智能體了解其他人的行為就變得至關重要。作為最后的貢獻，我們首次研究了對手建模對多目標多智能體交互的影響。我們提供了新穎的學習算法，以及將對手行為建模和學習與對手學習意識相結合的擴展（即，在預測一個人對對手學習步驟的影響的同時進行學習）。實證結果表明，對手的學習意識和建模可以極大地改變學習動態。當存在納什均衡時，對手建模可以為實現它的智能體帶來顯著的好處。當沒有納什均衡時，對手學習意識和建模允許智能體仍然收斂到有意義的解決方案。
提 綱
1 引言
1.1 多智能體與多目標 1.2 激勵示例 1.3 研究目標和貢獻 1.3.1 貢獻 1.4 論文結構
2 多目標多智能體系統
2.1 強化學習 2.1.1 基于價值的方法 2.1.2 策略梯度和演員評論家 2.2 多智能體決策理論 2.2.1 標準形式博弈與均衡 2.3 單智能體多目標決策 2.3.1 工具函數 2.3.2 多目標優化標準 2.3.3 應用案例場景 2.4 多智能體多目標決策 2.4.1 多目標隨機博弈 2.4.2 特殊案例模型 2.4.3 多目標標準博弈 2.4.4 MONFG優化標準 2.5 總結
3 構建多目標多智能體決策域
3.1 執行階段 3.1.1 團隊獎勵 3.1.2 個體獎勵 3.2 解決方案概念 3.2.1 策略 3.2.2 覆蓋集合 3.2.3 均衡 3.2.4 ε近似納什均衡 3.2.5 聯盟形式與穩定概念 3.2.6 社會福利與機制設計 3.2.7 其他解決方案的概念 3.3 總結
4 多目標多智能體場景均衡
4.1 MONFG計算均衡 4.1.1 定義 4.1.2 理論分析 4.1.3 用于SER分析的附加博弈 4.2 實驗 4.2.1 Game 1 - The (Im)balancing Act Game 4.2.2 Game 2 - The (Im)balancing Act Game without action M 4.2.3 Game 3 - A 3-action MONFG with pure NE 4.3 總結
5 多目標多智能體場景中的對手建模
5.1 背景 5.1.1 對手建模 5.2 MONFG中的對手建模 5.2.1 對手學習意識和建模使用高斯過程 5.2.2 MONFG評價器 5.2.3 MONFG策略梯度方法 5.3 實驗設置與結果 5.3.1 完整信息設置 - MO-LOLA vs. MO-LOLA 5.3.2 無信息設置 5.4 總結
6 結論
6.1 討論 6.2 未來研究方向
6.2.1 優化標準和解決方案概念 6.2.2 ESR計劃、強化學習與SER博弈論 6.2.3 對手建模和建模對手效用 6.2.4 互動研究方法 6.2.5 深度多目標多智能體決策 6.2.6 更廣泛的適用性
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191