亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

多智能體強化學習（MARL）為一組人工智能代理提供了一個有原則的框架，使它們能夠在人類專家水平上學習協作和/或競爭行為。多智能體學習環境本質上比單智能體學習解決了更復雜的問題，因為代理既與環境互動，也與其他代理互動。特別是，在MARL中，多個代理同時學習，導致在遇到的經驗中產生自然的非平穩性，因此要求每個代理在其他代理策略可能發生較大變化的情況下調整其行為。本論文旨在從三個重要主題來解決多智能體學習中的非平穩性挑戰：1）適應性，2）收斂性，3）狀態空間。第一個主題解答了代理如何通過開發新的元學習框架來學習有效的適應策略，以應對其他代理不斷變化的策略。第二個主題解答了代理如何適應并影響聯合學習過程，使得基于新的博弈論解決方案概念，策略在學習結束時收斂到更理想的極限行為。最后，最后一個主題解答了如何基于知識共享和上下文特定抽象來減小狀態空間大小，從而使學習復雜性受到非平穩性的影響較小。總之，本論文發展了理論和算法貢獻，為上述關于非平穩性的主題提供了有原則的解答。本論文中開發的算法在多智能體基準領域的多樣化套件中展示了其有效性，包括混合激勵、競爭和合作環境的全譜。

深度強化學習（DRL）已經在單智能體學習中得到了廣泛的研究，但在多智能體領域還需要進一步發展和理解。作為最復雜的集群問題之一，競爭性學習評估了多智能體團隊合作實現某些目標的性能，同時超越了其他候選方案。這樣的動態復雜性使得即使是小眾的DRL方法也難以解決多智能體問題。在一個競爭性的框架內，我們研究了最先進的演員評論家算法和Q算法，并從性能和收斂性方面深入分析了它們的改型（如優先化、雙重網絡等）。為了討論的完整性，我們提出并評估了一個異步和優先版本的近似策略優化行為批判技術（P3O）與其他基準的對比。結果證明，在給定的環境中，基于Q的方法比演員評論家的配置更加穩健和可靠。此外，我們建議納入本地團隊通信，并將DRL與直接搜索優化相結合，以提高學習效果，特別是在具有部分觀察的挑戰性場景中。

圖3 多智能體深度強化學習系統。已實現的深度強化學習技術所使用的主要算法數據流圖。a) 具有單一團隊經驗重放緩沖區的深度Q網絡。盡管保存了異步強化學習轉換，但樣本是隨機的。目標網絡，其參數以緩慢的方式更新，給學習過程帶來了穩定性。b) 帶有優先團隊經驗重放緩沖器的決斗雙深Q網絡。根據時差誤差為每個存儲的過渡分配隨機優先級。c) 帶有分布式記憶的近似策略優化。網絡更新由團隊智能體異步進行。d) 帶有智能體分布式記憶、演員評論家網絡的優先級近似策略優化。每個智能體存儲自己的經驗，并使用它們來進行異步網絡更新。同時，根據有效的召回系數建立優先的數據集，然后用來訓練網絡。此外，該算法還與團隊共享的演員評論家網絡以及團隊共享的演員評論家網絡進行了研究。e)具有分布式記憶的異步優勢演員評論家。

**最近機器學習方法的大部分成功都是通過利用過去幾年產生的大量標記數據而實現的。**然而，對于一些重要的實際應用來說，如此大規模的數據收集仍然是不可行的。這包括機器人、醫療健康、地球科學和化學等領域，在這些領域獲取數據可能既昂貴又耗時。在本文中，我們考慮三個不同的學習問題，其中可以收集的數據量是有限的。這包括在在線學習期間限制對標簽、整個數據集和生成經驗的訪問的設置。本文通過采用序列決策策略來解決這些數據限制，這些策略在收集新數據和根據新獲得的證據做出明智的決策之間迭代。**首先，解決標簽獲取成本較高時如何高效地收集批量標簽的問題。**概率主動學習方法可用于貪婪地選擇信息量最大的待標記數據點。然而，對于許多大規模問題，標準的貪心算法在計算上變得不可行。為緩解這個問題，本文提出一種可擴展的貝葉斯批量主動學習方法，其動機是近似模型參數的完整數據后驗。

**其次，我們解決了自動化分子設計的挑戰，以加速對新藥物和材料的搜索。**由于迄今為止只探索了化學空間的一個小區域，可用于某些化學系統的數據量是有限的。本文通過將3D分子設計問題制定為強化學習任務，克服了生成模型對數據集的依賴，并提出了一種對稱感知策略，可以生成用以前方法無法實現的分子結構。

**最后，我們考慮了如何在不同任務中有效地學習機器人行為的問題。**實現這一目標的一個有希望的方向是在不同的任務上下文中泛化局部學習的策略。上下文策略搜索通過顯式地將策略約束在參數化上下文空間上，從而提供數據高效的學習和泛化。進一步構建上下文策略表示，在各種機器人領域實現更快的學習和更好的泛化。

深度強化學習(RL)在各個領域取得了顯著的成功，包括在圍棋和國際象棋等游戲中的使用。最近，深度多智能體強化學習(MARL)引起了廣泛關注，因為大量現實世界的問題可以自然地在MARL環境中表示。例如，自主車輛與無人機或機器人編隊的協調控制需要多個智能體根據局部觀察采取行動并協調其行為。然而，單智能體深度強化學習和多智能體深度強化學習都面臨著一個共同的挑戰:數據效率低和訓練時間長。本文向解決該問題邁出了一步:如何使(多智能體)深度強化學習更有效，即如何使用更少的數據和減少訓練時間?本文從五個方面解決深度強化學習的訓練時間長和數據效率低的問題:(1)并行高通量訓練;(2)更好的表示學習;(3)遷移學習;(4)高效探索;(5)訓練智能體以利用外部知識。對于1)，為了實現更高的強化學習訓練吞吐量，我們提出了一個快速強化學習訓練框架，該框架并行收集數據，而不犧牲強化學習算法的數據效率。對于2)，研究了圖卷積網絡的使用，以捕獲MARL中常用的集中式批評器的排列不變性質。我們發現這可以導致更有效的學習。研究了一種以物體為中心的表示，將多智能體RL算法擴展到復雜的視覺環境。3)為了讓強化學習智能體利用經過訓練的智能體的"知識"，本文提出了一個遷移學習框架，該框架允許學生模型利用多個教師模型的"知識"。我們發現這種遷移可以導致更快的學習。對于4)，研究了協調的多智能體探索，這允許智能體協調它們的探索努力，并更快地學習。最后，對于5)，本文提出了"知識詢問" (AFK)，一個學習生成語言命令以查詢有意義的知識的智能體，以更有效地解決給定的任務。綜上所述，本文研究了提高深度強化學習數據效率和訓練時間的方法。我們相信，通過更短的訓練時間和更好的數據效率，(多智能體)深度強化學習可以應用于各種現實世界的問題，本文提出的方法使我們更接近這一目標。

文獻中考慮的許多序列決策問題變體取決于反饋的類型和它們揭示的有關相關獎勵的信息量。之前的大多數工作都研究了行動的反饋揭示了與行動相關的獎勵的案例。然而，在許多領域，如眾包、醫療診斷和自適應資源分配，行動的反饋可能是薄弱的，即可能根本沒有揭示任何關于獎勵的信息。如果沒有任何關于獎勵的信息，就不可能了解哪種行動是最佳的。顯然，只有在問題結構是這樣的，即可以在不明確知道獎勵的情況下識別最佳行動的情況下，學習最佳行動才是可行的。本文的目標是研究一類問題，在不明確知道獎勵的情況下可以推斷出最優行動。研究了無監督順序選擇(USS)，所選行動的回報/損失從未顯示，但問題結構適合于識別最優行動。本文還提出了一種名為審查半Bandits (CSB)的新設置，從一個行動中觀察到的獎勵取決于分配給它的資源數量。

本文的主要研究內容是USS問題。在USS問題中，無法從觀察到的反饋中推斷出與動作相關的損失。這種情況出現在許多現實應用中。例如，在醫療診斷中，患者的真實狀態可能不為人知;因此，測試的有效性無法得知。在眾包系統中，眾包工人的專業知識水平是未知的;因此，他們的工作質量是不可知的。在此類問題中，可以觀察到測試/工作者的預測，但由于缺乏真實值，無法確定其可靠性。通過比較不同動作得到的反饋，可以找到一類USS問題在滿足“弱支配”性質時的最優動作。針對該問題，本文提出了基于置信上界和Thompson采樣的性能最優算法。

本文提出一種稱為審查半bandits (CSB)的新設置，其中從行動中觀察到的反饋取決于分配的資源數量。如果沒有分配足夠的資源，反饋就會被“審查”。在CSB設置中，學習者在每一輪中在不同的活動(動作)之間分配資源，并從每個動作中接受審查損失作為反饋。目標是學習一種資源分配策略，使累計損失最小化。每個時間步長的損失取決于兩個未知參數，一個與動作有關，但與分配的資源無關，另一個取決于分配的資源數量。更具體地說，如果動作的資源分配超過一個恒定的(但未知的)閾值，該閾值可以取決于動作，則損失等于零。CSB模型可以應用于許多資源分配問題，如警察巡邏、交通規則和執行、偷獵控制、廣告預算分配、隨機網絡效用最大化等。

論文的最后一部分重點研究了多玩家多臂匪徒的分布式學習，以識別最優動作子集。這種設置是這樣的，獎勵只適用于那些只有一個玩家參與的行動。這些問題適用于無線ad hoc網絡和認知無線電中尋找最佳通信信道的問題。本文的貢獻是通過利用這些問題表現出的特定結構來解決上述序列決策問題。對于這些具有弱反饋的每個設置，開發了可證明的最優算法。最后，在合成數據集和真實數據集上驗證了它們在不同問題實例上的經驗性能。

//www.zhuanzhi.ai/paper/309b90e6694df9044e90a6f254fa559a

黑盒優化(BBO)問題經常發生在許多工程和科學學科中，在這些學科中，人們可以訪問一個函數(黑盒)的零階評估，該函數必須在特定的領域進行優化。在許多情況下，函數的計算成本很高，因此計算的次數受到預算的限制。貝葉斯優化(Bayesian Optimization)是一種流行的算法，它通過代理對黑箱函數進行建模，并通過評估最有可能導致最優結果的點進行運算。多目標優化(MOO)是優化中的另一個主題，其目標是在一個公共領域中同時優化定義的多個目標。通常情況下，對于相同的輸入，這些目標不會達到它們的最佳狀態。在這種情況下，不是尋找單一的最佳解決方案，而是需要一組帕累托最優解決方案。本文研究了BBO和MOO的幾種優化策略及其應用。

**本文的前半部分是關于昂貴函數的BBO。**首先，基于隨機擴展的思想，提出了一種簡單而靈活的多目標黑盒優化方法。我們引入了多目標后悔的概念，并表明隨著預算的增長，我們的策略實現了零后悔。接下來，我們研究了神經網絡對昂貴BBO的有效性。我們證明了一個簡單的貪心方法可以達到接近高斯過程貝葉斯優化的性能。利用最近研究的高斯過程和非常廣泛的神經網絡訓練動態之間的聯系，我們證明了我們提出的算法的遺憾的上界。最后，我們提出了一個考慮成本的貝葉斯優化框架，該框架考慮了每次評估的成本。這種方法在評估成本隨輸入域而變化的環境中很有用，低成本評估可以提供關于最大值的大量信息。

本文的后半部分是關于MOO在兩個可微MOO問題上的應用。我們的第一個應用是學習稀疏嵌入，使用神經網絡進行快速檢索。這里要優化的目標是檢索精度和檢索速度。我們引入了一種新的稀疏正則化方法，并演示了一種退火策略，與其他方法相比，該策略產生了更好的目標帕累托邊界。對于我們的第二個應用，我們考慮了分層時間序列預測的問題，其中多個相關的時間序列被組織成一個層次。我們提出了一種考慮層次結構的方法，同時可擴展到大型層次，并表明它在大多數層次級別上都能提高精度。我們還將其視為一個多目標問題，并演示了跨不同層次的性能權衡。為了總結我們的貢獻，在這篇論文中，我們提出了各種類型的黑盒和多目標函數的優化策略，并在合成或基準數據集上進行實驗評估。

多智能體系統（MAS）已經在不同的環境和框架中得到了利用，因此已經成功地應用于許多應用中，以實現不同的目標。事實證明，與建立一個具有任務可能需要的所有能力的單一智能體相比，多智能體系統更具有成本效益。此外，成本并不是采用MASs的唯一驅動因素，例如，安全是另一個重要方面。在惡劣或極端的環境中部署一組智能體，而不是一個人類團隊，可以減少安全風險。此外，與單一智能體的解決方案相比，MAS提供了更多的靈活性和穩健性。靈活性來自于將資源分成不同的小組，而穩健性則來自于一個智能體的關鍵錯誤不一定會危及任務的成功這一事實。請注意，一個任務可能有許多不同的約束和方面，然而，最微不足道的情況是只有一個智能體和一個任務。

這些類型的任務可以由人類操作員計劃，監督任務，而不需要自動計劃器。另一方面，更復雜的任務，即利用大量的異質智能體和任務，以及約束條件（優先權、同步性等），對人類操作員來說并不是那么簡單的計劃。這些復雜的問題給制定一個可行的計劃帶來了巨大的挑戰，更不用說是最好的計劃了。此外，機器人系統中可用的計算平臺的功率增加，允許利用并行任務執行。更具體地說，它允許在傳感、計算、運動和操縱任務中可能的并行性。這反過來又有一個好處，即允許創建更復雜的機器人任務。然而，它的代價是增加了優化任務分配問題的復雜性。為了規避這些問題，需要一個自動規劃器。這些類型的問題是出了名的難解決，而且可能需要太長時間才能找到一個最佳計劃。因此，優化和產生計劃所需的計算時間之間的平衡變得非常重要。

本論文涉及兩個特殊的多機器人任務分配（MRTA）問題配置的正式定義，用于表示多智能體任務規劃問題。更具體地說，本論文的貢獻可以歸納為三類：

首先，這項工作提出了一個模型，以結構化的方式表示不同的問題配置，也被稱為任務。這個模型被稱為TAMER，它還允許以更系統的方式增加新的維度，與以前提出的MRTA分類法相比，擴大了可以描述的問題的數量。

其次，本論文以混合整數線性問題的形式，定義并提供了兩種不同的問題形式，即擴展的彩色旅行推銷員問題（ECTSP）。這些模型在CPLEX優化工具中對選定的問題實例進行了實施和驗證。此外，還設計了一個解決這些復雜問題的次優方法。提出的解決方案是基于遺傳算法（GA）的方法，并與最先進的（和實踐中的）求解器，即CPLEX獲得的解決方案進行比較。與經典方法相比，使用GA進行規劃的優勢在于它具有更好的可擴展性，使其能夠找到大規模問題的解決方案。盡管這些解決方案在大多數情況下是次優的，但它們比其他精確方法獲得的速度要快得多。另一個優勢體現在 "隨時停止 "選項的形式上。在時間緊迫的操作中，重要的是可以選擇停止規劃過程，并在需要時使用次優的解決方案。

最后，這項工作涉及到MRTA問題的一個維度，這個維度在過去沒有引起很多研究的關注。特別是，包括多任務（MT）機器人在內的問題配置被忽視了。為了克服上述問題，首先，對可能實現任務并行的情況進行了定義。此外，還介紹了物理和虛擬任務之間的區別以及它們在并行任務執行方面的相互關系。我們提出并比較了兩個模型。第一個模型以ILP的形式表達，并在CPLEX優化工具中實現。另一個被定義為限制性規劃（CP）模型并在CP優化工具中實現。兩種求解器都在一系列的問題實例上進行了評估。

自主機器人系統的團隊有可能對我們的社會產生巨大的積極影響。特別是在水下領域，協作的多智能體自主系統有可能導致效率、安全和數據質量的顯著提高。然而，雖然自主系統在結構化環境中已被廣泛接受，如制造廠和配送設施，但它們在非結構化環境中還沒有被廣泛采用。其主要原因是，自主系統在非結構化環境中的可靠性尚未達到廣泛采用此類平臺的成本和時間效益。自主系統可靠性的一個關鍵因素是導航和定位算法對常見故障情況的魯棒性，如離群測量、糟糕的初始化和不準確的不確定性特征。因此，本論文提出了同步定位和測繪（SLAM）、多Agent地圖合并、軌跡對齊和不確定性表征的方法，試圖解決其中一些故障情況。

首先，我們提出了一種穩健的地圖合并算法，該算法采用兩個姿勢圖和它們之間的一組潛在的環形閉合，并選擇一組可用于持續對齊和合并兩個地圖的這些潛在的環形閉合。我們提出的算法不需要對準的初始估計，可以處理90%以上的離群率。我們利用現有的最大剪裁算法來提高效率，并表明我們的算法優于現有的最先進的方法。

第二，我們提出了一種算法，用于將查詢軌跡定位到參考軌跡上，該算法完全基于描述機器人智能體在其訪問的每個位置周圍環境的低維數據。我們的方法利用凸松弛技術來避免初始化和數據關聯的需要，使得它在高維數據不可用的情況下很有用。我們將我們提出的方法與其他現有的凸優化技術進行了比較，并表明它比其他現有的方法更好地執行了剛體轉換。

第三，我們將平面姿態圖SLAM和地標SLAM問題表述為多項式優化問題，并證明這兩個問題的全局最優解總是可以通過解決半有限程序（SDP）找到。由于SDP是凸的，這使得我們能夠保證在沒有任何初始軌跡估計的情況下找到真正的最大似然估計（MLE）。

第四，我們提出了一個框架，使用特殊歐氏群的李代數對聯合相關姿勢的不確定性進行建模。然后，我們推導出使用該框架時姿勢組成、姿勢反演和相對姿勢操作的一階不確定性傳播公式。我們使用模擬數據和從現有的SLAM數據集中提取的數據進行評估，結果表明我們的方法比常用的方法導致了更一致的不確定性估計。最后，我們發布了擬議方法的C++庫實現。

綜上所述，本論文提出了四種用于多Agent地圖合并、軌跡對齊、全局最優SLAM和姿態不確定性表征的方法，旨在解決現有定位和繪圖方法的一些常見故障情況。此外，我們還證明了我們提出的所有方法在與該領域的其他方法相比較時的性能。

在許多現實世界的應用中，多主體決策是一個普遍存在的問題，如自動駕駛、多人視頻游戲和機器人團隊運動。多智能體學習的主要挑戰包括其他智能體行為的不確定性，以及由聯合觀察、行動和策略空間的高維性導致的維數災難。由于未知的智能體意圖和意外的、可能的對抗性行為，這些挑戰在對抗性場景中進一步加劇。本文提出了魯棒和可擴展的多智能體學習方法，目標是高效地構建可以在對抗性場景中魯棒運行的自主智能體。通過觀察智能體的行為準確推斷其意圖的能力是魯棒決策的關鍵。在這種情況下，一個挑戰是對手實際行為的高度不確定性，包括潛在的欺騙，這可能與先驗行為模型有很大的不同。捕捉自我主體和對手之間的交互以及對雙方主體可用信息的推理，對于建模這種欺騙行為至關重要。本文采用博弈論對手建模方法解決了這一意圖識別問題，該方法基于一種新的多樣性驅動的信念空間集合訓練技術，用于實現對欺騙的魯棒性**。為了將集成方法擴展到具有多個智能體的場景，本文提出了一種可擴展的多智能體學習技術，該技術通過稀疏注意力機制促進了接近最優的聯合策略學習。該機制的結果是集中的參數更新，這大大提高了采樣效率**。此外，本文還提出了一種新的隱式集成訓練方法，該方法利用多任務學習和深度生成策略分布，以較低的計算和內存成本獲得更好的魯棒性。將魯棒的意圖識別和可擴展的多智能體學習結合起來，可以實現魯棒的、可擴展的離線策略學習。然而，完全自主的智能體還需要能夠不斷地從新的環境和對等智能體中學習(并適應)。因此，本文還提出了一種安全的適應方法，既能適應新的對手，又能在對抗場景中對任何可能的對手剝削保持低可利用性。本文的貢獻有助于構建自主代理，使其能夠在具有不確定性的競爭多智能體場景下做出魯棒的決策，并通過計算效率學習安全地適應以前未見的對等智能體。