亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能分布式部署中智能體系統的廣泛應用，對高效選擇影響智能體學習行為的參數、在復雜環境中實施機制設計，以及整合多元智能體能力實現目標結果提出了新挑戰。算法機制設計作為計算機科學、數學和經濟學的交叉領域，致力于開發引導理性智能體達成預期行為的算法，其應用涵蓋資源分配、成本分攤、定價與組合拍賣等場景。然而，傳統方法受限于計算約束與靜態假設，在充滿不確定性與動態變化的環境中效果不佳。

本論文通過融合強化學習（RL）與貝葉斯優化（BO），針對動態多智能體場景開發自適應機制以突破上述局限。我們提出多智能體強化學習（MARL）中機制設計的新框架，依托創新的BO方法高效探索潛力方案。MARL可捕捉隨機環境中多智能體動態交互的復雜性，通過求解底層馬爾可夫博弈以學習聯合策略。評估多MARL場景的計算復雜度問題通過以下方式解決：（I）擴展后繼特征至納什均衡策略的遷移學習；（II）采用BO框架限定評估預算，使問題可解。

所提機制設計框架的有效性在出租車平臺司機服務費設定、共享自然資源開發管理（社會福利最大化）、探索任務機器人集群硬件采購決策優化，以及激勵機制與招募策略設計（委托方目標最優化）等實際應用的基準研究中得到驗證。該方法在現實問題上展現的優越性，凸顯了BO與MARL融合優化復雜多智能體系統的潛力，為機制設計領域的未來研究奠定了堅實基礎。

人工智能分布式部署的代理系統日益普及，對高效選擇影響智能體學習行為的參數、復雜環境下的機制設計應用以及整合多樣化智能體能力達成預期目標提出了新挑戰。算法機制設計（這一融合計算機科學、數學與經濟學的跨學科領域）致力于開發引導理性智能體實現期望行為的算法，其應用涵蓋資源分配、成本分攤、定價與組合拍賣。然而，傳統方法受限于計算約束與靜態假設，在動態不確定環境中的有效性不足。本論文通過整合強化學習（RL）與貝葉斯優化（BO）開發動態多智能體環境中的自適應機制以突破上述局限。

本文提出多智能體強化學習（MARL）中機制設計的新框架，依托新型BO方法高效探索潛力方案。MARL捕捉隨機環境中多智能體動態交互的復雜性，通過求解底層馬爾可夫博弈學習聯合策略。評估多MARL場景的計算復雜度問題通過以下方式解決：（一）擴展"后繼特征"至納什均衡策略的遷移學習；（二）采用基于BO的框架限制評估資源，使問題可解。所提機制設計框架的有效性通過多項實際應用基準研究驗證，包括：出租車平臺司機服務費設定、共享自然資源開發管理（實現社會福利最大化）、機器人編隊勘探任務硬件采購決策優化，以及定義最優激勵與招募策略（最大化委托方目標）。實證結果表明，本方法在現實問題中優于現有技術，彰顯BO與MARL結合優化復雜多智能體系統的潛力，為機制設計未來研究奠定堅實基礎。

本研究致力于提升人機協同導航能力，使機器人團隊與人類作為整體單元協同移動并完成任務。通常情況下，團隊協同導航受預定義標準操作程序（SOP）的強約束，該程序為成員行動路徑與任務執行提供高層級指導。本研究提出"受限集體運動（CCM）"概念，描述團隊成員如何在環境約束與應用約束平衡下，通過隊內與跨隊導航執行聯合任務。該研究推進機器人在城市搜救、火場人員搜索、軍事建筑物清剿等場景中與人類協同作業的能力。引入機器人可降低人員風險，同時提升團隊執行關鍵任務（如向受困者輸送救援裝備）的效能。現有研究多聚焦純模型驅動方法實現復雜協同導航，但需人工編碼規則，耗費大量領域知識且易導致非自然行為。

本論文創新性融合高層級模型驅動知識表征與低層級行為克隆技術，實現人機團隊協同導航的CCM。采用Unity游戲引擎開展仿真實驗驗證，結果表明：所設計方法可學習高層級行為要素（準確率達88%），并掌握低層級機器人控制行為（準確率達89%）。據現有文獻，此為首個將經典AI方法與前沿機器學習相結合的人機協同導航研究范式。該成果不僅提升協同導航效能，更為聯合制造、社會輔助機器人等協作型人機應用提供技術啟示。

多智能體強化學習（MARL）理論的一個核心問題是，了解哪些結構條件和算法原理會導致樣本高效學習保證，以及當我們從少數智能體轉向多數智能體時，這些考慮因素會發生怎樣的變化。我們在多智能體互動決策的一般框架中研究了這一問題，包括具有函數逼近的馬爾可夫博弈和具有強盜反饋的正態博弈。我們的重點是均衡計算，其中集中式學習算法旨在通過控制與（未知）環境交互的多個智能體來計算均衡。我們的主要貢獻如下

• 提供了多智能體決策最優樣本復雜度的上下限，其基礎是決策估計系數（Decision-Estimation Coefficient）的多智能體廣義化；決策估計系數是 Foster 等人（2021 年）在與我們的設置相對應的單智能體中引入的一種復雜度度量。與單智能體環境下的最佳結果相比，我們的上界和下界都有額外的差距。我們的研究表明，任何 “合理 ”的復雜性度量都無法彌補這些差距，這凸顯了單個智能體與多個智能體之間的顯著差異。

• 表征多智能體決策的統計復雜性，等同于表征單智能體決策的統計復雜性，只不過獎勵是隱藏的（無法觀察到的），這個框架包含了部分監控問題的變體。由于這種聯系，我們盡可能地描述了隱藏獎勵交互決策的統計復雜性。

在此基礎上，提供了幾個新的結構性結果，包括：1）多智能體決策的統計復雜性可以降低到單智能體決策的統計復雜性的條件；2）可以避免所謂的多智能體詛咒的條件。

由于篇幅所限，正文對研究結果作了非正式的概述，詳細說明放在附錄的第 I 部分。第 II 部分給出了示例。附錄組織概覽見附錄 A。

隨著人工智能（AI）的出現，基于個人經驗和判斷進行行動和思考的自主概念為未來的自主決策鋪平了道路。這種未來可以解決相互依存的多計算系統這一復雜領域的問題，而這些系統面臨的主要挑戰是，它們之間的相互作用會產生不可預測且往往不穩定的結果。為相互依存計算系統設想和設計人工智能驅動的自主性至關重要，它涵蓋了從物聯網（IoT）到網絡安全等各種用例。這可以通過克隆人類決策過程來實現，克隆過程要求人類在決定如何行動之前，先感知未知的隨機環境，執行行動，最后評估感知到的反饋。每個人都會根據自己的行為特征和推理，主觀地評估反饋是否令人滿意。上述步驟的重復迭代構成了人類的學習過程。因此，其核心思想是將人類的認知注入到相互依存的計算系統中，使其轉變為人工智能決策體，模仿人類的理性行為屬性，自主優化其主觀標準。

無人駕駛飛行器（UAV）或多接入邊緣計算服務器（MEC）等相互依賴的計算系統的快速發展帶來了海量數據和嚴格的服務質量（QoS）要求。當這些系統以自主方式行動時，它們會表現出競爭行為，因為每個系統都想自私地優化自己的主觀標準。這就引入了非合作環境中交互決策的概念，即每個系統的反饋都取決于其他系統可能相互沖突的行動。因此，本文利用博弈論來有效捕捉非合作環境中相互依賴的計算系統之間的戰略互動，并證明存在解決方案，即穩定的均衡點。均衡點被認為是穩定的解決方案，因為每個系統都沒有單方面改變自身行動的戰略動機。為了以分布式方式確定這些均衡點，我們采用了強化學習（RL）技術，該技術可使相互依存的自主計算系統在隨機環境中利用自身行動和經驗的反饋，通過試錯進行智能學習。此外，傳統的強化學習方法還加入了獎勵重塑技術，通過契約理論考慮自主互聯計算系統之間類似勞動經濟學的安排，并通過貝葉斯信念模型考慮它們的行為特征。同時利用博弈論和強化學習與獎勵重塑技術，是向自感知人工智能（SAAI）邁出的一步。本文證明，它極有可能成為構建基于人工智能的自主決策相互依賴計算系統的主要組成部分，并能有效地應用于各種應用領域。

圖 1.1： 總體決策框架

本文貢獻點

本文首先分析了所使用的數學工具的理論基礎。此外，除了傳統的單智能體環境，還引入了多個非集中式低復雜度框架，根據人工智能原理將相互依存的多智能體計算系統轉化為自主決策者。在多智能體應用環境中，提出了以第 1.1 節所述 IDU 約束為特征的非合作博弈，并應對了由此帶來的挑戰。具體來說，博弈論與強化學習的融合帶來了新穎的低復雜度分布式學習框架。此外，通過注入人類認知屬性，傳統的 RL 框架得到了豐富，從而使決策過程更加有效。證明了納什均衡點的存在，并表明基于人工智能的自主相互依存計算系統能夠接近這些均衡點，而無需集中式閉合解決方案。通過建模和仿真，在各種實際應用案例中對所提出的框架進行了評估。本論文的主要貢獻如下。

1.引入了新穎的低復雜度分布式決策框架，將傳統的資源有限、相互依賴的計算系統轉變為自主、智能的計算系統。我們研究了兩種情況： (a) 完整信息情景，即計算系統可以交換所有必要信息，并以分布式方式收斂到均衡點；以及 (b) 不完整信息情景，即利用強化學習讓智能相互依賴計算系統以自主方式接近均衡點。對這兩種情況下的運行性能進行了實證評估。

2.在處理非合作博弈的應用領域，通過證明博弈是潛在的或子/超模的方式，用數學方法證明納什均衡點的存在。如果環境是完全可觀察的，則采用傳統的閉式求解方法，如最佳響應動力學，反之，則采用各種強化學習算法，從經驗上接近納什均衡點。

3.通過利用契約理論和貝葉斯信念，將人類認知和行為特征分別納入決策框架。此外，當在信息不對稱的環境中運用契約理論時，提供了優化問題的閉式激勵解的完整證明，這反過來又從一個非凸問題正式轉化為一個凸問題。通過適當地將這些人類意識屬性納入獎勵重塑的強化學習框架，計算系統可以自主優化其主觀目標并做出有效決策。這是向增強型自我意識人工智能邁出的一步。

4.除了多智能體設置，還將強化學習應用于單智能體問題，例如離線深度強化學習，表明基于 RL 的決策智能體比許多替代策略（例如基于機器學習（ML）的方法）能帶來更好的結果。

5.通過在廣泛的應用領域進行大規模模擬，對所提出的決策方法進行了實證評估，突出了這些方法的主要操作特點。此外，還引用了與其他方法的詳細比較評估，強調了所引入框架的優越性。

圖 3.7：移動邊緣計算中的人工智能無人機數據卸載框架

現有的決策計算模型往往局限于特定的實驗設置。造成這種限制的主要原因是無法捕捉決策者對情況的不確定性。本文提出了一個計算框架，用于研究神經科學和心理學中不確定情況下的決策制定。框架主要側重于決策者對世界狀況的概率評估，即他們的 “信念”。具體來說，它基于部分可觀測馬爾可夫決策過程（POMDPs），結合貝葉斯推理和獎勵最大化來選擇行動。利用感知決策和社會決策方面的各種實驗數據，證明了基于信念的決策框架的可行性。框架解釋了感知決策實驗中決策者的實際表現與他們對實際表現的信念（即決策信心）之間的關系。它還說明了為什么在許多情況下這種評估會偏離現實。這種偏差通常被解釋為次優決策的證據，或選擇和信心的不同過程。我們的框架對這些解釋提出了挑戰，它表明，一個優化收益的規范貝葉斯決策者也會產生同樣的偏差。此外，在定量預測人類在社會決策任務中的行為方面，方法優于現有模型，并提供了對潛在過程的洞察。結果表明，在涉及大型群體的決策任務中，人類采用貝葉斯推理來模擬 “群體心理”，并對他人的決策做出預測。最后，將方法擴展到關于他人的多個推理層次（心智理論層次），并將服從作為群體決策的一種策略聯系起來。這個擴展框架可以解釋人類在各種集體群體決策任務中的行為，為大型群體中的合作與協調提供了新的理論。

圖 1.1： 基于信念的決策框架。智能體通過行動、觀察和獎勵與世界互動。智能體無法完全觀測到世界的狀態，只能根據觀測結果和智能體的內部世界模型，以概率方式表示世界的狀態。智能體的目標是根據當前狀態的概率分布來制定策略，即所謂的信念

圖是一種自然表示方式，適用于基于連接實體之間關系的系統。當考慮與感興趣的過程相關的目標函數時，會出現組合優化問題，這些問題通常具有挑戰性，因為解決方案空間的迅速增長。強化學習的試錯范式最近已經成為一種有前景的替代傳統方法，如精確算法和（元）啟發式算法，用于在化學、計算機科學和統計學等多種學科中發現更好的決策策略。盡管這些技術源自截然不同的領域，但它們具有顯著的共性。因此，我們著手將這些工作綜合在我們稱之為圖強化學習的統一視角中，將其解釋為圖問題的一種構造性決策方法。在介紹相關的技術背景后，我們回顧了這些研究工作，并沿著是否旨在優化給定過程的圖結構，或在固定圖結構下優化過程本身的結果這一分界線進行了評述。最后，我們討論了該領域面臨的共同挑戰和開放性研究問題。與其他綜述不同，本工作關注于非典型圖問題，對于這些問題，通常沒有已知的高效算法，而強化學習能夠提供高效且有效的解決方案。

圖是一個數學概念，用于形式化由關系（邊）連接的實體（節點）的系統。超越原始拓撲結構，圖中的節點和邊常常與屬性相關聯：例如，一個邊可以與距離度量的值相關聯（Barthélemy, 2011）。通過這樣的特性增強，圖成為了一種強大的形式主義，能夠表示各種系統。這種靈活性使得它們被廣泛應用于計算機科學、生物學和社會科學等多樣的領域（Newman, 2018）。這種類型的數學建模可以用來分析性地檢查網絡的結構和行為，構建預測模型和算法，并將它們應用于實際問題。除了描述在圖上發生的過程外，一個自然的問題是如何介入網絡以優化給定過程的結果。這類在離散結構上的組合優化問題通常具有挑戰性，因為解決方案空間的迅速增長。一個著名的例子是旅行商問題（TSP），它要求在一個完全連通的圖中找到一個哈密頓回路，使得路徑長度總和最小化。

近年來，機器學習（ML）開始作為解決組合優化問題的有價值工具而興起，研究人員預計其影響將是革命性的（Bengio et al., 2021; Cappart et al., 2021）。特別是，強化學習（RL）的范式已顯示出通過試錯發現能夠勝過傳統精確方法和（元）啟發式方法的算法的潛力。一個常見的模式是將感興趣的問題表達為一個馬爾可夫決策過程（MDP），在其中，一個代理逐步構建解決方案，并根據其優化目標函數的能力獲得獎勵。從MDP公式開始，可以透明地應用各種RL算法，這使得這種方法在可以解決的問題類型上非常靈活。與此同時，開始出現了使用RL解決圖組合優化問題的工作，涵蓋了從化學（You et al., 2018a），計算機科學（Valadarsky et al., 2017），經濟學（Darvariu et al., 2021b）到統計學（Zhu et al., 2020）等多種科學領域。

本綜述的目標是提出一個統一框架，我們稱之為圖強化學習（Graph RL），用于處理圖上的決策問題。我們將綜合可以在這個新興范式的背景下解釋的各種方法。我們將討論幾個組合優化問題，重點是那些通常不知道有效、高性能算法的非典型問題。事實上，最近的綜述關注的是應用RL解決典型問題的作品，我們使用“典型問題”這一術語來指代可能已經被研究了幾十年的問題。例如，僅關于解決上述TSP的研究就可以追溯到近70年前Dantzig等人的論文（1954），并且存在非常有效的算法可以最優地（Applegate et al., 2009）或近似地（Lin & Kernighan, 1973; Helsgaun, 2000）解決多達數千萬節點的實例。其他值得注意的典型問題包括最大獨立集（Ahn et al., 2020）、最大割（Khalil et al., 2017; Ahn et al., 2020）以及諸如車輛路徑問題（VRP）（Kool et al., 2019; Kim & Park, 2021）等路由問題。除了少數例外，盡管在這些基準問題上的工作對于推動基于ML方法的極限很重要，但目前它們還不能直接與成熟的、高度優化的啟發式和精確求解器競爭。因此，本文與其他綜述（Mazyavkina et al., 2021; Wang & Tang, 2021）和觀點（Bengio et al., 2021; Cappart et al., 2021）相輔相成，無論是在提出統一范式還是關注非典型問題方面。

本文的其余部分如下組織。在第2節中，我們提供了關于圖上的組合優化問題及其使用RL方法的相關技術背景。隨后，在第3節中，我們回顧了考慮優化圖結構的工作（即，從頭開始創建圖或修改現有圖）以使目標函數最大化。然后，在第4節中，我們綜述了在固定圖結構下優化過程的論文。第5節討論了在應用這些技術時面臨的常見挑戰，這些也可以視為未來工作中需要解決的重要研究問題，此外還總結了一些關鍵的應用領域。我們在第6節以圖強化學習作為解決圖上組合優化問題的統一范式的討論來結束本文。

圖結構優化在機器學習（ML）處理典型圖組合優化問題的工作中，一個共有的特點是它們通常不涉及對圖的拓撲結構進行改變。具體來說，需要在假設網絡結構保持固定的情況下找到解決方案。學習構建圖或修改其結構以優化給定目標函數的問題在ML文獻中相對較少關注。在這一部分，我們回顧了處理修改圖拓撲結構以優化感興趣的量的問題的工作，并使用強化學習（RL）來發現實施這一過程的策略。這是通過與環境的互動來執行的。

在高層次上，這類問題可以被表述為尋找滿足argmaxG∈G F(G)的圖G，其中G是要搜索的可能圖的集合，F如前所述，是目標函數。我們在圖2中示意了這一過程。精確的框架取決于問題，并可能涉及從一個空圖開始還是從一個現有的圖開始選擇，以及對圖的有效性如空間限制、非循環性或平面性施加約束。如圖3所示，動作空間的設計也可以變化。代理可能被允許進行邊的添加、移除和重連，或者這些操作的某種組合。 鑒于范圍的自然限制，我們只考慮那些（1）使用圖表示問題；（2）通過RL訓練策略進行結構優化的工作。讓我們簡要討論一下相關但不在討論范圍內的一系列工作。ML文獻中的幾項工作考慮了生成與提供的數據集具有類似屬性的圖。這通常使用深度生成模型執行，并可被視為經典圖生成模型的基于ML的替代方法，例如Barabási & Albert（1999）的模型。這些工作主要使用最終圖（即“成品”）的示例數據集，并不使用中間的，從某種意義上說，對應于生成過程本身的步驟。它們還需要大量相關的示例集合，這些可能并不總是可用的，具體取決于領域。

在這一領域，使用自回歸模型（如LSTM或GRU）的工作類似于MDP公式；例如添加邊的決策可以被視為序列中的一個標記，由模型學習。這一領域的一些值得注意的工作包括Li等人（2018）提出的技術，GraphRNN（You等人，2018b），以及圖重復注意網絡（Liao等人，2019）。其他類型的生成模型，如變分自編碼器和生成對抗網絡，也被用于生成分子（Kusner等人，2017; Guimaraes等人，2018; De Cao & Kipf, 2018; Jin等人，2018）。

本節的其余部分深入回顧了相關論文，按問題家族分組。我們涵蓋了旨在學習如何攻擊GNN、設計網絡結構、發現因果圖和構建分子圖的工作。考慮的論文根據其采用的技術和特點在表1中進行了總結。 在這項綜述中，我們討論了圖強化學習這一新興領域，這是一種通過試錯學習來解決圖上計算挑戰性優化問題的方法。我們特別關注那些尚未知曉高效算法的問題，以及傳統的啟發式和元啟發式算法通常無法提供滿意性能的問題。我們將這些工作分為兩類。第一類是圖結構優化，包括需要找到最優圖結構的問題，這在對抗性攻擊圖神經網絡、網絡設計、因果發現和分子優化等領域有顯著應用。第二類是圖過程優化，將圖結構視為固定不變，代理在離散的可能控制行動空間中進行搜索，以優化過程的結果。這包括網絡路由、游戲、傳播過程和圖搜索等問題。最后，我們討論了該領域面臨的主要挑戰，其解決可能具有非常重大的影響。

與決策相關的活動，如自下而上和自上而下的策略制定、分析和規劃，都將受益于基于計算機的模型的開發和應用，這些模型能夠在當地環境中表現人類的時空社會行為。在努力了解和尋找減緩氣候變化特定影響的方法時尤其如此，在這種情況下，此類模型需要包括相互影響的社會和生態要素。此類模型的開發和應用一直受到以下挑戰的嚴重阻礙：設計行為以經驗證據和理論為基礎的智能體，以及測試智能體代表現實世界決策者行為的能力。本論文通過以下方法克服了這些挑戰，從而提高了開發此類模型的能力： (a) 三個新框架，(b) 兩種新方法，以及 (c) 兩種新的開源建模工具。這三個新框架包括 (a) SOSIEL 框架，它為開發新一代認知、多智能體和基于知識的模型提供了一個有理論基礎的藍圖，這些模型由具有認知架構的智能體組成； (b) 一個分析決策者有界理性的新框架，它為分析決策情境與決策者決策之間的關系提供了洞察力和便利；以及 (c) 一個分析人工智能體雙重有界理性（DBR）的新框架，它對決策情境與人工智能體決策之間的關系做了同樣的分析。這兩種新方法包括 (a) 用于獲取和操作決策知識的 SOSIEL 方法，它提高了我們為認知模型、多智能體模型和基于知識的模型獲取、處理和表示決策知識的能力；以及 (b) 用于測試人工智能體表示人類決策能力的 DBR 方法。這兩個開源建模工具包括 (a) SOSIEL 平臺，這是一個基于認知、多智能體和知識的平臺，用于模擬人類決策；以及 (b) 將該平臺作為 SOSIEL 人類擴展（SHE）應用于現有的森林氣候變化模型，即 LANDIS-II，以便分析人類與森林氣候之間的共同進化互動。為了提供示例背景和知識獲取指南，論文包括烏克蘭喀爾巴阡山地區社會生態互動的案例研究，該地區目前正在應用 LANDIS-II 和 SHE。因此，本論文通過以下方式推動科學發展 (a) 為下一代基于認知、多智能體和知識的模型提供理論基礎并展示其實施；(b) 為理解、分析和測試人工智能體代表人類決策的能力提供植根于心理學的新視角。

基于模型的決策支持系統（MDSS）在航空、應急管理、軍事指揮與控制、醫療保健、核行動、情報分析和海上行動等許多后果嚴重的專業領域都非常突出。MDSS 通常使用任務和操作員的簡化模型，對決策情況進行結構化處理，并向操作員提供對決策任務有用的信息提示。模型是一種簡化，可能會被錯誤定義，并存在誤差。采用和使用這些錯誤的模型會導致用戶的決策貧乏。本文把決策者的這種貧乏狀態稱為 "模型盲"。我們進行了兩個系列實驗，以研究模型盲對人類決策和績效的不利影響，以及如何通過可解釋人工智能（XAI）干預來減輕這些影響。本論文還報告了模擬結果，通過展示模型盲區和模型盲區緩解技術對性能的影響來激發實驗。實驗將模擬路線推薦系統作為具有真實數據生成模型（不可觀測世界模型）的 MDSS 來實施。在實驗 1 中，生成推薦路線的真實模型以及額外的非推薦路線和相關屬性信息被錯誤地指定為不同級別，從而對 MDSS 用戶造成了模型盲區。在實驗 2 中，同樣的路線推薦系統采用了緩解技術，以克服模型失當對決策質量的影響。總體而言，這兩項實驗的結果幾乎都不支持由于模型盲區而導致的性能下降，因為模型盲區是由錯誤的系統造成的。實驗 1 和實驗 2 中捕捉到的行為對參與者所處的不同誤設統計環境的敏感性極低。有確鑿證據表明，在不同條件下，推薦的替代方案以及參與者對這些方案的依賴或偏離都會產生影響。XAI 干預為了解參與者如何調整決策以考慮系統中的偏差以及如何偏離模型推薦的備選方案提供了寶貴的見解。參與者的決策策略表明，他們能夠從反饋或解釋中理解模型的局限性，并相應地調整策略以考慮模型中的錯誤規范。這些結果為評估決策策略在模型盲區匯合模型中的作用提供了有力支持。這些結果有助于確定在 MDSS 的開發、實施和使用階段仔細評估模型盲區的必要性。

圖 3. 為實驗開發的路線推薦系統中使用的模型