亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

近年來，現代網絡應用的技術和服務取得了重大進展，包括智能電網管理、無線通信、網絡安全以及多智能體自主系統。考慮到網絡實體的異構性質，新興的網絡應用程序需要博弈論模型和基于學習的方法，以創建分布式網絡智能，以響應動態或對抗環境中的不確定性和中斷。

本文闡述了網絡、博弈和學習的融合，為理解網絡上的多智能體決策奠定了理論基礎。我們在隨機近似理論的框架內提供了博弈論學習算法的選擇性概述，以及在現代網絡系統的一些代表性環境中的相關應用，例如下一代無線通信網絡、智能電網和分布式機器學習。除了現有的關于網絡上的博弈論學習的研究工作外，我們還強調了與人工智能的最新發展相關的博弈學習的幾個新角度和研究工作。一些新的角度是從我們自己的研究興趣中推斷出來的。本文的總體目標是讓讀者清楚地了解在網絡系統背景下采用博弈論學習方法的優勢和挑戰，并進一步確定理論和應用研究方面富有成果的未來研究方向。

引言

網絡上的多智能體決策最近吸引了來自系統和控制界的呈指數增長的關注。該領域在工程、社會科學、經濟學、城市科學和人工智能等各個領域獲得了越來越大的發展勢頭，因為它是研究大型復雜系統的普遍框架，并被廣泛應用于解決這些領域中出現的許多問題。例如社交網絡分析 [1]、智能電網管理 [2, 3]、交通控制 [4]、無線和通信網絡 [5-7]、網絡安全 [8,9] 以及多智能體自主系統[10]。

由于現代網絡應用中先進技術和服務的激增，解決多智能體網絡中的決策問題需要能夠捕捉新興網絡系統的以下特征和自主控制設計的新模型和方法：

1. 底層網絡的異構性，以一組節點為代表的多個實體以獨立決策能力追求自己的目標；
2. 系統需要分布式或去中心化運行，底層網絡拓撲結構復雜，規模過大，無法集中管理；
3. 需要創建響應網絡和環境變化的網絡智能，因為系統經常在動態或對抗環境中運行。

博弈論為解決這些挑戰提供了一套自然的工具和框架，并將網絡連接到決策制定。它需要開發數學模型，以定性和定量地描述具有不同信息和理性的自利行為體之間的相互作用是如何達到一個全局目標或導致在系統水平上出現行為的。此外，通過底層網絡，博弈論模型捕獲了拓撲結構對分布式決策過程的影響，在分布式決策過程中，智能體根據其目標和可獲得的局部信息(如對其鄰居的觀察)獨立規劃其行動。

除了網絡上的博弈論模型之外，在為網絡系統設計分散管理機制時，學習理論也是必不可少的，以便為網絡配備分布式智能。通過博弈論模型和相關學習方案的結合，這種網絡智能允許異構智能體相互進行戰略性交互，并學會對不確定性、異常和中斷做出響應，從而在網絡或最優系統上產生所需的集體行為模式級性能。這種網絡智能的關鍵特征是，即使每個智能體自己的決策過程受到其他決策的影響，智能體也會以在線和分散的方式達到均衡狀態，即我們稍后將闡明的納什均衡.為了給網絡配備分布式智能，聯網智能體應該通過在他們可能不知道的大型網絡上通過有限的局部觀察來適應動態環境。在計算上，分散式學習可以有效地擴展到大型和復雜的網絡，并且不需要關于整個網絡的全局信息，這與集中式控制法則相比更實用。

本文闡述了網絡、博弈和學習的融合，為理解網絡上的多智能體決策奠定了理論基礎。

圖 1：網絡、博弈和學習的融合。博弈論建模和學習理論的結合為各種網絡系統帶來了彈性和敏捷的網絡控制。

我們的目標是對博弈論學習方法及其在網絡問題中的應用提供系統的處理，以滿足上述三個要求。如圖 1 所示，新興的網絡應用需要新的方法，并且由于分散的性質，博弈論模型以及相關的學習方法為解決來自各個領域的網絡問題提供了一種優雅的方法。具體來說，我們的目標有三個：

1. 提供適用于多智能體決策問題的博弈論模型的高級介紹；
2. 提出基于隨機近似和李雅普諾夫理論的用于研究博弈學習過程的關鍵分析工具，并指出一些廣泛研究的學習動態；
3. 介紹可以通過博弈論學習解決的各種多智能體系統和網絡應用。

我們的目標是讓讀者清楚地了解在網絡系統的背景下采用新穎的博弈論學習方法的優勢和挑戰。除了突出顯示的內容外，我們還為讀者提供了進一步閱讀的參考。在本文中，完全信息博弈是本課題的基礎，我們將簡要介紹靜態博弈和動態博弈。關于這個主題的更全面的處理以及其他博弈模型，例如不完全信息博弈，可以在 [11-13] 中找到。由于大多數網絡拓撲可以通過博弈的效用函數結構來表征 [1, 14]，因此我們沒有闡明網絡拓撲對博弈本身的影響。相反，我們關注它對博弈學習過程的影響，其中玩家的信息反饋取決于網絡結構，我們展示了具有代表性的網絡應用程序來展示這種影響。我們推薦讀者參考 [1,14] 以進一步閱讀各種網絡上的博弈。

論文結構

我們的討論結構如下。在第 2 節中，我們介紹了非合作博弈和相關的解決方案概念，包括納什均衡及其變體，它們記錄了自利參與者的戰略互動。然后，在第 3 節，我們轉向本文的主要焦點：在收斂到納什均衡的博弈學習動態。在隨機逼近框架內，提供了各種動力學的統一描述，并且可以通過常微分方程（ODE）方法研究分析性質。在第 4 節中，我們討論了這些學習算法在網絡中的應用，從而導致了網絡系統的分布式和基于學習的控制。最后，第 5 節總結了本文。

今天的計算機視覺擅長于識別現實世界的限定部分:我們的模型似乎能在基準數據集中準確地檢測出像貓、汽車或椅子這樣的物體。然而，部署模型要求它們在開放世界中工作，開放世界包括各種設置中的任意對象。目前的方法在兩個方面都有困難:他們只認識到少數的類別，并且在不同的訓練分布的環境中切換。解決這些挑戰的模型可以作為下游應用的基本構建模塊，包括識別操作、操作對象和繞過障礙進行導航。本論文提出了我們在建立魯棒檢測和跟蹤目標模型的工作，特別是有很少或甚至沒有訓練的樣例。首先，我們將探索傳統模型如何泛化到現實世界，傳統模型只識別一小部分對象類。我們表明，目前的方法是極其敏感的:即使是輸入圖像或測試分布的細微變化，都可能導致精度下降。我們的系統評估顯示，模型——即使是那些訓練很好的對對抗或合成損壞具有魯棒性的模型——經常正確地分類視頻的一幀，但在相鄰的感知相似的幀上卻失敗了。類似的現象甚至適用于由數據集之間的自然變化引起的微小分布變化。最后，我們提出了一種解決對象外觀泛化的極端形式的方法:檢測完全遮擋的對象。接下來，我們探索歸納到大的或無限的詞匯，其中包含罕見的和從未見過的類。由于當前的數據集很大程度上局限于一個小的、封閉的對象集合，我們首先提出了一個大型詞匯基準來衡量檢測和跟蹤的進展。我們展示了當前的評估不足以滿足大型詞匯量基準測試，并提供了適當評估此設置中的進度的替代指標。最后，我們提出了利用封閉世界識別的進展來為任何對象建立精確、通用的檢測器和跟蹤器的方法。

//www.ri.cmu.edu/publications/open-world-object-detection-and-tracking/

本書提供了分布式優化、博弈和學習的基本理論。它包括那些直接從事優化工作的人，以及許多其他問題，如時變拓撲、通信延遲、等式或不等式約束，以及隨機投影。本書適用于在動態經濟調度、需求響應管理和智能電網插電式混合動力汽車路由等領域使用分布式優化、博弈和學習理論的研究人員和工程師。

無線技術和計算能力的進步使得理論、模型和工具的發展成為必要，以應對網絡上大規模控制和優化問題帶來的新挑戰。經典的優化方法是在所有問題數據都可用于集中式服務器的前提下工作的。然而，這一前提不適用于由電力系統、傳感器網絡、智能建筑和智能制造等應用驅動的分布式環境中的大型網絡系統。在這樣的環境中，每個節點(agent)根據自己的數據(信息)以及通過底層通信網絡從相鄰的agent接收到的信息進行本地計算，從而分布式地解決大規模控制和優化問題。最終，集中式優化方法必然會走向衰落，從而產生一種新的分布式優化類型，它考慮了多個agent之間的有效協調，即所有agent共同協作，使一個局部目標函數之和的全局函數最小化。

本書研究了近年來分布式優化問題中的幾個標準熱點問題，如無約束優化、有約束優化、分布式博弈和分布式/分散學習等。為了強調分布式優化在這些主題中的作用，我們將重點放在一個簡單的原始(次)梯度方法上，但我們也提供了網絡中其他分布式優化方法的概述。介紹了分布式優化框架在電力系統控制中的應用。這本書自然主要包括三個部分。第一部分討論了分布式優化算法理論，共分為四章:(1)多智能體時滯網絡中的協同分布式優化;(2)時變拓撲多智能體系統的約束一致性;(3)不等式約束和隨機投影下的分布式優化;(4)隨機矩陣有向圖上的加速分布優化。第二部分作為過渡，研究了分布式優化算法理論及其在智能電網動態經濟調度問題中的應用，包括兩章:(5)時變有向圖約束優化的線性收斂性;(6)時變有向圖上經濟調度的隨機梯度推動。第三部分對分布式優化、博弈和學習算法理論進行了分析和綜合，本部分所有算法都是針對智能電網系統內的特定案例場景設計的。本部分共分三章:(7)智能微電網能源交易博弈中的強化學習;(8)不完全信息約束博弈的強化學習;(9)基于擁塞博弈的插電式混合動力汽車路徑選擇強化學習。其中，給出了仿真結果和實際應用實例，以說明前面提出的優化算法、博弈算法和學習算法的有效性和實用性。

強化學習(RL)智能體需要探索他們的環境，以便通過試錯學習最優策略。然而，當獎勵信號稀疏，或當安全是一個關鍵問題和某些錯誤是不可接受的時候，探索是具有挑戰性的。在本論文中，我們通過修改智能體解決的潛在優化問題，激勵它們以更安全或更有效的方式探索，來解決深度強化學習設置中的這些挑戰。

在這篇論文的第一部分，我們提出了內在動機的方法，在獎勵稀少或缺乏的問題上取得進展。我們的第一種方法使用內在獎勵來激勵智能體訪問在學習動力學模型下被認為是令人驚訝的狀態，并且我們證明了這種技術比單純探索更好。我們的第二種方法使用基于變分推理的目標，賦予個體不同的多種技能，而不使用特定任務的獎勵。我們證明了這種方法，我們稱為變分選擇發現，可以用來學習運動行為的模擬機器人環境。

在論文的第二部分，我們重點研究了安全勘探中存在的問題。在廣泛的安全強化學習研究的基礎上，我們提出將約束的RL標準化為安全探索的主要形式; 然后，我們繼續開發約束RL的算法和基準。我們的材料展示按時間順序講述了一個故事:我們首先介紹約束策略優化(Constrained Policy Optimization, CPO)，這是約束深度RL的第一個算法，在每次迭代時都保證接近約束的滿足。接下來，我們開發了安全健身基準，它讓我們找到CPO的極限，并激勵我們向不同的方向前進。最后，我們發展了PID拉格朗日方法，其中我們發現對拉格朗日原-對偶梯度基線方法進行小的修改，可以顯著改善求解Safety Gym中約束RL任務的穩定性和魯棒性。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html

人工神經網絡在解決特定剛性任務的分類問題時，通過不同訓練階段的廣義學習行為獲取知識。由此產生的網絡類似于一個靜態的知識實體，努力擴展這種知識而不針對最初的任務，從而導致災難性的遺忘。

持續學習將這種范式轉變為可以在不同任務上持續積累知識的網絡，而不需要從頭開始再訓練。我們關注任務增量分類，即任務按順序到達，并由清晰的邊界劃分。我們的主要貢獻包括:

(1) 對持續學習技術的分類和廣泛的概述;

(2) 一個持續學習器穩定性-可塑性權衡的新框架;

(3) 對11種最先進的持續學習方法和4條基準進行綜合實驗比較。

考慮到微型Imagenet和大規模不平衡的非自然主義者以及一系列識別數據集，我們以經驗的方式在三個基準上仔細檢查方法的優缺點。我們研究了模型容量、權重衰減和衰減正則化的影響，以及任務呈現的順序，并從所需內存、計算時間和存儲空間等方面定性比較了各種方法。

//www.zhuanzhi.ai/paper/c90f25024b2c2364ce63299b4dc4677f

引言

近年來，據報道，機器學習模型在個人任務上表現出甚至超過人類水平的表現，如雅達利游戲[1]或物體識別[2]。雖然這些結果令人印象深刻，但它們是在靜態模型無法適應其行為的情況下獲得的。因此，這需要在每次有新數據可用時重新啟動訓練過程。在我們的動態世界中，這種做法對于數據流來說很快就變得難以處理，或者可能由于存儲限制或隱私問題而只能暫時可用。這就需要不斷適應和不斷學習的系統。人類的認知就是這樣一個系統的例證，它具有順序學習概念的傾向。通過觀察例子來重新審視舊的概念可能會發生，但對保存這些知識來說并不是必要的，而且盡管人類可能會逐漸忘記舊的信息，但完全丟失以前的知識很少被證明是[3]。相比之下，人工神經網絡則不能以這種方式學習:在學習新概念時，它們會遭遇對舊概念的災難性遺忘。為了規避這一問題，人工神經網絡的研究主要集中在靜態任務上，通常通過重組數據來確保i.i.d.條件，并通過在多個時期重新訪問訓練數據來大幅提高性能。

持續學習研究從無窮無盡的數據流中學習的問題，其目標是逐步擴展已獲得的知識，并將其用于未來[4]的學習。數據可以來自于變化的輸入域(例如，不同的成像條件)，也可以與不同的任務相關聯(例如，細粒度的分類問題)。持續學習也被稱為終身學習[18]0，[18]1，[18]2，[18]3，[18]5，[18]4，順序學習[10]，[11]，[12]或增量學習[13]，[14]，[15]，[16]，[17]，[18]，[19]。主要的標準是學習過程的順序性質，只有一小部分輸入數據來自一個或幾個任務，一次可用。主要的挑戰是在不發生災難性遺忘的情況下進行學習:當添加新的任務或域時，之前學習的任務或域的性能不會隨著時間的推移而顯著下降。這是神經網絡中一個更普遍的問題[20]的直接結果，即穩定性-可塑性困境，可塑性指的是整合新知識的能力，以及在編碼時保持原有知識的穩定性。這是一個具有挑戰性的問題，不斷學習的進展使得現實世界的應用開始出現[21]、[22]、[23]。

為了集中注意力，我們用兩種方式限制了我們的研究范圍。首先，我們只考慮任務增量設置，其中數據按順序分批到達，一個批對應一個任務，例如要學習的一組新類別。換句話說，我們假設對于一個給定的任務，所有的數據都可以同時用于離線訓練。這使得對所有訓練數據進行多個時期的學習成為可能，反復洗刷以確保i.i.d.的條件。重要的是，無法訪問以前或將來任務的數據。在此設置中優化新任務將導致災難性的遺忘，舊任務的性能將顯著下降，除非采取特殊措施。這些措施在不同情況下的有效性，正是本文所要探討的。此外，任務增量學習將范圍限制為一個多頭配置，每個任務都有一個獨占的輸出層或頭。這與所有任務共享一個頭的更有挑戰性的類增量設置相反。這在學習中引入了額外的干擾，增加了可供選擇的輸出節點的數量。相反，我們假設已知一個給定的樣本屬于哪個任務。

其次，我們只關注分類問題，因為分類可以說是人工神經網絡最既定的任務之一，使用相對簡單、標準和易于理解的網絡體系結構具有良好的性能。第2節對設置進行了更詳細的描述，第7節討論了處理更一般設置的開放問題。

第一節課的重點是分析今天能夠進行并行計算的典型個人計算機中的算法行為，第二節課的重點是今天能夠進行分布式計算的典型公共云中的此類個人計算機集群中的算法行為。我們將從第1節中簡要介紹的基本原理開始，并努力理解過去幾十年來算法的重大突破。并行計算是指在一臺機器上使用多個處理器和共享內存進行計算。并行計算和分布式計算雖然密切相關，但它們都提出了獨特的挑戰——主要是并行計算情況下的共享內存管理和分布式計算情況下的網絡通信開銷最小化。理解并行計算的模型和挑戰是理解分布式計算的基礎。課程內容反映了這一點，首先在并行環境中涵蓋各種經典的、數值的和圖形的算法，然后在分布式環境中涵蓋相同的主題。目的是強調每個設置帶來的獨特挑戰。

//github.com/lamastex/scalable-data-science/blob/master/read/daosu.pdf

簡介： 這本書需要數學思維，但只需要基本的背景知識。 在本書的大部分內容中，我們都假設您具備基本的計算機科學知識（算法，復雜性）和基本的概率論。 在更多的技術部分中，我們假設您熟悉Markov決策問題（MDP），數學編程（特別是線性和整數編程）和經典邏輯。

所有這些（基本計算機科學除外）都在附錄中進行了簡要介紹，但是它們只是作為更新和建立符號的用途，不能替代這些主題的背景知識。 （尤其是概率論，這是正確的。）但是，最重要的是，先決條件是具有清晰思考的能力。

本書包括13個章節，大致分為以下幾部分：

Block 1, Chapters 1–2:分布式問題解決

Block 2, Chapters 3–6:非合作博弈論

Block 3, Chapters 7:learning

Block 4, Chapters 8:交流

Block 5, Chapters 9–11:組協議

Block 6, Chapters 12:聯盟博弈論

Block 7, Chapters 13–14:邏輯理論

部分目錄：

題目： A Survey and Critique of Multiagent Deep Reinforcement Learning

簡介： 近年來，深度強化學習（RL）取得了出色的成績。這使得應用程序和方法的數量急劇增加。最近的工作探索了單智能體深度強化之外的學習，并考慮了多智能體深度強化學習的場景。初步結果顯示在復雜的多智能體領域中的成功，盡管有許多挑戰需要解決。本文的主要目的是提供有關當前多智能體深度強化學習（MDRL）文獻的概述。此外，我們通過更廣泛的分析對概述進行補充：（i）我們回顧了以前RL中介紹的基礎內容，并強調了它們如何適應多智能深度強化學習設置。 （ii）我們為該領域的新開業者提供一般指導：描述從MDRL工作中汲取的經驗教訓，指出最新的基準并概述研究途徑。 （iii）我們提出了MDRL的實際挑戰（例如，實施和計算需求）。

作者介紹： Pablo Hernandez-Leal，Borealis AI的研究員，在此之前，曾與Michael Kaisers一起參與過阿姆斯特丹CWI的智能和自治系統。研究方向：單智能體環境開發的算法以及多智能體。計劃開發一種算法，該算法使用博弈論，貝葉斯推理和強化學習中的模型和概念在戰略交互中得到使用。