亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

第21屆智能體及多智能體系統國際會議（International Joint Conference on Autonomous Agents and Multi-Agent Systems, AAMAS-2020）近日在線舉行。智能體及多智能體系統國際會議（AAMAS) 是多智能體系統領域最具影響力的會議之一，由非營利組織IFAAMAS主辦。來自佐治亞理工大學Matthew Gombolay和Zheyuan Wang共同講述了圖神經網絡解決多機器人協調問題的能力，非常值得關注！

機器人隊越來越多地部署在生產設施和倉庫等環境中，以節省成本和提高生產率。為了有效地協調多機器人隊，快速、高質量的調度算法必須滿足動態任務規范、部件和機器人可用性在時間和空間上的約束。傳統的解決方案包括精確的方法，這對于大規模問題是棘手的，或者特定應用的啟發式，這需要專業的領域知識。迫切需要的是一種新的自動化方法，它可以自動學習輕量級的、特定于應用的協調策略，而不需要手工設計的特征。 本教程介紹了圖神經網絡，并展示了圖神經網絡解決多機器人協調問題的能力。本文綜述了近年來各種圖神經網絡的框架，重點討論了它們在多智能體系統建模中的應用。我們將介紹多機器人協調(MRC)問題，并回顧解決MRC問題最相關的方法。我們將討論圖神經網絡在MRC問題中的幾個成功應用，并以Python示例代碼的形式提供實踐教程。通過本教程，我們旨在提供使用圖神經網絡建模多機器人系統的經驗，從算法開發到代碼實現，從而為在更廣泛的多智能體研究中設計基于圖的學習算法打開未來的機會。

//core-robotics.gatech.edu/2022/01/18/aamas2022_tutorial_gnn_robot/

第一部分將討論以下內容: (a) 圖神經網絡是如何工作的——我們將全面概述以往文獻中提出的各種圖神經網絡，包括同質圖和異質圖以及注意力機制; (b) 如何用圖神經網絡為團隊協調問題建模——我們將討論哪些應用可以用圖神經網絡建模，重點是MRC問題;(c)如何為團隊協調問題優化圖神經網絡的參數-我們將討論哪些學習方法可以用于訓練基于圖神經網絡的求解器。我們以最常見的挑戰和開放問題來結束本部分。

第二部分將提供一個實際操作教程，介紹如何使用圖神經網絡來解決協調問題，并在Python Jupyter筆記本中編寫示例。特別地，我們將研究ScheduleNet架構[6]，這是一個基于異構圖神經網絡的求解器，用于在時間和空間約束下解決MRC問題。Jupyter將工作通過模型實現，訓練和評估的ScheduleNet模型在合成數據集。

**講者介紹： **

Matthew Gombolay博士是佐治亞理工學院交互計算專業的助理教授。他于2011年獲得約翰霍普金斯大學(the Johns Hopkins University)機械工程學士學位，2013年獲得麻省理工學院(MIT)航空航天學碩士學位，2017年獲得麻省理工學院(MIT)自主系統博士學位。Gombolay的研究興趣涵蓋機器人、人工智能/ML、人機交互和運行學。在答辯論文和加入喬治亞理工學院之間，Gombolay博士曾在麻省理工學院林肯實驗室(MIT Lincoln Laboratory)擔任技術人員，并將他的研究工作轉化到美國海軍，為他贏得了R&D 100獎。他的發表記錄包括美國航空航天學會的最佳論文獎，美國控制會議的最佳學生論文決賽，以及機器人學習會議的最佳論文決賽。2018年，Gombolay博士被選為DARPA Riser ，獲得了國家消防研討會的早期職業獎第一名，并因提高太空科學自主性而獲得了NASA的早期職業獎學金。

Zheyuan Wang，佐治亞理工學院電氣與計算機工程學院博士研究生。他在上海交通大學(Shanghai Jiao Tong University)獲得電氣工程學士學位和碩士學位。他還獲得了佐治亞理工學院ECE的碩士學位。他目前是由Matthew Gombolay教授領導的認知優化和關系(CORE)機器人實驗室的研究生研究助理。他目前的研究方向是基于圖的策略學習，利用圖神經網絡進行表示學習和強化學習進行決策，應用于人-機器人團隊協作、多智能體強化學習和隨機資源優化。

內容概覽

參考文獻：

Ernesto Nunes, Marie Manner, Hakim Mitiche, and Maria Gini. 2017. A taxonomy for task allocation problems with temporal and ordering constraints. Robotics and Autonomous Systems 90 (2017), 55–70. 1. Petar Veli?kovi?, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. 2018. Graph attention networks. International Conference on Learning Representations (2018). 1. Xiao Wang, Houye Ji, Chuan Shi, Bai Wang, Yanfang Ye, Peng Cui, and Philip S Yu. 2019. Heterogeneous graph attention network. The World Wide Web Conference (2019), 2022–2032. 1. Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, and Maosong Sun. 2020. Graph neural networks: A review of methods and applications. AI Open 1 (2020), 57-81. 1. Zheyuan Wang and Matthew Gombolay. 2020. Learning scheduling policies for multi-robot coordination with graph attention networks. IEEE Robotics and Automation Letters 5, 3 (2020), 4509–4516. 1. Zheyuan Wang, Chen Liu, and Matthew Gombolay. 2021. Heterogeneous graph attention networks for scalable multi-robot scheduling with temporospatial constraints. Autonomous Robots (2021), 1–20.

一、教程說明：

在共享環境中導航智能體團隊是許多現有和新興應用領域的一個重要問題。示例包括倉庫物流、郵件分揀、自主交叉口管理和無人機群的協調。在每種情況下，從業者都必須解決一個具有挑戰性的組合問題，即多智能體路徑查找 (MAPF)。關于這個主題的研究經常出現在人工智能的文獻和旗艦會議的會議記錄中，例如 AAAI。這些工作也引起了鄰近領域的研究人員的興趣，例如機器人和離散優化。

在本教程中，我們建議概述 MAPF 的核心問題并總結這個快速發展的研究領域的最新進展。我們的目標是提供一個涵蓋理論基礎和實際算法的整體視角：用于規劃、執行和處理實踐中常見的各種運營問題。我們的目標受眾是任何對規劃和協調多智能體感興趣的人。本教程將特別有益于對 MAPF 及其許多應用程序感興趣的人。

二、教程大綱： 1、MAPF 概述（slides）

• 多智能體協調和規劃應用概述
• 潛在的 MAPF 問題
• MAPF在不同場景下的復雜度結果
• 實際應用MAPF時出現的問題
  

2、規劃 ( slides-part-1 , slides-part-2 )

• 尋找最優、有界次優和無界次優 MAPF 計劃的方法
• 聯合空間規劃 A* 及其改進
• 使用基于沖突的搜索進行分解
• 沖突解決的約束
• 節點部分的啟發式
  
  

3、執行（slides）

• 考慮智能體的運動學
• 在計劃階段處理失敗
• 在執行階段處理失敗
  

4、可擴展性（slides-part-1，slides-part-2）

• 可擴展性和解決方案質量之間的權衡
• 有界次優算法
• 基于規則的算法
• 大型鄰里搜索
  
  

5、總結和機會（slides）

【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦，時間在 2 月 22 日-3 月 1 日，本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告，來自Shirin Sohrabi等學者共同做了關于AI規劃理論與實踐的進展報告，非常值得關注!

人工智能規劃是人工智能的一個長期存在的子領域，處理順序決策，是強化學習的姊妹領域。規劃技術在對話系統、網絡安全、交通物流、IT等各個領域都有成熟的工業應用。雖然基于模型的規劃工具可以解決實際規模的問題，但在實踐中應用人工智能規劃研究面臨著幾個挑戰，阻礙了它的廣泛應用。然而，使用無模型方法的替代方法往往被證明對實際尺寸的問題是不可行的。本教程的目的是為觀眾提供必要的理論背景知識，以及實踐經驗，以允許使用規劃工具解決日常挑戰。在本教程中，我們將概述規劃領域，包括該領域的最新進展。然后，我們將深入研究三個挑戰:(1)建模——如何表示、提取和學習知識;(2)理論和工具——計算問題的形式化定義以及如何解決這些問題;(3)實踐-在端到端應用程序中使用人工智能規劃。我們將有一個實踐環節來舉例說明如何使用規劃工具來解決示例應用。我們的目標是為AAAI的與會者提供在他們的應用中使用人工智能規劃工具的必要手段

在過去的十年中，人們對不確定性下的連續決策產生了極大的興趣，這是一類涉及到智能體與未知環境交互以實現某些目標的廣泛問題。強化學習方法解決了這些問題，最近人工智能在游戲、機器人等領域取得了突破。受這些實證證明的啟發，許多學習理論界的研究人員將他們的注意力轉向了強化學習，試圖更好地理解這些問題并發展新的算法原則。他們的努力為強化學習帶來了一個更現代的統計基礎，強調通過全局收斂、樣本復雜性和遺憾分析的非漸近特征。

本教程將概述這一新興理論，重點是最具挑戰性的在線探索設置。本教程分為三個部分:

第一部分將介紹必要的背景知識和定義。我們在這里重點討論了表式馬爾可夫決策過程的最基本設置，并考慮了難度不斷增加的問題:從規劃，到基于探索性分布的優化，再到在線探索。我們將提出兩種算法:用于優化問題的自然策略梯度(NPG)和用于探索的ucb -值迭代(UCB-VI)，以及它們的保證。

第二部分是復習/實踐習部分。我們準備了一個問題集，涵蓋了NPG和UCB-VI的詳細分析，突出了在強化學習中廣泛有用的關鍵引理，以及與相關領域的技術聯系。這次會議將集體舉行。許多該領域的專家將會在問題集上提供幫助或回答其他問題。

第三部分將著重于表格設置之外的在線探索，在表格設置中需要函數近似來進行泛化。在這里，我們將提供一個RL模型和復雜性度量的合集，使易于處理的學習，以及一些統計障礙和算法。最后，我們將討論一些尚未解決的問題和未來的方向。

所有COLT參與者都可以訪問本教程。不需要RL的背景知識，但我們希望教程參與者能夠熟練使用學習理論研究中使用的標準數學工具，如集中不等式和一些線性代數。

//rltheorybook.github.io/colt21tutorial

《強化學習和隨機優化:序列決策的統一框架》是一本新書，它提供了一個統一框架，涵蓋了所有在不確定性下進行決策的社區(見jungle.princeton.edu)。這是第一本全面介紹這些領域的書，遵循了確定性優化和機器學習(但不是隨機優化)中長期使用的風格。

• 第一部分提供了基礎材料，其中大部分可以略讀。第1章提供了通用建模框架的概述，該框架涵蓋了任何序列決策問題，最困難的挑戰(對于大多數問題)是策略的設計。第1章提供了跨越任何可能被設計的策略的四類策略路線圖的早期草圖。第2章總結了每個社區的規范化建模框架，這些框架使用了該字段的符號來處理某種形式的序列決策問題。對這一領域完全陌生的讀者可以略讀這一章，了解已經采用的各種方法。有深度的讀者將在這些規范問題中的一個或多個方面有一定程度的專業知識，這將有助于在該問題和我們的框架之間提供一座橋梁。最后，第三章深入探討了在線學習。本章應該略讀，然后在需要時作為參考資料使用。

• 第二部分-隨機搜索-這些是隨機優化問題，可以使用自適應算法解決，其中唯一的信息鏈接迭代是關于函數的信念。我們還將這些狀態獨立函數稱為狀態獨立函數，以區別于我們在第三部分中開始處理的更一般的狀態依賴函數。

• 第三部分-狀態相關問題-這里我們過渡到更豐富的序列問題類，其中被優化的函數是狀態相關的。

• 第四部分-策略搜索-這些章節描述了必須調整的策略，無論是在模擬器中還是通過經驗。

• 第五部分-基于前瞻近似的策略-基于前瞻近似的策略是策略搜索派生的策略的對應。

• 第六部分-多智能體系統和學習-最后我們展示了如何擴展我們的框架來處理多智能體系統。

目錄內容：

Chapter 1 – Introduction

Chapter 2 – Canonical models and applications .

Chapter 3 – Online learning- Revised from ADP book

Chapter 4 – Introduction to stochastic search

Chapter 5 – Derivative-based stochastic optimization

Chapter 6 – Stepsize policies

Chapter 7 – Derivative-free stochastic optimization

Chapter 8 – State-dependent problems

Chapter 9 – Modeling sequential decision problems

Chapter 10 – Uncertainty modeling

Chapter 11 – Designing policies

Chapter 12 – Policy function approximations and policy search

Chapter 13 – Cost function approximations

Chapter 14 – Discrete Markov decision processes

Chapter 15 – Backward approximate dynamic programming

Chapter 16 – Forward ADP I: The value of a policy

Chapter 17 – Forward ADP II: Policy optimization

Chapter 18 – Forward ADP III: Convex functions

Chapter 19 – Direct lookahead policies

Chapter 20 – POMDPs, two-agent systems, and multiagent RL

最優化計算方法是運籌學、計算數學、機器學習和數據科學與大數據技術等專業的一門核心課程。最優化問題通常需要對實際需求進行定性和定量分析，建立恰當的數學模型來描述該問題，設計合適的計算方法來尋找問題的最優解，探索研究模型和算法的理論性質，考察算法的計算性能等多方面。最優化廣泛應用于科學與工程計算、數據科學、機器學習、人工智能、圖像和信號處理、金融和經濟、管理科學等眾多領域。本書將介紹最優化的基本概念、典型案例、基本算法和理論。通過本書的學習，掌握最優化的基本概念，最優性理論，典型的幾類最優化問題（如凸優化，無約束優化，約束優化，復合優化等等）的建模或判別，相關優化問題的基本計算方法，并能熟練調用基于MATLAB或Python等語言的典型優化軟件程序求解一些標準的優化問題，靈活運用所講授的算法和理論求解一些非標準的優化問題。達到鍛煉將實際問題建立合適最優化模型的能力，選擇合適的現有軟件包和算法的能力，遇到沒有現成算法自己實現簡單算法的能力。

//bicmr.pku.edu.cn/~wenzw/optbook.html

內容簡介

它們的主要區別是簡化版中不涉及一些復雜的概念、詳細的例子和證明等等。在第一章簡要介紹最優化基本概念之后，詳細版從四個方面進行講述。

• 基礎知識：第二章介紹最優化建模和算法中經常需要使用的一些基礎知識，包括范數、導數、凸集、凸函數、次梯度、共軛函數等。此外為了內容的完整性也在附錄部分簡要概述了一些基礎知識，其中線性代數包含矩陣、特征值、廣義逆、SMW公式、Schur補等，數值代數包括范數、方程組求解、矩陣分解、數值代數軟件包等，概率論包含隨機變量、期望、方差、條件期望、概率不等式等重要概念和結論。

• 優化建模：第三章闡述一些典型的優化建模方法，并以科學工程計算和機器學習中一些典型問題為例介紹如何建立優化模型。第四章給出了最優化問題的一些典型分類和判別技巧，如線性規劃、半定規劃、最小二乘問題、復合優化、矩陣優化、隨機優化等等。一個實際問題根據其側重點可以由不同的優化模型來描述，一種優化模型也可以對應很多不同的實際應用。

• 最優性理論：第五章介紹最優性理論，包括最優解的存在性和唯一性，無約束可微問題、無約束不可微問題、帶約束優化問題的一階或二階最優性條件，對偶理論，帶廣義不等式（如半定規劃問題）的對偶理論。

• 最優化算法：第六章介紹無約束優化算法，包括線搜索方法、梯度類算法、次梯度算法、牛頓類算法、信賴域算法、非線性最小二乘法。第七章介紹約束優化算法，包括罰函數法、增廣拉格朗日函數法及其在典型凸優化問題的主問題和對偶問題上的具體應用，線性規劃內點法。第八章介紹復合優化算法，包括近似點梯度法、Nesterov加速算法、近似點算法、分塊坐標下降法、對偶算法、交替方向乘子法、隨機優化算法。

本書主要概念基本配有詳細的例子來解釋。主要優化算法也都通過實際應用問題對算法細節進行詳細闡述，特別是在稀疏優化和邏輯回歸等等問題的典型場景下進行數值試驗，給出最優性度量與迭代步數關系等數值結果，相關程序也可以在本網頁下載。

本書特點

從優化建模和模型分類等不同側面闡述優化問題。考慮到優化問題大多來源于實際問題，本書的詳細版以一定篇幅介紹優化建模中的技術，包括壓縮感知、低秩矩陣恢復、回歸分析、邏輯回歸、支持向量機、相位恢復、字典學習、圖像處理、深度學習、強化學習等等，幫助讀者理解優化問題中每一部分的具體含義。此外，本書也詳細討論了若干種典型優化問題，包括線性規劃、最小二乘問題、復合優化問題、半定規劃、矩陣優化問題、隨機優化問題等等。著重介紹每種優化問題的特點，并列舉出大量的實例。

系統全面地講述了適用于大規模計算的一階優化算法。本書除了介紹一些經典的無約束和約束優化問題的算法外，強化了增廣拉格朗日函數法在凸問題中應用，特別著重講述了帶非光滑結構的復合優化問題的最優性條件和近年來發展起來的一階優化算法及相應理論，包括近似點梯度法、Nesterov加速算法、近似點算法、分塊坐標下降法、對偶算法、交替方向乘子法、隨機優化算法等等。因此，本書問題和算法廣泛覆蓋了常用的光滑和非光滑優化，凸優化和非凸優化，線性和非線性優化，確定性優化和隨機優化。 通過詳細的應用實例和高質量代碼實現強化對問題和算法的理解。本書中應用實例貫穿于各個章節中，在優化建模、優化問題舉例、最優性條件、優化算法章節加入了大量實際例子來幫助讀者理解相關內容。特別地，本書通過前面提到的一些重要實際應用問題對主要優化算法細節進行詳細闡述，在稀疏優化和邏輯回歸等問題的典型場景下進行數值試驗，給出最優性度量與迭代步數關系等數值結果。

ML規模化常常被低估。在多臺機器上訓練一個ML模型(最初是針對單個CPU/GPU實現的)到底需要什么?一些痛點是: (1) 需要編寫許多新代碼行來將代碼轉換為分布式版本; (2)需要大量調整代碼以滿足系統/統計性能，這是模型開發的附加過程; (3)決定使用哪些/多少硬件資源來訓練和部署模型; (4) 從組織的角度出發，在許多用戶和作業之間實現資源共享自動化，以滿足用戶的需求，同時使資源利用率最大化，成本最小化。

在本教程中，我們將介紹自動化分布式ML基礎設施的改進技術。本教程涵蓋了對ML并行化至關重要的三個領域: (1)對并行ML構建塊進行編組和標準化; (2) ML并行表示和軟件框架; (3)自動ML并行化的算法和系統，以及在共享集群上ML作業的資源分配。通過揭示ML程序的獨特特征，并通過剖析成功案例來揭示如何利用它們，我們為ML研究人員和實踐者提供了進一步塑造和發展SysML領域的機會。

聽眾應該熟悉ML和DL的基礎知識。了解TensorFlow、PyTorch和分布式ML技術也有幫助，但不是必需的。

//sites.google.com/view/aaai-2021-tutorial-ah9/home

自動微分（Automatic Differentiation，簡稱AD）也稱自動求導，算法能夠計算可導函數在某點處的導數值的計算，是反向傳播算法的一般化。自動微分要解決的核心問題是計算復雜函數，通常是多層復合函數在某一點處的導數，梯度，以及Hessian矩陣值。它對用戶屏蔽了繁瑣的求導細節和過程。目前知名的深度學習開源庫均提供了自動微分的功能，包括TensorFlow、pytorch等。

//mblondel.org/teaching/autodiff-2020.pdf

來自臺灣國立清華大學吳尚鴻副教授主講的《大規模機器學習》教程，內容包括深度學習概述與學習理論。

本課程介紹深度學習的概念和實踐。課程由三個部分組成。在第一部分中，我們快速介紹了經典機器學習，并回顧了一些需要理解深度學習的關鍵概念。在第二部分中，我們將討論深度學習與經典機器學習的不同之處，并解釋為什么它在處理復雜問題如圖像和自然語言處理時是有效的。我們將介紹各種CNN和RNN模型。在第三部分，我們介紹了深度強化學習及其應用。

本課程也提供了編程的實驗。在整個課程中，我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫，如Scikit-learn和Tensorflow 2.0將被使用并詳細解釋。

本課程也提供了編程的實驗。在整個課程中，我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫，如Scikit-learn和Tensorflow 2.0將被使用并詳細解釋。

目錄內容：

• Introduction 引言
• Linear Algebra 線性代數
• Data Exploration & PCA (Bonus) 數據探索
• Probability & Information Theory 概率與信息理論
• Decision Trees & Random Forest (Bonus) 決策樹與隨機森林
• 數值優化 Numerical Optimization
• 感知器 Perceptron & Adaline (Bonus)
• 回歸 Regression (Bonus)
• 學習理論與正則 Learning Theory & Regularization
• 正則化 Regularization
• 概率模型 Probabilistic Models
• 線性回歸與度量 Logistic Regression & Metrics
• 非參數方法 Non-Parametric Methods & SVMs (Suggested Reading)
• 支持向量機 SVMs & Scikit-Learn Pipelines (Bonus)
• 交叉驗證 Cross Validation & Ensembling (Suggested Reading)
• 集成 CV & Ensembling (Bonus)
• 預測 Predicting News Popularity
• 大規模機器學習 Large-Scale Machine Learning
• 深度神經網絡設計 Neural Networks: Design
• 神經網絡 Neural Networks from Scratch (No Assignment)
• TensorFlow 101 (No Assignment)
• 神經網絡 Neural Networks: Optimization & Regularization
• Word2Vec
• 卷積神經網絡 Convolutional Neural Networks
• Convolutional Neural Networks & Data Pipelines
• 循環神經網絡 Recurrent Neural Networks