亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

多智能體強化學習（MARL）理論的一個核心問題是，了解哪些結構條件和算法原理會導致樣本高效學習保證，以及當我們從少數智能體轉向多數智能體時，這些考慮因素會發生怎樣的變化。我們在多智能體互動決策的一般框架中研究了這一問題，包括具有函數逼近的馬爾可夫博弈和具有強盜反饋的正態博弈。我們的重點是均衡計算，其中集中式學習算法旨在通過控制與（未知）環境交互的多個智能體來計算均衡。我們的主要貢獻如下

• 提供了多智能體決策最優樣本復雜度的上下限，其基礎是決策估計系數（Decision-Estimation Coefficient）的多智能體廣義化；決策估計系數是 Foster 等人（2021 年）在與我們的設置相對應的單智能體中引入的一種復雜度度量。與單智能體環境下的最佳結果相比，我們的上界和下界都有額外的差距。我們的研究表明，任何 “合理 ”的復雜性度量都無法彌補這些差距，這凸顯了單個智能體與多個智能體之間的顯著差異。

• 表征多智能體決策的統計復雜性，等同于表征單智能體決策的統計復雜性，只不過獎勵是隱藏的（無法觀察到的），這個框架包含了部分監控問題的變體。由于這種聯系，我們盡可能地描述了隱藏獎勵交互決策的統計復雜性。

在此基礎上，提供了幾個新的結構性結果，包括：1）多智能體決策的統計復雜性可以降低到單智能體決策的統計復雜性的條件；2）可以避免所謂的多智能體詛咒的條件。

由于篇幅所限，正文對研究結果作了非正式的概述，詳細說明放在附錄的第 I 部分。第 II 部分給出了示例。附錄組織概覽見附錄 A。

深度強化學習（DRL）在各個領域的序列決策任務中取得了顯著的成功，但其依賴于黑箱神經網絡架構的特點限制了解釋性、可信度以及在高風險應用中的部署。可解釋深度強化學習（XRL）通過在特征級、狀態級、數據集級和模型級的解釋技術來解決這些挑戰，從而提高透明度。本綜述提供了XRL方法的全面回顧，評估了其定性和定量評估框架，并探討了它們在策略優化、對抗魯棒性和安全性中的作用。此外，我們還考察了強化學習與大語言模型（LLMs）的結合，特別是通過基于人類反饋的強化學習（RLHF），該方法優化了AI與人類偏好的對齊。最后，我們總結了當前的研究挑戰并展望了未來的發展方向，以推進可解釋、可靠和負責任的DRL系統的研究進展。

1 引言

深度強化學習（DRL）作為一種解決復雜序列決策問題的變革性范式，已經取得了顯著進展。通過使自主智能體與環境互動、接收獎勵反饋，并不斷優化策略，DRL在多個領域取得了卓越的成功，包括游戲（如：Atari [Mnih, 2013; Kaiser et al., 2020]，圍棋 [Silver et al., 2018, 2017]，以及星際爭霸 II [Vinyals et al., 2019, 2017]），機器人技術 [Kalashnikov et al., 2018]，通信網絡 [Feriani and Hossain, 2021]，以及金融 [Liu et al., 2024]。這些成功凸顯了DRL超越傳統基于規則系統的能力，尤其是在高維度和動態變化的環境中。盡管取得了這些進展，仍然存在一個根本性挑戰：DRL智能體通常依賴于深度神經網絡，這些網絡作為黑箱模型運行，遮蔽了其決策過程的背后原理。這種不透明性在安全關鍵和高風險應用中構成了顯著障礙，因為在這些領域中，可解釋性對于信任、合規性和調試至關重要。DRL中缺乏透明度可能導致不可靠的決策，使其在需要可解釋性的領域（如醫療、自動駕駛和金融風險評估）中不適用。 為了解決這些問題，可解釋深度強化學習（XRL）領域應運而生，旨在開發能夠提高DRL策略可解釋性的技術。XRL致力于提供智能體決策過程的洞察，幫助研究人員、實踐者和最終用戶理解、驗證并優化學習到的策略。通過促進更大的透明度，XRL有助于開發更安全、更穩健、以及更符合倫理的AI系統。 此外，強化學習（RL）與大語言模型（LLMs）的日益融合，使得RL成為自然語言處理（NLP）領域的前沿技術。諸如基于人類反饋的強化學習（RLHF）[Bai et al., 2022; Ouyang et al., 2022]等方法已經成為使LLM輸出與人類偏好和倫理指南對齊的重要手段。通過將語言生成視為序列決策過程，基于RL的微調使LLM能夠優化諸如事實準確性、連貫性和用戶滿意度等屬性，超越了傳統的監督學習技術。然而，RL在LLM對齊中的應用進一步加劇了可解釋性問題，因為RL更新與神經網絡表示之間的復雜交互仍然不完全為人所理解。 本綜述提供了關于DRL中可解釋性方法的系統性回顧，特別關注其與LLM和人類參與系統的集成。我們首先介紹了強化學習的基本概念，并突出展示了DRL的關鍵進展。接著，我們對現有的解釋方法進行分類和分析，涵蓋了特征級、狀態級、數據集級和模型級的技術。此外，我們討論了評估XRL技術的方法，考慮了定性和定量評估標準。最后，我們探討了XRL在現實應用中的實踐，包括策略優化、對抗性攻擊緩解以及在現代AI系統中確保可解釋性的挑戰。通過本綜述，我們旨在提供關于XRL當前狀態的全面視角，并概述未來的研究方向，以推進可解釋且值得信賴的DRL模型的發展。

強化學習（RL）在人工智能（AI）領域取得了一些最令人矚目的進展。強化學習從深度神經網絡的出現中獲益匪淺，深度神經網絡使學習代理能夠在日益復雜的環境中逼近最優行為。特別是，競爭性 RL 的研究表明，在對抗環境中競爭的多個智能體可以同時學習，以發現它們的最優決策策略。

近年來，競爭性 RL 算法已被用于訓練各種游戲和優化問題的高性能人工智能。了解訓練這些人工智能模型的基本算法對于利用這些工具應對現實世界的挑戰至關重要。網絡安全領域正在考慮將競爭性 RL 的新興研究成果應用于現實世界。

為了利用 RL 開發自動化網絡行動(ACO) 工具，可以使用各種環境模擬網絡安全事件。其中許多 ACO 環境都是在過去三年中開源的。這些新環境促進了探索人工智能在網絡安全方面潛力的研究。這些環境中的現有研究通常是片面的：紅方或藍方智能體接受訓練，針對具有固定策略的靜態對手優化決策。

通過只針對一個對手或一組靜態對手進行訓練，學習型人工智能在面對場景中其他所有可能的對手時都無法保持高性能。競爭性 RL 可用來發現對抗環境中任何潛在對手的最佳決策策略。然而，在這些新興的 ACO 模擬中還沒有嘗試過。本論文的目的是使用競爭性 RL 訓練智能體，使其在模擬 ACO 環境中接近博弈論中的最優策略。

圖 4：虛構游戲過程中使用的系統概覽，包括actor-critic框架和對手采樣。切換代理和對手，為對手的策略庫訓練新策略。

隨著人工智能（AI）的出現，基于個人經驗和判斷進行行動和思考的自主概念為未來的自主決策鋪平了道路。這種未來可以解決相互依存的多計算系統這一復雜領域的問題，而這些系統面臨的主要挑戰是，它們之間的相互作用會產生不可預測且往往不穩定的結果。為相互依存計算系統設想和設計人工智能驅動的自主性至關重要，它涵蓋了從物聯網（IoT）到網絡安全等各種用例。這可以通過克隆人類決策過程來實現，克隆過程要求人類在決定如何行動之前，先感知未知的隨機環境，執行行動，最后評估感知到的反饋。每個人都會根據自己的行為特征和推理，主觀地評估反饋是否令人滿意。上述步驟的重復迭代構成了人類的學習過程。因此，其核心思想是將人類的認知注入到相互依存的計算系統中，使其轉變為人工智能決策體，模仿人類的理性行為屬性，自主優化其主觀標準。

無人駕駛飛行器（UAV）或多接入邊緣計算服務器（MEC）等相互依賴的計算系統的快速發展帶來了海量數據和嚴格的服務質量（QoS）要求。當這些系統以自主方式行動時，它們會表現出競爭行為，因為每個系統都想自私地優化自己的主觀標準。這就引入了非合作環境中交互決策的概念，即每個系統的反饋都取決于其他系統可能相互沖突的行動。因此，本文利用博弈論來有效捕捉非合作環境中相互依賴的計算系統之間的戰略互動，并證明存在解決方案，即穩定的均衡點。均衡點被認為是穩定的解決方案，因為每個系統都沒有單方面改變自身行動的戰略動機。為了以分布式方式確定這些均衡點，我們采用了強化學習（RL）技術，該技術可使相互依存的自主計算系統在隨機環境中利用自身行動和經驗的反饋，通過試錯進行智能學習。此外，傳統的強化學習方法還加入了獎勵重塑技術，通過契約理論考慮自主互聯計算系統之間類似勞動經濟學的安排，并通過貝葉斯信念模型考慮它們的行為特征。同時利用博弈論和強化學習與獎勵重塑技術，是向自感知人工智能（SAAI）邁出的一步。本文證明，它極有可能成為構建基于人工智能的自主決策相互依賴計算系統的主要組成部分，并能有效地應用于各種應用領域。

圖 1.1： 總體決策框架

本文貢獻點

本文首先分析了所使用的數學工具的理論基礎。此外，除了傳統的單智能體環境，還引入了多個非集中式低復雜度框架，根據人工智能原理將相互依存的多智能體計算系統轉化為自主決策者。在多智能體應用環境中，提出了以第 1.1 節所述 IDU 約束為特征的非合作博弈，并應對了由此帶來的挑戰。具體來說，博弈論與強化學習的融合帶來了新穎的低復雜度分布式學習框架。此外，通過注入人類認知屬性，傳統的 RL 框架得到了豐富，從而使決策過程更加有效。證明了納什均衡點的存在，并表明基于人工智能的自主相互依存計算系統能夠接近這些均衡點，而無需集中式閉合解決方案。通過建模和仿真，在各種實際應用案例中對所提出的框架進行了評估。本論文的主要貢獻如下。

1.引入了新穎的低復雜度分布式決策框架，將傳統的資源有限、相互依賴的計算系統轉變為自主、智能的計算系統。我們研究了兩種情況： (a) 完整信息情景，即計算系統可以交換所有必要信息，并以分布式方式收斂到均衡點；以及 (b) 不完整信息情景，即利用強化學習讓智能相互依賴計算系統以自主方式接近均衡點。對這兩種情況下的運行性能進行了實證評估。

2.在處理非合作博弈的應用領域，通過證明博弈是潛在的或子/超模的方式，用數學方法證明納什均衡點的存在。如果環境是完全可觀察的，則采用傳統的閉式求解方法，如最佳響應動力學，反之，則采用各種強化學習算法，從經驗上接近納什均衡點。

3.通過利用契約理論和貝葉斯信念，將人類認知和行為特征分別納入決策框架。此外，當在信息不對稱的環境中運用契約理論時，提供了優化問題的閉式激勵解的完整證明，這反過來又從一個非凸問題正式轉化為一個凸問題。通過適當地將這些人類意識屬性納入獎勵重塑的強化學習框架，計算系統可以自主優化其主觀目標并做出有效決策。這是向增強型自我意識人工智能邁出的一步。

4.除了多智能體設置，還將強化學習應用于單智能體問題，例如離線深度強化學習，表明基于 RL 的決策智能體比許多替代策略（例如基于機器學習（ML）的方法）能帶來更好的結果。

5.通過在廣泛的應用領域進行大規模模擬，對所提出的決策方法進行了實證評估，突出了這些方法的主要操作特點。此外，還引用了與其他方法的詳細比較評估，強調了所引入框架的優越性。

圖 3.7：移動邊緣計算中的人工智能無人機數據卸載框架

強化學習（RL）是一種強大的序列決策工具，在許多具有挑戰性的現實任務中取得了超越人類能力的表現。作為RL在多智能體系統領域的擴展，多智能體強化學習（MARL）不僅需要學習控制策略，還需要考慮與環境中其他所有智能體的交互、不同系統組件之間的相互影響以及計算資源的分配。這增加了算法設計的復雜性，并對計算資源提出了更高的要求。同時，模擬器對于獲取現實數據至關重要，這是RL的基礎。在本文中，我們首先提出了一系列模擬器的指標，并總結了現有基準測試的特征。其次，為了便于理解，我們回顧了基礎知識，并綜合了最近與MARL相關的自動駕駛和智能交通系統的研究進展。具體而言，我們考察了它們的環境建模、狀態表示、感知單元和算法設計。最后，我們討論了當前面臨的挑戰以及未來的前景和機會。我們希望本文能夠幫助研究人員整合MARL技術，并激發更多關于智能和自動駕駛的深刻見解。 關鍵詞——多智能體強化學習、自動駕駛、人工智能

大規模自動駕駛系統近年來吸引了大量關注，并獲得了來自工業界、學術界和政府的數百萬資金支持【1】【2】。開發此類系統的動機在于用自動化控制器取代人類駕駛員，這可以顯著減少駕駛時間和工作負擔，提升交通系統的效率與安全性，促進經濟發展。一般來說，為了檢測車輛狀態并生成可靠的控制策略，自動駕駛車輛（AVs）需要配備大量電子單元，如視覺傳感器，包括雷達、激光雷達（LiDAR）、RGB-深度（RGB-D）攝像頭、事件攝像頭、慣性測量單元（IMU）、全球定位系統（GPS）等【3】–【5】。該領域的一個突出挑戰是構建一個能夠處理海量信息并將其轉化為實時操作的穩健且高效的算法。早期的工作將這一大問題分為感知、規劃和控制問題，并獨立解決，這被稱為模塊化自動駕駛。 另一方面，作為一種強大的序列決策工具，強化學習（RL）可以通過獎勵信號優化智能體行為模型。隨著其發展，深度RL結合了RL和深度神經網絡的優勢，能夠抽象復雜的觀測并學習高效的特征表示【6】。在過去的代表性研究中，它在棋類游戲【7】【8】、電子游戲【9】【10】以及機器人控制【11】–【13】等領域表現出色，甚至在某些情況下超越了人類表現。對于自動駕駛而言，RL使端到端控制成為現實，即從車輛感知到車輛應該做什么的直接轉換，就像人類駕駛員一樣。盡管RL在自動駕駛車輛方面取得了許多顯著成就，大多數相關工作仍是從單個車輛的角度出發，這導致了以自我為中心并可能具有攻擊性的駕駛策略，可能會引發安全事故并降低交通系統的效率。

對于現實世界的交通系統，我們通常將其定義為多智能體系統（MAS），并旨在優化整個系統的效率，而不僅僅是最大化個體利益。在MAS中，所有智能體在共享的環境中做出決策并進行交互。這意味著每個智能體的狀態不僅取決于其自身的行為，還取決于其他智能體的行為，使得環境動態呈現非靜態和時間變化性。此外，根據任務設置，智能體可能相互合作或競爭。在如此復雜的場景中，手動編程預先行動幾乎是不可能的【15】。得益于多智能體強化學習（MARL）的重大進展，交通控制【16】【17】、能源分配【18】【19】、大規模機器人控制【20】【21】以及經濟建模與預測【22】【23】領域均取得了實質性突破。圖1展示了這些相關研究主題的出版物數量。使用Dimensions數據庫進行AI搜索【14】，我們搜索了包括多智能體強化學習、自動駕駛和智能交通在內的關鍵詞。統計結果表明，學術界對這些問題高度關注，相關研究領域正處于快速增長階段。為了加速進一步研究并幫助新研究人員快速入門，我們審閱了200多篇出版物、開源軟件和代碼庫，然后系統地總結了現有成就和最新進展。

在此，我們提及其他近期的綜述。在里程碑系列【25】–【27】中，作者簡要總結了從歷史到未來的藍圖，并簡要介紹了自動駕駛中具有影響力的算法。還有許多綜述【28】–【30】介紹了RL的基本理論和應用，并分析了其發表時最先進的（SoTA）自動駕駛算法，但它們主要關注單智能體學習。綜述【31】的作者首次定義了分層結構的自動駕駛系統，并將其研究范圍限定在局部運動規劃。他們說明了車輛的動力學，并展示了采樣和基于搜索的方法如何在數學上工作。然而，他們忽略了基于學習的方法的貢獻。在最近的運動規劃綜述【2】中，研究人員全面調查了管道和學習方法，包括深度學習、逆向RL和模仿學習以及MARL。同樣，詳細的概述涵蓋了軌跡預測中最新的分類法和方法論【32】。還有一些優秀的綜述總結了AVs的MARL方法【1】【33】【34】。盡管如此，近年來研究人員在理論和應用方面取得了顯著進展，并且在高級機器人模擬器中也取得了進展。作為在線RL訓練的關鍵組成部分，模擬器決定了從模擬到現實的差距，即智能體學習的策略是否可以輕松地轉移到物理機器人上。因此，為了使工程師和研究人員能夠捕捉最新的進展并加速技術進步，我們全面總結了該領域的技術、挑戰和前景。

總體而言，本文的主要貢獻可總結如下：

• 我們提出了一系列基準的標準，詳細分析和總結了先進模擬器、數據集和大規模自動駕駛競賽的特征。
• 我們對最先進的MARL方法進行了分類，全面回顧了它們在該領域的技術改進、見解和未解決的挑戰。
• 我們從相關領域捕捉了最新進展，并從多個角度深入探討了基于MARL的自動駕駛的未來方向。
• 我們發布并維護了GitHub倉庫1，以持續報告和更新MARL-based自動駕駛、智能交通系統和其他相關領域的最新研究。

在圖2中，我們可視化了MARL的發展歷程、數據集、模擬器、硬件和軟件在自動駕駛及其他相關領域的發展。總體來說，隨著大規模數據集和深度學習的發展，自動駕駛已從分層控制邁向數據驅動時代。隨著先進模擬器的出現，基于RL的方法登上了舞臺，隨后新技術如大語言模型帶來了更多的機遇。我們將在后文詳細分析，本文的其余部分組織如下：在第二節中，我們首先描述了基準的指標。我們還分析了最先進的自動駕駛模擬器和數據集的特征。在第三節中，我們回顧了RL和MARL的基本概念、定義和開放問題。在第四節中，我們詳盡介紹了自動駕駛領域最先進的MARL算法。具體而言，我們分析了它們的狀態和動作設置、方法論見解和應用。在第五節中，我們指出了現有挑戰并給出了可能的解決方案。在第六節中，我們捕捉了最新的進展，并提出了朝向更安全和智能的自動駕駛的有前途的方向。

II. 自動駕駛基準

強化學習（RL）通常需要大量的數據。一般來說，它需要與環境進行持續交互，以獲得行為軌跡，從而幫助深度神經網絡進行更準確的價值估計【35】【36】。然而，由于不確定的探索過程可能造成的經濟損失，我們通常不會將RL策略直接部署在真實的機器人上。因此，在RL范式中，來自真實駕駛和高保真模擬器的數據被廣泛用于基于RL的自動駕駛開發。在本節中，我們將介紹用于自動駕駛和交通系統中的大規模多智能體強化學習（MARL）的各種數據源。

最先進的方法論

本節將介紹用于多車輛系統運動規劃和控制的最新多智能體強化學習（MARL）方法。我們無法涵蓋所有相關研究，但本綜述中選取的代表性技術均來源于發表在最具影響力的會議和期刊的報告。此外，我們鼓勵研究人員在我們的網站上報告更多相關工作。 A. 集中式多智能體強化學習

在集中式訓練與分散執行（CTDE）方案中，每輛車都有一個獨立的策略網絡，并設有一個核心計算機來合并和處理來自所有車輛的信息。首先，我們從所有車輛獲取合并的觀測，通過預定義的全局獎勵函數評估系統狀態，然后在完成信用分配后訓練獨立的策略。PRIMAL [154] 是路徑規劃集中式訓練的里程碑式工作，它為每個智能體分配了一個獨立且精心設計的參數共享的actor-critic網絡，并使用A3C [155]算法進行訓練。在這項工作中，研究人員說明了獨立策略可能導致自私行為，而帶有安全懲罰的手工設計獎勵函數是一個不錯的解決方案。此外，系統還提供了一個開關，使智能體可以從交互或專家示范中學習。強化學習與模仿學習的結合有助于快速學習，并緩解自私行為對整個系統的負面影響。在本文中，定義了一個離散網格世界，每個智能體的局部狀態設為10×10方塊的信息，并使用指向目標的單位向量來表示方向。為了驗證在現實世界中的可行性，作者還在工廠模型中實現了PRIMAL系統。 在MADDPG [24]中，作者提出了基于深度確定性策略梯度（DDPG）[156]的首個可泛化CTDE算法，并使用玩具多粒子環境作為測試平臺。它提供了一個基本平臺，具有簡單的車輛動力學，用于在設計無關的場景下學習連續觀測和動作空間中的連續駕駛策略，并吸引了許多杰出的后續研究者【21】【157】。同時，價值函數分解方法與CTDE方案的結合在智能體數量上的可擴展性方面表現更好，并減輕了策略訓練中的非靜態性影響，從而在大規模多智能體系統中提高了性能【116】【158】。這些方法已在Highway-Env [84][159]中無信號交叉路口等復雜場景中得到了驗證。此外，專家示范有助于降低收斂到次優策略的風險【159】。為了驗證在無地圖導航任務中部署CTDE方法的可行性，Global Dueling Q-learning (GDQ) [160] 在MPE [24] 中為每個turtlebot3設置了一個獨立的DDQN [161] 來訓練策略并估計價值。此外，他們引入了一個全局價值網絡，將每個智能體的價值網絡輸出組合起來以估計聯合狀態價值。事實證明，該方法比常規的價值分解方法更為有效。同時，研究人員還嘗試將單智能體RL中的基本算法（如PPO [65]或SAC [66]）擴展到多智能體任務，并提供了許多重要的基線，如MAAC [162]和MAPPO [163]。特別是，MAPPO在大量基準測試中得到了全面驗證，并提供了系統的超參數選擇和訓練指南。為了克服從模擬到現實的差距并將MAPPO部署到實際機器人上，開發人員在Duckietown-Gym模擬器中訓練了一個用于跟隨地面航點的策略網絡。MAPPO策略網絡采用了循環神經網絡（RNN）[164]，用于回憶前一狀態的知識，并為每輛車輸出高層次的目標線速度和角速度。與大多數室內導航任務類似，光學跟蹤系統捕獲車輛的位置和姿態。通過線性化逆動力學，可以在域適應后獲得車輛的低級執行命令。這項工作揭示了如何在實際機器人上部署CTDE方案，其工程經驗對于未來的研究具有重要價值。 B. 獨立策略優化

考慮到實際部署中的通信、帶寬和系統復雜性等挑戰，完全去中心化系統通過允許智能體獨立操作而無需持續協調，減少了通信開銷和帶寬需求。此外，它更容易在通信基礎設施有限或不可靠的環境中部署，降低了決策延遲，并簡化了每個智能體的本地計算。這些因素使得去中心化的MARL成為現實世界多智能體應用中更實用且更具適應性的方法。近年來，獨立策略優化（IPO）[165]獲得了越來越多的關注，并提出了大量相關方法。同時，這些研究中所涉及場景的復雜性和智能體的規模也同步增加，反映出去中心化學習更符合現實世界中大規模自動駕駛的需求。 為了在集中式方案中解決可擴展性問題，MAPPER [166]采用了基于A2C [155]算法的去中心化actor-critic方法。首先，占用地圖的局部觀測表示為包含靜態場景、動態障礙物和A規劃器[167]規劃軌跡信息的三通道圖像。這些三通道觀測通過卷積神經網絡（CNN）抽象為潛在向量，并與通過多層感知機（MLP）抽象的航點信息一起輸入共享的全連接層。隨后，兩個獨立的MLP分別輸出動作概率和價值估計。此外，MAPPER在優化過程中使用了額外的進化算法來消除不良策略。與PRIMAL [154]相比，MAPPER在大規模場景中可以更快地學習并更有效地處理動態障礙物。另一種提高可擴展性的方法是G2RL [168]，這是一種適用于任意數量智能體的網格地圖導航方法。同樣，它利用A為每個智能體提供全局引導路徑。同時，本地占用地圖輸入到本地DDQN [161]規劃器中，以捕捉本地觀測并生成糾正指令以避免動態障礙物。由于智能體之間無需通信，該方法無需考慮通信延遲，可擴展至任何規模。 作為PRIMAL的繼任者，PRIMAL2 [169]保留了相同的分層結構，即由A規劃器生成全局路徑，并由A3C和模仿學習指導的智能體訓練。關鍵區別在于PRIMAL2采用了完全去中心化的訓練方法，增強了其處理結構化和高密度復雜場景的靈活性。與MAPPER類似，它采用了11×11的觀測范圍，并將觀測分為多通道圖像輸入。前四個通道包括靜態障礙物、智能體自身的目標點、其他智能體的位置和其他智能體的目標點。第五到第八通道提供了A規劃的本地路徑，以及在觀測范圍內其他智能體在未來三個時間步長的位置。最后三個通道提供了走廊出口的X和Y坐標偏移，以及一個布爾狀態，指示是否有其他智能體阻擋路徑。更細致的觀測輸入使PRIMAL2能夠有效解決高密度復雜占用網格中的智能體死鎖問題，并生成比前代方法更短的路徑。 上述方法是為具有離散動作空間的結構化占用網格開發的，適用于結構化倉庫和貨運終端中的自動地面車輛。盡管與真實交通系統存在差異，這些方法仍然為后續工作提供了靈感。其他去中心化學習研究在更先進的連續基準測試上進行【24】【63】【70】。例如，在PIPO [21]中，研究人員利用圖神經網絡的置換不變性開發了一種端到端的運動規劃方案。他們在MPE中定義了一個逐步擴大的連續場景，場景中有各種靜態障礙物。在訓練過程中，觀察到的其他智能體狀態的隨機置換增強了actor-critic網絡的特征表示。我們注意到還有許多優秀且具有代表性的去中心化訓練方案，但我們將在其他子主題中對它們進行分類，并在后續章節中詳細介紹。 C. 帶有社會偏好的學習

盡管獨立策略學習在許多任務中是可行的，但當多個智能體的利益發生沖突時，純粹的自我中心的獨立策略學習可能會失敗，導致每個智能體都以自我為中心【20】。因此，一個重要的問題是如何平衡智能體的自私與利他行為。在圖4中，我們給出了一個玩具示例，以說明社會偏好如何影響智能體的行為。如果智能體無法平衡其利他和自私行為，這兩個智能體可能會發生碰撞或互相阻礙。因此，在策略學習中應該考慮社會行為和偏好【170】。為了找到社會偏好的數學表示，在早期工作中，研究人員首先提出使用三角函數來表示這種偏好。 D. 安全性和可信學習

安全性是部署自動駕駛系統的核心要素，也是首要任務，因為它直接關系到自動駕駛車輛（AVs）的可靠性和人們的生命安全。近年來，強化學習（RL）研究人員投入了大量精力，確保所學策略在探索過程中以及部署后不會引發安全問題。具體來說，受【172】啟發，我們將現有的多智能體強化學習（MARL）安全標準和方法分為三類。 首先，軟安全保障涉及設計安全懲罰項，以減少危險行為的發生概率。通過精細調整的獎勵，學習算法可以在其他性能指標的同時優先考慮安全性。然而，盡管軟安全保障已被證明可以有效提高多智能體系統中的安全性能，但其局限性在于它依賴于獎勵函數能夠準確捕捉所有安全方面的假設，而這在復雜環境中往往具有挑戰性。 第二類是優化過程中發生的概率性保障。例如，一些最新的MARL算法在策略優化過程中利用拉格朗日約束【21】或安全閾值【173】【174】。本質上，這種方法改善了策略梯度，有助于避免危險的探索行為。然而，由于策略仍然表示為概率分布，因此我們無法為這種方法獲得明確、可解釋和穩定的安全邊界。同時，現實世界駕駛中的關鍵安全約束是瞬時的和確定性的【175】。例如，避碰是一個依賴于系統當前狀態的瞬時約束，而不是依賴于歷史軌跡或隨機變量。 E. 方法總結

如表II所示，我們收集了過去五年中關于戶外自動駕駛、交通系統控制和結構化場景運輸中多智能體強化學習（MARL）的代表性工作。同時，我們列出了它們的分類、最大智能體數量、使用的模擬器以及是否進行了現實世界的實驗。在此需要注意的是，即使使用相同的模擬類型，動作設置也可能完全不同。例如，在PRIMAL和PRIMAL2中，智能體的動作設置為（↑, →, ↓, ←, ?），代表二維網格地圖中在水平和垂直方向上的四種移動以及停留在原地。相比之下，MAPPER為智能體增加了四個額外的對角移動（↗, ↘, ↙, ↖）。 此外，我們發現許多研究采用預定義的高層次動作指令來簡化任務。策略網絡輸出離散值，這些值映射到相應的預設動作，然后低級控制器執行這些動作，生成命令并將其發送到執行器。兩個具體的例子是MFPG【182】和CPO-AD【183】。它們預設了低級單向控制映射，僅考慮自動駕駛車輛在一個方向上的移動。 我們從該領域過去的研究中總結出三大趨勢。首先，早期的研究由于算法多樣性和模擬器性能的限制，更側重于網格地圖中的集中式MARL。然而，近期研究探討了去中心化方法在更復雜的連續觀測中的潛力。其次，只有少數研究進行了現實世界的實驗，并且僅使用離散模擬器和少量智能體，這是未來工作可以改進的方面。第三，最新的研究采用了更復雜的設計，并整合了來自其他領域的更多方法，如數據壓縮和機器視覺。 在本節中，我們將介紹多智能體強化學習（MARL）中的主要挑戰。需要注意的是，集中式訓練與分散執行（CTDE）和分散式訓練與分散執行（DTDE）方案所面臨的問題是不同的。盡管已經提出了一些可行的解決方案來解決這些問題，但這些方案仍然不是唯一的，也不完美。我們希望讀者能夠提前認識到這些問題的存在及其特性，從而更好地理解后續先進方法的動機和技術創新。

人類反饋強化學習（RLHF）是強化學習（RL）的一個變體，它從人類反饋中學習，而不是依賴于工程化的獎勵函數。建立在相關領域的偏好基強化學習（PbRL）的先前工作上，它位于人工智能和人機交互的交匯點。這一定位為提高智能系統的性能和適應性提供了有希望的途徑，同時也改善了它們的目標與人類價值觀的一致性。在近年來，大型語言模型（LLMs）的訓練已經令人印象深刻地展示了這一潛力，其中RLHF在使模型的能力針對人類目標方面發揮了決定性作用。本文提供了一個全面的RLHF基礎概述，探索了機器智能體和人類輸入之間復雜的動態。雖然最近的焦點是針對LLMs的RLHF，但我們的綜述采取了更廣泛的視角，考察了這項技術的多樣化應用和廣泛影響。我們深入探討支撐RLHF的核心原則，闡明算法與人類反饋之間的共生關系，并討論了該領域的主要研究趨勢。通過綜合當前RLHF研究的全景，本文旨在為研究人員和從業者提供對這一迅速發展領域的全面理解。

1 引言

在強化學習（RL）中，智能體傳統上通過環境導航，并試圖通過試錯過程做出最優的行動或決策。一個決策是否最優完全由獎勵信號決定。這些信號必須基于智能體性能的測量手動定義，以確保學習智能體接收到學習正確行為所需的信號。然而，手動設計獎勵函數是具有挑戰性的。在許多應用中，成功難以正式定義和衡量。除此之外，稀疏的成功信號可能不適合智能體學習——導致需要獎勵塑形（Ng等人，1999），即將獎勵信號轉化為更適合學習的形式。這通常使獎勵信號更容易受到假性相關的影響，即因通常與真正目標相關而被獎勵的行為，并不本身具有價值。這最終導致了獎勵黑客問題（Skalse等人，2022b），即學習智能體利用獎勵特定的漏洞以實現不希望的結果，同時仍然產生高獎勵。

作為對這些挑戰的回應，人類反饋強化學習（RLHF）作為一種實際意義上的替代方案出現，它在標準RL學習范式中引入了至關重要的人在循環中組件。簡而言之，RLHF與RL的不同之處在于，目標是由循環中的人定義并迭代完善的，而不是提前指定的。這種方法不僅有潛力克服經典RL方法的局限性和問題，而且對智能體對齊有潛在的好處，其中智能體的學習目標與人類價值觀更緊密對齊，促進倫理上健全和社會負責的AI系統。 自上一次類似的綜述（Wirth等人，2017）以來，RLHF在應用、方法論進展和理論見解方面取得了許多成功。應用范圍從大型語言模型（LLMs）（OpenAI 2022）到圖像生成（Lee等人，2023），連續控制（Christiano等人，2017）和游戲（Ibarz等人，2018）以及機器人（Hejna等人，2023a）。與此同時，自上次類似的綜述（Wirth等人，2017）以來，方法論也有了很多發展。方法論發展的例子包括使用數據增強和半監督學習方法來提高樣本復雜度（Park等人，2022），使用元學習快速適應學習的偏好到新任務（Ren等人，2022），融合多種反饋類型（Palan等人，2019），使用自監著表征學習提高反饋效率（Metcalf等人，2022），主動合成假設行為進行查詢（Reddy等人，2020），以及優化查詢以便于回答（B?y?k等人，2020b）。最后，RLHF領域也取得了一些理論成果，為基礎數學問題的建模提供了新的見解，但也提出了新的問題。

因此，在這項綜述中，我們討論了RLHF正在進行的研究的當前狀態，分類了當前的方法以及簡潔地描述了它們的主要特征，并對應用領域進行了簡要概述。

1.1 為何需要人類反饋 在傳統的RL中，代理的目標由其旨在最大化的獎勵函數定義（Sutton等人，2018）。特別是在復雜領域，指定這個獎勵函數可能是具有挑戰性的：對于在家庭環境中協助人類的機器人或在繁忙的城市環境中導航的自動駕駛汽車，合適的獎勵函數是什么樣的？此外，即使是定義良好的獎勵函數也可能由于分布變化或過度優化導致意外行為，引發實際和安全問題。從人類反饋中學習代理的目標，可以繞過獎勵工程挑戰，并促進穩健訓練，隨著代理學習，獎勵函數會動態地細化和調整，以適應分布變化。 反饋與示范 逆向RL旨在從人類示范中推斷出獎勵函數（Arora等人，2021）。雖然這可以部分解決獎勵工程挑戰，但它面臨內在困難：（i）通常不可能從示范中穩健地識別獎勵（Cao等人，2021a），（ii）僅適用于可以獲得良好示范的場景，（iii）難以超越示范者的表現，以及（iv）人類通常不會展示他們希望機器采用的行為（Basu等人，2017）。相比之下，交互式反饋可以使用主動查詢區分人類偏好和無關噪聲，比提供示范更容易，不要求人類評估者接近最優表現，并引導出人類更偏好的機器行為。交互式反饋也可以用來補充示范，在這種情況下，它可以用來塑造和完善通過初步訓練（如行為克隆）學到的能力，從而防止過擬合于示范行為（Abramson等人，2022）。 避免獎勵工程 在RL中的獎勵工程提出了重大挑戰，因為準確指定獎勵函數是眾所周知的困難（Amodei等人，2016; Knox等人，2023）。通過利用人類反饋，可以緩解這些挑戰，使代理能夠訓練難以手動定義的任務，并幫助避免由不匹配的獎勵引起的安全問題（Skalse等人，2022b）。與代理的目標和人類目標之間的不匹配相關的安全問題被研究為AI對齊問題（Gabriel 2020），特別是代理對齊和價值對齊（Kirchner等人，2022）。盡管RLHF在解決這些對齊問題的有效性仍存在爭議（Christiano 2023），但它提出了一個促進對齊的有希望的方法（Leike等人，2018）。 過度優化不良指定的獎勵通常會導致意外行為。代理可能會利用模擬缺陷獲得更高獎勵（Lehman等人，2020; Baker等人，2020）或參與獎勵黑客行為（Skalse等人，2022b），即行為最大化了指定獎勵但偏離了預期目標。這在代理專注于中間獎勵而沒有實現實際目標（Clark等人，2016）或為避免負面獎勵而過早退出游戲（Saunders等人，2018）的情況下顯而易見。這些問題的根源在于獎勵函數沒有正確反映實際學習任務。雖然這些問題在類似游戲的環境中可能看似微不足道，但在諸如醫療保健和自動駕駛等安全關鍵的環境中，其含義則更為嚴重。在這些環境中，防止不匹配的獎勵函數導致有害結果至關重要，比如護理機器人造成傷害或自動駕駛汽車危及道路安全。

1.2 人類反饋強化學習的起源

作為RL的一個子領域，從人類反饋中學習行為已經被研究了很長時間，但方法和術語隨時間發展而演變。如Knox（2012）更詳細討論的早期方法，側重于直接從人類獎勵中學習（Isbell等人，2001；Knox等人，2008）。然而，本綜述關注的是更間接的方法，即從人類反饋中推斷目標。 人類反饋強化學習（RLHF）的現代形式起源于偏好基強化學習（PbRL）的設置，最初由Akrour等人（2011）和Cheng等人（2011）獨立引入。PbRL的原始想法是從定性反饋中推斷目標，如行為或給定狀態下行動之間的成對偏好，而不是以數值獎勵形式的定量反饋。RLHF這個術語后來作為一個替代品被提出（Askell等人，2021；Ouyang等人，2022；OpenAI 2022），盡管最初指的是從相對反饋中學習行為的同一概念。 由于文獻中的使用重疊，PbRL和RLHF的區分具有挑戰性。例如，Christiano等人（2017）自己使用了PbRL這個術語，但卻常被引用為RLHF的開創性參考（Daniels-Koch等人，2022；Ouyang等人，2022）。這表明了這些術語的可互換性。實際上，RLHF通常與獎勵建模和深度RL相關聯，而PbRL通常與傳統RL設置中的直接策略優化聯系在一起。這一點由Jeon等人（2020）強調，他們將PbRL限定為僅從偏好直接進行策略學習。然而，這與其他來源不同，后者將獎勵學習包括在RLHF的范圍內（Christiano等人，2017；Wirth等人，2017）。

盡管存在重疊和有時存在沖突的使用，RLHF越來越被視為PbRL的一種泛化。盡管PbRL和RLHF都涉及使用人類反饋來定義RL目標，但PbRL主要關注相對反饋，如二元比較和排名。RLHF不僅包括這些方面，還擴展到更廣泛的反饋類型（Metz等人，2023）。表1提供了我們對這些術語的解釋性概述。

從人類反饋中學習行為長期以來被作為RL的一個子領域進行研究，但隨著時間的推移，方法和術語已經發展。早期方法，如Knox（2012）詳細討論的，側重于直接從人類獎勵中學習（Isbell等人，2001；Knox等人，2008）。然而，本綜述關注的是更間接的推斷目標的方法，即從人類反饋中推斷。 人類反饋強化學習（RLHF）的現代形式起源于偏好基強化學習（PbRL）的設置，最初由Akrour等人（2011）和Cheng等人（2011）獨立引入。PbRL的原始想法是從定性反饋中推斷目標，而不是使用定量的數值獎勵。RLHF這個術語后來作為一個替代品被提出（Askell等人，2021；Ouyang等人，2022；OpenAI 2022），盡管最初指的是從相對反饋中學習行為的同一概念。

由于文獻中的使用重疊，PbRL和RLHF的區分具有挑戰性。例如，Christiano等人（2017）自己使用了PbRL這個術語，但卻常被引用為RLHF的開創性參考（Daniels-Koch等人，2022；Ouyang等人，2022）。這表明了這些術語的可互換性。實際上，RLHF通常與獎勵建模和深度RL相關聯，而PbRL通常與傳統RL設置中的直接策略優化聯系在一起。Jeon等人（2020）將PbRL限定為僅從偏好直接進行策略學習，而Christiano等人（2017）和Wirth等人（2017）則將獎勵學習包括在RLHF的范圍內。

盡管存在重疊和有時存在沖突的使用，RLHF越來越被視為PbRL的一種泛化。PbRL和RLHF都涉及使用人類反饋來定義RL目標，但PbRL主要關注相對反饋，如二元比較和排名。RLHF不僅包括這些方面，還擴展到更廣泛的反饋類型（Metz等人，2023）。我們的綜述提供了這些術語的解釋性概述。

1.3 綜述范圍

本節概述了我們選擇RLHF領域方法的指導標準。我們關注的是那些依賴獎勵模型作為目標信息唯一來源的作品。這個獎勵模型應該以互動、在線、可擴展和異步的方式學習。以下將詳細描述這些標準。

獎勵建模 我們關注的是從人類反饋中學習獎勵模型，然后使用這個模型來訓練策略的方法。盡管可以直接從人類反饋中優化策略（Wirth等人，2017），但到目前為止，這種方法很少被實踐。獎勵學習和策略訓練的分解提供了許多概念上和實際上的好處。

人類定義 盡管有許多方法將人類包括在RL循環中，但在本綜述中，我們關注的是以人類反饋作為目標唯一真理來源的方法。這排除了獎勵塑形、特征工程和其他形式的人類指導。

互動和在線 我們還強調以互動、在線方式提供反饋。這排除了模仿學習、從示范學習和純逆向RL。 可擴展和異步 我們關注的是將人類包括在循環中，但代理不被人類反饋阻塞，人類也不需要持續存在的工作。 此外，我們主要關注2017年后發表的作品，因為更早的作品已由Wirth等人（2017）綜述。然而，為了闡述仍然是最新技術或已經顯著塑造了最新技術的某些概念，我們不時回顧這一時期的一些作品。如果使用的方法對RLHF方法有興趣，將會作出例外。

1.4 先前的綜述

根據上一節提到的標準，我們首先將我們的綜述與其他邊緣相關主題領域的綜述區分開來，這些領域共享人類參與RL的共同主題。然后，我們將描述我們的綜述與RLHF領域內存在的先前綜述或類似綜述文章的差異。

強化學習（RL）的成功，如《星際爭霸》和《DOTA 2》等視頻游戲達到了高于人類的性能水平，這就提出了關于該技術在軍事建設性模擬中的未來作用的問題。本研究的目的是使用卷積神經網絡（CNN）來開發人工智能（AI）Agent，能夠在具有多個單位和地形類型的簡單場景中學習最佳行為。這篇論文試圖納入一個可用于軍事建設性模擬領域的多Agent訓練方案。八個不同的場景，都有不同的復雜程度，被用來訓練能夠表現出多種類型戰斗行為的Agent。總的來說，結果表明，人工智能Agent可以學習在每個場景中實現最佳或接近最佳性能所需的強大戰術行為。研究結果還表明，對多Agent訓練有了更好的理解。最終，CNN與RL技術的結合被證明是一種高效可行的方法，可以在軍事建設性模擬中訓練智能Agent，其應用有可能在執行實戰演習和任務時節省人力資源。建議未來的工作應研究如何最好地將類似的深度RL方法納入現有的軍事記錄構建性模擬項目中。

引言

A. 戰斗建模和戰爭

正確預測對手在戰爭中的戰略或戰術行為的愿望與人類進行這些戰爭的能力一樣古老[1]。在中國古代，像魏黑和圍棋這樣的游戲最初被用作加強軍事和政治領導人的戰略思維能力的方法。后來，羅馬人利用沙盤在戰役或戰斗前討論自己和敵人的可能行動。然而，直到19世紀初，普魯士人用他們的兵棋推演（Kriegsspiel）才開始利用具有嚴格規則的游戲來預測軍事交戰的可能結果。雖然這些兵棋推演在接下來的幾十年里在世界各地的許多武裝部隊中越來越受歡迎，但進行必要計算的能力有限，總是限制了這些基于棋盤的兵棋推演所能達到的復雜程度。此外，棋盤游戲的物理限制限制了設計者簡化行為和游戲元素，而不是努力追求真實。然而，計算能力的提高和用戶友好的圖形界面使設計者在20世紀末能夠以更高的復雜性來模擬兵棋推演的規則和游戲中的組件數量。此外，計算機的使用允許實施基于計算機的對手，在基于硬編碼規則的人工智能軟件的基礎上成功地與人類玩家進行比賽。

今天，基于計算機的兵棋推演，也被稱為建設性模擬[2]，已經成為整個國防部（DOD）的一個有用工具。它們使軍事領導人能夠進一步學習和發展他們在那些通常被認為成本太高或太危險而無法定期演練的領域的行動程序。領導人有能力在實際執行前針對多種紅色力量設計使用他們的部隊，使他們有機會在不承擔任何額外風險的情況下驗證他們的機動方案。在戰略層面上，大型單位的工作人員經常使用建設性的模擬作為訓練方法[3]，領導人可以在模擬環境中進行投入，但他們不參與確定場景的結果[2]。

B. 范圍和問題陳述

在基于計算機的兵棋推演中用來表現對抗行為的方法，需要由場景設計者通過腳本直接編碼，或者使用真人玩家進行所有紅軍的決策。這兩種方法都能提供足夠的分辨率來表現對抗性行為，但每種方法都有其缺點[4]。對于低級別的場景來說，直接對特定行為進行編碼可能是可行的，但隨著場景的擴大，單位的數量和可能的行動對于腳本的控制來說變得太有挑戰性，往往會導致不現實的行為[4]。對于大型場景，使用人類玩家作為紅色力量可能會提供更真實的結果，但額外的人力資源會造成后勤方面的壓力，而且整體的生產力也受限于單個玩家的知識和能力。

解決這個問題的一個可能的方法可能在于利用人工神經網絡。在計算機游戲領域，這種方法最近已被證明是相當成功的。例如，對于實時戰略游戲《星際爭霸II》，一個人工神經網絡被開發出來，打敗了99.8%經常參加在線比賽的玩家[5]。雖然在計算機游戲領域，人工神經網絡的利用最近取得了巨大的進展，但在軍事用途的兵棋推演領域，研究才剛剛開始。在最近的研究中，Boron[6]和Sun等人[7].已經表明，人工神經網絡適合解決簡單軍事兵棋推演場景中的挑戰。基于以前的工作，特別是Boron[6]的工作，本論文旨在提高所使用的軍事場景的復雜性。雖然Boron使用了簡單的多層感知器（MLP）神經網絡，但在處理己方和敵方單位的動態起始位置以及敵人的動態行為時，這種結構被證明是不合適的。此外，所使用的場景被限制在戰場上最多五個單位[6]。在本論文中，將建立一個支持卷積神經網絡（CNN）架構的訓練模擬，包括多個單位和地形類型以克服這些限制。此外，將在一個確定的場景中應用多智能體訓練，以測試這種方法是否可以成功地用于軍事建設性模擬領域。

強化學習(RL)通過與復雜環境的交互，推動機器學習從基礎數據擬合到學習和規劃的新時代。RL具有深度學習功能，在自動駕駛、推薦系統、無線通信、機器人、游戲等領域取得了巨大的成功。RL的成功很大程度上是基于RL算法的基礎發展，直到最近才被徹底理解，特別是它們的有限時間收斂速度和樣本復雜性。本教程將全面概述基礎RL算法的理論理解的最新進展，利用隨機近似/優化理論和利用RL問題的馬爾可夫結構。本教程還將介紹一些高級的RL算法及其最近的發展。

從社交網絡到分子，許多真實數據都是以非網格對象的形式出現的，比如圖。最近，從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注，這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程，而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。

在本教程中，我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎，重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說，我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后，我們將介紹DGL在各個領域的應用，包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。

//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目錄： 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 圖神經網絡簡介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表達性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs訓練 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可擴展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(無)監督學習 04:15 pm – 04:35 pm: GNN in Social Networks 社交網絡GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs圖像處理與未來方向 04:55 pm – 05:00 pm: Q&A

從社交網絡到分子，許多真實數據都是以非網格對象的形式出現的，比如圖。最近，從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注，這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程，而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。

在本教程中，我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎，重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說，我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后，我們將介紹DGL在各個領域的應用，包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。

//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目錄：

• 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 圖神經網絡介紹
• 09:00 am – 09:40 am: Robustness of Graph Neural Networks 圖神經網絡魯棒性
• 09:40 am – 10:00 am: Break
• 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 圖神經網絡自監督學習
• 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 圖神經網絡可擴展學習
• 11:20 am – 00:15 pm: Graph Structure Learning & NLP 圖結構學習