第37屆國際人工智能大會（AAAI2023）于2023年2月7日-2月14日在美國華盛頓召開。AAAI是CCF推薦的A類國際學術會議，在人工智能領域享有很高的學術聲譽。這次會議共收到來自8777篇投稿，錄用1721篇，錄用率約19.6%。來自伯克利、NUS等學者帶來了《大規模深度學習優化技術》教程，非常值得關注！

大型transformer模型在廣泛的人工智能應用中表現出了有希望的性能。然而，由于其良好的性能，最近出現了大量超大型模型。由于大量的通信開銷和它們執行的計算數量，這些模型具有過高的訓練成本。因此，學術界和工業界都在更大的集群上擴展深度學習訓練。然而，泛化性能的下降、不可忽視的通信開銷和模型大小的增加阻礙了深度學習研究人員和工程師探索大規模人工智能模型。**在本教程中，我們的目標是提供一個關于模型精度和模型效率的大規模深度學習優化的清晰草圖。**本文研究了最常用于優化的算法:回顧了梯度下降優化的關鍵思想，介紹了大批量訓練優化，詳細闡述了在大批量訓練中出現的泛化差距這一有爭議的主題，提出了二階優化，最后，回顧了解決通信開銷和減少內存占用的最先進策略。

圖是通用的數據結構，可以表示來自各種領域(社會、生物醫學、在線事務等)的信息。圖神經網絡(GNNs)是在神經網絡模型中使用圖結構數據的一種令人興奮的方法，這種方法最近非常流行。然而，在大型(和復雜)數據集上實現和運行gnn仍然給機器學習平臺帶來了許多挑戰。感謝您對我們的教程感興趣!本教程的主要目標是幫助從業者和研究人員在TensorFlow設置中實現GNN。具體來說，該教程將主要是實踐，并將引導觀眾通過在異構圖數據上運行現有GNN的過程，并介紹如何實現新的GNN模型。本教程的實踐部分將基于TF-GNN，這是一個用于處理TensorFlow中的圖形結構化數據的庫。

//github.com/tensorflow/gnn/tree/main/examples/tutorials/neurips_2022

有各種各樣的NLP問題可以用圖結構最好地表達。基于圖的深度學習技術(即圖神經網絡(GNNs))在建模非歐氏數據(如圖)方面的巨大優勢，為解決具有挑戰性的圖類NLP問題打開了一扇新的大門，并取得了巨大的成功。盡管取得了成功，但在圖上的深度學習(DLG4NLP)仍然面臨許多挑戰(如自動圖的構造、復雜圖的圖表示學習、復雜數據結構之間的映射學習)。

本教程將介紹深度學習技術在自然語言處理中的應用，包括自然語言處理的自動圖構造、自然語言處理的圖表示學習、自然語言處理的基于GNN的高級模型(如graph2seq和graph2tree)，以及GNN在各種自然語言處理任務中的應用(如機器翻譯、圖像處理和圖像處理)。自然語言生成、信息提取和語義解析)。此外，我們還將舉辦實際演示課程，以幫助觀眾獲得應用GNN解決具有挑戰性的自然語言問題的實際經驗，使用我們最近開發的開源庫Graph4NLP，這是第一個供研究人員和實踐者方便地使用gnn完成各種自然語言任務的庫。

EPFL的Lenka Zdeborová教授在UAI2021上的keynote報告《貝葉斯最優學習》

ML規模化常常被低估。在多臺機器上訓練一個ML模型(最初是針對單個CPU/GPU實現的)到底需要什么?一些痛點是: (1) 需要編寫許多新代碼行來將代碼轉換為分布式版本; (2)需要大量調整代碼以滿足系統/統計性能，這是模型開發的附加過程; (3)決定使用哪些/多少硬件資源來訓練和部署模型; (4) 從組織的角度出發，在許多用戶和作業之間實現資源共享自動化，以滿足用戶的需求，同時使資源利用率最大化，成本最小化。

在本教程中，我們將介紹自動化分布式ML基礎設施的改進技術。本教程涵蓋了對ML并行化至關重要的三個領域: (1)對并行ML構建塊進行編組和標準化; (2) ML并行表示和軟件框架; (3)自動ML并行化的算法和系統，以及在共享集群上ML作業的資源分配。通過揭示ML程序的獨特特征，并通過剖析成功案例來揭示如何利用它們，我們為ML研究人員和實踐者提供了進一步塑造和發展SysML領域的機會。

聽眾應該熟悉ML和DL的基礎知識。了解TensorFlow、PyTorch和分布式ML技術也有幫助，但不是必需的。

//sites.google.com/view/aaai-2021-tutorial-ah9/home

人工智能系統

本課程的中文名稱設定為 人工智能系統，主要講解支持人工智能的計算機系統設計，對應的英文課程名稱為 System for AI。本課程中將交替使用一下詞匯：人工智能系統，AI-System 和 System for AI。

English

人工智能系統課程設立背景

近年來人工智能特別是深度學習技術得到了飛速發展，這背后離不開計算機硬件和軟件系統的不斷進步。在可見的未來，人工智能技術的發展仍將依賴于計算機系統和人工智能相結合的共同創新模式。需要注意的是，計算機系統現在正以更大的規模和更高的復雜性來賦能于人工智能，這背后不僅需要更多的系統上的創新，更需要系統性的思維和方法論。與此同時，人工智能也反過來為設計復雜系統提供支持。

我們注意到，現在的大部分人工智能相關的課程，特別是深度學習和機器學習相關課程主要集中在相關理論、算法或者應用，與系統相關的課程并不多見。我們希望人工智能系統這門課能讓人工智能相關教育變得更加全面和深入，以共同促進人工智能與系統交叉人才的培養。

人工智能系統課程設立目的

本課程主要為本科生高年級和研究生設計，幫助學生：

1. 完整的了解支持深度學習的計算機系統架構，并通過實際的問題，來學習深度學習完整生命周期下的系統設計。

2. 介紹前沿的系統和人工智能相結合的研究工作，包括AI for Systems and Systems for AI，以幫助高年級的本科生和研究生更好的尋找和定義有意義的研究問題。

3. 從系統研究的角度出發設計實驗課程。通過操作和應用主流和最新的框架、平臺和工具來鼓勵學生動手實現和優化系統模塊，以提高解決實際問題的能力，而不僅僅是了解工具使用。

先修課程: C/C++/Python, 計算機體系結構，算法導論

人工智能系統課程的設計與特點

課程主要包括以下三大模塊：

第一部分，是人工智能的基礎知識和人工智能系統的全棧概述；以及深度學習系統的系統性設計和方法學。

第二部分，為高級課程，包括最前沿的系統和人工智能交叉的研究領域。

第三部分，是與之配套的實驗課程，包括最主流的框架、平臺和工具，以及一系列的實驗項目。

第一部分的內容將集中在基礎知識，而其他兩部分的內容將隨著學術界和工業界的技術進步而動態調整。后兩部分的內容將以模塊化的形式組織，以利于調整或與其他CS的課程（比如編譯原理等）相結合，作為高級講義或者實習項目。

本課程的設計也會借助微軟亞洲研究院在人工智能和系統交叉領域的研究成果和經驗，其中包括微軟及研究院開發的一部分平臺和工具。課程也鼓勵其他學校和老師根據自己的需求添加和調整更多的高級課題，或者其他的實驗。

人工智能系統課程大綱

課程部分

基礎課程

高階課程

圖神經網絡教程 Graph Convolutional Networks Graph Sampling Methods Application and PyTorch Implementation