近年來，圖神經網絡(GNN)領域取得了令人難以置信的快速發展。圖神經網絡，也被稱為圖深度學習、圖表示學習或幾何深度學習，已經成為機器學習，尤其是深度學習中發展最快的研究課題之一。圖論和深度學習交叉的這波研究浪潮也影響了其他科學領域，包括推薦系統、計算機視覺、自然語言處理、歸納邏輯編程、程序合成、軟件挖掘、自動化規劃、網絡安全和智能交通。然而，隨著該領域的迅速發展，獲取全球范圍內GNN發展的視角是極具挑戰性的。因此，我們迫切需要彌合上述差距，并就這一快速增長但具有挑戰性的主題提供全面的教程。

本教程將通過回顧和介紹圖神經網絡的基本概念和算法、圖神經網絡的新研究前沿以及圖神經網絡的廣泛和新興應用，涵蓋圖神經網絡中廣泛的主題。此外，通過我們最近出版的《圖神經網絡(GNN):基礎、前沿和應用》一書，豐富的教程材料將包括和介紹，以幫助讀者獲得系統的理解，這是GNN研究人員和實踐者閱讀和學習的最全面的書籍之一。

Opening Remark (10 mins)

圖神經網絡基礎 Foundations of Graph Neural Networks (50 mins)

Graph Neural Networks for Node Classification The Express Power of Graph Neural Networks The Interpretability of Graph Neural Networks

圖神經網絡前沿 Frontiers of Graph Neural Networks (50 mins)

Graph Generation and Transformation Dynamic Graph Neural Networks Graph Matching Graph Structure Learning

應用 Broad and Emerging Applications (50 mins)

GNNs in Predicting Protein Function and Interactions GNNs in Graph Neural Networks in Program Analysis GNNs in Natural Language Processing

結論 Conclusion (10 mins)

圖神經網絡書籍

近年來，**圖神經網絡(GNN)領域取得了快速和令人難以置信的進展。**圖神經網絡，又稱圖深度學習、圖表示學習或幾何深度學習，已成為機器學習特別是深度學習領域發展最快的研究課題之一。這波圖論和深度學習交叉的研究浪潮也影響了其他科學領域，包括推薦系統、計算機視覺、自然語言處理、歸納邏輯編程、程序合成、軟件挖掘、自動規劃、網絡安全和智能交通。

盡管圖神經網絡已經獲得了極大的關注，但在將其應用到其他領域時，它仍然面臨著許多挑戰，從方法的理論理解到實際系統中的可擴展性和可解釋性，從方法的可靠性到應用中的經驗性能。然而，隨著該領域的迅速發展，獲得全球視野的gnn的發展已成為一項極具挑戰性的工作。

因此，我們感到迫切需要彌補上述差距，并就這一快速發展但具有挑戰性的主題出版一本全面的書，它可以造福廣泛的讀者，包括高級本科生和研究生、博士后研究人員、講師和行業從業者。

這本書旨在涵蓋圖神經網絡中廣泛的主題，從基礎到前沿，并從方法到應用。本書致力于介紹GNNs的基本概念和算法，GNNs的新研究前沿，以及GNNs的廣泛和新興應用。

書籍地址：

//graph-neural-networks.github.io/index.html

領域大牛推薦

“第一本全面涵蓋一個快速發展的研究領域——圖神經網絡(GNN)的書，由權威作者撰寫!” 韓家煒 - 美國伊利諾伊大學香檳分校計算機系教授，IEEE和ACM院士

這本書提出了一個全面和及時的圖表示學習綜述。由這一領域最好的專家編輯撰寫，這本書是想學習任何關于圖神經網絡的學生，研究人員和實踐者的必讀作品。”

沈向洋-計算機視覺和圖形學研究的世界級專家，IEEE Fellow，ACM Fellow）美國工程院院士，英國皇家工程科學院的國際院士

“作為深度學習的新前沿，圖神經網絡在結合概率學習和符號推理、連接知識驅動和數據驅動范式、開啟第三代人工智能發展方面提供了巨大的潛力。這本書提供了全面和深刻的GNN介紹，從基礎到前沿，從算法到應用。對于任何想要進入這一令人興奮的領域的科學家、工程師和學生來說，這都是寶貴的資源。”

張鈸 - 中國科學院院士，清華大學教授

“圖神經網絡是機器學習最熱門的領域之一，這本書是一個很棒的深度資源，涵蓋了圖表示學習的廣泛主題和應用。” Jure Leskovec -斯坦福大學副教授

圖神經網絡是一種新興的機器學習模型，已經在科學和工業領域掀起了一場風暴。是時候采取行動了！它的章節都是由該領域的許多專家精心撰寫的。”

Petar Velickovic - DeepMind 高級研究科學家

**目錄內容： **

本書主要分為3部分: Introduction, Foundations of Graph Neural Networks, 和 Frontiers of Graph Neural Networks.

第一部分：引言

第 1 章 表示學習 * 第 2 章 圖表示學習 * 第 3 章 圖神經網絡

第二部分：基礎

第 4 章 用于節點分類的圖神經網絡 * 第 5 章 圖神經網絡的表達能力 * 第 6 章 圖神經網絡：可擴展性 * 第 7 章 圖神經網絡中的可解釋性 * 第 8 章 圖神經網絡：對抗魯棒性

第三部分：前沿

第 9 章 圖神經網絡：圖分類 * 第 10 章 圖神經網絡：鏈接預測 * 第 11 章 圖神經網絡：圖生成 * 第 12 章 圖神經網絡：圖變換 * 第 13 章 圖神經網絡：圖匹配 * 第 14 章 圖神經網絡：圖結構學習 * 第 15 章 動態圖神經網絡 * 第 16 章 異構圖神經網絡 * 第 17 章 圖神經網絡：AutoML * 第 18 章 圖神經網絡：自監督學習

第四部分：應用

第 19 章 現代推薦系統中的圖神經網絡 * 第 20 章 計算機視覺中的圖神經網絡 * 第 21 章 自然語言處理中的圖神經網絡 * 第 22 章 程序分析中的圖神經網絡 * 第 23 章 軟件挖掘中的圖神經網絡 * 第 24 章 藥物開發中基于 GNN 的生物醫學知識圖譜挖掘 * 第 25 章 預測蛋白質功能和相互作用的圖神經網絡 * 第 26 章 異常檢測中的圖神經網絡 * 第 27 章 城市智能中的圖神經網絡

作者介紹

吳凌飛博士現任京東硅谷研發中心首席科學家。吳博士曾經是 IBM T. J. Watson Research Center 研究科學家和團隊帶頭人。吳博士在 2016 年從威廉瑪麗大學取得計算機博士學位。他的研究內容包括機器學習、表征學習和自然語言處理。 吳博士帶領的 Graph4NLP (Deep Learning on Graphs for Natural Language Processing) 團隊（12+ 研究科學家）致力于機器學習與文本數據挖掘領域的基礎研究，并運用機器學習與文本數據挖掘方法解決實際問題。其學術成果先后發表在 NeurIPS, ICML, ICLR, ACL, EMNLP, KDD, AAAI, IJCAI 等國際頂級會議及期刊上，發表論文超過 80 多篇。代表作包括 IDGL, MGMN, Graph2Seq, GraphFlow。多項學術論文獲得著名國際大會的最佳論文和最佳學術論文獎，包括 IEEE ICC 2019。 吳博士同時現任 IEEE 影響因子最高期刊之一 IEEE Transactions on Neural Networks and Learning Systems(TNNLS) 和 ACM SIGKDD 旗艦期刊 ACM Transactions on Knowledge Discovery from Data (TKDD) 的副主編。多次組織和擔任國際頂級會議大會或者領域主席，如 AAAI, IJCAI, KDD, NeurIPS, ICLR, ICML, ACL, EMNLP。

崔鵬，清華大學計算機系長聘副教授。于 2010 年獲得清華大學博士學位，研究興趣包括因果正則機器學習（causally-regularized machine learning）、網絡表示學習和社交動態建模。他在數據挖掘和多媒體領域知名會議和期刊上發表文章 100 多篇，近期研究獲得 IEEE Multimedia Best Department Paper Award、ICDM 2015 最佳學生論文獎等多個獎項。2015 年，他獲得 ACM 中國新星獎，2018 年獲得 CCF-IEEE CS 青年科學家獎。目前，他是 ACM 和 CCF 杰出會員、IEEE 高級會員。

裴健在數據科學、大數據、數據挖掘和數據庫系統等領域，是世界領先的研究學者，國際計算機協會（ACM）院士和國際電氣電子工程師協會（IEEE）院士，擅長為數據密集型應用設計開發創新性的數據業務產品和高效的數據分析技術。因其在數據挖掘基礎、方法和應用方面的杰出貢獻，裴健曾獲得數據科學領域技術成就最高獎 ACM SIGKDD Innovation Award（ACM SIGKDD 創新獎）和 IEEE ICDM Research Contributions Award（IEEE ICDM 研究貢獻獎）。2018 年，裴健入職京東，任集團副總裁。此前，裴健教授還曾擔任華為首席科學家。2019 年 9 月，裴健當選加拿大皇家學會院士。

趙亮現為埃默里大學擔任計算機系助理教授，研究方向為數據挖掘、機器學習和優化。此前曾在喬治梅森大學信息科技學院和計算機學院擔任助理教授。2016 年秋，趙亮獲得弗吉尼亞理工大學的博士學位。此外，趙亮曾獲 2020 年美國自然科學基金委員會杰出青年獎（NSF CAREER AWARD）、2019 年 Jeffress Trust Award、2017 年弗吉尼亞理工大學計算機學院杰出博士獎，并入選 2016 年微軟評選出的數據挖掘領域 20 位學術新星。他還獲得過 ICDM 2019 會議的最佳論文獎項。

數據驅動的推薦系統在各種Web應用程序中表現出了巨大的成功，這歸功于機器學習模型從大量的歷史用戶行為中識別模式(即相關性)的非凡能力。然而，這些模型仍然存在一些問題，如由于虛假相關性而產生的偏差和不公平。考慮數據背后的因果機制可以避免非因果關系帶來的偽相關的影響。在這種情況下，采用因果推薦建模是一個令人興奮和有前途的方向。因此，因果推薦越來越受到我們推薦界的關注。然而，由于缺乏對這一課題的系統概述，導致研究者和實踐者難以理解和跟上這一方向。

在本教程中，我們將介紹因果關系的關鍵概念，并對因果推薦方面的現有工作進行系統回顧。我們將介紹來自兩種不同因果框架的現有方法——潛在結果框架和結構性因果模型。我們將舉例并討論如何在這兩個框架下利用不同的因果工具來建模和解決推薦中的問題。將對這兩種工作進行比較，以便理解它們之間的區別和聯系。此外，我們確定了一些開放的挑戰和潛在的未來發展方向。我們希望本教程可以激發更多關于這個主題的想法，并促進因果關系感知推薦系統的發展。

目錄內容：

Part 0: 引用 introduction (15 Min). Part1: 潛在結果 potential outcome framework for recommendation (60~70 Min). Q&A (5 Min). Break (10 Min). Part2: 結構因果模型 structural causal model for recommendation (60~70 Min). Part3: comparison between the two frameworks (5 Min). Part4: open problems, future directions, and conclusions (20 Min). Q&A (5 Min).

能夠解釋機器學習模型的預測在醫療診斷或自主系統等關鍵應用中是很重要的。深度非線性ML模型的興起，在預測方面取得了巨大的進展。然而，我們不希望如此高的準確性以犧牲可解釋性為代價。結果，可解釋AI (XAI)領域出現了，并產生了一系列能夠解釋復雜和多樣化的ML模型的方法。

在本教程中，我們結構化地概述了在深度神經網絡(DNNs)的背景下為XAI提出的基本方法。特別地，我們提出了這些方法的動機，它們的優點/缺點和它們的理論基礎。我們還展示了如何擴展和應用它們，使它們在現實場景中發揮最大的作用。

本教程針對的是核心和應用的ML研究人員。核心機器學習研究人員可能會有興趣了解不同解釋方法之間的聯系，以及廣泛的開放問題集，特別是如何將XAI擴展到新的ML算法。應用ML研究人員可能會發現，理解標準驗證程序背后的強大假設是很有趣的，以及為什么可解釋性對進一步驗證他們的模型是有用的。他們可能還會發現新的工具來分析他們的數據并從中提取見解。參與者將受益于技術背景(計算機科學或工程)和基本的ML訓練。

目錄內容：

Part 1: Introduction to XAI (WS) 可解釋人工智能

• Motivations for XAI
• Methods and Validation of XAI
• The Clever Hans Effect

Part 2: Methods for Explaining DNNs (GM) 可解釋深度神經網絡方法

• Self-Explainable DNNs
• Perturbation-Based Explanation Techniques
• Propagation-Based Explanation Techniques

Part 3: Implementation, Theory, Evaluation, Extensions (GM) 實現，理論、評價

• Implementating XAI Techniques for DNNs
• Theoretical Embedding of XAI
• Desiderata of XAI Techniques and Evaluation
• Extending XAI Beyond Heatmaps and DNNs

Part 4: Applications (WS) 應用

• Walk-Through Examples
• Debugging Large Datasets (Meta-Explanations and "Unhansing")
• XAI in the Sciences