**第37屆國際人工智能大會（AAAI2023）于2023年2月7日-2月14日在美國華盛頓召開。AAAI是CCF推薦的A類國際學術會議，在人工智能領域享有很高的學術聲譽。這次會議共收到來自8777篇投稿，錄用1721篇，錄用率約19.6%。來自Pinterest、清華等學者帶來了《圖神經網絡:基礎、前沿與應用》教程，非常值得關注！

近年來，圖神經網絡(GNN)領域取得了令人難以置信的快速發展。圖神經網絡，也被稱為圖深度學習、圖表示學習或幾何深度學習，已經成為機器學習，尤其是深度學習中發展最快的研究課題之一。圖論和深度學習交叉的這波研究浪潮也影響了其他科學領域，包括推薦系統、計算機視覺、自然語言處理、歸納邏輯編程、程序合成、軟件挖掘、自動化規劃、網絡安全和智能交通。然而，隨著該領域的迅速發展，獲取全球范圍內GNN發展的視角是極具挑戰性的。因此，我們迫切需要彌合上述差距，并就這一快速增長但具有挑戰性的主題提供全面的教程。

本教程將通過回顧和介紹圖神經網絡的基本概念和算法、圖神經網絡的新研究前沿以及圖神經網絡的廣泛和新興應用，涵蓋圖神經網絡中廣泛的主題。此外，通過我們最近出版的《圖神經網絡(GNN):基礎、前沿和應用》一書，豐富的教程材料將包括和介紹，以幫助讀者獲得系統的理解，這是GNN研究人員和實踐者閱讀和學習的最全面的書籍之一。

Opening Remark (10 mins)

圖神經網絡基礎 Foundations of Graph Neural Networks (50 mins)

Graph Neural Networks for Node Classification * The Express Power of Graph Neural Networks * The Interpretability of Graph Neural Networks

圖神經網絡前沿 Frontiers of Graph Neural Networks (50 mins)

Graph Generation and Transformation * Dynamic Graph Neural Networks * Graph Matching * Graph Structure Learning

應用 Broad and Emerging Applications (50 mins)

GNNs in Predicting Protein Function and Interactions * GNNs in Graph Neural Networks in Program Analysis * GNNs in Natural Language Processing

結論 Conclusion (10 mins)

圖神經網絡書籍

近年來，**圖神經網絡(GNN)領域取得了快速和令人難以置信的進展。**圖神經網絡，又稱圖深度學習、圖表示學習或幾何深度學習，已成為機器學習特別是深度學習領域發展最快的研究課題之一。這波圖論和深度學習交叉的研究浪潮也影響了其他科學領域，包括推薦系統、計算機視覺、自然語言處理、歸納邏輯編程、程序合成、軟件挖掘、自動規劃、網絡安全和智能交通。

盡管圖神經網絡已經獲得了極大的關注，但在將其應用到其他領域時，它仍然面臨著許多挑戰，從方法的理論理解到實際系統中的可擴展性和可解釋性，從方法的可靠性到應用中的經驗性能。然而，隨著該領域的迅速發展，獲得全球視野的gnn的發展已成為一項極具挑戰性的工作。

因此，我們感到迫切需要彌補上述差距，并就這一快速發展但具有挑戰性的主題出版一本全面的書，它可以造福廣泛的讀者，包括高級本科生和研究生、博士后研究人員、講師和行業從業者。

這本書旨在涵蓋圖神經網絡中廣泛的主題，從基礎到前沿，并從方法到應用。本書致力于介紹GNNs的基本概念和算法，GNNs的新研究前沿，以及GNNs的廣泛和新興應用。

書籍地址：

//graph-neural-networks.github.io/index.html

**領域大牛推薦 **

“第一本全面涵蓋一個快速發展的研究領域——圖神經網絡(GNN)的書，由權威作者撰寫!” 韓家煒 - 美國伊利諾伊大學香檳分校計算機系教授，IEEE和ACM院士

這本書提出了一個全面和及時的圖表示學習綜述。由這一領域最好的專家編輯撰寫，這本書是想學習任何關于圖神經網絡的學生，研究人員和實踐者的必讀作品。”

沈向洋-計算機視覺和圖形學研究的世界級專家，IEEE Fellow，ACM Fellow）美國工程院院士，英國皇家工程科學院的國際院士

“作為深度學習的新前沿，圖神經網絡在結合概率學習和符號推理、連接知識驅動和數據驅動范式、開啟第三代人工智能發展方面提供了巨大的潛力。這本書提供了全面和深刻的GNN介紹，從基礎到前沿，從算法到應用。對于任何想要進入這一令人興奮的領域的科學家、工程師和學生來說，這都是寶貴的資源。”

張鈸 - 中國科學院院士，清華大學教授

“圖神經網絡是機器學習最熱門的領域之一，這本書是一個很棒的深度資源，涵蓋了圖表示學習的廣泛主題和應用。”

Jure Leskovec -斯坦福大學副教授

圖神經網絡是一種新興的機器學習模型，已經在科學和工業領域掀起了一場風暴。是時候采取行動了！它的章節都是由該領域的許多專家精心撰寫的。”

Petar Velickovic - DeepMind 高級研究科學家

目錄內容：

本書主要分為3部分: Introduction, Foundations of Graph Neural Networks, 和 Frontiers of Graph Neural Networks.

第一部分：引言

第 1 章 表示學習 * 第 2 章 圖表示學習 * 第 3 章 圖神經網絡

第二部分：基礎

第 4 章 用于節點分類的圖神經網絡 * 第 5 章 圖神經網絡的表達能力 * 第 6 章 圖神經網絡：可擴展性 * 第 7 章 圖神經網絡中的可解釋性 * 第 8 章 圖神經網絡：對抗魯棒性

第三部分：前沿

第 9 章 圖神經網絡：圖分類 * 第 10 章 圖神經網絡：鏈接預測 * 第 11 章 圖神經網絡：圖生成 * 第 12 章 圖神經網絡：圖變換 * 第 13 章 圖神經網絡：圖匹配 * 第 14 章 圖神經網絡：圖結構學習 * 第 15 章 動態圖神經網絡 * 第 16 章 異構圖神經網絡 * 第 17 章 圖神經網絡：AutoML * 第 18 章 圖神經網絡：自監督學習

第四部分：應用

第 19 章 現代推薦系統中的圖神經網絡 * 第 20 章 計算機視覺中的圖神經網絡 * 第 21 章 自然語言處理中的圖神經網絡 * 第 22 章 程序分析中的圖神經網絡 * 第 23 章 軟件挖掘中的圖神經網絡 * 第 24 章 藥物開發中基于 GNN 的生物醫學知識圖譜挖掘 * 第 25 章 預測蛋白質功能和相互作用的圖神經網絡 * 第 26 章 異常檢測中的圖神經網絡 * 第 27 章 城市智能中的圖神經網絡

作者介紹

吳凌飛博士是Pinterest內容和知識圖譜組的工程經理，他們正在構建下一代知識圖譜，以支持Pinterest的推薦/研究系統，包括Homefeed、搜索、廣告等所有主要界面。吳博士在 2016 年從威廉瑪麗大學取得計算機博士學位。他的研究內容包括機器學習、表征學習和自然語言處理。 吳博士帶領的 Graph4NLP (Deep Learning on Graphs for Natural Language Processing) 團隊（12+ 研究科學家）致力于機器學習與文本數據挖掘領域的基礎研究，并運用機器學習與文本數據挖掘方法解決實際問題。其學術成果先后發表在 NeurIPS, ICML, ICLR, ACL, EMNLP, KDD, AAAI, IJCAI 等國際頂級會議及期刊上，發表論文超過 80 多篇。代表作包括 IDGL, MGMN, Graph2Seq, GraphFlow。多項學術論文獲得著名國際大會的最佳論文和最佳學術論文獎，包括 IEEE ICC 2019。 吳博士同時現任 IEEE 影響因子最高期刊之一 IEEE Transactions on Neural Networks and Learning Systems(TNNLS) 和 ACM SIGKDD 旗艦期刊 ACM Transactions on Knowledge Discovery from Data (TKDD) 的副主編。多次組織和擔任國際頂級會議大會或者領域主席，如 AAAI, IJCAI, KDD, NeurIPS, ICLR, ICML, ACL, EMNLP。

崔鵬，清華大學計算機系長聘副教授。于 2010 年獲得清華大學博士學位，研究興趣包括因果正則機器學習（causally-regularized machine learning）、網絡表示學習和社交動態建模。他在數據挖掘和多媒體領域知名會議和期刊上發表文章 100 多篇，近期研究獲得 IEEE Multimedia Best Department Paper Award、ICDM 2015 最佳學生論文獎等多個獎項。2015 年，他獲得 ACM 中國新星獎，2018 年獲得 CCF-IEEE CS 青年科學家獎。目前，他是 ACM 和 CCF 杰出會員、IEEE 高級會員。

裴健在數據科學、大數據、數據挖掘和數據庫系統等領域，是世界領先的研究學者，國際計算機協會（ACM）院士和國際電氣電子工程師協會（IEEE）院士，擅長為數據密集型應用設計開發創新性的數據業務產品和高效的數據分析技術。因其在數據挖掘基礎、方法和應用方面的杰出貢獻，裴健曾獲得數據科學領域技術成就最高獎 ACM SIGKDD Innovation Award（ACM SIGKDD 創新獎）和 IEEE ICDM Research Contributions Award（IEEE ICDM 研究貢獻獎）。2018 年，裴健入職京東，任集團副總裁。此前，裴健教授還曾擔任華為首席科學家。2019 年 9 月，裴健當選加拿大皇家學會院士。

趙亮現為埃默里大學擔任計算機系助理教授，研究方向為數據挖掘、機器學習和優化。此前曾在喬治梅森大學信息科技學院和計算機學院擔任助理教授。2016 年秋，趙亮獲得弗吉尼亞理工大學的博士學位。此外，趙亮曾獲 2020 年美國自然科學基金委員會杰出青年獎（NSF CAREER AWARD）、2019 年 Jeffress Trust Award、2017 年弗吉尼亞理工大學計算機學院杰出博士獎，并入選 2016 年微軟評選出的數據挖掘領域 20 位學術新星。他還獲得過 ICDM 2019 會議的最佳論文獎項。

結構信息和領域知識是訓練一個好的機器學習模型的兩個必要組成部分，以最大限度地提高目標應用中的性能。本教程總結了如何使用優化作為可區分的構建塊，將應用程序中的重要操作信息合并到機器學習模型中。

機器學習模型在許多工業應用和社會挑戰中取得了重大成功，包括自然語言處理、計算機視覺、時間序列分析和推薦系統。為了適應不同的應用，將應用中的結構信息和領域知識納入機器學習模型是訓練過程中的一個重要元素。但是它經常依賴于微調和特征工程，而沒有系統的方法來適應各種應用。另一方面，運籌學是一種應用驅動的方法，優化問題是在目標應用的知識和約束的基礎上制定，以導出可操作的解決方案。優化公式在應用中可以捕獲結構信息和領域知識，但優化過程的不可微性和復雜的操作過程使其難以集成到機器學習模型中。

本教程從可微優化的基礎開始，討論如何將優化轉換為可微構建塊，以便在更大的體系結構中使用。可微優化的直接好處是將優化公式中的結構信息和領域知識集成到機器學習模型中。本教程的第一部分涵蓋了各種應用，將優化作為機器學習模型中的可微單元，以適當地處理強化學習、控制、最優運輸和幾何中的操作任務。實驗表明，可微優化方法比神經網絡更能有效地模擬操作過程。本教程的第二部分側重于將各種工業和社會挑戰作為可區分的優化層集成到訓練管道中。這種機器學習模型和應用驅動優化的集成導致端到端學習，以決策為中心的學習，訓練模型直接優化目標應用中的性能。最后，本教程總結了可微優化的一系列應用及其計算限制，并為讀者提供了各種開放的方向。

//guaguakai.github.io/IJCAI22-differentiable-optimization/

【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦，時間在 2 月 22 日-3 月 1 日，本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告，來自Shirin Sohrabi等學者共同做了關于AI規劃理論與實踐的進展報告，非常值得關注!

人工智能規劃是人工智能的一個長期存在的子領域，處理順序決策，是強化學習的姊妹領域。規劃技術在對話系統、網絡安全、交通物流、IT等各個領域都有成熟的工業應用。雖然基于模型的規劃工具可以解決實際規模的問題，但在實踐中應用人工智能規劃研究面臨著幾個挑戰，阻礙了它的廣泛應用。然而，使用無模型方法的替代方法往往被證明對實際尺寸的問題是不可行的。本教程的目的是為觀眾提供必要的理論背景知識，以及實踐經驗，以允許使用規劃工具解決日常挑戰。在本教程中，我們將概述規劃領域，包括該領域的最新進展。然后，我們將深入研究三個挑戰:(1)建模——如何表示、提取和學習知識;(2)理論和工具——計算問題的形式化定義以及如何解決這些問題;(3)實踐-在端到端應用程序中使用人工智能規劃。我們將有一個實踐環節來舉例說明如何使用規劃工具來解決示例應用。我們的目標是為AAAI的與會者提供在他們的應用中使用人工智能規劃工具的必要手段

【導讀】深度學習優化是構建深度學習模型中的一個關鍵問題。來自NUS的研究人員發布了《大規模深度學習優化》綜述論文，DL優化目標是雙重的: 模型準確性和模型效率。至于模型的準確性，研究了最常用的優化算法，從梯度下降變量到(大批量)自適應方法，從一階方法到二階方法。此外，還闡述了在大批量訓練中出現的泛化差距這一有爭議的問題。

深度學習在人工智能的廣泛應用中取得了可喜的成果。更大的數據集和模型總是產生更好的性能。然而，我們通常花更長的訓練時間在更多的計算和通信上。在這項綜述中，我們的目標是提供一個清晰的草圖，關于優化大規模深度學習的模型準確性和模型效率。我們研究最常用于優化的算法，闡述大批量訓練中出現的泛化缺口這一有爭議的話題，并回顧SOTA解決通信開銷和減少內存占用的策略。

//www.zhuanzhi.ai/paper/9f75513e868ff294b34ab94275cab043

引言

目前，深度學習(DL)已經在廣泛的人工智能應用領域取得了可喜的結果，包括計算機視覺(如圖像分類[42,47,66]，目標檢測和分割[35,41,65,85])，自然語言處理(如語言建模[28,117]和機器翻譯[108,114])，信息檢索(例如，推薦系統[43])和許多其他。規模是DL上升的主要推動力[28,42,55,56,94,104]。更大的數據集和神經網絡在所有通常需要更多計算和更長的訓練時間的任務中總是產生更好的性能。

因此，近年來，學術界和工業界對在具有更高計算能力和內存限制的TPU和GPU等設備的大集群上擴展DL和分布式訓練的興趣激增。數據并行已經成為分布式訓練的主要實踐。它將一個大的批處理分布到多個設備，其中每個設備持有一個相同的模型副本，計算局部批處理的梯度，最后在每次迭代收集梯度來同步參數更新。通過最新的優化技術，它現在能夠在成千上萬的GPU設備上訓練非常大的批量。然而，這種規模的訓練需要克服算法和系統相關的挑戰。其中一個主要的挑戰是模型精度在超過某一點(例如32k)時的大批量下降。單純地增加批處理大小通常會導致泛化性能下降，并降低計算效益。此外，我們不能總是通過使用更多的處理器來提高訓練速度，因為通信成本是不可忽略的開銷。多處理器協同訓練一個任務可以減少整體訓練時間，但相應的處理器間通信成本很高，限制了模型的可擴展性。更糟糕的是，擁有數百億到數萬億參數的模型顯然無法裝入單個設備的內存中，簡單地增加更多設備也無助于擴大訓練規模。這種限制阻止DL研究人員探索更高級的模型體系結構。現有的工作研究和開發了克服這些問題的優化技術，以加速大規模深度神經網絡(DNN)的訓練。我們將這些工作分為兩類，一種努力在大規模設置下保持/提高模型的準確性，另一種強調模型的效率，設計不太需要通信和內存的算法。重要的是，它們不是相互排斥的，而是可以協同使用，以進一步加快訓練。

該綜述的總體結構如圖1所示。第2節介紹了一個典型的有監督學習神經網絡優化問題的公式。我們將大規模DL優化大致分為模型精度和模型效率兩部分。第3節介紹了梯度下降優化系列，包括梯度下降變種、動量SGD和自適應梯度算法。隨著具有數據并行性的大批訓練在DL中日益普及，同時也帶來了挑戰，第4節討論了在這一設置中存在的問題，并回顧了主要的SOTA優化策略來改善這種情況。第5部分深入探討了泛化差距——批量訓練中的一個辯論話題。第6節介紹了二階優化。然后我們將注意力轉向模型效率。第7節調研了通信瓶頸，第8節重點討論了高效存儲技術。最后，第9節對本文進行總結。

梯度下降優化算法

訓練DNN是一個優化過程，即在網絡中找到使損失函數最小的參數。梯度下降及其變體算法是最常用的神經網絡優化算法[87]。為了控制梯度下降法的振動，引入了動量控制的思想。此外，將學習率與前一階段的梯度相適應，有利于避免波動。在本節中，我們簡要梳理了目前主流的優化算法，包括梯度下降變分算法(3.1節)、動量算法(3.2節)和自適應梯度算法(3.3節)。

大批量訓練

大型DNN和大型數據集推動了深度學習的發展[28,42,55,56,94,104]。然而，在海量數據集上訓練大型模型是計算密集型的。例如，BERT和ResNet-50等SOTA DL模型在16個TPUv3芯片上訓練3天，在8個Tesla P100 GPU上訓練29個小時[28,42]。一種直觀的加速訓練的方法是增加更多的計算能力(例如，更多的GPU節點)并使用數據并行(見圖1)。考慮到通信(即在每次迭代時同步更新)是一個問題，必須盡可能多地利用每個GPU來分攤通信成本。因此，需要使用大批量來將更多的數據分配到每個GPU上。批量大小的非平凡增長常常導致測試性能下降，如[45,52,54,61]中觀察到的。我們在4.1節中描述了大批量引入的訓練難點，在4.2節中描述了大批量訓練的配方(即帶熱身策略的線性LR縮放)，在4.3節中描述了其他補充策略，如自適應分層學習和4.4節中描述了自適應批量大小。最后在第4.5節中討論我們可以擴大批量的程度。

泛化差距

優化通常是一項極其困難的任務，尤其是在訓練神經網絡時。對于非凸高維函數，有可能存在許多局部極小點和鞍點。優化方法，如SGD，一般收斂于參數空間的不同區域，高度依賴于網絡架構的設計、優化器的選擇、變量初始化等多種考慮[92]。泛化這個術語指的是一個假設如何很好地適用于訓練集中沒有看到的新例子。如4.1節所述，我們可以看到，盡管訓練函數的值相似，但用大批量方法訓練的模型在測試數據上的表現要比小批量方法差[45,52,70,92]。這種泛化性能的持續下降被稱為泛化差距。弄清這一差距的根源并找到消除這一差距的方法具有重大的現實意義，但仍是一個懸而未決的問題。本節的結構如下。第5.1節介紹了sharp and flat (wide) minima的概念;5.2節討論了局部最小值的銳度/平整度與其泛化能力之間的關系;第5.3節解釋了所謂的泛化差距，第5.4節提供了一個有點相反的解釋。

二階優化

DL中的優化，無論是理論上還是經驗上，目前都由一階梯度方法主導[2,3,15,21,26,116]。二階優化方法，包括二階導數和/或數據的二階統計，是遠遠不普遍的，盡管強大的理論性質，由于其令人望而卻步的計算，內存和通信成本。在本節中，我們將在6.1節中建立二階優化基礎知識，從6.2節中的經典牛頓方法開始，并轉向一些最新的算法，如Hessian-Free方法(在6.3節中)、K-FAC(在6.4節中)和Shampoo40。

通信

大規模分布式訓練提高了訓練更深、更大模型的效率，其中采用了數據并行，充分利用了多個workers的計算能力。SGD計算效率高，并且得到了DL工具包TensorFlow[1]、PyTorch[77]和DeepSpeed[83]的良好支持，因此通常被選擇為優化方法。在數據并行的SGD中，每個worker處理其訓練數據的隨機小批，然后通過一個All-Reduce步驟或通過一個集中的參數服務器來同步本地更新，該服務器聚集了來自所有worker的隨機梯度，并采取Broadcast步驟，將更新后的參數向量傳送回所有workers。重復梯度同步的過程，直到滿足適當的收斂準則。

內存

更大的模型通常需要更多的計算和內存資源來訓練。訓練這些模型所需的內存數量可能比單個GPU上可用的內存數量大幾個數量級。在本節中，我們將看到一些流行的技術如何成功地在不影響模型性能的情況下降低訓練神經網絡的內存需求。第8.1節介紹了混合精度訓練[72]如何使用更少的位來保留訓練期間的權值和梯度，從而降低內存負擔。第8.2節介紹了兩種有效內存的自適應優化器，Adafactor[93]和SM3[10]。與上述方法正交，ZeRO[81]不改變模型優化方法，也不影響模型收斂，而是通過消除數據并行中的冗余來降低內存成本(章節8.3)。

結論

鑒于更大的數據集和更大的模型持續產生的準確性的顯著提高，大規模的深度學習已成為一個不可避免的趨勢。隨著數據集大小和DNN復雜度的增加，深度學習的計算強度、通信成本和內存需求均成比例增加。為了提高訓練速度已經付出了相當大的努力。在本文中，我們給出了大規模深度學習優化的概述。一般來說，目標是雙重的: 模型準確性和模型效率。至于模型的準確性，我們研究了最常用的優化算法，從梯度下降變量到(大批量)自適應方法，從一階方法到二階方法。此外，我們還闡述了在大批量訓練中出現的泛化差距這一有爭議的問題。至于模型的效率，我們總結了SOTA技術在解決通信開銷和內存占用方面的昂貴成本。我們希望這篇文章可以為那些有興趣進行大規模訓練的人提供一個清晰的草圖。

人工智能的一個基本任務是學習。深度神經網絡已經被證明可以完美地處理所有的學習范式，即有監督學習、無監督學習和強化學習。然而，傳統的深度學習方法利用云計算設施，不能很好地擴展到計算資源低的自治代理。即使在云計算中，它們也受到計算和內存的限制，不能用來為假設有數十億神經元的網絡的代理建立適當的大型物理世界模型。這些問題在過去幾年中通過可擴展深度學習的新興主題得到了解決，該主題在訓練之前和整個過程中利用了神經網絡中的靜態和自適應稀疏連接。本教程將分兩部分介紹這些研究方向，重點是理論進展、實際應用和實踐經驗。

//sites.google.com/view/ijcai2020-sparse-training/home

不確定性的概念在機器學習中是非常重要的，并且構成了現代機器學習方法論的一個關鍵元素。近年來，由于機器學習與實際應用的相關性越來越大，它的重要性也越來越大，其中許多應用都伴隨著安全要求。在這方面，機器學習學者們發現了新的問題和挑戰，需要新的方法發展。事實上，長期以來，不確定性幾乎被視為標準概率和概率預測的同義詞，而最近的研究已經超越了傳統的方法，也利用了更一般的形式主義和不確定性計算。例如，不確定性的不同來源和類型之間的區別，例如任意不確定性和認知不確定性，在許多機器學習應用中被證明是有用的。講習班將特別注意這方面的最新發展。

綜述論文：

不確定性的概念在機器學習中是非常重要的，并且構成了機器學習方法的一個關鍵元素。按照統計傳統，不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而，由于機器學習與實際應用和安全要求等相關問題的相關性穩步上升，機器學習學者最近發現了新的問題和挑戰，而這些問題可能需要新的方法發展。特別地，這包括區分(至少)兩種不同類型的不確定性的重要性，通常被稱為任意的和認知的。在這篇論文中，我們提供了機器學習中的不確定性主題的介紹，以及到目前為止在處理一般不確定性方面的嘗試的概述，并特別將這種區別形式化。

//www.zhuanzhi.ai/paper/8329095368761f81a7849fe5457949ed

圖表示學習

近年來，圖神經網絡(GNNs)在結構化數據建模方面取得了巨大的成功。然而，大多數GNN是為同構網絡設計的，即所有節點或邊具有相同的特征空間和表示分布。這使得它們無法代表真實世界中不斷演化的異構圖，如知識圖譜、物聯網圖、領英經濟圖、開放學術圖和Facebook實體圖。在這次演講中，我將介紹圖神經網絡架構，它可以建模十億年規模的異構圖形與動態。重點將是我們如何設計圖注意力和相對時間編碼機制，以捕獲真實圖異構和動態性質。接下來，我將進一步討論為一般的圖挖掘任務預先訓練這類GNN的策略。最后，為了處理web規模的數據，我將介紹一種異構的小型批處理圖采樣算法，該算法帶有一個歸納的時間戳分配方法，用于高效和可擴展的訓練。大量的實驗顯示了在實踐中對網絡規模圖進行預訓練的GNNs的前景。

//ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf

來自DeepMind研究人員Feryal Behbahani, Matt Hoffman 和 Bobak Shahriari講解的強化學習教程。

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告，講述了XAI概念、方法以及面臨的挑戰和經驗教訓。

人工智能在我們的日常生活中扮演著越來越重要的角色。此外，隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及，人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見，以及對模型透明性和可解釋性的需求。此外，模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。

因此，人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上，以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性，(ii) 為理解模型行為制定可解釋性任務，并為這些任務開發解決方案，最后 (iii)設計評估模型在可解釋性任務中的性能的措施。

在本教程中，我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后，我們將關注可解釋性技術在工業中的應用，在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針，以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究，涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后，根據我們在工業界的經驗，我們將確定數據挖掘/機器學習社區的開放問題和研究方向。

//sites.google.com/view/www20-explainable-ai-tutorial