亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

能夠解釋機器學習模型的預測在醫療診斷或自主系統等關鍵應用中是很重要的。深度非線性ML模型的興起，在預測方面取得了巨大的進展。然而，我們不希望如此高的準確性以犧牲可解釋性為代價。結果，可解釋AI (XAI)領域出現了，并產生了一系列能夠解釋復雜和多樣化的ML模型的方法。

在本教程中，我們結構化地概述了在深度神經網絡(DNNs)的背景下為XAI提出的基本方法。特別地，我們提出了這些方法的動機，它們的優點/缺點和它們的理論基礎。我們還展示了如何擴展和應用它們，使它們在現實場景中發揮最大的作用。

本教程針對的是核心和應用的ML研究人員。核心機器學習研究人員可能會有興趣了解不同解釋方法之間的聯系，以及廣泛的開放問題集，特別是如何將XAI擴展到新的ML算法。應用ML研究人員可能會發現，理解標準驗證程序背后的強大假設是很有趣的，以及為什么可解釋性對進一步驗證他們的模型是有用的。他們可能還會發現新的工具來分析他們的數據并從中提取見解。參與者將受益于技術背景(計算機科學或工程)和基本的ML訓練。

目錄內容：

Part 1: Introduction to XAI (WS) 可解釋人工智能

• Motivations for XAI
• Methods and Validation of XAI
• The Clever Hans Effect

Part 2: Methods for Explaining DNNs (GM) 可解釋深度神經網絡方法

• Self-Explainable DNNs
• Perturbation-Based Explanation Techniques
• Propagation-Based Explanation Techniques

Part 3: Implementation, Theory, Evaluation, Extensions (GM) 實現，理論、評價

• Implementating XAI Techniques for DNNs
• Theoretical Embedding of XAI
• Desiderata of XAI Techniques and Evaluation
• Extending XAI Beyond Heatmaps and DNNs

Part 4: Applications (WS) 應用

• Walk-Through Examples
• Debugging Large Datasets (Meta-Explanations and "Unhansing")
• XAI in the Sciences

從社交網絡到分子，許多真實數據都是以非網格對象的形式出現的，比如圖。最近，從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注，這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程，而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。

在本教程中，我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎，重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說，我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后，我們將介紹DGL在各個領域的應用，包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。

//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目錄：

• 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 圖神經網絡介紹
• 09:00 am – 09:40 am: Robustness of Graph Neural Networks 圖神經網絡魯棒性
• 09:40 am – 10:00 am: Break
• 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 圖神經網絡自監督學習
• 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 圖神經網絡可擴展學習
• 11:20 am – 00:15 pm: Graph Structure Learning & NLP 圖結構學習

深度神經網絡(DNN)在各個領域的大量機器學習任務中取得了前所未有的成功。然而，在將DNN模型應用于諸如自動駕駛汽車和惡意軟件檢測等安全關鍵任務時，存在的一些反面例子給我們帶來了很大的猶豫。這些對抗例子都是故意制作的實例，無論是出現在火車上還是測試階段，都可以欺騙DNN模型，使其犯下嚴重錯誤。因此，人們致力于設計更健壯的模型來抵御對抗的例子，但它們通常會被新的更強大的攻擊擊垮。這種對抗性的攻擊和防御之間的軍備競賽近年來受到越來越多的關注。**在本教程中，我們將全面概述對抗性攻擊的前沿和進展，以及它們的對策。特別地，我們詳細介紹了不同場景下的不同類型的攻擊，包括閃避和中毒攻擊，白盒和黑盒攻擊。**我們還將討論防御策略如何發展以對抗這些攻擊，以及新的攻擊如何出現以打破這些防御。此外，我們將討論在其他數據域中的敵對攻擊和防御，特別是在圖結構數據中。然后介紹了Pytorch對抗式學習圖書館DeepRobust，旨在為該研究領域的發展搭建一個全面、易用的平臺。最后，我們通過討論對抗性攻擊和防御的開放問題和挑戰來總結本教程。通過我們的教程，我們的觀眾可以掌握對抗性攻擊和防御之間的主要思想和關鍵方法。

目錄內容： Part 1. Introduction about adversarial examples and robustness. Part 2. Algorithms for generating adversarial examples. Part 3. Defending algorithms and adaptive attacks. Part 4. Adversarial learning in Graph domain. Part 5. DeepRobust-- A Pytorch Repository for Adversarial learning.

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響，這次會議在線上舉行，本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。小編推薦一份圖深度學習-圖神經網絡教程，預覽版可以查看。

從圖數據和關系數據中學習在許多應用中起著重要的作用，包括社交網絡分析、市場營銷、電子商務、信息檢索、知識建模、醫學和生物科學、工程等。在過去的幾年里，圖神經網絡(GNNs)已經成為一種很有前途的新型監督學習框架，能夠將深度表示學習的能力引入到圖和關系數據中。越來越多的研究表明，GNNs在鏈路預測、欺詐檢測、目標配體結合活性預測、知識圖譜補全和產品推薦等方面的性能達到了最新水平。

本教程的目標有兩個。首先，它將概述GNN背后的理論，討論GNN非常適合的問題類型，并介紹一些最廣泛使用的GNN模型體系結構和設計用來解決的問題/應用程序。其次，它將引入深度圖庫(Deep Graph Library, DGL)，這是一種新的軟件框架，簡化了高效的基于GNN的訓練和推理程序的開發。為了使事情更具體，本教程將提供使用DGL的實踐會話。這個實踐部分將涵蓋基本的圖形應用程序(例如，節點分類和鏈接預測)，以及更高級的主題，包括在大型圖和分布式設置中訓練GNN。此外，它還將提供使用GNNs和DGL進行實際應用(如推薦和欺詐檢測)的實踐教程。

• 第1節:圖神經網絡概述。本節描述了圖神經網絡是如何運作的，它們的基本理論，以及它們相對于其他圖學習方法的優勢。此外，它還描述了圖形上的各種學習問題，并展示了如何使用GNNs來解決這些問題。

• 第2節:深度圖庫(DGL)概述。本節描述DGL提供的不同的抽象和api，這些抽象和api旨在簡化GNN模型的實現，并解釋DGL如何與MXNet、Pytorch和TensorFlow進行接口。然后介紹DGL的消息傳遞API，該API可用于開發任意復雜的GNNs和它提供的預定義GNN nn模塊。

• 第3節:基本圖任務的GNN模型。本節演示如何使用GNNs解決四個關鍵的圖數據學習任務:節點分類、鏈接預測、圖數據分類和網絡嵌入前訓練。它將展示如何使用DGL的nn模塊實現一個流行的GNN模型GraphSage，并展示如何在不同類型的下游任務中使用由GraphSage計算出的節點嵌入。此外，本文還將演示使用DGL的消息傳遞接口實現定制的GNN模型。

• 第4節:大型圖的GNN訓練。本節使用第3節中描述的一些模型來演示DGL中的微型批處理訓練、多GPU訓練和分布式訓練。它首先描述了mini-batch訓練的概念如何應用于GNN，以及如何通過使用各種抽樣技術來加速mini-batch計算。接下來將舉例說明一種稱為鄰接抽樣的抽樣技術，如何使用木星筆記本在DGL中實現。然后將該筆記本擴展為多GPU訓練和分布式訓練。

• 第5節:實際應用的GNN模型。本節使用前面幾節中描述的技術，展示如何使用GNNs開發用于推薦和欺詐檢測的可伸縮解決方案。在推薦方面，本文提出了一種基于最近鄰的項目推薦方法，該方法通過采用端到端的學習方法，利用GNN模型學習項目嵌入。對于欺詐檢測，它擴展了上一節中的節點分類模型，以處理異構圖，并解決了標記樣本很少的情況。

來自密歇根州立大學的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu與 Tengfei Ma在AAAI2020做了關于圖神經網絡的Tutorial報告，總共305頁ppt，涵蓋使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用，非常值得學習。

摘要

圖結構數據如社交網絡和分子圖在現實世界中無處不在。設計先進的圖數據表示學習算法以方便后續任務的實現，具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據，為從節點層或圖層有效學習圖結構數據的表示開辟了新的途徑。由于其強大的表示學習能力，GNNs在從推薦、自然語言處理到醫療保健的各種應用中都具有實際意義。它已經成為一個熱門的研究課題，近年來越來越受到機器學習和數據挖掘界的關注。這篇關于GNNs的教程對于AAAI 2020來說是非常及時的，涵蓋了相關的和有趣的主題，包括使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用。

目錄：

1. 引言 Introduction

• 圖與圖結構數據 Graphs and Graph Structured Data
• 圖結構數據任務 Tasks on Graph Structured Data
• 圖神經網絡 Graph neural networks

2. 基礎理論Foundations

• Basic Graph Theory
• Graph Fourier Transform

3. 模型 Models

• Spectral-based GNN layers
• Spatial-based GNN layers
• Pooling Schemes for Graph-level Representation Learning
• Graph Neural Networks Based Encoder-Decoder models
• Scalable Learning for Graph Neural Networks
• Attacks and Robustness of Graph Neural Networks

4. 應用 Applications

• Natural Language Processing
• Recommendation
• Healthcare

百度網盤直接下載： 鏈接: //pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取碼: xrkz

講者介紹

Yao Ma是密歇根州立大學計算機科學與工程專業的博士生。他還在數據科學與工程實驗室(DSE實驗室)擔任研究助理，該實驗室由Tang Jiliang博士領導。他的研究興趣包括網絡嵌入和圖神經網絡在圖結構數據上的表示學習。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等頂級會議上發表創新工作。在加入密歇根州立大學之前，他在Eindhoven理工大學獲得碩士學位，在浙江大學獲得學士學位。

Wei Jin是密歇根州立大學計算機科學與工程專業的一年級博士生，導師是Tang Jiliang博士。他的興趣在于圖表示學習。現從事圖神經網絡的理論基礎、模型魯棒性和應用研究。

Jiliang Tang 自2016年秋季以來一直是密歇根州立大學計算機科學與工程系的助理教授。在此之前，他是雅虎研究院的一名研究科學家，2015年在亞利桑那州立大學獲得博士學位。他的研究興趣包括社會計算、數據挖掘和機器學習，以及它們在教育中的應用。他是2019年NSF Career獎、2015年KDD最佳論文亞軍和6個最佳論文獎(或亞軍)的獲得者，包括WSDM2018和KDD2016。他擔任會議組織者(如KDD、WSDM和SDM)和期刊編輯(如TKDD)。他在高排名的期刊和頂級會議上發表多項研究成果，獲得了成千上萬的引用和廣泛的媒體報道。

Lingfei Wu是IBM AI foundation Labs的研究人員，IBM T. J. Watson研究中心的推理小組。

Tengfei Ma現任美國紐約IBM沃森研究中心研究員。

簡介： 機器學習在處理結構化數據集（例如表格數據）方面歷來是成功的。 隨著最近的進步，特別是在深度學習方面的進步，現在還存在用于處理圖像，文本和語音數據的完善且強大的方法。 但是，許多現實世界的數據并不屬于這些類別。 這種數據重要的一種是網絡或圖形數據，可用于對諸如社交網絡，交易流，計算機網絡甚至分子相互作用之類的概念進行建模。 使用圖，我們可以輕松地表示和捕獲對象之間的復雜交互和依賴關系，但同時也提出了一個問題：我們如何將機器學習應用于結構化數據圖？

嘉賓介紹： Xavier Bresson，NTU計算機科學副教授。 他是圖深度學習領域的領先研究人員，圖深度學習是一個新的框架，該框架結合了圖和深度學習技術，可以處理多個領域的復雜數據。 演講的目的是介紹基于圖的卷積神經網絡體系結構，以及此類問題的應用。

大綱：

• Motivation
• Graph Deep Learning
• Applications
• DGL
• Tutorials
• Trainings