從社交網絡到分子,許多真實數據都是以非網格對象的形式出現的,比如圖。最近,從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注,這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程,而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。
在本教程中,我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎,重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說,我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后,我們將介紹DGL在各個領域的應用,包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。
//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html
目錄:
能夠解釋機器學習模型的預測在醫療診斷或自主系統等關鍵應用中是很重要的。深度非線性ML模型的興起,在預測方面取得了巨大的進展。然而,我們不希望如此高的準確性以犧牲可解釋性為代價。結果,可解釋AI (XAI)領域出現了,并產生了一系列能夠解釋復雜和多樣化的ML模型的方法。
在本教程中,我們結構化地概述了在深度神經網絡(DNNs)的背景下為XAI提出的基本方法。特別地,我們提出了這些方法的動機,它們的優點/缺點和它們的理論基礎。我們還展示了如何擴展和應用它們,使它們在現實場景中發揮最大的作用。
本教程針對的是核心和應用的ML研究人員。核心機器學習研究人員可能會有興趣了解不同解釋方法之間的聯系,以及廣泛的開放問題集,特別是如何將XAI擴展到新的ML算法。應用ML研究人員可能會發現,理解標準驗證程序背后的強大假設是很有趣的,以及為什么可解釋性對進一步驗證他們的模型是有用的。他們可能還會發現新的工具來分析他們的數據并從中提取見解。參與者將受益于技術背景(計算機科學或工程)和基本的ML訓練。
目錄內容:
Part 1: Introduction to XAI (WS) 可解釋人工智能
Part 2: Methods for Explaining DNNs (GM) 可解釋深度神經網絡方法
Part 3: Implementation, Theory, Evaluation, Extensions (GM) 實現,理論、評價
Part 4: Applications (WS) 應用
圖表示學習
近年來,圖神經網絡(GNNs)在結構化數據建模方面取得了巨大的成功。然而,大多數GNN是為同構網絡設計的,即所有節點或邊具有相同的特征空間和表示分布。這使得它們無法代表真實世界中不斷演化的異構圖,如知識圖譜、物聯網圖、領英經濟圖、開放學術圖和Facebook實體圖。在這次演講中,我將介紹圖神經網絡架構,它可以建模十億年規模的異構圖形與動態。重點將是我們如何設計圖注意力和相對時間編碼機制,以捕獲真實圖異構和動態性質。接下來,我將進一步討論為一般的圖挖掘任務預先訓練這類GNN的策略。最后,為了處理web規模的數據,我將介紹一種異構的小型批處理圖采樣算法,該算法帶有一個歸納的時間戳分配方法,用于高效和可擴展的訓練。大量的實驗顯示了在實踐中對網絡規模圖進行預訓練的GNNs的前景。
//ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf
從社交網絡到分子,許多真實數據都是以非網格對象的形式出現的,比如圖。最近,從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注,這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程,而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。
在本教程中,我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎,重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說,我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后,我們將介紹DGL在各個領域的應用,包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。
//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html
目錄: 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 圖神經網絡簡介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表達性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs訓練 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可擴展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(無)監督學習 04:15 pm – 04:35 pm: GNN in Social Networks 社交網絡GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs圖像處理與未來方向 04:55 pm – 05:00 pm: Q&A
在當今的信息和計算社會中,復雜系統常常被建模為與異質結構關系、非結構化屬性/內容、時間上下文或它們的組合相關聯的多模態網絡。多模態網絡中豐富的信息要求在進行特征工程時既要有一個領域的理解,又要有一個大的探索性搜索空間,以建立針對不同目的的定制化智能解決方案。因此,在多模態網絡中,通過表示學習自動發現特征已成為許多應用的必要。在本教程中,我們系統地回顧了多模態網絡表示學習的領域,包括一系列最近的方法和應用。這些方法將分別從無監督、半監督和監督學習的角度進行分類和介紹,并分別給出相應的實際應用。最后,我們總結了本教程并進行了公開討論。本教程的作者是這一領域活躍且富有成效的研究人員。
//chuxuzhang.github.io/KDD20_Tutorial.html
圖神經網絡教程 Graph Convolutional Networks Graph Sampling Methods Application and PyTorch Implementation
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響,這次會議在線上舉行,本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。小編推薦一份圖深度學習-圖神經網絡教程,預覽版可以查看。
從圖數據和關系數據中學習在許多應用中起著重要的作用,包括社交網絡分析、市場營銷、電子商務、信息檢索、知識建模、醫學和生物科學、工程等。在過去的幾年里,圖神經網絡(GNNs)已經成為一種很有前途的新型監督學習框架,能夠將深度表示學習的能力引入到圖和關系數據中。越來越多的研究表明,GNNs在鏈路預測、欺詐檢測、目標配體結合活性預測、知識圖譜補全和產品推薦等方面的性能達到了最新水平。
本教程的目標有兩個。首先,它將概述GNN背后的理論,討論GNN非常適合的問題類型,并介紹一些最廣泛使用的GNN模型體系結構和設計用來解決的問題/應用程序。其次,它將引入深度圖庫(Deep Graph Library, DGL),這是一種新的軟件框架,簡化了高效的基于GNN的訓練和推理程序的開發。為了使事情更具體,本教程將提供使用DGL的實踐會話。這個實踐部分將涵蓋基本的圖形應用程序(例如,節點分類和鏈接預測),以及更高級的主題,包括在大型圖和分布式設置中訓練GNN。此外,它還將提供使用GNNs和DGL進行實際應用(如推薦和欺詐檢測)的實踐教程。
第1節:圖神經網絡概述。本節描述了圖神經網絡是如何運作的,它們的基本理論,以及它們相對于其他圖學習方法的優勢。此外,它還描述了圖形上的各種學習問題,并展示了如何使用GNNs來解決這些問題。
第2節:深度圖庫(DGL)概述。本節描述DGL提供的不同的抽象和api,這些抽象和api旨在簡化GNN模型的實現,并解釋DGL如何與MXNet、Pytorch和TensorFlow進行接口。然后介紹DGL的消息傳遞API,該API可用于開發任意復雜的GNNs和它提供的預定義GNN nn模塊。
第3節:基本圖任務的GNN模型。本節演示如何使用GNNs解決四個關鍵的圖數據學習任務:節點分類、鏈接預測、圖數據分類和網絡嵌入前訓練。它將展示如何使用DGL的nn模塊實現一個流行的GNN模型GraphSage,并展示如何在不同類型的下游任務中使用由GraphSage計算出的節點嵌入。此外,本文還將演示使用DGL的消息傳遞接口實現定制的GNN模型。
第4節:大型圖的GNN訓練。本節使用第3節中描述的一些模型來演示DGL中的微型批處理訓練、多GPU訓練和分布式訓練。它首先描述了mini-batch訓練的概念如何應用于GNN,以及如何通過使用各種抽樣技術來加速mini-batch計算。接下來將舉例說明一種稱為鄰接抽樣的抽樣技術,如何使用木星筆記本在DGL中實現。然后將該筆記本擴展為多GPU訓練和分布式訓練。
第5節:實際應用的GNN模型。本節使用前面幾節中描述的技術,展示如何使用GNNs開發用于推薦和欺詐檢測的可伸縮解決方案。在推薦方面,本文提出了一種基于最近鄰的項目推薦方法,該方法通過采用端到端的學習方法,利用GNN模型學習項目嵌入。對于欺詐檢測,它擴展了上一節中的節點分類模型,以處理異構圖,并解決了標記樣本很少的情況。
來自密歇根州立大學的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu與 Tengfei Ma在AAAI2020做了關于圖神經網絡的Tutorial報告,總共305頁ppt,涵蓋使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用,非常值得學習。
摘要
圖結構數據如社交網絡和分子圖在現實世界中無處不在。設計先進的圖數據表示學習算法以方便后續任務的實現,具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據,為從節點層或圖層有效學習圖結構數據的表示開辟了新的途徑。由于其強大的表示學習能力,GNNs在從推薦、自然語言處理到醫療保健的各種應用中都具有實際意義。它已經成為一個熱門的研究課題,近年來越來越受到機器學習和數據挖掘界的關注。這篇關于GNNs的教程對于AAAI 2020來說是非常及時的,涵蓋了相關的和有趣的主題,包括使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用。
目錄:
百度網盤直接下載: 鏈接: //pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取碼: xrkz
講者介紹
Yao Ma是密歇根州立大學計算機科學與工程專業的博士生。他還在數據科學與工程實驗室(DSE實驗室)擔任研究助理,該實驗室由Tang Jiliang博士領導。他的研究興趣包括網絡嵌入和圖神經網絡在圖結構數據上的表示學習。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等頂級會議上發表創新工作。在加入密歇根州立大學之前,他在Eindhoven理工大學獲得碩士學位,在浙江大學獲得學士學位。
Wei Jin是密歇根州立大學計算機科學與工程專業的一年級博士生,導師是Tang Jiliang博士。他的興趣在于圖表示學習。現從事圖神經網絡的理論基礎、模型魯棒性和應用研究。
Jiliang Tang 自2016年秋季以來一直是密歇根州立大學計算機科學與工程系的助理教授。在此之前,他是雅虎研究院的一名研究科學家,2015年在亞利桑那州立大學獲得博士學位。他的研究興趣包括社會計算、數據挖掘和機器學習,以及它們在教育中的應用。他是2019年NSF Career獎、2015年KDD最佳論文亞軍和6個最佳論文獎(或亞軍)的獲得者,包括WSDM2018和KDD2016。他擔任會議組織者(如KDD、WSDM和SDM)和期刊編輯(如TKDD)。他在高排名的期刊和頂級會議上發表多項研究成果,獲得了成千上萬的引用和廣泛的媒體報道。
Lingfei Wu是IBM AI foundation Labs的研究人員,IBM T. J. Watson研究中心的推理小組。
Tengfei Ma現任美國紐約IBM沃森研究中心研究員。