亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

//www.aminer.cn/grla_ecmlpkdd2020

圖表示學習為挖掘和學習網絡數據提供了一個革命性的范例。在本教程中，我們將系統地介紹網絡上的表示學習。我們將以阿里巴巴、AMiner、Microsoft Academic、微信和XueTangX的行業案例作為教程的開始，來解釋網絡分析和網絡圖挖掘如何從表示學習中受益。然后，我們將全面介紹圖表示學習的歷史和最新進展，如網絡嵌入、圖神經網絡及其預訓練策略。獨特的是，本教程旨在向讀者提供圖形表示學習的基本理論，以及我們在將這方面的研究轉化為工業應用中的實際應用方面的經驗。最后，我們將為開放和可重現的圖表示學習研究發布公共數據集和基準。

//www.math.arizona.edu/～hzhang/math574.html

隨著信息技術的飛速發展，在各個領域產生了大量的科學和商業數據。例如，人類基因組數據庫項目已經收集了千兆字節的人類遺傳密碼數據。萬維網提供了另一個例子，它擁有由數百萬人使用的文本和多媒體信息組成的數十億Web頁面。

本課程涵蓋了現代數據科學技術，包括基本的統計學習理論及其應用。將介紹各種數據挖掘方法、算法和軟件工具，重點在概念和計算方面。將涵蓋生物信息學、基因組學、文本挖掘、社交網絡等方面的應用。

本課程著重于現代機器學習的統計分析、方法論和理論。它是為學生誰想要實踐先進的機器學習工具和算法，也了解理論原理和統計性質的算法。主題包括回歸、分類、聚類、降維和高維分析。

圖神經網絡一本簡明硬貨新書，快來學習！

William L. Hamilton McGill 大學計算機科學的助理教授，魁北克省Mila AI研究所的加拿大CIFAR AI主席。我開發了機器學習模型，可以對我們復雜、相互關聯的世界進行推理。

總的來說，研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域，目前重點關注快速增長的圖表示學習和圖神經網絡。

//www.cs.mcgill.ca/~wlh/

圖表示學習

在過去的7年里，圖表示學習領域以令人難以置信(有時難以控制)的速度發展，從從事一個相對小眾主題的一小部分研究人員，轉變為深度學習中增長最快的子領域之一。

這本書是我對圖表示學習的一個簡要而全面的介紹，包括嵌入圖數據的方法，圖神經網絡，以及圖的深層生成模型。

圖是一種普遍存在的數據結構和描述復雜系統的通用語言。在最普遍的觀點中，一個圖僅僅是對象的集合。，以及一組交互(例如，節點)。(邊)在這些對象對之間。例如，為了將一個社會網絡編碼為一個圖，我們可以使用節點來表示個體，使用邊來表示兩個個體是朋友(圖1.1)。在生物領域，我們可以使用圖中的節點來表示蛋白質，并使用邊緣來表示各種生物相互作用，例如蛋白質之間的動力學相互作用。

圖形式主義的力量在于它關注點之間的關系(而不是單個點的屬性)，以及它的一般性。同樣的圖表形式也可以用來表示社會網絡、藥物和蛋白質之間的相互作用、原子之間的相互作用。

然而，圖表不僅僅提供了一個優雅的理論框架。它們提供了一個數學基礎，我們可以在此基礎上分析、理解和學習現實世界的復雜系統。在過去的25年里，可供研究人員使用的圖形結構數據在數量和質量上有了顯著的增長。隨著大型社交網絡平臺的出現，大量的科學活動對交互體建模，食物網，分子圖結構的數據庫，以及數十億網絡連接設備的出現，有意義的圖數據供研究人員分析。挑戰在于釋放這些數據的潛力。

這本書是關于我們如何利用機器學習來應對這一挑戰。當然，機器學習不是分析圖表數據的唯一可能的方法。然而，鑒于我們試圖分析的圖形數據集的規模和復雜性不斷增長，很明顯，機器學習將在提高我們建模、分析和理解圖形數據的能力方面發揮重要作用。

目錄內容：

• Chapter 1: Introduction and Motivations 導論動機
• Chapter 2: Background and Traditional Approaches 背景介紹方法 Part I: Node Embeddings 節點嵌入
• Chapter 3: Neighborhood Reconstruction Methods 鄰域重建方法
• Chapter 4: Multi-Relational Data and Knowledge Graphs 多關系數據與知識圖譜 Part II: Graph Neural Networks 圖神經網絡
• Chapter 5: The Graph Neural Network Model 圖神經網絡模型
• Chapter 6: Graph Neural Networks in Practice 圖神經網路實踐
• Chapter 7: Theoretical Motivations 理論動機 Part III: Generative Graph Models 生成圖模型
• Chapter 8: Traditional Graph Generation Approaches 傳統圖生成方法
• Chapter 9: Deep Generative Models 深度生成模型
• Bibliography [Draft. Updated August 2020.]

【導讀】圖表示學習是當下研究的熱點之一。HEC 蒙特利爾大學商學院助理教授唐建唐建博士最近總結了《圖表示學習》研究進展，總結了他和組里學生們和這些年來在圖表示學習方向上比較重要的工作。非常值得學習！

唐建博士自2017年12月起擔任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度圖表示學習，在知識圖譜、藥物發現和推薦系統等領域有著廣泛的應用。他是密歇根大學和卡內基梅隆大學的研究員。他在北京大學獲得博士學位，并在密歇根大學做了兩年的訪問學者。他在微軟亞洲研究院做了兩年的研究員。他在圖表示學習(如LINE、LargeVis和RotatE)方面的工作得到了廣泛的認可。他獲得了ICML ' 14的最佳論文獎和WWW ' 16的最佳論文提名。

個人主頁： //jian-tang.com/

圖表示學習：算法與應用

圖在現實世界中是無處不在的，涵蓋了從社交網絡、推薦系統、知識圖譜、計算機視覺和藥物發現等各種應用。要分析圖數據，一個重要的先決條件是要有有效的圖數據表示，這在很大程度上決定了大多數下游任務的性能。在本報告中，我將介紹圖的學習表示的最新進展，如節點表示學習、圖的可視化、知識圖譜的嵌入、圖的神經網絡、圖的生成及其在各種任務中的應用。

地址：

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

膠囊網絡（Capsule Networks）圖領獎得主Geoffrey Hinton在17年提出的一種新型神經網絡結構，可以克服卷積神經網絡存在的一些問題。膠囊網絡提供了一個有效的建模實體間局部到全局關系的方法，并可以學習視角不變表示。通過這種提升的表示學習，膠囊網絡可以在多個領域下用更少的參數取得好的性能。最近，膠囊網絡在視頻中人類行為定位、醫學圖像目標分割、文本分類等任務上都取得了最好的效果。

布法羅大學最近的課程《膠囊網絡》課件講述了概念算法等，包含57頁ppt，值得一看！

報告簡介： 圖形領域的機器學習是一項重要而普遍的任務，其應用范圍從藥物設計到社交網絡中的友情推薦。該領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型可以很方便地利用它。 報告中介紹了深度學習的技術，自動學習將圖形結構編碼為低維嵌入。以及表示學習的關鍵進展，包括圖形卷積網絡及其表示能力，探討了它在Web級推薦系統、醫療保健、知識表示和推理方面的應用。

嘉賓介紹： 領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 Jure Leskovec主頁