亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖機器學習講述關于《圖神經網絡GNN高級主題》最新課程。

近年來，一些研究人員致力于把神經網絡模型遷移到圖數據這類非歐空間數據上，提出了圖神經網絡(GNN)模型，成功應用在半監督節點分類、圖分類、推薦系統、交通預測、知識推理等任務中。本課程講述了圖神經網絡的高級主題：

圖神經網絡局限性

位置感知圖神經網絡

身份感知圖神經網絡

圖神經網絡魯棒性

圖神經網絡(GNNs)已經成為學習某些算法任務的流行工具。但是，它們的泛化性質不太好理解。在經驗上，我們觀察到任務結構(或目標算法)和架構的歸納偏差之間的相互作用:盡管許多網絡可能能夠代表一個任務，但一些架構比其他架構更好地學習它。在這次演講中，我將展示一種形式化這種關系的方法，以及在訓練分布內外推廣的經驗和理論含義。

圖機器學習講述關于《圖神經網絡理論》最新課程。

圖網絡(GNNs)的新變體層出不窮，但是卻鮮有對圖網絡框架的理論分析。Kipf在2017年提出的GCN中，曾從圖上的譜分析的角度給出了GCN的理論基礎；近期也有日本研究者從圖信號處理的角度，表明GNNs只是一個低頻濾波器(arxiv.org/abs/1905.09550)。而本文嘗試從圖同構的角度出發，以Weisfeiler-Lehman Isomorphism Test (WL test)為基礎，給出了GNNs表征能力的精彩理論分析，具體的貢獻總結如下：

作者表明，在區別不同圖結構時，GNNs最多只能取得和 WL test 一樣效果，即，GNNs表征能力的上限是WL test；

作者也給出了構建GNNs的條件，滿足這些條件后，GNNs的表征能力和 WL test一樣強；

給出了GCN和GraphSAGE等傳統圖網絡框架不能區分的網絡結構；

建立了一個簡單的框架GIN，并在理論上證明了其表征能力和 WL test一樣強。

總結起來，全文需要回答兩個關鍵性的問題：

• GNNs表征能力的上限是什么？
• 怎樣的GNNs 框架設計才能達到最好的表征能力？

【導讀】本文為大家帶來了一份斯坦福大學的最新課程CS224W——圖機器學習，主講人是斯坦福大牛Jure Leskovec，他是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。

近年來，圖神經網絡（GNN）成為網絡表示學習和分析的熱點研究問題，其特點是將以神經網絡為代表深度學習技術用于網絡結構的建模與計算。圖神經網絡能夠考慮網絡中的節點、邊及其附帶的標簽、屬性和文本等信息，能夠更好地利用網絡結構進行精細建模和深度推理，已經被廣泛用于自然語言處理、社會網絡分析、推薦系統等領域。這個課程應該是近年來第一次全面總結圖機器學習相關的課程，課程設置非常新穎也非常全面，包括近年來火熱的圖神經網絡的局限和應用等等，課程全部的PPT 也已經放到網頁上，希望做這方面研究的童鞋多多學習！

原始鏈接： //web.stanford.edu/class/cs224w/

1 課程介紹

網絡是建模復雜的社會、技術和生物系統的基本工具。結合在線社交網絡的出現和生物科學中大規模數據的可用性，本課程著重分析大規模網絡，這些大型網絡提供了一些計算、算法和建模方面的挑戰。通過研究學生潛在的網絡結構和相互聯系，向他們介紹機器學習技術和數據挖掘工具，這些工具有助于揭示社會、技術和自然世界的真知灼見。

復雜數據可以表示為對象之間的關系圖。這種網絡是模擬社會、技術和生物系統的基本工具。本課程著重于大量圖的分析所特有的計算、算法和建模挑戰。通過研究基礎圖結構及其特征，向學生介紹機器學習技術和數據挖掘工具，有助于揭示對各種網絡的見解。

主題包括: 表示學習和圖神經網絡;萬維網的算法;知識圖推理;影響力最大化;疾病爆發檢測，社會網絡分析。

2 講師介紹

Jurij Leskovec

主講人是圖網絡領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。在谷歌學術搜索（Google Scholar）上，Jure擁有接近4.5萬的論文引用數量，H指數為84。

Leskovec的研究重點是對大型社會和信息網絡進行分析和建模，以研究跨社會，技術和自然世界的現象。他專注于網絡結構、網絡演化、信息傳播、影響和病毒在網絡上的傳播的統計建模。他所研究的問題是由大規模數據、網絡和其他在線媒體引起的。他也致力于文本挖掘和機器學習的應用。

個人主頁：

3 課程目錄

• 01：課程介紹和圖機器學習（Introduction; Machine Learning for Graphs）
• 02：傳統圖機器學習方法（Traditional Methods for ML on Graphs）
• 03：鏈接分析：PageRank（Link Analysis: PageRank）
• 04：節點嵌入（Node Embeddings）
• 05：標簽傳播節點分類（Label Propagation for Node Classification）
• 06：圖神經網絡模型（Graph Neural Networks 1: GNN Model）
• 07：圖神經網絡：設計空間（Graph Neural Networks 2: Design Space）
• 08：圖神經網絡應用（Applications of Graph Neural Networks）
• 09：圖神經網絡理論（Theory of Graph Neural Networks）
• 10：圖神經網絡嵌入（Knowledge Graph Embeddings）
• 11：知識圖譜推理（Reasoning over Knowledge Graphs）
• 12：基于GNNs的頻繁子圖挖掘（Frequent Subgraph Mining with GNNs）
• 13：網絡社區結構（Community Structure in Networks）
• 14：傳統圖生成式模型（Traditional Generative Models for Graphs）
• 15：深度圖生成式模型（Deep Generative Models for Graphs）
• 16：GNNs可擴展（Scaling Up GNNs）
• 17：動態圖學習（ Learning on Dynamic Graphs）
• 18：計算生物學GNNs（GNNs for Computational Biology）
• 19：GNNs科學應用（GNNs for Science）
• 20：GNNs工業應用 (Industrial Applications of GNNs)

4 課程材料預覽

Graph Representation Learning by William L. Hamilton Networks, Crowds, and Markets: Reasoning About a Highly Connected World by David Easley and Jon Kleinberg Network Science by Albert-László Barabási

圖神經網絡(GNNs)是針對圖信號的信息處理體系結構。它們已經被開發出來，并在本課程中作為卷積神經網絡(CNNs)的推廣來介紹，它被用來在時間和空間上處理信號。這句話聽起來可能有些奇怪，這取決于你對神經網絡(NNs)和深度學習的了解程度。CNN不就是NN的特例嗎?GNN不也是這樣嗎?從嚴格意義上說，它們是存在的，但我們這門課的重點是涉及高維信號的大規模問題。在這些設置中，神經網絡無法伸縮。CNN為信號在時間和空間上提供可擴展的學習。GNNS支持圖信號的可擴展學習。

在本課程中，我們將在學習單特征和多特征GNN之前，介紹圖卷積濾波器和圖濾波器組。我們還將介紹相關的架構，如經常性的GNN。特別的重點將放在研究GNN的排列的等方差和圖變形的穩定性。這些特性提供了一個解釋的措施，可以觀察到的良好性能的GNNs經驗。我們還將在大量節點的極限范圍內研究GNN，以解釋不同節點數量的網絡間GNN的可遷移性。

//gnn.seas.upenn.edu/

Lecture 1: Machine Learning on Graphs 圖機器學習

圖神經網絡(GNNs)是一種具有廣泛適用性和非常有趣的特性的工具。可以用它們做很多事情，也有很多東西需要學習。在第一節課中，我們將回顧本課程的目標并解釋為什么我們應該關注GNN。我們還提供了未來的預覽。我們討論了在可擴展學習中利用結構的重要性，以及卷積是如何在歐幾里得空間中實現這一點的。我們進一步解釋如何將卷積推廣到圖，以及隨后將卷積神經網絡推廣到圖(卷積)神經網絡。

1.1 – Graph Neural Networks 圖神經網絡

在這門課程中，我希望我們能夠共同完成兩個目標。您將學習如何在實際應用程序中使用GNNs。也就是說，您將開發使用圖神經網絡在圖上表述機器學習問題的能力。你將學會訓練他們。你將學會評估它們。但你也會學到，你不能盲目地使用它們。你將學習到解釋他們良好的實證表現的基本原理。這些知識將允許您確定GNN適用或不適用的情況。

1.2 Machine Learning on Graphs: The Why 圖機器學習

我們關心GNN是因為它們使機器能夠在圖上學習。但我們為什么要關注圖機器學習呢?我們在這里詳述圖機器學習的原因。它為什么有趣?我們為什么要關心這個?我們關心的原因很簡單:因為圖表在信息處理中無處不在。

1.3 – Machine Learning on Graphs: The How

在討論了原因之后，我們來處理如何做。我們如何在圖上進行機器學習?這個問題的答案很簡單:我們應該使用神經網絡。我們應該這樣做，因為我們有豐富的經驗和理論證據證明神經網絡的價值。理解這些證據是本課程的目標之一。但在我們準備這么做之前，有一個潛在的阻礙因素:神經網絡必須利用結構來實現可擴展。

在本章中，我們將訪問圖神經網絡(GNNs)的一些理論基礎。GNNs最有趣的方面之一是，它們是根據不同的理論動機獨立開發的。一方面，基于圖信號處理理論開發了GNN，將歐氏卷積推廣到非歐氏圖域[Bruna et al.， 2014]。然而，與此同時，神經信息傳遞方法(構成了大多數現代GNN的基礎)被類比提出，用于圖模型中的概率推理的信息傳遞算法[Dai等人，2016]。最后，基于GNN與weisfeler - lehman圖同構檢驗的聯系，許多研究對其進行了激發[Hamilton et al.， 2017b]。

將三個不同的領域匯聚成一個單一的算法框架是值得注意的。也就是說，這三種理論動機中的每一種都有其自身的直覺和歷史，而人們所采用的視角可以對模型的發展產生實質性的影響。事實上，我們推遲對這些理論動機的描述直到引入GNN模型本身之后，這并非偶然。在這一章,我們的目標是介紹這些背后的關鍵思想不同理論的動機,這樣一個感興趣的讀者可以自由探索和組合這些直覺和動機,因為他們認為合適的。

阿姆斯特丹大學Max Welling教授為你講解圖神經網絡發展趨勢

Max Welling教授是阿姆斯特丹大學機器學習研究主席和高通公司技術副總裁。他還被任命為加拿大高級研究所(CIFAR)的高級研究員。他是“Scyfer BV”的聯合創始人，該公司是深度學習領域的大學子公司，于2017年夏天被高通收購。在過去，他在加州理工學院(98- 00)，倫敦大學學院(00- 01)和多倫多大學(01- 03)擔任博士后。他于1998年在諾貝爾獎得主g.t Hooft教授的指導下獲得博士學位。Max Welling 2011-2015年擔任IEEE TPAMI副主編(影響因子4.8)。自2015年(機器學習領域最大的會議)以來，他擔任NIPS基金會的董事會成員，2013年和2014年分別擔任NIPS項目主席和一般主席。他也是2009年AISTATS和2016年ECCV的項目主席，以及2018年MIDL的總主席。他曾在JMLR和JML的編委會任職，并擔任神經計算、JCGS和TPAMI的副編輯。他獲得了來自谷歌，Facebook, Yahoo, NSF, NIH, NWO和ONR-MURI的多次資助，其中NSF在2005年的職業資助。他是2010年ECCV Koenderink獎的獲得者。Max Welling是阿姆斯特丹數據科學研究中心的董事會成員，他主管阿姆斯特丹機器學習實驗室(AMLAB)，并共同指導高通- UvA深度學習實驗室(QUVA)和博世- UvA深度學習實驗室(DELTA)。Max Welling在機器學習、計算機視覺、統計學和物理學方面發表了超過250篇科學論文，H指數為62。

//staff.fnwi.uva.nl/m.welling/

Graph Nets: The Next Generation - Max Welling

在這次演講中，我將介紹下一代的圖神經網絡。GNN具有對圖中節點的排列和圖的整體旋轉不變的特性。我們認為這是不必要的限制，在這次談話中，我們將探索這些GNN的擴展，以更靈活的等變結構。特別地，一般圖的自然圖網絡在節點排列下是全局等變的，但仍然可以通過本地消息傳遞協議執行。我們在流形上的mesh-CNNs在SO(2)規范變換下是等變的，因此，與常規的GNN不同，它具有非各向同性的核。最后，我們的SE(3)轉換器是局部消息傳遞GNN，對排列不變性，但對全局SE(3)變換是等價的。這些發展清楚地強調了幾何和對稱作為圖(或其他)神經網絡設計原則的重要性。

幾何深度學習

很多數據不是序列和歐幾里得分布的，而是球面圖網絡分布，那如何使用卷積在這些數據結構上？

概覽

結論

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

課程介紹： 最近，圖神經網絡 (GNN) 在各個領域越來越受到歡迎，包括社交網絡、知識圖譜、推薦系統，甚至生命科學。GNN 在對圖形中節點間的依賴關系進行建模方面能力強大，使得圖分析相關的研究領域取得了突破性進展。本次課程對比傳統的卷積神經網絡以及圖譜圖卷積與空間圖卷積，從理論知識入手，并結合相關論文進行詳細講解。

主講人： Xavier Bresson，人工智能/深度學習方面的頂級研究員，培訓師和顧問。在“圖深度學習”上的NeurIPS'17和CVPR'17（2019年頂級人工智能會議排名）上的演講者，在劍橋，加州大學洛杉磯分校，布朗，清華，龐加萊，海德堡等地進行了30多次國際演講。

課程大綱：

• 傳統卷積神經網絡
• 譜圖圖卷積
• 空間圖卷積
• 總結