亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

PyTorch幾何圖神經網絡

與通常應用于張量和序列的經典深度學習模型(如MLP、CNN、RNN、transformer)不同，圖神經網絡(Graph Neural Net, GNN)是一種特殊類型的深度學習模型，它適用于非歐氏數據結構，如圖。數據驅動方法可以提供幫助的圖分析任務的例子包括3D網格處理、分子分析、社交圖數據挖掘，以及其他任何傳統DL方法不適用的任務。PyTorch是一個行業標準的深度學習框架，它提供了許多有用的DL操作和實用程序。PyTorch幾何是一個構建在PyTorch之上的庫，實現了一組創建和訓練圖神經網絡的工具。在這次演講中，我將對GNN和PyTorch幾何做一個非常快速和高級的介紹。

由于其在非歐幾里德數據(如圖或流形)建模方面的強大能力，圖的深度學習技術(即圖神經網絡(GNNs))為解決具有挑戰性的圖相關NLP問題打開了一扇新的大門。將深度學習技術應用于自然語言處理的研究興趣大增，并在許多自然語言處理任務中取得了相當大的成功，包括句子分類、語義角色標注和關系抽取等分類任務，以及機器翻譯、問題生成和摘要等生成任務。盡管取得了這些成功，但面向NLP的圖深度學習仍然面臨許多挑戰，包括自動將原始文本序列數據轉換為高度圖結構的數據，以及有效地建模復雜數據，這些數據涉及基于圖的輸入和其他高度結構的輸出數據(如序列、樹、樹)之間的映射。以及節點和邊中都有多種類型的圖數據。本教程將涵蓋在圖形技術上應用深度學習的相關和有趣的主題，包括用于NLP的自動圖形構建、用于NLP的圖形表示學習、用于NLP的基于高級GNN模型(例如，graph2seq、graph2tree和graph2graph)，以及GNN在各種NLP任務中的應用(例如，機器翻譯、自然語言生成、信息提取和語義解析)。此外，還將包括動手演示會議，以幫助觀眾獲得使用我們最近開發的開源庫Graph4NLP應用gnn解決具有挑戰性的NLP問題的實踐經驗。Graph4NLP是第一個為研究人員和實踐者方便地使用GNN完成各種NLP任務的庫。

//github.com/dlg4nlp/dlg4nlp.github.io

這份簡明推薦系統教程為你指南！

圖神經網絡(GNNs)的快速發展帶來了越來越多的新架構和新應用。目前的研究側重于提出和評估GNNs的具體架構設計，而不是研究GNNs的更一般的設計空間，后者由不同設計維度的笛卡爾積(如層數或聚合函數的類型)組成。此外，GNN設計通常專門針對單個任務，但很少有人努力了解如何快速為新任務或新數據集找到最佳GNN設計。這里我們定義并系統地研究了GNNs的架構設計空間，它包含了超過32種不同的預測任務的315000種不同的設計。我們的方法有三個主要創新:(1)一個通用的GNN設計空間;(2)具有相似度度量的GNN任務空間，這樣對于給定的新任務/數據集，我們可以快速識別/傳輸性能最好的架構;(3)一種高效的設計空間評價方法，可以從大量的模型-任務組合中提取洞察力。我們的主要結果包括:(1)一套設計性能良好的GNN的全面指南;(2)雖然針對不同任務的最佳GNN設計存在顯著差異，但GNN任務空間允許在不同任務之間傳輸最佳設計;(3)利用我們的設計空間發現的模型實現了最先進的性能。總的來說，我們的工作提供了一個原則性和可擴展性的方法，實現了從研究針對特定任務的個體GNN設計到系統地研究GNN設計空間和任務空間的過渡。最后，我們發布了GraphGym，這是一個用于探索不同GNN設計和任務的強大平臺。GraphGym具有模塊化的GNN實現、標準化的GNN評估和可重復和可擴展的實驗管理。

//arxiv.org/abs/2011.08843

圖神經網絡教程 Graph Convolutional Networks Graph Sampling Methods Application and PyTorch Implementation

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響，這次會議在線上舉行，本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。小編推薦一份圖深度學習-圖神經網絡教程，預覽版可以查看。

從圖數據和關系數據中學習在許多應用中起著重要的作用，包括社交網絡分析、市場營銷、電子商務、信息檢索、知識建模、醫學和生物科學、工程等。在過去的幾年里，圖神經網絡(GNNs)已經成為一種很有前途的新型監督學習框架，能夠將深度表示學習的能力引入到圖和關系數據中。越來越多的研究表明，GNNs在鏈路預測、欺詐檢測、目標配體結合活性預測、知識圖譜補全和產品推薦等方面的性能達到了最新水平。

本教程的目標有兩個。首先，它將概述GNN背后的理論，討論GNN非常適合的問題類型，并介紹一些最廣泛使用的GNN模型體系結構和設計用來解決的問題/應用程序。其次，它將引入深度圖庫(Deep Graph Library, DGL)，這是一種新的軟件框架，簡化了高效的基于GNN的訓練和推理程序的開發。為了使事情更具體，本教程將提供使用DGL的實踐會話。這個實踐部分將涵蓋基本的圖形應用程序(例如，節點分類和鏈接預測)，以及更高級的主題，包括在大型圖和分布式設置中訓練GNN。此外，它還將提供使用GNNs和DGL進行實際應用(如推薦和欺詐檢測)的實踐教程。

• 第1節:圖神經網絡概述。本節描述了圖神經網絡是如何運作的，它們的基本理論，以及它們相對于其他圖學習方法的優勢。此外，它還描述了圖形上的各種學習問題，并展示了如何使用GNNs來解決這些問題。

• 第2節:深度圖庫(DGL)概述。本節描述DGL提供的不同的抽象和api，這些抽象和api旨在簡化GNN模型的實現，并解釋DGL如何與MXNet、Pytorch和TensorFlow進行接口。然后介紹DGL的消息傳遞API，該API可用于開發任意復雜的GNNs和它提供的預定義GNN nn模塊。

• 第3節:基本圖任務的GNN模型。本節演示如何使用GNNs解決四個關鍵的圖數據學習任務:節點分類、鏈接預測、圖數據分類和網絡嵌入前訓練。它將展示如何使用DGL的nn模塊實現一個流行的GNN模型GraphSage，并展示如何在不同類型的下游任務中使用由GraphSage計算出的節點嵌入。此外，本文還將演示使用DGL的消息傳遞接口實現定制的GNN模型。

• 第4節:大型圖的GNN訓練。本節使用第3節中描述的一些模型來演示DGL中的微型批處理訓練、多GPU訓練和分布式訓練。它首先描述了mini-batch訓練的概念如何應用于GNN，以及如何通過使用各種抽樣技術來加速mini-batch計算。接下來將舉例說明一種稱為鄰接抽樣的抽樣技術，如何使用木星筆記本在DGL中實現。然后將該筆記本擴展為多GPU訓練和分布式訓練。

• 第5節:實際應用的GNN模型。本節使用前面幾節中描述的技術，展示如何使用GNNs開發用于推薦和欺詐檢測的可伸縮解決方案。在推薦方面，本文提出了一種基于最近鄰的項目推薦方法，該方法通過采用端到端的學習方法，利用GNN模型學習項目嵌入。對于欺詐檢測，它擴展了上一節中的節點分類模型，以處理異構圖，并解決了標記樣本很少的情況。