亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

題目： Knowledge Graph Embeddings and Explainable AI

摘要： 知識圖譜嵌入是一種廣泛采用的知識表示方法，它將實體和關系嵌入到向量空間中。在這一章中，我們通過解釋知識圖譜嵌入是什么，如何生成它們以及如何對它們進行評估，向讀者介紹知識圖譜嵌入的概念。我們總結了這一領域的最新研究成果，對向量空間中表示知識的方法進行了介紹。在知識表示方面，我們考慮了可解釋性問題，并討論了通過知識圖譜嵌入來解釋預測的模型和方法。

芬蘭阿爾托大學CSE4890深度學習課程第7講：圖神經網絡，由Alexander Ilin主講，全面詳細地介紹了GNN的背景動機、GCN、循環關系網絡、通用網絡。

【導讀】圖神經網絡依然是研究焦點之一。最近在WWW2020的DL4G@WWW2020論壇，斯坦福大學Jure Leskovec副教授介紹了圖神經網絡研究最新進展，包括GNN表現力、預訓練和公開圖神經網絡基準等。值得關注。

近年來，深度學習領域關于圖神經網絡（Graph Neural Networks，GNN）的研究熱情日益高漲，圖網絡已經成為各大深度學習頂會的研究熱點。GNN 處理非結構化數據時的出色能力使其在網絡數據分析、推薦系統、物理建模、自然語言處理和圖上的組合優化問題方面都取得了新的突破。但是，大部分的圖網絡框架的建立都是基于研究者的先驗或啟發性知識，缺少清晰的理論支撐。

//www.aminer.cn/dl4g_www2020

Jure Leskovec

圖網絡領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。在谷歌學術搜索（Google Scholar）上，Jure擁有接近4.5萬的論文引用數量，H指數為84。

下載鏈接： 鏈接: 提取碼: mtth

主題： Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning

摘要： 廣義零樣本學習（GZSL）解決了同時涉及可見類和不可見類的實例分類問題。關鍵問題是如何有效地將從可見類學習到的模型轉換為不可見類。GZSL中現有的工作通常假設關于未公開類的一些先驗信息是可用的。然而，當新的不可見類動態出現時，這種假設是不現實的。為此，我們提出了一種新的基于異構圖的知識轉移方法（HGKT），該方法利用圖神經網絡對GZSL、不可知類和不可見實例進行知識轉移。具體地說，一個結構化的異構圖，它是由所見類的高級代表節點構造而成，這些代表節點通過huasstein-barycenter來選擇，以便同時捕獲類間和類內的關系，聚集和嵌入函數可以通過圖神經網絡來學習，它可以用來計算不可見類的嵌入，方法是從它們的內部遷移知識。在公共基準數據集上的大量實驗表明，我們的方法達到了最新的結果。

機器學習的許多應用都需要一個模型來對測試樣本做出準確的預測，這些測試樣本在分布上與訓練示例不同，而在訓練期間，特定于任務的標簽很少。應對這一挑戰的有效方法是，在數據豐富的相關任務上對模型進行預訓練，然后在下游任務上對其進行微調。盡管預訓練在許多語言和視覺領域都是有效的，但是如何在圖數據集上有效地使用預訓練仍是一個有待解決的問題。本文提出了一種新的圖神經網絡訓練策略和自監督方法。我們的策略成功的關鍵是在單個節點以及整個圖的層次上預訓練一個具有強表示能力的GNN，以便GNN能夠同時學習有用的局部和全局表示。我們系統地研究了多類圖分類數據集的預處理問題。我們發現，在整個圖或單個節點級別上對GNN進行預訓練的樸素策略改進有限，甚至可能導致許多下游任務的負遷移。相比之下，我們的策略避免了負遷移，顯著提高了下游任務的泛化能力，使得ROC-AUC相對于未經訓練的模型提高了9.4%，實現了分子特性預測和蛋白質功能預測的最好性能。

課程名稱： CS224W: Machine Learning with Graphs

課程簡介：

網絡是對復雜的社會、技術和生物系統建模的基本工具。結合在線社交網絡的出現和生物科學中大規模數據的可用性，本課程重點分析提供了幾個計算、算法和建模挑戰的大規模網絡。學生將學習機器學習技術和數據挖掘工具，通過研究其潛在的網絡結構和相互聯系，揭示對社會、技術和自然世界的洞察。

在本課程中，我們將介紹圖機器學習技術，包括以下主題：

• 食品網絡和金融市場的穩固性和脆弱性;
• 萬維網的算法;
• 圖神經網絡與表示學習
• 生物網絡功能模塊的識別
• 疾病暴發檢測。

課程部分大綱：

• 介紹：圖結構
• 網絡的性質和隨機圖模型
  • 復習課：Snap.py和谷歌云教程
• 網絡中的主題和結構角色
• 網絡中的社區結構
  • 復習線性代數，概率論和證明技術
• 譜聚類
• 消息傳遞和節點分類
• 圖表示學習
• 圖神經網絡
• 圖神經網絡:動手練習
• 圖的深層生成模型
• 鏈接分析:網頁排名
• 網絡效應和級聯行為
• 概率傳染和影響模型

講師介紹：

Jurij Leskovec是斯坦福大學計算機科學副教授，研究側重于分析和建模大型社區和信息網絡，作為跨社區、技術和自然世界現象的研究。他側重于網絡結構的統計建模、網絡演化、信息傳播、網絡影響和病毒。他所研究的問題是由大規模數據、網絡和其他在線媒體引發的，同樣從事文本挖掘和機器學習的應用。個人官網：

下載索引：鏈接：

報告簡介： 圖形領域的機器學習是一項重要而普遍的任務，其應用范圍從藥物設計到社交網絡中的友情推薦。該領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型可以很方便地利用它。 報告中介紹了深度學習的技術，自動學習將圖形結構編碼為低維嵌入。以及表示學習的關鍵進展，包括圖形卷積網絡及其表示能力，探討了它在Web級推薦系統、醫療保健、知識表示和推理方面的應用。

嘉賓介紹： 領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 Jure Leskovec主頁