亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是，構造了結構圖，特征圖(feature graph)，以及兩者的組合來提取特定的和通用的嵌入，并使用注意機制來學習嵌入的自適應重要性權重。實驗發現，AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息，對應不同的參數取值。 //arxiv.org/abs/2007.02265

摘要：圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而，最近的一些研究提出了一個問題，即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中，我們首先提出一個實驗研究。令人驚訝的是，我們的實驗結果清楚地表明，當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的，甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息，這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷，設計出一種新型的GCNs，既能保留現有GCNs的優勢，又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題，我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入，并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明，AM-GCN從節點特征和拓撲結構中提取了最多的相關信息，顯著提高了分類精度。

最近，人們對在非歐幾里得空間中表示數據的方法(例如雙曲或球面)越來越感興趣，這些方法提供了對某些真實世界數據屬性(例如無尺度、分層或循環)有用的特定歸納偏差。然而，流行的圖神經網絡目前僅限于通過歐幾里得幾何和相關的向量空間操作來建模數據。在這里，我們通過提出將圖卷積網絡(GCN)在數學基礎上推廣為常曲率空間的(乘積)來彌補這一差距。我們通過i)引入一種統一的形式，可以在所有常曲率幾何之間平滑地插入，ii)利用陀螺質心坐標，推廣了經典的歐幾里德質心概念。當曲率從任何一邊變為零時，我們這類模型平滑地恢復它們的歐幾里得對應模型。根據其離散曲率，我們在非歐幾里得行為的符號數據上的節點分類和失真最小化的任務表現優于歐幾里得GCNs。

//arxiv.org/abs/1911.05076

概述

圖卷積網絡 針對圖像數據的卷積網絡和深度學習的成功啟發了對于共享參數與圖形幾何形狀一致的圖推廣。Bruna等人(2014);Henaff等人(2015)是利用圖上的局部譜濾波器在圖傅里葉空間中開發頻譜圖卷積神經網絡的先驅。然而，為了減少對拉普拉斯特征模式的圖依賴，Defferrard等人(2016)利用Hammond等人(2011)的結果使用Chebyshev多項式近似卷積濾波器。所得到的方法(在附錄A中討論)在計算效率和精度和復雜性方面是優越的。此外，Kipf和Welling(2017)通過考慮一階近似來簡化這種方法，從而獲得高可伸縮性。提出的圖卷積網絡(GCN)是通過對稱歸一化鄰接矩陣來插值節點嵌入，而這種權值共享可以理解為一種有效的擴散式正則化器。最近的工作擴展了GCNs，實現了鏈接預測(Zhang & Chen, 2018)、圖分類(Hamilton等，2017;和節點分類(Klicpera et al.， 2019;Velickoviˇc et al .′, 2018)。

ML中的歐幾里得幾何。在機器學習(ML)中，由于各種原因，數據通常在歐幾里得空間中表示。首先，有些數據本質上是歐幾里得的，比如經典力學中三維空間中的位置。其次，直覺在這樣的空間中更容易，因為它們擁有一個吸引人的矢量結構，允許基本的算術和豐富的線性代數理論。最后，許多感興趣的量，如距離和內積在封閉公式中是已知的，可以在現有的硬件上非常有效地計算。這些操作是當今大多數流行的機器學習模型的基本構建模塊。因此，歐幾里得幾何強大的簡單性和效率已經導致許多方法實現了最先進的任務，如機器翻譯(Bahdanau等，2015;wani et al.， 2017)，語音識別(Graves et al.， 2013)，圖像分類(He et al.， 2016)或推薦系統(He et al.， 2017)。

黎曼ML 盡管取得了成功，但某些類型的數據(例如分層數據、無標度數據或球形數據)被證明可以更好地用非歐幾里德幾何表示(Defferrard et al.， 2019;Bronstein等，2017;Nickel & Kiela, 2017;Gu et al.， 2019)，尤其帶來了豐富的流形學習理論(Roweis & Saul, 2000;和信息幾何(Amari & Nagaoka, 2007)。在活力操縱非歐幾里得幾何的數學框架被稱為黎曼幾何(Spivak, 1979)。雖然它的理論導致了許多強而優雅的結果，但它的一些基本量，如距離函數d(·，·)，通常不能以封閉的形式提供，這對許多計算方法都是禁止的。

常曲率幾何的代表性優勢。在一般黎曼流形和歐幾里得空間之間的一個有趣的權衡是由常截面曲率流形給出的。他們一起定義了所謂的雙曲(負曲率)，橢圓(正曲率)和歐幾里得(零曲率)幾何。正如下面和附錄B中所討論的，歐幾里得空間在嵌入某些類型的數據(如樹)時具有局限性，并且會產生很大的失真。在這些情況下，雙曲空間和球面空間具有代表性的優勢，為各自的數據提供了更好的歸納偏差。

雙曲空間可以直觀地理解為一棵連續樹:球的體積隨半徑呈指數增長，類似于二叉樹的節點數隨深度呈指數增長(圖1)。它的樹狀性質已經被數學研究了很長時間(Gromov, 1987;哈曼,2017;與歐幾里得幾何結構相比，它被證明能夠更好地嵌入復雜網絡(Krioukov et al., 2010)、無標度圖和分層數據(Cho et al., 2019; Sala et al., 2018; Ganea et al., 2018b; Gu et al., 2019; Nickel & Kiela, 2018; 2017; Tifrea et al., 2019)。一些重要的工具或方法找到了它們的雙曲線對應物，例如變分自編碼器(Mathieu et al.， 2019;、注意力機制(Gulcehre等，2018)、矩陣乘法、遞歸單位和多項logistic回歸(Ganea等，2018)。

常曲率空間中的GCNs。在這項工作中，我們引入了一個擴展的圖形卷積網絡，它允許學習存在于具有任何曲率符號的常曲率空間(乘積)中的表示。我們通過將導出的統一陀螺框架與GCNs的有效性相結合來實現這一點(Kipf & Welling, 2017)。與我們的工作同時，Chami等人(2019年);Liu等人(2019)考慮了通過切線空間聚合在雙曲空間中學習嵌入的圖神經網絡。他們的方法將在第3.4節中作更詳細的分析。我們的模型更一般化，因為它在一個包含雙曲空間的嚴格超集中產生表示。

【導讀】Thomas Kipf是阿姆斯特丹大學博士生，是GCN作者。最近他畢業博士論文公布了，《深度學習圖結構表示》178頁pdf闡述圖卷積神經網絡等機制與應用，包括作者一系列原創圖深度學習工作，有GCN、GAE等，是研究該領域不可缺少的文獻。

阿姆斯特丹大學機器學習專業四年級的博士生，導師Max Welling教授。我的主要興趣是學習結構化數據和結構化表示/計算。這包括推理、(多主體)強化學習和結構化的深層生成模型。

//tkipf.github.io/

《深度學習圖結構表示》

地址：

在這篇論文中，我們提出了利用圖結構表示進行深度學習的新方法。所提出的方法主要基于以圖的形式構造基于神經網絡的模型的表示和計算的主題，這使得在使用顯式和隱式模塊結構學習數據時可以改進泛化。

我們的貢獻如下:

• 我們提出圖卷積神經網絡 graph convolutional networks (GCNs) (Kipf and Welling, 2017;第3章) 用于圖結構數據中節點的半監督分類。GCNs是一種圖神經網絡，它在圖中執行參數化的消息傳遞操作，建模為譜圖卷積的一階近似。在發布時，GCNs在許多無向圖數據集的節點級分類任務中取得了最先進的性能。

• 我們提出圖自編碼器(GAEs) (Kipf and Welling, 2016;第四章）用于圖形結構數據中的無監督學習和鏈接預測。GAEs利用一種基于圖神經網絡的編碼器和一種基于成對評分函數重構圖中的鏈接的解碼器。我們進一步提出了一個模型變量作為概率生成模型，該模型使用變量推理進行訓練，我們將其命名為變量GAE。在沒有節點標簽的情況下，GAEs和變分GAEs特別適合于圖數據的表示學習。

• 我們提出了關系型GCNs (Schlichtkrull and Kipf等，2018;第5章)將GCN模型擴展到具有多種邊緣類型的有向關系圖。關系GCNs非常適合于對關系數據進行建模，我們演示了一個應用于知識庫中的半監督實體分類。

• 我們提出了神經關系推理(NRI) (Kipf and Fetaya等，2018; 第六章)用于交互系統中潛在關系結構的發現。NRI將圖神經網絡與圖中邊緣類型的概率潛在變量模型相結合。我們將NRI應用于相互作用的動力學系統，如物理中的多粒子系統。

• 我們提出組合模仿學習和執行(CompILE) (Kipf等，2019;第7章)，一個序列行為數據的結構發現模型。CompILE使用一種新的可微序列分割機制來發現和自動編碼有意義的行為子序列或子程序。潛代碼可以被執行和重新組合以產生新的行為。

• 我們提出了對比訓練的結構化世界模型(C-SWMs) (Kipf等，2020; 第8章)從無監督的原始像素觀測中學習環境的目標分解模型。C-SWMs使用圖神經網絡以圖的形式構造環境的表示，其中節點表示對象，邊表示在動作影響下的成對關系或交互。C-SWMs在沒有像素損耗的情況下使用對比學習進行訓練，非常適合于具有組成結構的環境的學習模型。

Thomas Kipf論文列表：

• Thomas N. Kipf and Max Welling (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In: International Conference on Learning Representations (ICLR).

• Thomas N. Kipf and Max Welling (2016). "Variational Graph Auto-Encoders." In: NeurIPS Workshop on Bayesian Deep Learning.

• Michael Schlichtkrull*, Thomas N. Kipf*, Peter Bloem, Rianne van den Berg, Ivan Titov and Max Welling (2018). "Modeling Relational Data with Graph Convolutional Networks." In: European Semantic Web Conference (ESWC).

• Thomas Kipf*, Ethan Fetaya*, Kuan-ChiehWang, MaxWelling and Richard Zemel (2018). "Neural Relational Inference for Interacting Systems." In: International Conference on Machine Learning (ICML).

• Thomas Kipf, Yujia Li, Hanjun Dai, Vinicius Zambaldi, Alvaro Sanchez- Gonzalez, Edward Grefenstette, Pushmeet Kohli and Peter Battaglia (2019). "CompILE: Compositional Imitation Learning and Execution." In: International Conference on Machine Learning (ICML).

• Thomas Kipf, Elise van der Pol and Max Welling (2020). "Contrastive Learning of Structured World Models." In: International Conference on Learning Representations (ICLR).

題目： MEMORY-BASED GRAPH NETWORKS

摘 要:

圖神經網絡是一類對任意拓撲結構的數據進行操作的深度模型。我們為GNNs引入了一個有效的記憶層，它可以聯合學習節點表示并對圖進行粗化。在此基礎上，我們還引入了兩個新的網絡:基于記憶的GNN (MemGNN)和可以學習層次圖表示的圖存儲網絡(GMN)。實驗結果表明，所提出的模型在9個圖分類和回歸基準中有8個達到了最新的結果。我們也證明了這些表示學習可以對應于分子數據中的化學特征。

知識圖譜補全的目的是預測知識圖譜中實體之間的缺失關系。雖然已經提出了許多不同的方法，但缺乏一個統一的框架產生SOTA的結果。在這里，我們開發了PathCon，這是一種知識圖譜補全方法，它利用四個新穎的見解來超越現有的方法。PathCon通過以下方法預測一對實體之間的關系: (1)通過捕獲實體附近的關系類型，并通過基于邊緣的消息傳遞模式建模，來考慮每個實體的關系上下文; (2)考慮獲取兩個實體之間所有路徑的關系路徑; (3)通過可學習的注意力機制，自適應地整合關系上下文和關系路徑。重要的是，與傳統的基于節點的表示不同，PathCon僅使用關系類型表示上下文和路徑，這使得它適用于歸納設置。在知識圖譜基準上的實驗結果以及我們新提出的數據集表明，PathCon在很大程度上優于最先進的知識圖譜補全方法。最后，PathCon能夠通過識別對給定的預測關系很重要的上下文和路徑關系來提供可解釋的說明。

報告簡介： 圖形領域的機器學習是一項重要而普遍的任務，其應用范圍從藥物設計到社交網絡中的友情推薦。該領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型可以很方便地利用它。 報告中介紹了深度學習的技術，自動學習將圖形結構編碼為低維嵌入。以及表示學習的關鍵進展，包括圖形卷積網絡及其表示能力，探討了它在Web級推薦系統、醫療保健、知識表示和推理方面的應用。

嘉賓介紹： 領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 Jure Leskovec主頁

論文題目：面向社會計算的網絡表示學習

作者：涂存超

導師：孫茂松， 劉知遠

網址：//nlp.csai.tsinghua.edu.cn/~tcc/#Thesis

論文摘要：在數據挖掘和社交網絡分析中，對于網絡節點的特征表示一直至關重要。隨 著大規模社會網絡的出現，傳統的網絡表示方法面臨著計算效率以及可解釋性的 問題。此外，這些社會網絡往往蘊含著豐富的異構信息，這些特點使得已有的網 絡表示方法不能很好的處理這些大規模社會網絡。 網絡表示學習（NetworkRepresentationLearning），也就是網絡嵌入（Network Embedding），目的是為網絡中的節點學習一個低維實值的向量表示。每個節點對 應的表示向量蘊含了該節點的網絡結構信息以及其它異構信息，這些表示向量一 般被當作特征向量，來進行進一步的網絡分析任務，例如節點分類、鏈接預測、社 區發現等。本文針對網絡節點表示已有工作的不足，提出了在社會網絡中學習節 點顯式及隱式表示的思路，來學習高質量的網絡節點特征向量和提高社交網絡分 析任務的效果。為了學習網絡節點顯式的特征表示，我們進行了如下工作：（1）基 于詞項的顯式網絡表示：針對網絡節點分類任務，我們提出一種雙層分類模型，融 合利用社交網絡用戶異構文本信息和網絡結構信息，來進行職業預測任務。（2）基 于主題標簽的顯式網絡表示：為了提高用戶特征表示的可解釋性問題，我們提出 利用顯式的標簽來表示用戶節點，探究標簽與社交網絡用戶社交行為之間的對應 關系，進行用戶標簽推薦任務。 雖然網絡節點顯式表示可解釋性強，但它面臨著計算效率的問題。基于表示 學習在圖像、語音、文本等領域成功應用，我們提出了一系列基于深度學習的網 絡表示學習的方法，來學習網絡節點的隱式低維表示。這些工作包括：（1）基于最 大間隔的隱式網絡表示：為了提高網絡節點表示的區分性及其在節點分類上的效 果，提出基于最大間隔理論的有區分性的網絡表示學習模型，同時訓練網絡表示 學習模型和最大間隔分類器，顯著提升了網絡節點分類的效果。（2）上下文相關 的隱式網絡表示：針對鏈接預測任務，提出上下文相關的網絡表示學習模型，根據 網絡節點交互的鄰居節點的不同，結合文本信息來學習節點動態的表示向量。由 于引入了互相注意力機制，該模型能夠顯著提高鏈接預測任務的效果。（3）面向 社會關系抽取的隱式網絡表示：為了更好的對節點之間邊上的語義信息進行建模， 提出基于平移思想的網絡表示學習模型，考慮節點之間邊上的標簽信息，來進行 社會關系抽取任務。（4）社區優化的隱式網絡表示：為了考慮社會網絡中全局的 社區特征，我們利用網絡中的社區與文本中的主題之間的類比關系，提出了社區 優化的網絡表示學習模型，來同時學習節點表示和社區發現。