亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

題目： GRAPH-BERT : Only Attention is Needed for Learning Graph Representations

摘要： 主要的圖神經網絡過度依賴于圖鏈接，已經出現了一些嚴重的性能問題，如假死問題和過平滑問題。更重要的是，內在的相互連接特性阻止了圖數據中的并行化，這對于大型圖數據非常重要，因為內存限制限制了節點間的批處理。在本文中，我們將介紹一種新的圖神經網絡，即基于圖的BERT(Graph-BERT )，它完全基于注意力機制，沒有任何圖的卷積或聚合操作。我們不再用完整的大輸入圖來訓練Graph-BERT，而是在局部上下文中用抽取的無鏈接子圖來訓練Graph-BERT。Graph-BERT可以在獨立模式下有效地學習。同時，如果有任何監督的標簽信息或特定的應用導向的目標可用，一個預先訓練的Graph-BERT也可以直接轉移到其他應用任務中，或者進行必要的微調。我們在幾個圖基準數據集上測試了Graph-BERT的有效性。在節點屬性重構和結構恢復任務的預訓練Graph-BERT的基礎上，進一步對節點分類和圖聚類任務的Graph-BERT進行微調。實驗結果表明，該算法在學習效率和學習效果上都優于現有的神經網絡算法。

題目： KG-BERT: BERT for Knowledge Graph Completion

摘要： 知識圖譜是許多人工智能任務的重要資源，但往往是不完整的。在這項工作中，我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列，并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入，利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明，我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。

題目： Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation

摘要： 圖像級弱監督語義分割是近年來深入研究的一個具有挑戰性的問題。大多數高級解決方案都利用類激活映射(CAM)。然而，由于監督的充分性和弱監督的差距，CAMs很難作為目標掩模。在這篇論文中，我們提出了一個自我監督的等變注意機制(SEAM)來發現額外的監督并縮小差距。我們的方法是基于等方差是完全監督語義分割的一個隱含約束，其像素級標簽在數據擴充過程中與輸入圖像進行相同的空間變換。然而，這種約束在圖像級監控訓練的凸輪上丟失了。因此，我們提出了對不同變換圖像的預測凸輪進行一致性正則化，為網絡學習提供自監督。此外，我們提出了一個像素相關模塊(PCM)，它利用上下文外觀信息，并改進當前像素的預測由其相似的鄰居，從而進一步提高CAMs的一致性。在PASCAL VOC 2012數據集上進行的大量實驗表明，我們的方法在同等監督水平下表現優于最先進的方法。

題目： Factorized Graph Representations for Semi-Supervised Learning from Sparse Data

簡介：

節點分類是圖數據管理中的一個重要問題。它通常由不同的標簽傳播方法來解決，這些方法從幾個有標簽的種子節點開始迭代地工作。對于具有類之間任意兼容性的圖，這些方法主要依賴于了解必須由領域專家或啟發式提供的兼容性矩陣。我們能否以一種有原則和可伸縮的方式，從一個稀疏標記的圖中直接估計正確的兼容性?我們肯定地回答了這個問題，并提出了一種稱為遠程兼容性評估的方法，這種方法甚至可以在標記極為稀疏的圖(例如，標記了10,000個節點中的1個)上工作，而這只是標記其余節點所需時間的一小部分。我們的方法首先創建多個因式圖表示(大小與圖無關)，然后對這些更小的圖進行估計。我們將代數放大定義為利用算法更新方程的代數性質來放大稀疏信號的一般思想。我們證明了我們的估計器要比其他方法快幾個數量級，并且端到端的分類精度與使用標準兼容性相當。這使得它對于任何現有的標簽傳播方法都是一個廉價的預處理步驟，并且消除了當前對啟發式的依賴。

節點分類是圖數據管理中的一個重要問題。它通常由不同的標簽傳播方法來解決，這些方法從幾個有標簽的種子節點開始迭代地工作。對于具有類之間任意兼容性的圖，這些方法主要依賴于了解必須由領域專家或啟發式提供的兼容性矩陣。我們能否以一種有原則和可伸縮的方式，從一個稀疏標記的圖中直接估計正確的兼容性?我們肯定地回答了這個問題，并提出了一種稱為遠程兼容性評估的方法，這種方法甚至可以在標記極為稀疏的圖(例如，標記了10,000個節點中的1個)上工作，而這只是標記其余節點所需時間的一小部分。我們的方法首先創建多個因式圖表示(大小與圖無關)，然后對這些更小的圖草圖進行估計。我們將代數放大定義為利用算法更新方程的代數性質來放大稀疏信號的更一般的思想。我們證明了我們的估計器要比其他方法快幾個數量級，并且端到端的分類精度與使用真實標準兼容性相當。這使得它對于任何現有的標簽傳播方法都是一個廉價的預處理步驟，并且消除了當前對啟發式的依賴。

題目

圖神經網絡概覽：《Graph Neural Networks - An overview | AI Summer》

關鍵字

圖神經網絡，深度學習，圖計算，綜述，人工智能，圖論

簡介

在過去的十年中，我們看到了神經網絡在圖像和文本等結構化數據方面的出色表現。卷積網絡，遞歸自動編碼器等大多數流行模型在具有表格格式（如矩陣或向量）的數據上都能很好地工作。但是非結構化數據呢？圖數據呢？有沒有可以向他們有效學習的模型？可能是您從標題中猜到的。答案是圖神經網絡。

Graph Neural Networks早在2005年就被引入（就像其他所有好主意一樣），但是在過去的5年中它們開始流行起來。 GNN能夠對圖中節點之間的關系進行建模，并為其生成數字表示。 GNN的重要性非常重要，因為可以用圖形表示的現實世界數據太多。社交網絡，化合物，地圖，運輸系統等。因此，讓我們找出GNN背后的基本原理以及它們起作用的原因。

作者

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。 但是，大量的網絡數據為有效分析帶來了巨大的挑戰。 因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。 圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。
• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。
• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。
• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。 傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、 Deep variational network embedding in wasserstein space

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、 Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普??拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。 DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。 DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。