亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡在圖表示學習領域取得了顯著的成功。圖卷積執行鄰域聚合，并表示最重要的圖運算之一。然而，這些鄰域聚合方法的一層只考慮近鄰，當進一步啟用更大的接受域時，性能會下降。最近的一些研究將這種性能下降歸因于過度平滑問題，即重復傳播使得不同類的節點表示無法區分。在這項工作中，我們系統地研究這一觀察結果，并對更深的圖神經網絡發展新的見解。本文首先對這一問題進行了系統的分析，認為當前圖卷積運算中表示變換與傳播的糾纏是影響算法性能的關鍵因素。將這兩種操作解耦后，更深層次的圖神經網絡可用于從更大的接受域學習圖節點表示。在建立深度模型時，我們進一步對上述觀察結果進行了理論分析，這可以作為過度平滑問題的嚴格而溫和的描述。在理論和實證分析的基礎上，我們提出了深度自適應圖神經網絡(DAGNN)，以自適應地吸收來自大接受域的信息。一組關于引文、合著和共購數據集的實驗證實了我們的分析和見解，并展示了我們提出的方法的優越性。

//arxiv.org/abs/2007.09296

題目： Multi-Channel Graph Neural Networks

摘要： 圖結構數據的分類在許多學科中已經變得越來越重要。據觀察，在真實世界圖中保留的隱式或顯式的層次社區結構對于下游分類應用是有用的。利用分層結構的一個直接方法是利用池化算法將節點聚類到固定的組中，并逐層縮小輸入圖以學習池化的圖。但池化收縮丟棄了圖的細節，難以區分兩個非同構圖，固定聚類忽略了節點固有的多重特性。為了彌補網絡的收縮損失和學習網絡節點的各種特性，我們提出了多通道圖神經網絡（MuchGNN）。在卷積神經網絡的基礎機制的驅動下，我們定義了定制的圖卷積來學習每一層的一系列圖通道，并分層縮小圖來編碼匯集的結構。在真實數據集上的實驗結果證明了MuchGNN的優越性。

題目： Heterogeneous Graph Attention Network

摘要： 圖神經網絡作為一種基于深度學習的功能強大的圖表示技術，表現出了優越的性能，引起了廣泛的研究興趣。然而，對于包含不同節點和鏈接類型的異構圖，圖神經網絡還沒有充分考慮到這一點。異構性和豐富的語義信息給異構圖的圖神經網絡設計帶來了很大的挑戰。最近，深度學習領域最令人興奮的進展之一是注意力機制，其巨大的潛力在各個領域都得到了很好的展示。本文首先提出了一種基于分層關注的異構圖神經網絡，包括節點級關注和語義級關注。具體來說，節點級注意的目的是學習節點與其基于元路徑的鄰居之間的重要性，而語義級注意能夠學習不同元路徑之間的重要性。通過對節點級和語義級注意的學習，可以充分考慮節點和元路徑的重要性。然后將基于元路徑的鄰域的特征分層聚合，生成節點嵌入。在三個真實世界的異構圖上的廣泛實驗結果不僅顯示了我們所提出的模型的優越性能，而且也顯示了它對圖分析的潛在良好的可解釋性。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響，這次會議在線上舉行，本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。近期，隨著會議的臨近，有很多paper放出來，小編發現這次WWW 2020被圖神經網絡攻占，占比非常大，可見其火爆程度。這期小編繼續為大家奉上WWW 2020五篇GNN相關論文供參考——圖注意力主題模型、超圖學習、圖神經網絡Hash、多視角圖聚類、Graph Pooling。

WWW2020GNN_Part2、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Graph Attention Topic Modeling Network

作者：Liang Yang, Fan Wu, Junhua Gu, Chuan Wang, Xiaochun Cao, Di Jin, and Yuanfang Guo

摘要：現有的主題模型（topic modeling）方法存在一些問題，包括概率潛在語義索引模型(Probablistic Latent Semantic Indexing，PLSI)過擬合問題、隱狄利克雷分配(Latent Dirichlet Allocation，LDA)模型不能能捕捉主題間豐富的主題相關性與推理復雜度高等問題。本文提出了一種新的方法來克服pLSI的過擬合問題，用嵌入單詞的平攤推理（amortized inference）作為輸入，代替LDA中的狄利克雷先驗。對于生成性主題模型，大量的自由隱變量是過擬合的根源。為了減少參數個數，平攤推理用一個具有共享（平攤）可學習參數的函數代替了對隱變量的推理。共享參數的數量是固定的，并且與語料庫的規模無關。為了克服平攤推理在獨立同分布(I.I.D)數據中應用的局限性，根據以下兩個觀察結果，我們提出了一種新的圖神經網絡--圖注意力主題網絡(GATON)，用于對非I.I.D文檔的主題結構進行建模。首先，pLSI可以解釋為特定二分圖上的隨機塊模型(SBM)。其次，圖注意力網絡(GAT)可以解釋為SBM的半平攤推理（semi-amortized inference），它放寬了I.I.D數據的vanilla 平攤推理假設。GATON提供了一種新穎的基于圖卷積運算的方案，去聚合單詞相似度和單詞共現結構。具體地說，詞袋文檔表示被建模為二分圖拓撲。同時，將捕獲詞相似性的詞嵌入建模為詞節點的屬性，并采用詞頻向量作為文檔節點的屬性。基于加權（注意力）圖卷積操作，詞共現結構和詞相似度模式被無縫地集成在一起進行主題識別。大量實驗表明，GATON在主題識別方面的有效性不僅有利于文檔分類，而且能顯著細化輸入詞的嵌入。

網址：//yangliang.github.io/pdf/www20.pdf

2. How Much and When Do We Need Higher-order Information in Hypergraphs? A Case Study on Hyperedge Prediction

作者：Se-eun Yoon, Hyungseok Song, Kijung Shin, and Yung Yi

摘要：超圖提供了一種自然的表示組群關系的方法，其復雜性促使大量先前的工作采用某種形式抽象和簡化高階交互。然而，以下問題尚未得到解決：在解決超圖任務時，組群間交互的抽象程度需要多大？這些結果在不同的數據集中會有多大的不同？如果這個問題可以回答，將為如何在解決下游任務的復雜性和準確性之間權衡提供有用的工程指南。為此，我們提出了一種使用n投影圖（ n-projected graph ）的概念遞增表示群組交互的方法，該圖的累積量包含多達n種交互作用的信息，并隨著各種數據集的增長，量化解決任務的準確性。作為下游任務，我們考慮超邊預測，它是連接預測的擴展，是評估圖模型的典型任務。通過在15個真實數據集上的實驗，我們得出了以下信息：（a）收益遞減：較小地n足以獲得與接近完美近似值相當的精度，（b）疑難解答：隨著任務的挑戰性越來越大，n帶來了更多好處，（c）不可約性：當成對抽象化時，其成對交互并不能充分說明高階交互的數據集將失去很多準確性。

網址：

3. Learning to Hash with Graph Neural Networks for Recommender Systems

作者：Qiaoyu Tan, Ninghao Liu, Xing Zhao, Hongxia Yang, Jingren Zhou, and Xia Hu

摘要：工業推薦系統一般包括兩個階段：召回和排名。召回是指從海量的項目語料庫中高效地識別出數百個用戶可能感興趣的候選項目，而排名的目標是使用復雜的排名模型輸出精確的排名列表。近年來，圖表示學習在支持大規模高質量候選搜索方面受到了廣泛關注。盡管它在用戶-項目交互網絡中學習對象的嵌入向量方面是有效的，但在連續嵌入空間中推斷用戶偏好的計算代價是巨大的。在這項工作中，我們研究了基于圖神經網絡(GNNs)的哈希高質量檢索問題，并提出了一種簡單而有效的離散表示學習框架來聯合學習連續與離散編碼。具體地說，提出了一種基于GNN的深度哈希算法(HashGNN)，它由兩部分組成，一個是用于學習節點表示的GNN編碼器，另一個是用于將表示編碼為哈希碼的哈希層。整個框架通過聯合優化以下兩個損失進行端到端的訓練，即通過重建觀察到的連接而產生的重建損失，以及通過保留哈希碼的相對順序產生的排序損失。我們還提出了一種基于直通估計器（straight through estimator ，STE）指導的離散優化策略。其主要思想是在連續嵌入指導下避免STE的反向傳播中的梯度放大，在這種情況下，我們從學習一個更容易模仿連續嵌入的更簡單的網絡開始，并使其在訓練過程中發展直至最終返回STE。在三個公開可用數據集和一個真實的阿里巴巴公司數據集的綜合實驗表明，我們的模型不僅可以達到連續模型的性能，而且在推理過程中運行速度快了好幾倍。

網址：

4. One2Multi Graph Autoencoder for Multi-view Graph Clustering

作者：Shaohua Fan, Xiao Wang, Chuan Shi, Emiao Lu, Ken Lin, and Bai Wang

摘要：多視圖圖聚類（Multi-view graph clustering）近年來受到了相當大的關注，它是一種尋找具有多個視圖的圖的分割方法，通常提供更全面但更復雜的信息。雖然多視圖圖聚類已經做了一些努力并取得了較好的效果，但大多數都是采用淺層模型來處理多視圖間的復雜關系，這可能會嚴重限制多視圖的圖信息建模能力。本文首次嘗試將深度學習技術應用于屬性多視圖圖聚類，提出了一種新的任務導向的One2Multi圖自編碼器聚類框架。One2Multi圖自編碼器能夠通過使用一個信息豐富的圖形視圖和內容數據來重建多個圖形視圖來學習節點嵌入。因此，可以很好地捕捉多個圖的共享特征表示。在此基礎上，我們還提出了一種自訓練聚類目標，以迭代地改善聚類結果。通過將自訓練和自編碼器重構集成到一個統一的框架中，我們的模型可以聯合優化適用于圖聚類的簇標簽分配和嵌入。在真實屬性多視圖圖數據集上的實驗很好地驗證了該模型的有效性。

網址：

5. Structure-Feature based Graph Self-adaptive Pooling

作者：Liang Zhang, Xudong Wang, Hongsheng Li, Guangming Zhu, Peiyi Shen, Ping Li, Xiaoyuan Lu, Syed Afaq Ali Shah, and Mohammed Bennamoun

摘要：近年來，人們提出了各種處理圖數據的方法。然而，這些方法大多側重于圖的特征聚合，而不是圖的池化。此外，現有的top-k選擇圖池化方法存在一些問題。首先，在構建池化圖拓撲時，現有的top-k選擇方法只從單一的角度評價節點的重要性，這是簡單化和不客觀的。其次，未選中節點的特征信息在池化過程中直接丟失，必然導致大量的圖特征信息丟失。為了解決上述問題，我們提出了一種新穎的圖自適應池化方法，目標如下：(1)為了構造合理的池化圖拓撲，同時考慮了圖的結構信息和特征信息，增加了節點選擇的準確性和客觀性；(2)為了使池化的節點包含足夠有效的圖信息，在丟棄不重要的節點之前，先聚合節點特征信息；因此，所選擇的節點包含來自鄰居節點的信息，這可以增強未選擇節點的特征的使用。在四個不同的數據集上的實驗結果表明，我們的方法在圖分類中是有效的，并且優于最新的圖池化方法。

網址：

膠囊網絡（Capsule Networks）圖領獎得主Geoffrey Hinton在17年提出的一種新型神經網絡結構，可以克服卷積神經網絡存在的一些問題。膠囊網絡提供了一個有效的建模實體間局部到全局關系的方法，并可以學習視角不變表示。通過這種提升的表示學習，膠囊網絡可以在多個領域下用更少的參數取得好的性能。最近，膠囊網絡在視頻中人類行為定位、醫學圖像目標分割、文本分類等任務上都取得了最好的效果。

布法羅大學最近的課程《膠囊網絡》課件講述了概念算法等，包含57頁ppt，值得一看！

題目： Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

簡介：

多標簽圖像和視頻分類是計算機視覺中最基本也是最具挑戰性的任務。主要的挑戰在于捕獲標簽之間的空間或時間依賴關系，以及發現每個類的區別特征的位置。為了克服這些挑戰，我們提出將語義圖嵌入的跨模態注意用于多標簽分類。基于所構造的標簽圖，我們提出了一種基于鄰接的相似圖嵌入方法來學習語義標簽嵌入，該方法顯式地利用了標簽之間的關系。在學習標簽嵌入的指導下，生成了新的跨模態注意圖。在兩個多標簽圖像分類數據集(MS-COCO和NUS-WIDE)上的實驗表明，我們的方法優于其他現有的方法。此外，我們在一個大的多標簽視頻分類數據集上驗證了我們的方法，評估結果證明了我們的方法的泛化能力。