亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目：Adversarial Label-Flipping Attack and Defense for Graph Neural Networks 會議： ICDM 2020 論文代碼： //github.com/MengmeiZ/LafAK

隨著GNN的廣泛應用，其對于對抗攻擊的魯棒性越來越受到人們的關注。然而，現有的工作忽略了對抗標簽翻轉攻擊，其中攻擊者可以通過操縱少量的訓練標簽毒害模型訓練。探索GNN對標簽翻轉攻擊的魯棒性是非常關鍵的，特別是當標簽從外部來源收集并且容易注入錯誤標簽時(例如推薦系統)。在這項工作中我們介紹了第一個對抗標簽翻轉攻擊GNN的研究，并提出了一種有效的攻擊模型LafAK，LafAK利用GCN的近似閉合解和不可微目標的連續代理，通過基于梯度的優化器高效地產生攻擊。此外，我們還指出了GNNs易受標簽翻轉攻擊的一個關鍵原因是對翻轉節點的過擬合。基于此，我們提出了一個防御框架，該框架引入了一個基于社區分類的自監督任務作為正則化來避免過擬合。我們在四個真實的數據集上展示了我們提出的攻擊模型和防御模型的有效性。

【導讀】第九屆國際學習表征大會（ICLR 2021）是深度學習領域的國際頂級會議，ICLR 2021一共有2997論文有效提交，大會最終接收860篇論文，其中 Oral 53 篇、Spotlight 114 篇，大會將于5月4-8日于線上舉辦。ICLR 采用公開評審（Open Review ）機制。所有提交的論文都會公開，并且接受所有同行的評審及提問，任何學者都可或匿名或實名地評價論文。而在初審公開之后，論文作者也能夠對論文進行調整和修改以及進行Rebuttal。近期，小編發現基于圖神經網絡（Graph Neural Networks，GNN）相關的接受paper非常多，圖神經網絡這幾年方法的研究，以及在CV、NLP、DM上應用也非常廣，也是當前比較火的topic。

為此，這期小編為大家奉上ICLR 2021必讀的五篇圖神經網絡相關論文——SuperGAN、Simple GNN、AdaGCN、PageRank GNN、MLP to GNN

ICLR 2021 Accepted Papers : //openreview.net/group?id=ICLR.cc/2021/Conference

AAAI2021QA、AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision

作者：Dongkwan Kim, Alice Oh

摘要：圖神經網絡中的注意力機制將較大的權重分配給重要的鄰居節點，得到更好的表示。但是，圖注意力機制學習到的內容不能理解，尤其是圖存在噪聲時。在本文中，我們提出了一種自監督的圖注意力網絡（SuperGAT），這是一種針對噪聲圖的改進圖注意力模型。具體來說，我們用自監督的兩種注意力形式來預測邊，邊的存在和缺失都包含有關節點之間關系重要性的信息。通過對邊進行編碼，SuperGAT在區分錯誤連接的鄰居時會獲得更多可表達的注意力。我們發現兩個圖的特性會影響注意力形式和自監督的有效性：同構和平均程度。因此，當知道兩個圖的特性時，我們的方法可為使用哪種注意力設計提供指導。我們對17個公開數據集進行的實驗表明，我們的方法適用于其中的15個數據集，并且我們的方法設計的模型比基線模型性能更高。

網址：

2. Combining Label Propagation and Simple Models Out-performs Graph Neural Networks

作者：Qian Huang, Horace He, Abhay Singh, Ser-Nam Lim, Austin R. Benson

摘要：圖神經網絡（GNN）是圖學習的主要技術。但是，對于GNN為什么取得成功以及對性能是否好的必要性了解還很少。對于許多標準的transductive節點分類基準，通過將忽略圖結構的淺層模型與兩個探索標簽結構相關性的簡單后處理步驟結合起來，我們可以超越或達到現存最新好GNN模型的性能：（i）“誤差相關性”，它在訓練數據中分散剩余的錯誤來糾正測試數據中的錯誤；（ii）“預測相關性”，它使對測試數據的預測變得平滑。我們稱此總體過程為“糾正和平滑（C＆S）”，后處理步驟是通過對早期基于圖的半監督學習方法中標準標簽傳播技術進行簡單修改而實現的。我們的方法在各種基準上都超過或接近了最好的GNN的性能，而參數卻很少，運行時間也快了幾個數量級。例如，我們以137倍的參數減少和超過100倍的訓練時間超過了OGB-Products數據集上最好的GNN性能。我們方法的性能著重于如何將標簽信息直接整合到學習算法中（就像傳統技術一樣），從而獲得簡單而可觀的性能提升。我們還可以將我們的技術整合到大型GNN模型中，從而獲得適度的提升。我們的OGB結果代碼位于：

網址：

3. AdaGCN: Adaboosting Graph Convolutional Networks into Deep Models

作者：Ke Sun, Zhouchen Lin, Zhanxing Zhu

摘要：深度圖模型的設計仍有待研究，關鍵部分是如何有效地探索和利用來自鄰居不同階點的知識。在本文中，我們通過將AdaBoost集成到網絡計算中，提出了一種新穎的RNN類深度圖神經網絡架構。提出的圖卷積網絡AdaGCN（Adaboosting圖卷積網絡），具有從當前節點的高階鄰居中高效提取知識，然后以Adaboost方式將鄰居的不同階點中的知識集成到網絡中的能力。與直接堆疊許多圖卷積層的其他圖神經網絡不同，AdaGCN在所有``層''之間共享相同的基礎神經網絡架構，并且經過遞歸優化，類似于RNN。此外，我們還在理論上建立了AdaGCN與現有圖卷積方法之間的聯系，從而展示了我們的方法的好處。最后，大量的實驗證明了跨不同標簽比率的圖始終如一的最新預測性能以及我們的方法AdaGCN的計算優勢。

網址：

4. Adaptive Universal Generalized PageRank Graph Neural Network

作者：Eli Chien, Jianhao Peng, Pan Li, Olgica Milenkovic

摘要：在許多重要的圖數據處理應用程序中，獲取的信息有節點特征和圖拓撲結構。圖神經網絡（GNN）旨在利用這兩種信息，但是是用一種通用的方式對其進行整合，并沒有一個最佳權衡策略。通用性是指同構或異構圖假設的獨立性。我們通過引入一種新的廣義PageRank（GPR）GNN架構來解決這些問題，該架構可以自適應地學習GPR權重，從而聯合優化節點特征和拓撲信息提取，而不管節點標簽同構或異構程度。學習的GPR權重自動調整為節點標簽模式，與初始化類型無關，從而為通常難以處理的標簽模式保證了出色的學習性能。此外，它們允許避免特征過度平滑，這一過程使特征信息無差別化，而無需網絡很淺。我們在上下文隨機塊模型生成的新型合成基準數據集有上對GPR-GNN方法進行了理論分析。我們還在知名的基準同質和異類數據集上，將我們的GNN架構與幾個最新的GNN的節點分類問題進行了性能比較。結果表明，與現有方法相比，GPR-GNN在合成數據和基準數據上均提供了顯著的性能改進。

網址：

5. How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks

作者：Keyulu Xu, Mozhi Zhang, Jingling Li, Simon S. Du, Ken-ichi Kawarabayashi, Stefanie Jegelka

摘要：我們研究了通過梯度下降訓練的神經網絡如何外推，即它們在訓練分布的支持范圍之外學到了什么。以前的工作在用神經網絡外推時報告了混合的經驗結果：雖然多層感知器（MLP）在簡單任務中無法很好地推理，但圖神經網絡（GNN）是帶有MLP模塊的結構化網絡，在較復雜的任務中也有一定的成功。我們提供了理論上的解釋，并確定了MLP和GNN良好推斷的條件。我們首先顯示受梯度下降訓練的ReLU MLP沿原點的任何方向迅速收斂到線性函數，這表明ReLU MLP無法在大多數非線性任務中很好地推斷。另一方面，當訓練分布足夠“多樣化”時，ReLU MLP可以證明收斂到線性目標函數。這些觀察結果得出一個假設：如果我們在體系結構和輸入表示中編碼適當的非線性，則GNN可以很好地推斷出動態編程（DP）任務。我們為該假設提供理論和經驗支持。我們的理論解釋了先前的外推法成功并提出了其局限性：成功的外推法依賴于結合特定于任務的非線性，這通常需要領域知識或廣泛的模型搜索。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者：Dexiong Chen, Laurent Jacob, Julien Mairal

摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。

網址：

代碼鏈接：

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt

摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。

網址：

3. Haar Graph Pooling

作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址：

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon

摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址：

代碼鏈接：

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：