亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

屬性網絡嵌入的目的是結合網絡的拓撲結構和節點屬性學習低維節點表示。現有的大多數方法要么通過網絡結構傳播屬性，要么通過編碼-解碼器框架學習節點表示。然而，基于傳播的方法傾向于選擇網絡結構而不是節點屬性，而編碼-解碼器方法傾向于忽略近鄰之外的長連接。為了解決這些限制，同時得到這兩個方面的優點，我們設計了交叉融合層的無監督屬性網絡嵌入。具體來說，我們首先構建兩個獨立的視圖來處理網絡結構和節點屬性，然后設計跨融合層來實現兩視圖之間靈活的信息交換和集成。交叉融合層的關鍵設計目標有三方面:1)允許關鍵信息沿著網絡結構傳播;2)在傳播過程中對每個節點的局部鄰域進行異構編碼;3)加入額外的節點屬性通道，使屬性信息不被結構視圖所掩蓋。在三個數據集和三個下游任務上的大量實驗證明了該方法的有效性。

//cs.nju.edu.cn/yuanyao/static/wsdm2021.pdf

圖神經網絡具有很強的圖表示學習能力，在各種實際應用中取得了巨大的成功。GNN通過聚集和轉換節點鄰域內的信息來探索圖的結構和節點特征。但是，通過理論和實證分析，我們發現GNN的聚集過程會破壞原始特征空間中的節點相似性。在許多場景中，節點相似性起著關鍵作用。因此，本文提出的SimP-GCN框架可以在利用圖結構的同時有效地保持節點相似性。具體地說，為了平衡圖結構和節點特征信息，我們提出了一種自適應地集成圖結構和節點特征的特征相似性保持聚合。此外，我們使用自監督學習來顯式地捕捉復雜特征之間的相似性和差異性關系。在包括3個同選型圖和4個異選型圖的7個基準數據集上驗證了SimP-GCN的有效性。結果表明SimP-GCN優于代表性基線。進一步的研究顯示了所提議的框架的各種優點。

//arxiv.org/abs/2011.09643

在本文中，我們提出了一種端到端的圖學習框架，即迭代深度圖學習(IDGL)，用于共同迭代地學習圖結構和圖嵌入。IDGL的關鍵原理是學習基于更好的節點嵌入的更好的圖結構，反之亦然(即基于更好的圖結構的更好的節點嵌入)。我們的迭代方法動態停止時，學習圖接近足夠優化的圖預測任務。此外，我們將圖學習問題轉換為一個相似度量學習問題，并利用自適應圖正則化來控制學習圖的質量。最后，結合基于錨點的近似技術，我們進一步提出了一個可擴展的IDGL版本，即IDGL- anch，在不影響性能的前提下，顯著降低了IDGL的時間和空間復雜度。我們在9個基準上進行的廣泛實驗表明，我們提出的IDGL模型始終能夠優于或匹配最先進的基線。此外，IDGL還能更魯棒地處理對抗圖，并能同時處理傳導學習和歸納學習。

//arxiv.org/abs/2006.13009

圖神經網絡(GNNs)通常應用于靜態圖，這些靜態圖可以認為是預先已知的。這種靜態輸入結構通常完全由機器學習從業者的洞察力決定，對于GNN正在解決的實際任務可能不是最佳的。在缺乏可靠的領域專家知識的情況下，人們可能求助于推斷潛在的圖結構，但由于可能的圖的搜索空間很大，這往往是困難的。這里我們引入了點針圖網絡(PGNs)，它增加了集合或圖的推斷邊的能力，以提高模型的表達能力。PGNs允許每個節點動態地指向另一個節點，然后通過這些點針傳遞消息。這種可適應圖結構的稀疏性使學習變得容易處理，同時仍然具有足夠的表現力來模擬復雜的算法。關鍵的是，指向機制可以直接監督的，以對經典數據結構上的長期操作序列建模，并結合了來自理論計算機科學的有用的結構歸納偏差。定性地說，我們證明了PGNs可以學習基于點針的數據結構的可并行變體，即不相交集并和鏈接/修剪樹。PGNs在動態圖連通性任務中將分布外概括為5個較大的測試輸入，優于不受限制的GNNs和深度集合。

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：

圖神經網絡(GNNs)是一種強大的圖表示學習工具。然而，最近的研究表明，GNN很容易受到精心設計的干擾，即所謂的對抗攻擊。對抗攻擊可以很容易地愚弄GNN，使其無法預測后續任務。在對安全性要求很高的應用程序中應用GNN的脆弱性引起了越來越多的關注。因此，開發對抗攻擊的魯棒算法具有重要意義。為對抗攻擊辯護的一個自然的想法是清理受干擾的圖。很明顯，真實世界的圖具有一些內在的特性。例如，許多真實世界的圖是低秩和稀疏的，并且兩個相鄰節點的特征趨于相似。事實上，我們發現，對抗攻擊很可能會破壞這些圖的屬性。因此，在本文中，我們探討這些性質，以防御圖的對抗性攻擊。特別地，我們提出了一個通用的框架Pro-GNN，它可以聯合學習結構圖和魯棒圖神經網絡模型從攝動圖的這些屬性指導。在真實圖上的大量實驗表明，與最先進的防御方法相比，即使在圖受到嚴重干擾的情況下，所提出的框架也能獲得更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，用于對抗攻擊和防御

//github.com/DSE-MSU/DeepRobust。

復現我們的結果的具體實驗設置可以在

概述

圖是在許多領域中普遍存在的數據結構，例如化學(分子)、金融(交易網絡)和社交媒體(Facebook朋友網絡)。隨著它們的流行，學習有效的圖表示并將其應用于解決后續任務尤為重要。近年來，圖神經網絡(Graph Neural Networks, GNNs)在圖表示學習取得了巨大的成功(Li et al.， 2015;Hamilton，2017;Kipf and Welling, 2016a;Veli?kovi?et al ., 2018)。GNNs遵循消息傳遞方案(Gilmer et al.， 2017)，其中節點嵌入是通過聚合和轉換其鄰居的嵌入來獲得的。由于其良好的性能，GNNs已經應用于各種分析任務，包括節點分類(Kipf和Welling, 2016a)、鏈接預測(Kipf和Welling, 2016b)和推薦系統(Ying et al.， 2018)。

雖然已經取得了令人鼓舞的結果，但最近的研究表明，GNNs易受攻擊(Jin et al.， 2020;Zugner et al.， 2018;Zugner Gunnemann, 2019;Dai et al.， 2018;吳等，2019b)。換句話說，在圖中不明顯的擾動下，GNNs的性能會大大降低。這些模型缺乏健壯性，可能會對與安全和隱私相關的關鍵應用造成嚴重后果。例如，在信用卡欺詐檢測中，詐騙者可以創建多個交易，只有少數高信用用戶可以偽裝自己，從而逃避基于GNNs的檢測。因此，開發抗攻擊的穩健的GNN模型具有重要意義。修改圖數據可以擾亂節點特征或圖結構。然而，由于結構信息的復雜性，現有的對圖數據的攻擊主要集中在修改圖數據結構，特別是添加/刪除/重連邊(Xu et al.， 2019)。因此，在這項工作中，我們的目標是抵御對圖數據的最常見的攻擊設置，即，對圖結構的毒殺攻擊。在這種情況下，圖結構在訓練GNNs之前已經修改了邊，而節點特征沒有改變，這已經擾亂了圖結構。

設計有效防御算法的一個視角是對擾動圖進行清理，如刪除反向邊和恢復被刪除邊(Zhu et al.， 2019;Tang et al., 2019)。從這個角度來看，關鍵的挑戰是我們應該遵循什么標準來清除擾動圖。眾所周知，真實世界的圖通常具有某些特性。首先，許多真實世界的干凈圖是低秩和稀疏的(Zhou et al.， 2013)。例如，在社交網絡中，大多數個體只與少數鄰居連接，影響用戶之間連接的因素很少(Zhou et al., 2013; Fortunato, 2010)。其次，干凈圖中連接的節點可能具有相似的特征或屬性(或特征平滑度)(McPherson et al.， 2001)。例如，在一個引文網絡中，兩個相連的出版物經常共享相似的主題(Kipf Welling, 2016a)。圖1演示了干凈和中毒圖的這些屬性。具體來說，我們用了最先進的圖數據中毒攻擊metattack (Zugner和Gunnemann, 2019a)來擾亂圖數據，并在mettack之前和之后可視化圖的屬性。如圖(a)a所示，metattack擴大了鄰接矩陣的奇異值，圖(b)b說明metattack可以快速地增加鄰接矩陣的秩。此外，當我們分別從攝動圖中刪除對抗性邊和法線時，我們觀察到刪除對抗性邊比刪除法線更快地降低了秩，如圖(c)c所示。另外，我們在圖(d)d中描述了攻擊圖的連通節點特征差異的密度分布。可以看出，metattack傾向于連接特征差異較大的節點。圖1的觀察結果表明，對抗性攻擊可能破壞這些屬性。因此，這些性質有可能作為清除攝動圖的指導。然而，利用這些性質來建立魯棒圖神經網絡的研究還很有限。

本文旨在探討圖的稀疏性、低秩性和特征平滑性，設計魯棒的圖神經網絡。請注意，還有更多的屬性有待探索，我們希望將其作為未來的工作。從本質上講，我們面臨著兩個挑戰:(1)如何在這些屬性的引導下，從中毒的圖數據中學習干凈的圖結構;(二)如何將魯棒圖神經網絡的參數與凈結構聯合學習。為了解決這兩個問題，我們提出了一個通用的框架屬性GNN (Pro-GNN)來同時從攝動圖和GNN參數中學習干凈的圖結構，以抵御對抗攻擊。在各種真實世界圖形上的大量實驗表明，我們提出的模型能夠有效地防御不同類型的對抗攻擊，并優于最先進的防御方法。

對抗性攻擊會對圖數據產生精心設計的擾動。我們把精心設計的擾動稱為對抗性結構。對抗結構會導致GNNs的性能急劇下降。因此，為了防御競爭攻擊，一種自然的策略是消除精心設計的競爭結構，同時保持固有的圖結構。在本工作中，我們的目標是通過探索低秩、稀疏性和特征平滑性的圖結構特性來實現這一目標。該框架的示意圖如圖2所示，其中黑色的邊為普通邊，紅色的邊為攻擊者為降低節點分類性能而引入的對抗性邊。為了抵御攻擊，Pro-GNN通過保持圖的低秩性、稀疏性和特征平滑性，迭代地重構干凈圖，以減少對抗結構的負面影響。同時，為了保證重構圖能夠幫助節點分類，Pro-GNN通過求解交替模式下的優化問題，同時更新重構圖上的GNN參數。

圖神經網絡很容易被圖對抗攻擊所欺騙。為了防御不同類型的圖對抗攻擊，我們引入了一種新的防御方法Pro-GNN，該方法同時學習圖結構和GNN參數。我們的實驗表明，我們的模型始終優于最先進的基線，并提高了在各種對抗攻擊下的整體魯棒性。在未來，我們的目標是探索更多的屬性，以進一步提高GNNs的魯棒性。

主題： Graph Neural Networks with Composite Kernels

摘要： 近年來，對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡（GCN）之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中，節點聚合方案通常用于捕獲結構信息：節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是，大多數聚合方案都將圖中的所有連接均等化，而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合，并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后，我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成，以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡（GAT）。實驗結果表明，在一些實際應用中，我們提出的框架具有更好的性能。

主題： TOPOLOGY OF DEEP NEURAL NETWORKS

摘要： 我們研究數據集M=Ma∪Mb?Rd的拓撲結構如何表示二進制分類問題中的兩個類別a和b，如何通過經過良好訓練的神經網絡的層而發生變化，即在訓練集和接近零的泛化誤差（≈0.01％）。目的是揭示深層神經網絡的兩個奧秘：（i）像ReLU這樣的非平滑激活函數要優于像雙曲正切這樣的平滑函數； （ii）成功的神經網絡架構依賴于多層結構，即使淺層網絡可以很好地近似任意函數。我們對大量點云數據集的持久同源性進行了廣泛的實驗，無論是真實的還是模擬的。結果一致地證明了以下幾點：（1）神經網絡通過更改拓撲結構來運行，將拓撲復雜的數據集在穿過各層時轉換為拓撲簡單的數據集。無論M的拓撲多么復雜，當通過訓練有素的神經網絡f：Rd→Rp時，Ma和Mb的貝蒂數都會大大減少；實際上，它們幾乎總是減小到可能的最低值：對于k≥1和β0（f（Mi））= 1，i = a，b，βk（f（Mi））= 0。此外，（2）ReLU激活的Betti數減少比雙曲線切線激活快得多，因為前者定義了改變拓撲的非同胚映射，而后者定義了保留拓撲的同胚映射。最后，（3）淺層和深層網絡以不同的方式轉換數據集-淺層網絡主要通過更改幾何結構并僅在其最終層中更改拓撲來運行，而深層網絡則將拓撲變化更均勻地分布在所有層中。

 大量真實世界的圖或網絡本質上是異構的，涉及節點類型和關系類型的多樣性。異構圖嵌入是將異構圖的豐富結構和語義信息嵌入到低維節點表示中。現有的模型通常定義多個metapaths在異構圖捕捉復合關系和指導鄰居選擇。但是，這些模型要么忽略節點內容特性，要么沿著元路徑丟棄中間節點，要么只考慮一個元路徑。為了解決這三個局限性，我們提出了一種新的集合圖神經網絡模型來提高最終性能。具體來說，MAGNN使用了三個主要組件，即，節點內容轉換封裝輸入節點屬性，元內聚合合并中間語義節點，元間聚合合并來自多個元的消息。在三個真實世界的異構圖數據集上進行了大量的節點分類、節點聚類和鏈路預測實驗，結果表明MAGNN的預測結果比最先進的基線更準確。