亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡在處理基于圖數據問題方面取得了巨大的成功，受到了廣泛的關注和應用。GNNs通常是基于消息傳遞的方式設計的，本質思想即迭代地聚合鄰居信息，而經過次的迭代后， 層GNNs能夠捕獲節點的K-hop局部結構，學習來自跳鄰居的信息。因此更深層的GNN就能夠訪問更多的鄰居信息，學習與建模遠距離的節點關系，從而獲得更好的表達能力與性能。而在實際在做深層GNN操作時，往往會面臨著兩類問題：1. 隨著層數的增加，GNNs的性能會大幅下降；2. 隨著層數的增加，利用GNNs進行訓練與推斷時需要的計算量會指數上升。對于第一個問題來說，現有的很多工作分析出深層GNNs性能下降的原因是受到了過平滑問題的影響，并提出了緩解過平滑的解決方案；而對于第二個問題來說，設計方案模擬深層GNNs的表現能力并減少GNNs的計算消耗也成了亟待解決的需求，比如用于實時系統的推斷。針對這兩個問題，本文將分別介紹兩個在KDD 2020上的關于深度GNNs的最新工作。

第一個工作是Research Track的《Towards Deeper Graph Neural Networks》。該工作從另一個角度去解讀深度圖神經網絡隨著層數增加性能下降的問題，認為影響性能下降的主要原因是Transformation和Propagation兩個過程的糾纏影響作用，并且基于分析結果設計了深度自適應圖神經網絡（Deep Adaptive Graph Neural Networks) 模型，能夠有效地緩解深層模型的性能快速下降問題。

第二個工作是Research Track的《TinyGNN: Learning E?icient Graph Neural Networks》。該工作嘗試訓練small GNN(淺層)去模擬Deep GNN(深層)的表達能力和表現效果，致力于應用在實時系統推斷等對推斷速度有較高要求的場景。

圖神經網絡在圖表示學習領域取得了顯著的成功。圖卷積執行鄰域聚合，并表示最重要的圖運算之一。然而，這些鄰域聚合方法的一層只考慮近鄰，當進一步啟用更大的接受域時，性能會下降。最近的一些研究將這種性能下降歸因于過度平滑問題，即重復傳播使得不同類的節點表示無法區分。在這項工作中，我們系統地研究這一觀察結果，并對更深的圖神經網絡發展新的見解。本文首先對這一問題進行了系統的分析，認為當前圖卷積運算中表示變換與傳播的糾纏是影響算法性能的關鍵因素。將這兩種操作解耦后，更深層次的圖神經網絡可用于從更大的接受域學習圖節點表示。在建立深度模型時，我們進一步對上述觀察結果進行了理論分析，這可以作為過度平滑問題的嚴格而溫和的描述。在理論和實證分析的基礎上，我們提出了深度自適應圖神經網絡(DAGNN)，以自適應地吸收來自大接受域的信息。一組關于引文、合著和共購數據集的實驗證實了我們的分析和見解，并展示了我們提出的方法的優越性。

//arxiv.org/abs/2007.09296

Transformers 在自然語言處理(NLP)任務中是普遍存在的，但由于計算量大，很難部署到硬件上。為了在資源受限的硬件平臺上實現低延遲推理，我們提出使用神經架構搜索設計硬件感知轉換器(HAT)。我們首先構造了一個具有任意編碼-解碼器關注和異構層的大設計空間。然后我們訓練一個超級Transformers，它能覆蓋設計空間中的所有候選Transformers ，并有效地產生許多具有重量共享的次級Transformers。最后，我們執行帶有硬件延遲約束的進化搜索，以找到專用于在目標硬件上快速運行的專用子轉換器。對四種機器翻譯任務的大量實驗表明，HAT可以發現不同硬件(CPU、GPU、IoT設備)的有效模型。在Raspberry Pi-4上運行WMT’14翻譯任務時，HAT可以實現3×加速，3.7×比基準Transformer小;2.7×加速，比進化后的Transformer小3.6倍，搜索成本低12,041倍，沒有性能損失。

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：

主題： The resurgence of structure in deep neural networks

摘要： 使用深度神經網絡的機器學習（“深度學習”）可以直接從原始輸入數據中學習復雜的特征，從而完全消除了從學習管道中提取的手工制作的“硬編碼”特征。這導致在多個（以前是脫節的）問題域中實現了最先進的性能，包括計算機視覺，自然語言處理，強化學習和生成建模。這些成功案例幾乎都與大量具有標簽的訓練示例（“大數據”）的可用性并駕齊驅，這些示例具有簡單的網格狀結構（例如文本或圖像），可通過卷積層或循環層加以利用。這是由于神經網絡中的自由度數量眾多，使得它們的泛化能力容易受到諸如過度擬合之類的影響。但是，在許多領域中，廣泛的數據收集并不總是合適，負擔得起甚至不可行的。此外，數據通常以更復雜的結構進行組織-大多數現有方法都將簡單地丟棄這些結構。在生物醫學領域，這類任務的例子很多。與可用于任何給定臨床研究的少量受試者，或通過相互作用網絡指定的蛋白質之間的關系。我假設，如果深度學習要在這樣的環境中發揮其全部潛能，我們需要重新考慮“硬編碼”方法-通過結構歸納將關于輸入數據中固有結構的假設直接整合到我們的體系結構和學習算法中偏見。在本文中，我通過開發三種注入結構的神經網絡體系結構（對稀疏多峰和圖結構化數據進行操作），以及圖神經網絡的結構知悉學習算法，直接證明了這一假設，證明了傳統基線模型和算法。

深度學習被廣泛應用于自然語言處理、計算機視覺和無人駕駛等領域，引領了新一輪的人工智能浪潮。然而，深度學習也被用于構建對國家安全、社會穩定和個人隱私等造成潛在威脅的技術，如近期在世界范圍內引起廣泛關注的深度偽造技術能夠生成逼真的虛假圖像及音視頻內容。本文介紹了深度偽造的背景及深度偽造內容生成原理，概述和分析了針對不同類型偽造內容（圖像、視頻、音頻等）的檢測方法和數據集，最后展望了深度偽造檢測和防御未來的研究方向和面臨的挑戰。

主題： TOPOLOGY OF DEEP NEURAL NETWORKS

摘要： 我們研究數據集M=Ma∪Mb?Rd的拓撲結構如何表示二進制分類問題中的兩個類別a和b，如何通過經過良好訓練的神經網絡的層而發生變化，即在訓練集和接近零的泛化誤差（≈0.01％）。目的是揭示深層神經網絡的兩個奧秘：（i）像ReLU這樣的非平滑激活函數要優于像雙曲正切這樣的平滑函數； （ii）成功的神經網絡架構依賴于多層結構，即使淺層網絡可以很好地近似任意函數。我們對大量點云數據集的持久同源性進行了廣泛的實驗，無論是真實的還是模擬的。結果一致地證明了以下幾點：（1）神經網絡通過更改拓撲結構來運行，將拓撲復雜的數據集在穿過各層時轉換為拓撲簡單的數據集。無論M的拓撲多么復雜，當通過訓練有素的神經網絡f：Rd→Rp時，Ma和Mb的貝蒂數都會大大減少；實際上，它們幾乎總是減小到可能的最低值：對于k≥1和β0（f（Mi））= 1，i = a，b，βk（f（Mi））= 0。此外，（2）ReLU激活的Betti數減少比雙曲線切線激活快得多，因為前者定義了改變拓撲的非同胚映射，而后者定義了保留拓撲的同胚映射。最后，（3）淺層和深層網絡以不同的方式轉換數據集-淺層網絡主要通過更改幾何結構并僅在其最終層中更改拓撲來運行，而深層網絡則將拓撲變化更均勻地分布在所有層中。

題目

二值神經網絡綜述，Binary Neural Networks: A Survey

關鍵詞

二進制神經網絡，深度學習，模型壓縮，網絡量化，模型加速

簡介

二進制神經網絡在很大程度上節省了存儲和計算成本，是一種在資源有限的設備上部署深度模型的有前途的技術。 然而，二值化不可避免地導致嚴重的信息丟失，甚至更糟的是，其不連續性給深度網絡的優化帶來了困難。 為了解決這些問題，近年來提出了多種算法，并取得了令人滿意的進展。 在本文中，我們對這些算法進行了全面的概述，主要分為直接進行二值化的本機解決方案，以及使用使量化誤差最小化，改善網絡損耗函數和減小梯度誤差等技術進行優化的解決方案。 我們還將研究二進制神經網絡的其他實用方面，例如硬件友好的設計和訓練技巧。 然后，我們對不同的任務進行了評估和討論，包括圖像分類，對象檢測和語義分割。 最后，展望了未來研究可能面臨的挑戰。

作者

Haotong Qina , Ruihao Gonga , Xianglong Liu?a,b, Xiao Baie , Jingkuan Songc , Nicu Sebe