亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

數據挖掘領域的國際會議WSDM將于2020年2月3日-2月7日在美國休斯敦召開，WSDM 2020全稱為第13屆國際互聯網搜索與數據挖掘會議（The 13th International Conference on Web Search and Data Mining, WSDM 2020）。WSDM是CCF推薦的B類國際學術會議，由SIGIR、SIGKDD、SIGMOD和SIGWEB四個專委會協調籌辦，在互聯網搜索、數據挖掘領域享有較高學術聲譽。這次會議共收到來自615篇長文投稿，僅有91篇長文被錄用，錄用率約15%。

為此小編特意整理了近期五篇圖神經網絡（GNN）相關的接收論文，讓大家先睹為快。

1. A Structural Graph Representation Learning Framework

作者：Ryan A. Rossi, Nesreen K. Ahmed, Eunyee Koh, Sungchul Kim, Anup Rao and Yasin Abbasi-Yadkori;

摘要：許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入，而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中，我們闡述了高階網絡表示學習，并提出了一個稱為HONE的通用框架，用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法，該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外，HONE被證明是快速和有效的，最壞情況下的時間復雜度幾乎是線性的。實驗結果表明，該算法能有效地處理大量的網絡日志數據，包括鏈接預測和visitor stitching。

網址： //ryanrossi.com/pubs/WSDM20-structural-node-embedding-framework.pdf

2. Initialization for Network Embedding: A Graph Partition Approach

作者：Wenqing Lin, Feng He, Faqiang Zhang, Xu Cheng and Hongyun Cai;

摘要：網絡嵌入已經在文獻中得到了深入的研究，并廣泛用于各種應用中，如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制，但常常忽略了學習過程中對初始化策略的討論。在這項工作中，我們解決了這個重要的網絡嵌入初始化問題，它可以顯著地提高算法的有效性和效率。具體來說，我們首先利用graph partition技術將圖劃分為幾個不相交的子集，然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入，得到圖中每個節點的嵌入初始化，abstract graph上的網絡嵌入比輸入圖小得多，然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗，我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能，分別提高了7.76%和8.74%。此外，我們證明了初始化技術至少減少了20%的運行時間。

網址：

3. Dynamic graph representation learning via self-attention networks

作者：Aravind Sankar, Yanhong Wu, Liang Gou, Wei Zhang and Hao Yang;

摘要：學習圖中節點的潛在表示是一項重要且普遍存在的任務，在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上，而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中，我們提出了Dynamic Self-Attention Network (DySAT)，這是一種新型的神經架構，它操作在動態圖上，并學習節點表示，以捕捉結構特性和時間演化模式。具體來說，DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗：通信網絡和二分評級網絡。我們的實驗結果表明，DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。

網址：

4. Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

作者：Carl Yang, Jieyu Zhang, Haonan Wang, Sha Li, Myungwan Kim, Ma? Walker, Yiou Xiao and Jiawei Han;

摘要：盡管節點語義已在社交網絡中得到了廣泛的探索，但對邊緣語義即社會關系的研究很少受到關注。理想的邊緣語義不僅應該顯示兩個用戶是連接的，而且還應該說明他么為什么彼此認識以及共享什么。然而，由于嘈雜的多模態信號和有限的用戶生成的ground-truth標簽，社交網絡中的關系往往很難分析。

在這項工作中，我們的目標是開發一個統一的且有原則的框架，通過在有噪聲和不完整數據存在的情況下整合多模態信號，將用戶關系描述為社交網絡中的邊緣語義。我們的框架對于半監督或無監督的情況也是靈活的。具體地說，我們假定每個用戶鏈接下的多個關系的潛在分布，并使用多模態圖邊緣變分自動編碼器來學習它們。我們用一個圖卷積網絡對網絡數據進行編碼，用多個重構網絡對任意信號進行解碼。在兩個公開的DBLP author network和兩個internal LinkedIn member network上的大量實驗和案例研究證明了我們提出的模型的優越性和有效性。

網址：

5. Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning

作者：Xianfeng Tang, Yandong Li, Yiwei Sun, Huaxiu Yao, Prasenjit Mitra and Suhang Wang;

摘要：圖神經網絡(GNNs)有著廣泛的應用。然而，他們在對抗攻擊的魯棒性方面是不行的。先前的研究表明，對圖拓撲或節點特征使用不明顯的修改會大大降低GNN的性能。設計強大的圖神經網絡以防止poisoning attack是一項非常具有挑戰性的工作。現有工作的目標是僅使用poisoned圖來減少adversarial edge的負面影響，這是次優的，因為它們無法區分adversarial edge和normal edge。另一方面，來自與目標poisoned圖類似領域的clean圖在現實世界中通常是可用的。通過擾動這些clean圖，我們創建了監督知識來訓練檢測adversarial edge的能力，從而提高了GNN的魯棒性。然而，現有的工作忽略了這種clean圖的潛力。為此，我們研究了一個新的問題，通過研究clean圖來提高GNNs對poisoning attack的魯棒性。具體而言，我們提出了PA-GNN，它基于一種懲罰性聚合機制，通過分配較低的注意力系數來直接限制adversarial edge的負面影響。為了優化一個poisoned圖的PA-GNN，我們設計了一種meta-optimization算法，訓練PA-GNN使用clean圖和其adversarial圖懲罰擾動，并將這種能力遷移到poisoned圖上，以提高PA-GNN的魯棒性。在四個真實數據集上的實驗結果證明了PA-GNN對圖數據poisoning attack的魯棒性。

網址：

論文鏈接： 提取碼：uzby

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。 但是，大量的網絡數據為有效分析帶來了巨大的挑戰。 因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。 圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。
• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。
• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。
• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。 傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、 Deep variational network embedding in wasserstein space

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、 Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普??拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。 DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。 DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。

題目： Group Representation Theory for Knowledge Graph Embedding

摘要： 最近，知識圖譜嵌入已經成為一種流行的建模和推斷缺失鏈接的方法。本文提出了一種知識圖譜嵌入的群論觀點，將以往的方法與不同的群作用聯系起來。此外，利用群表示理論中的Schur引理，我們證明了最新的嵌入方法RotatE具有從任意有限阿貝爾群建立關系的能力

作者簡介： Chen Cai，俄亥俄州立大學計算機科學與工程系博士。他的研究興趣在于圖表示學習和拓撲數據分析。

NeurIPS 2019（Neural Information Processing Systems）將在12月8日-14日在加拿大溫哥華舉行。NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一，每年全球的人工智能愛好者和科學家都會在這里聚集，發布最新研究。今天小編整理了表示學習相關論文。

1. Self-attention with Functional Time Representation Learning

作者： Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan

摘要：在自然語言處理中，具有self-attention的序列模型已經取得了很好的效果。self-attention具有模型靈活性、計算復雜性和可解釋性等優點，正逐漸成為事件序列模型的重要組成部分。然而，像大多數其他的序列模型一樣，自我注意并不能解釋事件之間的時間跨度，因此它捕捉的是序列信號而不是時間模式。在不依賴遞歸網絡結構的情況下，self-attention通過位置編碼來識別事件的順序。為了彌補時間無關和時間相關事件序列建模之間的差距，我們引入了一個嵌入時間跨度到高維空間的功能特征映射。通過構造相關的平移不變時間核函數，揭示了經典函數函數分析結果下特征圖的函數形式，即Bochner定理和Mercer定理。我們提出了幾個模型來學習函數性時間表示以及與事件表示的交互。這些方法是在各種連續時間事件序列預測任務下對真實數據集進行評估的。實驗結果表明，所提出的方法與基線模型相比，具有更好的性能，同時也能捕獲有用的時間-事件交互。
論文鏈接：
//papers.nips.cc/paper/9720-self-attention-with-functional-time-representation-learning

2. Large Scale Adversarial Representation Learning

作者：Jeff Donahue, Karen Simonyan

摘要：對抗訓練生成模型(GANs)最近取得了引人注目的圖像合成結果。GANs在無監督的表現學習中盡管在早期取得了的成功，但是它們已經被基于自監督的方法所取代。在這項工作中，我們證明了圖像生成質量的進步轉化為極大地改進了表示學習性能。我們的方法BigBiGAN建立在最先進的BigGAN模型之上，通過添加編碼器和修改鑒別器將其擴展到表示學習。我們廣泛地評估了這些BigBiGAN模型的表示學習和生成能力，證明了這些基于生成的模型在ImageNet的無監督表示學習方面達到了最新的水平，并在無條件生成圖像方面取得了令人信服的結果。

論文鏈接：

3. Rethinking Kernel Methods for Node Representation Learning on Graphs

作者：Yu Tian, Long Zhao, Xi Peng, Dimitris Metaxas

摘要：圖核是度量圖相似性的核心方法，是圖分類的標準工具。然而，作為與圖表示學習相關的一個問題，使用核方法進行節點分類仍然是不適定的，目前最先進的方法大多基于啟發式。在這里，我們提出了一個新的基于核的節點分類理論框架，它可以彌補這兩個圖上表示學習問題之間的差距。我們的方法是由圖核方法驅動的，但是擴展到學習捕獲圖中結構信息的節點表示。我們從理論上證明了我們的公式與任何半正定核一樣強大。為了有效地學習內核，我們提出了一種新的節點特征聚合機制和在訓練階段使用的數據驅動的相似度度量。更重要的是，我們的框架是靈活的，并補充了其他基于圖形的深度學習模型，如圖卷積網絡(GCNs)。我們在一些標準節點分類基準上對我們的方法進行了經驗評估，并證明我們的模型設置了最新的技術狀態。
論文鏈接：

4. Continual Unsupervised Representation Learning

作者：Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell

摘要：持續學習旨在提高現代學習系統處理非平穩分布的能力，通常是通過嘗試按順序學習一系列任務。該領域的現有技術主要考慮監督或強化學習任務，并經常假設對任務標簽和邊界有充分的認識。在這項工作中，我們提出了一種方法(CURL)來處理一個更普遍的問題，我們稱之為無監督連續學習。重點是在不了解任務身份的情況下學習表示，我們將探索任務之間的突然變化、從一個任務到另一個任務的平穩過渡，甚至是數據重組時的場景。提出的方法直接在模型中執行任務推斷，能夠在其生命周期內動態擴展以捕獲新概念，并結合其他基于排練的技術來處理災難性遺忘。我們用MNIST和Omniglot演示了CURL在無監督學習環境中的有效性，在這種環境中，沒有標簽可以確保沒有關于任務的信息泄露。此外，與現有技術相比，我們在i.i.中表現出了較強的性能。在i.i.d的設置下，或將該技術應用于監督任務(如漸進式課堂學習)時。 論文鏈接：

5. Unsupervised Scalable Representation Learning for Multivariate Time Series

作者： Jean-Yves Franceschi, Aymeric Dieuleveut, Martin Jaggi

摘要：由于時間序列在實際應用中具有高度可變的長度和稀疏標記，因此對機器學習算法而言，時間序列是一種具有挑戰性的數據類型。在本文中，我們提出了一種學習時間序列通用嵌入的無監督方法來解決這一問題。與以前的工作不同，它的長度是可伸縮的，我們通過深入實驗和比較來展示學習表示的質量、可移植性和實用性。為此，我們將基于因果擴張卷積的編碼器與基于時間負采樣的新三重態損耗相結合，獲得了可變長度和多元時間序列的通用表示。
論文鏈接：

6. A Refined Margin Distribution Analysis for Forest Representation Learning

作者：Shen-Huan Lyu, Liang Yang, Zhi-Hua Zhou

摘要：在本文中，我們將森林表示學習方法casForest作為一個加法模型，并證明當與邊際標準差相對于邊際均值的邊際比率足夠小時，泛化誤差可以以O(ln m/m)為界。這激勵我們優化比例。為此，我們設計了一種邊際分布的權重調整方法，使深林模型的邊際比較小。實驗驗證了邊緣分布與泛化性能之間的關系。我們注意到，本研究從邊緣理論的角度對casForest提供了一個新的理解，并進一步指導了逐層的森林表示學習。

論文鏈接：

7. Adversarial Fisher Vectors for Unsupervised Representation Learning

作者：Shuangfei Zhai, Walter Talbott, Carlos Guestrin, Joshua Susskind

摘要：我們通過基于深度能量的模型(EBMs)來研究生成對抗網絡(GANs)，目的是利用從這個公式推導出的密度模型。與傳統的鑒別器在達到收斂時學習一個常數函數的觀點不同，這里我們證明了它可以為后續的任務提供有用的信息，例如分類的特征提取。具體來說，在EBM公式中，鑒別器學習一個非歸一化密度函數(即，負能量項)，它描述了數據流形。我們建議通過從EBM中獲得相應的Fisher分數和Fisher信息來評估生成器和鑒別器。我們證明了通過假設生成的示例形成了對學習密度的估計，費雪信息和歸一化費雪向量都很容易計算。我們還證明了我們能夠推導出例子之間和例子集之間的距離度量。我們進行的實驗表明，在分類和感知相似性任務中，甘氏神經網絡誘導的費雪向量作為無監督特征提取器表現出了競爭力。代碼地址：
論文鏈接：

8. vGraph: A Generative Model for Joint Community Detection and Node Representation Learning

作者：Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang

摘要：本文重點研究了圖數據分析的兩個基本任務:社區檢測和節點表示學習，它們分別捕獲圖數據的全局結構和局部結構。在現有的文獻中，這兩個任務通常是獨立研究的，但實際上是高度相關的。提出了一種協作學習社區成員和節點表示的概率生成模型vGraph。具體地說，我們假設每個節點都可以表示為群落的混合，并且每個群落都定義為節點上的多項分布。混合系數和群落分布均由節點和群落的低維表示參數化。我們設計了一種有效的變分推理算法，通過反向傳播進行優化，使相鄰節點的社區成員關系在潛在空間中相似。在多個真實圖上的實驗結果表明，vGraph在社區檢測和節點表示學習兩方面都非常有效，在兩方面都優于許多有競爭力的基線。結果表明，該vGraph框架具有良好的靈活性，可以方便地擴展到層次社區的檢測。
論文鏈接：

題目： Representation Learning on Graphs: Methods and Applications

摘要：

圖機器學習是一項重要且普遍存在的任務，其應用范圍從藥物設計到社交網絡中的友情推薦。這個領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型能夠輕松地利用它。傳統上，機器學習方法依賴于用戶定義的啟發法來提取對圖的結構信息進行編碼的特征(例如，度統計或內核函數)。然而，近年來，使用基于深度學習和非線性降維的技術，自動學習將圖結構編碼為低維嵌入的方法激增。在這里，我們提供了一個概念上的回顧，在這一領域的關鍵進展，圖表示學習，包括基于矩陣分解的方法，隨機漫步的算法和圖神經網絡。我們回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。在此過程中，我們開發了一個統一的框架來描述這些最近的方法，并強調了一些重要的應用程序和未來工作的方向。

作者簡介：

William L. Hamilton是麥吉爾大學計算機科學的助理教授，也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton開發的機器學習模型可以對這個復雜的、相互聯系的世界進行推理。研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域，目前的重點是快速發展的圖表示學習和圖神經網絡。

Rex Ying是斯坦福大學計算機科學二年級的博士生，研究主要集中在開發應用于圖形結構數據的機器學習算法。曾致力于開發可擴展到網絡規模數據集的廣義圖卷積網絡，應用于推薦系統、異常檢測和生物學。

題目： Attention Models in Graphs: A Survey

摘要： 圖結構數據自然地出現在許多不同的應用領域。通過將數據表示為圖形，我們可以捕獲實體（即節點）以及它們之間的關系（即邊）。許多有用的見解可以從圖形結構的數據中得到，這一點已被越來越多的關注于圖形挖掘的工作所證明。然而，在現實世界中，圖可以是大的-有許多復雜的模式-和噪聲，這可能會給有效的圖挖掘帶來問題。解決這一問題的一個有效方法是將“注意力”融入到圖挖掘解決方案中。注意機制允許一個方法關注圖中與任務相關的部分，幫助它做出更好的決策。在這項工作中，我們對圖形注意模型這一新興領域的文獻進行了全面而集中的調查。我們介紹了三個直觀的分類組現有的工作。它們基于問題設置（輸入和輸出類型）、使用的注意機制類型和任務（例如，圖形分類、鏈接預測等）。我們通過詳細的例子來激勵我們的分類法，并使用每種方法從一個獨特的角度來調查競爭方法。最后，我們強調了該領域的幾個挑戰，并討論了未來工作的前景。

作者簡介： Ryan A. Rossi，目前在Adobe Research工作，研究領域是機器學習；涉及社會和物理現象中的大型復雜關系（網絡/圖形）數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。

Nesreen K. Ahmed，英特爾實驗室的高級研究員。她在普渡大學計算機科學系獲得博士學位，在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘，涵蓋了大規模圖挖掘、統計機器學習的理論和算法，以及它們在社會和信息網絡中的應用。

題目： Network Representation Learning: A Survey

摘要：

隨著信息技術的廣泛應用，信息網絡越來越受到人們的歡迎，它可以捕獲各種學科之間的復雜關系，如社交網絡、引用網絡、電信網絡和生物網絡。對這些網絡的分析揭示了社會生活的不同方面，如社會結構、信息傳播和交流模式。然而，在現實中，大規模的信息網絡往往使網絡分析任務計算昂貴或難以處理。網絡表示學習是近年來提出的一種新的學習范式，通過保留網絡拓撲結構、頂點內容和其它邊信息，將網絡頂點嵌入到低維向量空間中。這有助于在新的向量空間中方便地處理原始網絡，以便進行進一步的分析。在這項調查中，我們全面回顧了目前在數據挖掘和機器學習領域的網絡表示學習的文獻。我們提出了新的分類法來分類和總結最先進的網絡表示學習技術，根據潛在的學習機制、要保留的網絡信息、以及算法設計和方法。我們總結了用于驗證網絡表示學習的評估協議，包括已發布的基準數據集、評估方法和開源算法。我們還進行了實證研究，以比較代表性的算法對常見數據集的性能，并分析其計算復雜性。最后，我們提出有希望的研究方向，以促進未來的研究。

作者簡介：

Xingquan Zhu是佛羅里達大西洋大學計算機與電氣工程和計算機科學系的教授，在中國上海復旦大學獲得了計算機科學博士學位。曾在多家研究機構和大學工作過，包括微軟亞洲研究院(實習)、普渡大學、佛蒙特大學和悉尼科技大學。主要研究方向:數據挖掘、機器學習、多媒體系統、生物信息學。

論文題目： Dynamic graph representation learning via self-attention networks

論文摘要： 學習圖中節點的潛在表示是一項重要且普遍存在的任務，在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上，而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中，我們提出了Dynamic Self-Attention Network (DySAT)，這是一種新型的神經架構，它操作在動態圖上，并學習節點表示，以捕捉結構特性和時間演化模式。具體來說，DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗：通信網絡和二分評級網絡。我們的實驗結果表明，DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。

作者簡介： 武延宏，Visa Research的研究員。在加入Visa之前，他是IBM T.J.Watson研究中心的博士后研究員，負責金融領域的異常檢測和分析。他還曾在Aviz | INRIA和Microsoft Research Asia擔任訪問學者，專注于大型圖挖掘和可視化。他于2013年6月從香港理工大學獲得博士學位，并于2013年6月在復旦大學軟件學院獲得學士學位。他的研究興趣包括圖形建模、深入學習和可視化分析。等

論文題目： Initialization for Network Embedding: A Graph Partition Approach

論文摘要： 網絡嵌入已經在文獻中得到了深入的研究，并廣泛用于各種應用中，如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制，但常常忽略了學習過程中對初始化策略的討論。在這項工作中，我們解決了這個重要的網絡嵌入初始化問題，它可以顯著地提高算法的有效性和效率。具體來說，我們首先利用graph partition技術將圖劃分為幾個不相交的子集，然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入，得到圖中每個節點的嵌入初始化，abstract graph上的網絡嵌入比輸入圖小得多，然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗，我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能，分別提高了7.76%和8.74%。此外，我們證明了初始化技術至少減少了20%的運行時間。

作者簡介： Wenqing Lin，騰訊高級研究員，新加坡南洋理工大學計算機科學系博士。

題目： Learning Representations via Graph-structured Networks

報告簡介： 近年來，在無數的計算機視覺任務中，采用卷積神經網絡（ConvNets）的數量急劇增加。卷積的結構被證明在許多任務中都很強大，可以捕獲圖像像素中的相關性和抽象概念。但是，當計算機視覺處理更困難的AI任務時，ConvNets也被證明缺乏建模許多屬性的能力。這些屬性包括成對關系，全局上下文以及處理超出空間網格的不規則數據的能力。

一個有效的方向是根據手頭的任務來重新組織要使用圖形處理的數據，同時構建網絡模塊，這些模塊在圖形中的可視元素之間關聯和傳播信息。我們稱這些網絡為傳播模塊，稱為圖結構網絡。在本教程中，我們將介紹一系列有效的圖結構網絡，包括非局部神經網絡，空間傳播網絡，稀疏高維CNN和場景圖網絡。我們還將討論許多視覺問題中仍然存在的相關開放挑戰。

報告目錄：

• 可學習的空間傳播網絡
• 學習圖表示
• 場景圖生成及其在視覺和語言任務中的應用
• 稀疏高維和內容自適應卷積

部分嘉賓介紹：

Xiaolong Wang，將于2020年秋天加入圣地亞哥圣地亞哥分校（ECE）部門擔任助理教授。 目前是加州大學伯克利分校的博士后，與Alexei Efros和Trevor Darrell一起工作。 在卡內基梅隆大學（Carnegie Mellon University）獲得機器人學博士學位，博導是Abhinav Gupta。

 ，英偉達研究員，博士就讀于加州大學默塞德分校，與楊明教授一起研究計算機視覺，深度學習以及兩者的結合。曾于2015年在香港中文大學的多媒體實驗室（MMLAB）和2017年NVIDIA Research擔任實習生。