論文題目: Initialization for Network Embedding: A Graph Partition Approach
論文摘要: 網絡嵌入已經在文獻中得到了深入的研究,并廣泛用于各種應用中,如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制,但常常忽略了學習過程中對初始化策略的討論。在這項工作中,我們解決了這個重要的網絡嵌入初始化問題,它可以顯著地提高算法的有效性和效率。具體來說,我們首先利用graph partition技術將圖劃分為幾個不相交的子集,然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入,得到圖中每個節點的嵌入初始化,abstract graph上的網絡嵌入比輸入圖小得多,然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗,我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能,分別提高了7.76%和8.74%。此外,我們證明了初始化技術至少減少了20%的運行時間。
作者簡介: Wenqing Lin,騰訊高級研究員,新加坡南洋理工大學計算機科學系博士。
題目: A Survey on Dynamic Network Embedding
簡介:
現實世界的網絡由各種相互作用和不斷發展的實體組成,而大多數現有研究只是將它們描述為特定的靜態網絡,而沒有考慮動態網絡的發展趨勢。近來,在跟蹤動態網絡特性方面取得了重大進展,它利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與靜態網絡嵌入方法相比,動態網絡嵌入致力于將節點編碼為低維密集表示形式,從而有效地保留了網絡結構和時間動態特性,這對眾多下游機器學習任務是有益的。在本文中,我們對動態網絡嵌入進行了系統的調查。特別是,描述了動態網絡嵌入的基本概念,特別是,我們首次提出了一種基于現有動態網絡嵌入技術的新分類法,包括基于矩陣分解的方法,基于Skip-Gram的方法,基于自動編碼器,基于神經網絡和其他嵌入方法。此外,我們仔細總結了常用的數據集以及動態網絡嵌入可以帶來的各種后續任務。之后,我們提出了現有算法面臨的幾個挑戰,并概述了促進未來研究的可能方向,例如動態嵌入模型,大規模動態網絡,異構動態網絡,動態屬性網絡,面向任務的動態網絡嵌入和更多的嵌入空間。
題目: Hyperbolic Graph Attention Network
摘要: 圖神經網絡(GNN)在圖處理方面表現出了優越的性能,近年來引起了人們的廣泛關注。然而,大多數現有的GNN模型主要是為歐幾里得空間中的圖設計的。最近的研究已經證明,圖數據顯示非歐幾里得潛在的解剖學。不幸的是,到目前為止,很少有研究GNN在非歐幾里得的設置。為了彌補這一缺陷,本文首次對雙曲空間中具有注意機制的GNN進行了研究。雙曲GNN的研究有一些獨特的挑戰:由于雙曲空間不是向量空間,不能進行向量操作(如向量的加法、減法和標量乘法)。為了解決這個問題,我們使用回旋向量空間,它提供了一個優雅的代數形式的雙曲幾何,以轉換圖的特征;在此基礎上,我們提出了基于雙曲接近的注意力聚合機制。此外,由于雙曲空間中的數學運算比歐幾里得空間中的更為復雜,我們進一步設計了一種新的利用對數和指數映射的加速策略來提高模型的效率。通過與其他最先進的基線方法的比較,發現在四個真實數據集上的綜合實驗結果證明了我們提出的雙曲圖注意力網絡模型的性能。
數據挖掘領域的國際會議WSDM將于2020年2月3日-2月7日在美國休斯敦召開,WSDM 2020全稱為第13屆國際互聯網搜索與數據挖掘會議(The 13th International Conference on Web Search and Data Mining, WSDM 2020)。WSDM是CCF推薦的B類國際學術會議,由SIGIR、SIGKDD、SIGMOD和SIGWEB四個專委會協調籌辦,在互聯網搜索、數據挖掘領域享有較高學術聲譽。這次會議共收到來自615篇長文投稿,僅有91篇長文被錄用,錄用率約15%。
為此小編特意整理了近期五篇圖神經網絡(GNN)相關的接收論文,讓大家先睹為快。
1. A Structural Graph Representation Learning Framework
作者:Ryan A. Rossi, Nesreen K. Ahmed, Eunyee Koh, Sungchul Kim, Anup Rao and Yasin Abbasi-Yadkori;
摘要:許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入,而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中,我們闡述了高階網絡表示學習,并提出了一個稱為HONE的通用框架,用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法,該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外,HONE被證明是快速和有效的,最壞情況下的時間復雜度幾乎是線性的。實驗結果表明,該算法能有效地處理大量的網絡日志數據,包括鏈接預測和visitor stitching。
網址: //ryanrossi.com/pubs/WSDM20-structural-node-embedding-framework.pdf
2. Initialization for Network Embedding: A Graph Partition Approach
作者:Wenqing Lin, Feng He, Faqiang Zhang, Xu Cheng and Hongyun Cai;
摘要:網絡嵌入已經在文獻中得到了深入的研究,并廣泛用于各種應用中,如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制,但常常忽略了學習過程中對初始化策略的討論。在這項工作中,我們解決了這個重要的網絡嵌入初始化問題,它可以顯著地提高算法的有效性和效率。具體來說,我們首先利用graph partition技術將圖劃分為幾個不相交的子集,然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入,得到圖中每個節點的嵌入初始化,abstract graph上的網絡嵌入比輸入圖小得多,然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗,我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能,分別提高了7.76%和8.74%。此外,我們證明了初始化技術至少減少了20%的運行時間。
網址:
3. Dynamic graph representation learning via self-attention networks
作者:Aravind Sankar, Yanhong Wu, Liang Gou, Wei Zhang and Hao Yang;
摘要:學習圖中節點的潛在表示是一項重要且普遍存在的任務,在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上,而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中,我們提出了Dynamic Self-Attention Network (DySAT),這是一種新型的神經架構,它操作在動態圖上,并學習節點表示,以捕捉結構特性和時間演化模式。具體來說,DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗:通信網絡和二分評級網絡。我們的實驗結果表明,DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。
網址:
4. Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders
作者:Carl Yang, Jieyu Zhang, Haonan Wang, Sha Li, Myungwan Kim, Ma? Walker, Yiou Xiao and Jiawei Han;
摘要:盡管節點語義已在社交網絡中得到了廣泛的探索,但對邊緣語義即社會關系的研究很少受到關注。理想的邊緣語義不僅應該顯示兩個用戶是連接的,而且還應該說明他么為什么彼此認識以及共享什么。然而,由于嘈雜的多模態信號和有限的用戶生成的ground-truth標簽,社交網絡中的關系往往很難分析。
在這項工作中,我們的目標是開發一個統一的且有原則的框架,通過在有噪聲和不完整數據存在的情況下整合多模態信號,將用戶關系描述為社交網絡中的邊緣語義。我們的框架對于半監督或無監督的情況也是靈活的。具體地說,我們假定每個用戶鏈接下的多個關系的潛在分布,并使用多模態圖邊緣變分自動編碼器來學習它們。我們用一個圖卷積網絡對網絡數據進行編碼,用多個重構網絡對任意信號進行解碼。在兩個公開的DBLP author network和兩個internal LinkedIn member network上的大量實驗和案例研究證明了我們提出的模型的優越性和有效性。
網址:
5. Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning
作者:Xianfeng Tang, Yandong Li, Yiwei Sun, Huaxiu Yao, Prasenjit Mitra and Suhang Wang;
摘要:圖神經網絡(GNNs)有著廣泛的應用。然而,他們在對抗攻擊的魯棒性方面是不行的。先前的研究表明,對圖拓撲或節點特征使用不明顯的修改會大大降低GNN的性能。設計強大的圖神經網絡以防止poisoning attack是一項非常具有挑戰性的工作。現有工作的目標是僅使用poisoned圖來減少adversarial edge的負面影響,這是次優的,因為它們無法區分adversarial edge和normal edge。另一方面,來自與目標poisoned圖類似領域的clean圖在現實世界中通常是可用的。通過擾動這些clean圖,我們創建了監督知識來訓練檢測adversarial edge的能力,從而提高了GNN的魯棒性。然而,現有的工作忽略了這種clean圖的潛力。為此,我們研究了一個新的問題,通過研究clean圖來提高GNNs對poisoning attack的魯棒性。具體而言,我們提出了PA-GNN,它基于一種懲罰性聚合機制,通過分配較低的注意力系數來直接限制adversarial edge的負面影響。為了優化一個poisoned圖的PA-GNN,我們設計了一種meta-optimization算法,訓練PA-GNN使用clean圖和其adversarial圖懲罰擾動,并將這種能力遷移到poisoned圖上,以提高PA-GNN的魯棒性。在四個真實數據集上的實驗結果證明了PA-GNN對圖數據poisoning attack的魯棒性。
網址:
論文鏈接: 提取碼:uzby
【導讀】近年來,隨著網絡數據量的不斷增加,挖掘圖形數據已成為計算機科學領域的熱門研究課題,在學術界和工業界都得到了廣泛的研究。但是,大量的網絡數據為有效分析帶來了巨大的挑戰。因此激發了圖表示的出現,該圖表示將圖映射到低維向量空間中,同時保持原始圖結構并支持圖推理。圖的有效表示的研究具有深遠的理論意義和重要的現實意義,本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。
關于圖或網絡的文獻有兩個名稱:圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構,盡管它們每個都有自己的術語,例如,圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡,這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖,通常會導致許多問題,包括稀疏性,高計算復雜性等,從而激發了基于機器學習的方法的出現,這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此,對于圖來說,“良好”的潛在表示可以更加精確的表示圖形。但是,學習網絡表示面臨以下挑戰:高度非線性,結構保持,屬性保持,稀疏性。
深度學習在處理非線性方面的成功為我們提供了研究新方向,我們可以利用深度學習來提高圖形表示學習的性能,作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展,主要分為兩類方法:面向結構的深層方法和面向屬性的深層方法。
對于面向結構的方法:
結構性深層網絡嵌入(SDNE),專注于保持高階鄰近度。
深度遞歸網絡嵌入(DRNE),其重點是維護全局結構。
深度超網絡嵌入(DHNE),其重點是保留超結構。
對于面向屬性的方法:
專注于不確定性屬性的深度變異網絡嵌入(DVNE)。
深度轉換的基于高階Laplacian高斯過程(DepthLGP)的網絡嵌入,重點是動態屬性。
本教程的第二部分就以上5種方法,通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。
1、Structural Deep Network Embedding
network embedding,是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征,但現有方法多采用淺層網絡不足以挖掘高度非線性,或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法,叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構,通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。
2、 Deep recursive network embedding with regular equivalence
網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性,即結構等效性。但是,位于網絡不同部分的頂點可能具有相似的角色或位置,即規則的等價關系,在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等,即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此,文章中提出了一種名為深度遞歸網絡嵌入(DRNE)的新方法來學習具有規則等價關系的網絡嵌入。更具體地說,我們提出了一種層歸一化LSTM,以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。
3、Structural Deep Embedding for Hyper-Networks
是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性,學習異質網絡表示。于與HEBE的區別在于,本文考慮了網絡high-oeder網絡結構和高度稀疏性。
傳統的基于clique expansion 和star expansion的方法,顯式或者隱式地分解網絡。也就說,分解后hyper edge節點地子集,依然可以構成一個新的超邊。對于同質網絡這個假設是合理地,因為同質網絡地超邊,大多數情況下都是根據潛在地相似性(共同地標簽等)構建的。
4、** Deep variational network embedding in wasserstein space**
大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣,邊緣的形成是確定性的,并且僅由節點的位置確定。但是,現實世界網絡的形成和發展充滿不確定性,這使得這些方法不是最優的。為了解決該問題,在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡(DVNE)。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示,它可以同時保留網絡結構并為節點的不確定性建模。具體來說,我們使用2-Wasserstein距離作為分布之間的相似性度量,它可以用線性計算成本很好地保留網絡中的傳遞性。此外,我們的方法通過深度變分模型隱含了均值和方差的數學相關性,可以通過均值矢量很好地捕獲節點的位置,而由方差可以很好地捕獲節點的不確定性。此外,本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。
5、Learning embeddings of out-of-sample nodes in dynamic networks
迄今為止的網絡嵌入算法主要是為靜態網絡設計的,在學習之前,所有節點都是已知的。如何為樣本外節點(即學習后到達的節點)推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰,因為推斷的嵌入應保留復雜的網絡屬性,例如高階鄰近度,與樣本內節點嵌入具有相似的特征(即具有同質空間),并且計算成本較低。為了克服這些挑戰,本文提出了一種深度轉換的高階拉普拉斯高斯過程(DepthLGP)方法來推斷樣本外節點的嵌入。DepthLGP結合了非參數概率建模和深度學習的優勢。特別是,本文設計了一個高階Laplacian高斯過程(hLGP)來對網絡屬性進行編碼,從而可以進行快速和可擴展的推理。為了進一步確保同質性,使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。DepthLGP是通用的,因為它適用于任何網絡嵌入算法學習到的嵌入。
【導讀】近年來,隨著網絡數據量的不斷增加,挖掘圖形數據已成為計算機科學領域的熱門研究課題,在學術界和工業界都得到了廣泛的研究。 但是,大量的網絡數據為有效分析帶來了巨大的挑戰。 因此激發了圖表示的出現,該圖表示將圖映射到低維向量空間中,同時保持原始圖結構并支持圖推理。 圖的有效表示的研究具有深遠的理論意義和重要的現實意義,本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。
關于圖或網絡的文獻有兩個名稱:圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構,盡管它們每個都有自己的術語,例如,圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡,這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖,通常會導致許多問題,包括稀疏性,高計算復雜性等,從而激發了基于機器學習的方法的出現,這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此,對于圖來說,“良好”的潛在表示可以更加精確的表示圖形。但是,學習網絡表示面臨以下挑戰:高度非線性,結構保持,屬性保持,稀疏性。
深度學習在處理非線性方面的成功為我們提供了研究新方向,我們可以利用深度學習來提高圖形表示學習的性能,作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展,主要分為兩類方法:面向結構的深層方法和面向屬性的深層方法。
對于面向結構的方法:
對于面向屬性的方法:
本教程的第二部分就以上5種方法,通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。
1、Structural Deep Network Embedding
network embedding,是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征,但現有方法多采用淺層網絡不足以挖掘高度非線性,或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法,叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構,通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。
2、 Deep recursive network embedding with regular equivalence
網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性,即結構等效性。但是,位于網絡不同部分的頂點可能具有相似的角色或位置,即規則的等價關系,在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等,即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此,文章中提出了一種名為深度遞歸網絡嵌入(DRNE)的新方法來學習具有規則等價關系的網絡嵌入。更具體地說,我們提出了一種層歸一化LSTM,以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。
3、Structural Deep Embedding for Hyper-Networks
是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性,學習異質網絡表示。于與HEBE的區別在于,本文考慮了網絡high-oeder網絡結構和高度稀疏性。 傳統的基于clique expansion 和star expansion的方法,顯式或者隱式地分解網絡。也就說,分解后hyper edge節點地子集,依然可以構成一個新的超邊。對于同質網絡這個假設是合理地,因為同質網絡地超邊,大多數情況下都是根據潛在地相似性(共同地標簽等)構建的。
4、 Deep variational network embedding in wasserstein space
大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣,邊緣的形成是確定性的,并且僅由節點的位置確定。但是,現實世界網絡的形成和發展充滿不確定性,這使得這些方法不是最優的。為了解決該問題,在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡(DVNE)。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示,它可以同時保留網絡結構并為節點的不確定性建模。具體來說,我們使用2-Wasserstein距離作為分布之間的相似性度量,它可以用線性計算成本很好地保留網絡中的傳遞性。此外,我們的方法通過深度變分模型隱含了均值和方差的數學相關性,可以通過均值矢量很好地捕獲節點的位置,而由方差可以很好地捕獲節點的不確定性。此外,本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。
5、 Learning embeddings of out-of-sample nodes in dynamic networks
迄今為止的網絡嵌入算法主要是為靜態網絡設計的,在學習之前,所有節點都是已知的。如何為樣本外節點(即學習后到達的節點)推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰,因為推斷的嵌入應保留復雜的網絡屬性,例如高階鄰近度,與樣本內節點嵌入具有相似的特征(即具有同質空間),并且計算成本較低。為了克服這些挑戰,本文提出了一種深度轉換的高階拉普??拉斯高斯過程(DepthLGP)方法來推斷樣本外節點的嵌入。 DepthLGP結合了非參數概率建模和深度學習的優勢。特別是,本文設計了一個高階Laplacian高斯過程(hLGP)來對網絡屬性進行編碼,從而可以進行快速和可擴展的推理。為了進一步確保同質性,使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。 DepthLGP是通用的,因為它適用于任何網絡嵌入算法學習到的嵌入。
論文題目: Learning to Identify High Betweenness Centrality Nodes from Scratch: A Novel Graph Neural Network Approach
論文摘要:
Betweenness centrality (BC)是網絡分析中廣泛使用的一種中心性度量,它試圖通過最短路徑的比例來描述網絡中節點的重要性。它是許多有價值的應用的關鍵,包括社區檢測和網絡拆除。由于時間復雜度高,在大型網絡上計算BC分數在計算上具有挑戰性。許多基于采樣的近似算法被提出以加速BC的估計。然而,這些方法在大規模網絡上仍然需要相當長的運行時間,并且它們的結果對網絡的微小擾動都很敏感。
在這篇論文中,我們主要研究如何有效識別圖中BC最高的top k節點,這是許多網絡應用程序所必須完成的任務。與以往的啟發式方法不同,我們將該問題轉化為一個學習問題,并設計了一個基于encoder-decoder的框架作為解決方案。具體來說,encoder利用網絡結構將每個節點表示為一個嵌入向量,該嵌入向量捕獲節點的重要結構信息。decoder將每個嵌入向量轉換成一個標量,該標量根據節點的BC來標識節點的相對rank。我們使用pairwise ranking損失來訓練模型,以識別節點的BC順序。通過對小規模網絡的訓練,該模型能夠為較大網絡的節點分配相對BC分數,從而識別出高排名的節點。在合成網絡和真實世界網絡上的實驗表明,與現有的baseline相比,我們的模型在沒有顯著犧牲準確性的情況下大大加快了預測速度,甚至在幾個大型真實世界網絡的準確性方面超過了最先進的水平。
論文作者:
Muhao Chen在加州大學洛杉磯分校獲得了計算機科學博士學位,目前是丹·羅斯教授的博士后研究員。廣泛研究了機器學習和自然語言處理的主題,包括關系學習、序列建模、詞匯語義和圖表示學習。最近的研究全面擴展了表示學習模型,以捕獲多關系數據的各種屬性,包括可轉移性、不確定性和邏輯屬性。
論文題目: Dynamic graph representation learning via self-attention networks
論文摘要: 學習圖中節點的潛在表示是一項重要且普遍存在的任務,在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上,而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中,我們提出了Dynamic Self-Attention Network (DySAT),這是一種新型的神經架構,它操作在動態圖上,并學習節點表示,以捕捉結構特性和時間演化模式。具體來說,DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗:通信網絡和二分評級網絡。我們的實驗結果表明,DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。
作者簡介: 武延宏,Visa Research的研究員。在加入Visa之前,他是IBM T.J.Watson研究中心的博士后研究員,負責金融領域的異常檢測和分析。他還曾在Aviz | INRIA和Microsoft Research Asia擔任訪問學者,專注于大型圖挖掘和可視化。他于2013年6月從香港理工大學獲得博士學位,并于2013年6月在復旦大學軟件學院獲得學士學位。他的研究興趣包括圖形建模、深入學習和可視化分析。等
論文題目: A Structural Graph Representation Learning Framework
論文摘要: 許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入,而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中,我們闡述了高階網絡表示學習,并提出了一個稱為HONE的通用框架,用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法,該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外,HONE被證明是快速和有效的,最壞情況下的時間復雜度幾乎是線性的。實驗結果表明,該算法能有效地處理大量的網絡日志數據,包括鏈接預測和visitor stitching。
作者簡介:
Ryan A. Rossi,目前在Adobe Research工作,研究領域是機器學習;涉及社會和物理現象中的大型復雜關系(網絡/圖形)數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。
Nesreen K. Ahmed,英特爾實驗室的高級研究員。我在普渡大學計算機科學系獲得博士學位,在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘,涵蓋了大規模圖挖掘、統計機器學習的理論和算法,以及它們在社會和信息網絡中的應用。