論文題目: Graph Convolutional Networks with Motif-based Attention
論文摘要:
深度卷積神經網絡在計算機視覺和語音識別領域的成功,使得研究人員開始研究該體系結構對圖結構數據的泛化。最近提出的一種稱為圖卷積網絡的方法能夠在節點分類方面取得最新的成果。然而,由于所提出的方法依賴于spectral圖卷積的局部一階近似,因此無法捕獲圖中節點間的高階相互作用。在這項工作中,我們提出了一個motif-based的圖注意力模型,稱為Motif Convolutional Networks,它通過使用加權多跳motif鄰接矩陣來捕獲高階鄰域,從而泛華了過去的方法。一個新的注意力機制被用來允許每個單獨的節點選擇最相關的鄰居來應用它的過濾器。我們在不同領域(社會網絡和生物信息學)的圖上評估了我們的方法,結果表明它能夠在半監督節點分類任務上勝過一組有競爭力的基準方法。其他結果證明了attention的有用性,表明不同的節點對不同的高階鄰域進行了優先排序。
論文作者:
John Boaz Lee于2015-1019年在伍斯特理工學院計算機科學系的攻讀博士學位。研究領域包括深度學習、數據挖掘、信息與社會網絡分析、強化學習等。2020年1月,將加入Facebook研究的核心數據科學團隊作為研究科學家。
Ryan A. Rossi目前在Adobe Research工作。研究領域是機器學習,從社會和物理現象跨越理論、算法和大型復雜關系(網絡/圖)數據的應用。在普渡大學獲得了計算機科學的博士和碩士學位。Ryan A. Rossi的論文主要研究關系機器學習和動態網絡數據的挖掘,并且獲得了國家科學基金研究生獎學金(NSF GRFP)、國防科學與工程研究生獎學金(NDSEG)、普渡大學弗雷德里克·n·安德魯斯獎學金以及比爾斯蘭博士學位論文獎學金。還是網絡存儲庫項目的聯合創始人,該項目是第一個具有交互式可視圖形分析功能的數據存儲庫,可以幫助研究人員通過web實時查找、探索和理解圖形數據。
孔祥南的研究興趣集中在數據挖掘和機器學習上,重點在于解決生物醫學和社會應用中的數據科學問題。孔博士對設計算法以解決各種研究領域中的數據多樣性問題特別感興趣,這些領域包括生物醫學研究,社會計算,神經科學和商業智能。他一直致力于神經科學,生物醫學信息學和社交網絡領域的圖形數據挖掘,并且在數據挖掘的頂級會議和期刊上發表了論文,包括KDD,ICDM,SDM,WWW,WSDM,CIKM,TKDE。
論文題目
基于卷積神經網絡的基因組序列基序的表示學習,Representation learning of genomic sequence motifs with convolutional neural networks
論文簡介
盡管卷積神經網絡(CNNs)已經被應用于各種計算基因組學問題,但是在我們理解它們如何構建調控基因組序列的表達方面仍然存在很大的差距。在這里,我們對合成序列進行了系統的實驗,以揭示CNN結構,特別是卷積濾波器大小和最大池,如何影響序列模體表示被第一層濾波器學習的程度。我們發現,設計用于培養序列模體的層次表示學習的CNNs在更深的層次將部分特征組裝成整體特征傾向于學習分布式表示,即部分模體。另一方面,設計用于限制在較深層中分層構建序列基序表示的能力的CNNs傾向于學習更多可解釋的局部表示,即整個基序。然后,我們驗證了從合成序列建立的表示學習原理推廣到體內序列。
論文作者
Peter K. Koo ,隸屬美國馬薩諸塞州劍橋哈佛大學分子與細胞生物學系霍華德休斯醫學院。
題目: Attention Models in Graphs: A Survey
摘要: 圖結構數據自然地出現在許多不同的應用領域。通過將數據表示為圖形,我們可以捕獲實體(即節點)以及它們之間的關系(即邊)。許多有用的見解可以從圖形結構的數據中得到,這一點已被越來越多的關注于圖形挖掘的工作所證明。然而,在現實世界中,圖可以是大的-有許多復雜的模式-和噪聲,這可能會給有效的圖挖掘帶來問題。解決這一問題的一個有效方法是將“注意力”融入到圖挖掘解決方案中。注意機制允許一個方法關注圖中與任務相關的部分,幫助它做出更好的決策。在這項工作中,我們對圖形注意模型這一新興領域的文獻進行了全面而集中的調查。我們介紹了三個直觀的分類組現有的工作。它們基于問題設置(輸入和輸出類型)、使用的注意機制類型和任務(例如,圖形分類、鏈接預測等)。我們通過詳細的例子來激勵我們的分類法,并使用每種方法從一個獨特的角度來調查競爭方法。最后,我們強調了該領域的幾個挑戰,并討論了未來工作的前景。
作者簡介: Ryan A. Rossi,目前在Adobe Research工作,研究領域是機器學習;涉及社會和物理現象中的大型復雜關系(網絡/圖形)數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。
Nesreen K. Ahmed,英特爾實驗室的高級研究員。她在普渡大學計算機科學系獲得博士學位,在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘,涵蓋了大規模圖挖掘、統計機器學習的理論和算法,以及它們在社會和信息網絡中的應用。
題目: Graph Summarization Methods and Applications: A Survey
摘要:
雖然計算資源的進步使處理大量數據成為可能,但人類識別這些數據模式的能力并沒有相應提高。因此,壓縮和簡化數據的高效計算方法對于提取可操作的見解變得至關重要。特別是,雖然對數據摘要技術進行了廣泛的研究,但直到最近才開始流行對相互關聯的數據或圖進行匯總。這項調查是一個結構化的,全面的概述了最先進的方法,以總結圖形數據。我們首先討論了圖形摘要背后的動機和挑戰。然后,我們根據作為輸入的圖形類型對摘要方法進行分類,并根據核心方法進一步組織每個類別。最后,我們討論了總結在真實世界圖上的應用,并通過描述該領域的一些開放問題進行了總結。
作者簡介:
Yike Liu是密西根大學物理系五年級的博士生,也是計算機科學與工程系的一名碩士研究生。我是葉杰平教授的顧問。主要研究方向是深度學習和強化學習,尤其是在交通數據上的應用。在此之前,從事過基于圖形的機器學習和數據挖掘,特別是圖形總結和圖形聚類,在這些工作中,開發了圖形挖掘算法,幫助更好地理解底層的圖形組織并理解它。
Tara Safavi是密西根大學博士研究生,研究重點是知識表示及其在以人為中心的任務中的使用、評估和解釋,還對更廣泛的AI+社會問題感興趣,比如隱私、偏見和環境可持續性。研究目前得到了美國國家科學基金會(NSF)研究生獎學金和谷歌女性科技創造者獎學金的支持。
題目: Graph Neural Networks: A Review of Methods and Applications
摘要: 許多學習任務都需要處理包含元素間豐富關系信息的圖形數據。建模物理系統、學習分子指紋、預測蛋白質界面和疾病分類需要一個模型從圖形輸入中學習。在文本、圖像等非結構化數據的學習等領域,對句子的依存樹、圖像的場景圖等提取的結構進行推理是一個重要的研究課題,同時也需要建立圖形推理模型。圖神經網絡(GNNs)是通過圖節點之間的信息傳遞來獲取圖的依賴性的連接模型。與標準神經網絡不同,圖神經網絡保留了一種狀態,這種狀態可以以任意深度表示來自其鄰域的信息。雖然原始GNNs已經被發現很難訓練到固定的點,但是最近在網絡結構、優化技術和并行計算方面的進展已經使它能夠成功地學習。近年來,基于圖形卷積網絡(GCN)、圖形注意網絡(GAT)、門控圖形神經網絡(GGNN)等圖形神經網絡變體的系統在上述許多任務上都表現出了突破性的性能。在這項調查中,我們提供了一個詳細的檢討現有的圖形神經網絡模型,系統分類的應用,并提出了四個開放的問題,為今后的研究。
作者簡介: Jie Zhou,CS的研究生,從事系統研究,主要研究計算機安全。他畢業于廈門大學,在羅切斯特大學獲得碩士學位及博士學位。
Zhiyuan Liu,清華大學計算機系NLP實驗室副教授。
論文題目: Relation-Aware Graph Convolutional Networks for Agent-Initiated Social E-Commerce Recommendation
論文摘要:
近年來,agent-initiated社交電子商務模式取得了巨大的成功,這種模式鼓勵用戶成為銷售代理商,通過他們的社交關系來推廣商品。這種類型的社交電子商務中的復雜交互可以表述為異構信息網絡(HIN),其中三種節點之間的關系有多種類型,分別為用戶、銷售代理和商品。學習高質量的節點嵌入是研究的重點,圖卷積網絡(GCNs)是近年來發展起來的最先進的表示學習方法。然而,現有的GCN模型在建模異構關系和有效地從大量鄰域中采樣相關接收域方面都存在基本的局限性。為了解決這些問題,我們提出了RecoGCN(a RElation-aware CO-attentive GCN model)來有效地聚合HIN中的異構特征。它彌補了目前GCN在使用關系感知聚合器建模異構關系方面的局限性,并利用語義感知元路徑為每個節點開辟簡潔和相關的接受域。為了有效地融合從不同元路徑中學習到的嵌入,我們進一步提出了一種co-attentive機制,通過關注用戶、銷售代理和商品之間的三種交互來動態地為不同的元路徑分配重要性權重。在真實數據集上的大量實驗表明,RecoGCN能夠學習HIN中有意義的節點嵌入,并且在推薦任務中始終優于baseline方法。
部分作者簡介:
Jianxun Lian是微軟亞洲研究院研究員,研究興趣是推薦系統,用戶建模,深度學習,NLP。
論文題目: Dynamic graph representation learning via self-attention networks
論文摘要: 學習圖中節點的潛在表示是一項重要且普遍存在的任務,在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上,而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中,我們提出了Dynamic Self-Attention Network (DySAT),這是一種新型的神經架構,它操作在動態圖上,并學習節點表示,以捕捉結構特性和時間演化模式。具體來說,DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗:通信網絡和二分評級網絡。我們的實驗結果表明,DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。
作者簡介: 武延宏,Visa Research的研究員。在加入Visa之前,他是IBM T.J.Watson研究中心的博士后研究員,負責金融領域的異常檢測和分析。他還曾在Aviz | INRIA和Microsoft Research Asia擔任訪問學者,專注于大型圖挖掘和可視化。他于2013年6月從香港理工大學獲得博士學位,并于2013年6月在復旦大學軟件學院獲得學士學位。他的研究興趣包括圖形建模、深入學習和可視化分析。等
論文題目: A Structural Graph Representation Learning Framework
論文摘要: 許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入,而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中,我們闡述了高階網絡表示學習,并提出了一個稱為HONE的通用框架,用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法,該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外,HONE被證明是快速和有效的,最壞情況下的時間復雜度幾乎是線性的。實驗結果表明,該算法能有效地處理大量的網絡日志數據,包括鏈接預測和visitor stitching。
作者簡介:
Ryan A. Rossi,目前在Adobe Research工作,研究領域是機器學習;涉及社會和物理現象中的大型復雜關系(網絡/圖形)數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。
Nesreen K. Ahmed,英特爾實驗室的高級研究員。我在普渡大學計算機科學系獲得博士學位,在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘,涵蓋了大規模圖挖掘、統計機器學習的理論和算法,以及它們在社會和信息網絡中的應用。
【導讀】CIKM 2019 (International Conference on Information and Knowledge Management),今年會議主題是 "AI for Future Life"。CIKM是數據庫、數據挖掘與內容檢索領域的旗艦會議。CIKM 2019共計收到1030篇長文有效投稿,其中200篇論文被大會錄用,總錄用率約19.4%。圖神經網絡(GNN)相關的論文依然很火爆,小編在官網上查看了,CIKM專門有專題,大約10篇長文接受為GNN專題論文。為此,專知小編提前為大家篩選了六篇GNN 長文論文供參考和學習!
作者:Zekun Li,Zeyu Cui,Shu Wu,Xiaoyu Zhang,Liang Wang;
摘要:點擊率(CTR)預測是在線廣告和推薦系統等網絡應用中的一項重要任務,其特點是多領域的。該任務的關鍵是對不同特征field之間的特征交互進行建模。最近提出的基于深度學習的模型遵循了一種通用的范式:首先將原始的稀疏輸入multi-filed特征映射到密集的field嵌入向量中,然后簡單地將其連接到深度神經網絡(DNN)或其他專門設計的網絡中,以學習高階特征交互。然而,特征field的簡單非結構化組合將不可避免地限制以足夠靈活和顯式的方式建模不同field之間復雜交互的能力。 在這項工作中,我們提出在一個圖結構中直觀地表示multi-field的特征,其中每個節點對應一個特征field,不同的field可以通過邊進行交互。因此,建模特征交互的任務可以轉換為對相應圖上的節點交互進行建模。為此,我們設計了一個新的模型-Feature Interaction Graph Neural Networks (Fi-GNN)。利用圖的強表征性,我們的模型不僅可以靈活、明確地對復雜的特征交互進行建模,而且可以為CTR預測提供良好的模型解釋。在兩個真實數據集上的實驗結果顯示了它的優越性。
網址: //www.zhuanzhi.ai/paper/4d6897c6a057a33539d3e6758c223a9c
2、Graph Convolutional Networks with Motif-based Attention
作者:John Boaz Lee,Ryan A. Rossi,Xiangnan Kong,Sungchul Kim,Eunyee Koh,Anup Rao;
摘要:深度卷積神經網絡在計算機視覺和語音識別領域的成功,使得研究人員開始研究該體系結構對圖結構數據的泛化。最近提出的一種稱為圖卷積網絡的方法能夠在節點分類方面取得最新的成果。然而,由于所提出的方法依賴于spectral圖卷積的局部一階近似,因此無法捕獲圖中節點間的高階相互作用。在這項工作中,我們提出了一個motif-based的圖注意力模型,稱為Motif Convolutional Networks,它通過使用加權多跳motif鄰接矩陣來捕獲高階鄰域,從而泛華了過去的方法。一個新的注意力機制被用來允許每個單獨的節點選擇最相關的鄰居來應用它的過濾器。我們在不同領域(社會網絡和生物信息學)的圖上評估了我們的方法,結果表明它能夠在半監督節點分類任務上勝過一組有競爭力的基準方法。其他結果證明了attention的有用性,表明不同的節點對不同的高階鄰域進行了優先排序。
網址:
作者:Guillaume Salha,Stratis Limnios,Romain Hennequin,Viet Anh Tran,Michalis Vazirgian;
摘要:圖自編碼器(AE)和變分自編碼器(VAE)是近年來出現的強有力的節點嵌入方法。特別是利用圖AE和VAE成功地解決了具有挑戰性的鏈路預測問題,目的是找出圖上的一些節點對是否被未觀察到的邊所連接。然而,這些模型側重于無向圖,因此忽略了鏈接的潛在方向,這限制了許多實際應用程序。在本文中,我們擴展了graph AE和VAE框架來解決有向圖中的鏈路預測問題。我們提出了一種新的gravity-inspired的解碼器方案,可以有效地從節點嵌入中重建有向圖。我們對標準graph AE和VAE表現較差的三種不同定向鏈路預測任務進行了實證評價。我們在三個真實世界的圖上獲得了具有競爭力的結果,超過了幾個流行的baseline。
網址:
4、Hashing Graph Convolution for Node Classification
作者:Wenting Zhao, Zhen Cui, Chunyan Xu, Chengzheng Li, Tong Zhang,Jian Yang;
摘要:圖數據卷積在non-gridded數據中的應用引起了人們的極大興趣。為了克服相鄰節點的排序和數量的影響,在以往的研究中,往往對局部接受域進行summing/average diffusion/aggregation。然而,這種壓縮成一個節點的方法容易造成節點間的signal entanglement,導致次優特征信息,降低了節點的可分辨性。針對這一問題,本文提出了一種簡單而有效的哈希圖卷積(HGC)方法,該方法通過在節點聚合中使用全局哈希和局部投影來進行節點分類。與傳統的完全collision聚合相比,hash-projection可以大大降低相鄰節點聚合時的collision概率。我們認為基于hash-projection的方法可以更好地保持甚至增加局部區域的原始差異,并得到進一步的改進。hash-projection的另一個附帶效果是將每個節點的接受域歸一化為一個共同大小的bucket空間,不僅避免了大小不同的鄰居節點及其順序的麻煩,而且使圖卷積運行起來就像標準的shape-girded卷積一樣。考慮到訓練樣本較小,我們在HGC中引入預測一致性正則化項來約束圖中未標記節點的得分一致性。HGC在transductive和inductive實驗環境下進行評估。在節點分類任務上的大量實驗表明,hash-projection確實可以提高性能,我們的HGC在所有實驗數據集上都取得了最新最好的結果。
網址:
5、Learning to Identify High Betweenness Centrality Nodes from Scratch: A Novel Graph Neural Network Approach
作者:Changjun Fan,Li Zeng,Yuhui Ding,Muhao Chen,Yizhou Sun,Zhong Liu;
摘要: Betweenness centrality (BC)是網絡分析中廣泛使用的一種中心性度量,它試圖通過最短路徑的比例來描述網絡中節點的重要性。它是許多有價值的應用的關鍵,包括社區檢測和網絡拆除。由于時間復雜度高,在大型網絡上計算BC分數在計算上具有挑戰性。許多基于采樣的近似算法被提出以加速BC的估計。然而,這些方法在大規模網絡上仍然需要相當長的運行時間,并且它們的結果對網絡的微小擾動都很敏感。 在這篇論文中,我們主要研究如何有效識別圖中BC最高的top k節點,這是許多網絡應用程序所必須完成的任務。與以往的啟發式方法不同,我們將該問題轉化為一個學習問題,并設計了一個基于encoder-decoder的框架作為解決方案。具體來說,encoder利用網絡結構將每個節點表示為一個嵌入向量,該嵌入向量捕獲節點的重要結構信息。decoder將每個嵌入向量轉換成一個標量,該標量根據節點的BC來標識節點的相對rank。我們使用pairwise ranking損失來訓練模型,以識別節點的BC順序。通過對小規模網絡的訓練,該模型能夠為較大網絡的節點分配相對BC分數,從而識別出高排名的節點。在合成網絡和真實世界網絡上的實驗表明,與現有的baseline相比,我們的模型在沒有顯著犧牲準確性的情況下大大加快了預測速度,甚至在幾個大型真實世界網絡的準確性方面超過了最先進的水平。
網址:
6、Relation-Aware Graph Convolutional Networks for Agent-Initiated Social E-Commerce Recommendation
作者:Fengli Xu,Jianxun Lian,Zhenyu Han,Yong Li,Yujian Xu,Xing Xie;
摘要:近年來,agent-initiated社交電子商務模式取得了巨大的成功,這種模式鼓勵用戶成為銷售代理商,通過他們的社交關系來推廣商品。這種類型的社交電子商務中的復雜交互可以表述為異構信息網絡(HIN),其中三種節點之間的關系有多種類型,分別為用戶、銷售代理和商品。學習高質量的節點嵌入是研究的重點,圖卷積網絡(GCNs)是近年來發展起來的最先進的表示學習方法。然而,現有的GCN模型在建模異構關系和有效地從大量鄰域中采樣相關接收域方面都存在基本的局限性。為了解決這些問題,我們提出了RecoGCN(a RElation-aware CO-attentive GCN model)來有效地聚合HIN中的異構特征。它彌補了目前GCN在使用關系感知聚合器建模異構關系方面的局限性,并利用語義感知元路徑為每個節點開辟簡潔和相關的接受域。為了有效地融合從不同元路徑中學習到的嵌入,我們進一步提出了一種co-attentive機制,通過關注用戶、銷售代理和商品之間的三種交互來動態地為不同的元路徑分配重要性權重。在真實數據集上的大量實驗表明,RecoGCN能夠學習HIN中有意義的節點嵌入,并且在推薦任務中始終優于baseline方法。
網址:
Many real-world problems can be represented as graph-based learning problems. In this paper, we propose a novel framework for learning spatial and attentional convolution neural networks on arbitrary graphs. Different from previous convolutional neural networks on graphs, we first design a motif-matching guided subgraph normalization method to capture neighborhood information. Then we implement subgraph-level self-attentional layers to learn different importances from different subgraphs to solve graph classification problems. Analogous to image-based attentional convolution networks that operate on locally connected and weighted regions of the input, we also extend graph normalization from one-dimensional node sequence to two-dimensional node grid by leveraging motif-matching, and design self-attentional layers without requiring any kinds of cost depending on prior knowledge of the graph structure. Our results on both bioinformatics and social network datasets show that we can significantly improve graph classification benchmarks over traditional graph kernel and existing deep models.