亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

PAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence),IEEE模式分析與機器智能匯刊,簡稱PAMI,是IEEE最重要的學術性匯刊之一。事實上,PAMI有著超高的影響因子(17.730)和排名,被譽為SCI之王。與頂級會議相比,頂級期刊的評議過程更為嚴格,特別重視工作的創新性和完整性,錄取難度和門檻很高。

本期小編挑選了5篇PAMI2021中關于GNN的論文(附論文下載地址)分享給大家~ 包括圖池化,ARMA濾波的GNN,GNN的Inductive-Transductive預測, GNN在多標簽中的應用和GNN中的受限傳播~

論文清單

Topology-Aware Graph Pooling Networks Graph Neural Networks with Convolutional ARMA Filters On Inductive-Transductive Learning with Graph Neural Networks Learning Graph Convolutional Networks for Multi-Label Recognition and Applications Deep Constraint-based Propagation in Graph Neural Networks

1 Topology-Aware Graph Pooling Networks (論文下載地址://arxiv.org/abs/2010.09834)

池化操作在計算機視覺和自然語言處理任務中已顯示出其有效性。但由于圖上沒有很好的定義局部性,在圖數據上執行池化操作是一個具有挑戰性的任務。先前的研究使用全局排名方法對一些重要節點進行采樣,但是其中大多數不能合并圖拓撲。在這項工作中,我們提出了拓撲感知池化(TAP)層,該層明確考慮了圖拓撲。TAP層是一個兩階段的投票過程(local voting、global voting),用于選擇圖中的更重要的節點。

  • local voting:計算每對節點之間的相似性得分,利用相似性得分來標記每條邊,節點的平均相似性分數用作其local voting score,節點越大表示分數越高。

  • global voting:將圖拓撲合并到global voting中,權衡整個圖中每個節點的重要性。

每個節點的最終排名得分是通過其本地和全局投票得分來計算的。為了在采樣圖中實現更好的圖連通性,在排名分數的計算中考慮了這一點。圖連通性將度信息用作偏差項,以鼓勵該層選擇度高的節點以形成采樣圖。基于TAP層,設計了可感知拓撲的池化網絡,用于網絡嵌入學習。圖分類任務的結果表明,該方法與現有方法相比具有更好的性能。

2 Graph Neural Networks with Convolutional ARMA Filters (論文下載地址:

大多數圖神經網絡方法基于多項式譜濾波器在圖上實現卷積運算。本文提出了一種新的圖卷積層,該圖卷積層受auto-regressive moving average(ARMA)濾波器的啟發,與polynomial spectral filters相比,該卷積層提供了更靈活的頻率響應,對噪聲更魯棒,并且可以更好地捕獲全局圖結構。我們提出了一種基于遞歸和分布式的ARMA濾波器的圖神經網絡實現算法,ARMA layer使用較少的參數捕獲全局圖結構,從而克服了基于高階多項式濾波器的GNN的局限性。ARMA過濾器未定位在節點空間中,需要對矩陣求逆。為解決此問題,ARMA層依賴于遞歸公式,這導致了一種快速且分布式的實現,該實現利用了對張量的有效稀疏運算。濾波器不是在給定的拉普拉斯算子的傅立葉空間中學習的,而是位于節點空間中,并且與基礎圖結構無關。這使我們的GNN在歸納推理任務的測試階段可以處理具有未見拓撲結構的圖。針對四個下游任務:半監督節點分類,圖信號分類,圖分類和圖回歸,進行實驗。結果表明,所提出的ARMA層相對于基于多項式濾波器的圖神經網絡帶來了顯著改進。

3 On Inductive-Transductive Learning with Graph Neural Networks (論文下載地址: 論文詳見第201頁)

現實世界許多領域的數據都可以用圖的來表示,例如,生物蛋白質網絡、神經網絡、社交網絡等。圖可以將一個給定的模式描述為一個由節點和邊組成的復雜結構。盡管圖具有豐富的表示能力,但大多數機器學習方法都不能直接處理圖數據,需要將此類數據轉換為一些簡單形式,例如,實值向量。這種轉換會損失一些有用的信息。圖神經網絡模型(GNN)能夠直接處理圖數據,并且對圖的類型沒有任何限制。原始的GNN模型基于經典的歸納學習,使用訓練集來學習參數,進而得到模型。直推式學習采用了一種更直接的方法,即利用不同樣本之間的關系來利用標記和未標記的數據,根據模式與訓練集中可用實例的關系對模式進行分類。在這種情況下,訓練模式可直接用于分類過程,而無需調整參數模型,甚至無需依賴分類規則和模式特征。本文提出了一個混合直推-歸納的GNN模型,展示了這兩種學習框架的共同特征。該模型根據群體檢測、子圖匹配和真實問題(交通流量預測和網絡垃圾郵件預測)進行評估,顯示出了不錯的效果。

4 Learning Graph Convolutional Networks for Multi-Label Recognition and Applications (論文下載地址:

多標簽圖像識別的任務是預測圖像中存在的一組對象標簽。由于多個對象通常同時出現在圖像中,因此需要對標簽依賴性進行建模以提高識別性能。為了捕獲和探索此類重要信息,本文提出了基于圖卷積網絡(GCN)的多標簽圖像識別模型,其在類上構造有向圖,并在類之間傳播信息,以學習相互依存的class-level表示。遵循這個想法,論文設計了兩個特殊的模型,它們從不同的角度進行多標簽分類。在第一個模型中,有關類依賴的先驗知識被集成到分類器學習中。具體而言,我們提出了Classifier Learning GCN(C-GCN),以將類級別的語義表示(例如,單詞嵌入)映射到inter-class拓撲的分類器中。在第二個模型中,我們將圖像的視覺表示分解為一組標簽感知的特征,并提出了Prediction Learning GCN(P-GCN),以將特征編碼為相互依賴的圖像級預測分數。此外,還提出了一種有效的相關矩陣構造方法,以捕獲類之間的關系,從而指導類之間的信息傳播。通用多標簽圖像識別的實驗結果表明,這兩個模型優于其他state-of-the-arts。此外,所提出的方法在一些與多標簽分類有關的應用中也具有不錯的效果。

  1. Deep Constraint-based Propagation in Graph Neural Networks (論文下載地址:

我們可以用圖的形式來表示實際應用中的數據的復雜結構。GNN是Scarselli等人提出的一種針對圖數據的模型,是循環神經網絡和隨機游走模型的擴展。在保持二者特性的基礎上擴展了循環神經網絡,可以處理多種類型的圖,例如,循環圖,有向圖和無向圖,無需任何預處理即可處理以節點為中心的應用。通過迭代擴散過程對圖的節點狀態進行編碼,對于每個訓練epoch,GNN的學習過程需要一個迭代擴散機制,直到它收斂到一個穩定的不動點。這是一個多階段的優化過程,比基于梯度優化的模型更昂貴,更不實用。雖然,迭代過程可以提前停止以加速計算,但這最終限制了GNN學習的局部編碼能力,減少了沿每個節點攜帶的信息圖的擴散深度。我們提出了一種新的基于拉格朗日公式的GNN學習機制,其中每個節點與其鄰域之間的關系由一組約束表示。找到滿足約束條件的節點狀態表示是重新考慮上述擴散過程中固定點計算的一種簡單方法。我們可以借鑒神經網絡中的約束優化工具,以設計出一種完全基于BP的學習方法,其中狀態表示以及狀態轉換和輸出函數的權重可以共同優化。

與傳統基于拉格朗日的訓練方法不同的是,狀態轉移函數和輸出函數都是經典的BP可訓練模型,所有的訓練實例都共享這些模型,而學習問題的唯一附加變量與圖的節點有關。這使我們能夠在基于拉格朗日的圖擴散公式引入靈活性和添加新變量之間找到一個很好的權衡。我們通過類似于多層計算方法的pipeline of constraints 來計算每個節點的多個表示。每個節點的evolving representation 被視為附加到節點本身的新信息。引入使用該新信息的另一個狀態轉移函數,約束強制執行一個 parallel diffusion 過程,從而形成節點的另一種表示。這個過程可以重復多次,從而模擬一個深度約束方案,增強了GNN的表示能力。

實驗分析表明,所提出的方法在幾個基準測試上均優于state-of-the-arts。

付費5元查看完整內容

相關內容

題目: 圖神經網絡的無冗余計算 會議: KDD2020 論文地址: //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由: 對于圖神經網絡中重復信息的聚合,這篇文章提出了一種簡單有效的層次化聚合的方法(HAG),用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中,可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。

GNN在單層中基于遞歸鄰域聚合方案,每個節點聚合其鄰居的特征,并使用聚合值更新其自身的特征。這樣遞歸地傳播多次(多層),最后,GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務,例如節點分類、圖分類或鏈路預測。然而,如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是,許多當前的工作是使用整張圖的拉普拉斯矩陣,這樣即便是對于中等規模的圖,也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣,然后再聚合這些節點的鄰域信息,但是對于單個節點進行鄰域采樣是一個高復雜度的事情,因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。

付費5元查看完整內容

【導讀】ICML(International Conference on Machine Learning),即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一,因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計,ICML 2020共提交4990篇論文,接收論文1088篇,接收率為21.8%。與往年相比,接收率逐年走低。ICML官網公布了接受論文列表,小編發現基于Graph相關的paper依然很多,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上ICML 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——貝葉斯GNN、連續GNN、Faster圖嵌入、深度GCN、圖Pooling、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、

1. Bayesian Graph Neural Networks with Adaptive Connection Sampling

作者:Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian

摘要:我們提出了一個用于圖神經網絡(GNNs)自適應連接采樣(connection sampling)的統一框架,該框架概括了現有的用于訓練GNN的隨機正則化方法。該框架不僅緩解了深層GNNs的過平滑和過擬合趨勢,而且使得GNNs在圖分析任務中的不確定性學習成為可能。與現有的隨機正則化方法那樣使用固定的采樣率或手動調整它們作為模型超參數不同,我們的自適應連接采樣可以與GNN模型參數以全局和局部的方式聯合訓練。具有自適應連接采樣的GNN訓練在數學上等價于訓練貝葉斯GNN的有效近似。在基準數據集上的消融實驗結果驗證了自適應學習采樣率是在半監督節點分類任務中提高GNNs性能的關鍵,使其不容易過平滑和過擬合,具有更穩健的預測能力。

網址:

2.Continuous Graph Neural Networks

作者:Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang

摘要:本文建立在圖神經網絡與傳統動力系統之間的聯系之上。我們提出了連續圖神經網絡(Continuous Graph Neural Networks, CGNN),由于CGNN可以看作是一種特定的離散化方案,它進一步推廣了現有的具有離散動力學的圖神經網絡。其核心思想是如何刻畫節點表示的連續動力學,即節點表示的導數。受現有的基于圖擴散的方法(如社會網絡上的PageRank模型和流行病模型)的啟發,我們將導數定義為當前節點表示、鄰居表示和節點初始值的組合。我們提出并分析了圖上的兩種可能的動力學--包括節點表示的每一維(也稱為特征通道)獨立改變或者彼此交互-這兩者都有理論上的合理性。所提出的連續圖神經網絡對過于過平滑具有較強的魯棒性,因此可以建立更深層次的網絡,從而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在與基線模型競爭上的有效性。

網址:

3.Faster Graph Embeddings via Coarsening

作者:Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang

摘要:圖嵌入是一種普遍適用于機器學習任務的工具,如圖結構數據上的節點分類和連接預測。然而,即使我們只對相關頂點的一小部分感興趣,計算大規模圖嵌入的效率也是很低的。為了解決這個問題,我們提出了一種基于Schur補(Schur complements)的有效圖粗化方法,用于計算相關頂點的嵌入。我們證明了這些嵌入被不相關頂點上通過高斯消去法得到的Schur補圖精確地保存。由于計算Schur補的代價很高,我們給出了一個近似線性的時間算法,該算法在每次迭代中在相關頂點上生成一個粗化圖,該粗化圖在期望上與Schur補相匹配。我們在圖上進行的預測任務實驗表明,計算嵌入到粗化圖上,而不是整個圖上,在不犧牲精度的情況下,可以節省大量的時間。

網址:

4. Simple and Deep Graph Convolutional Networks

作者:Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li

摘要:圖卷積網絡(GCNS)是一種強大的圖結構數據深度學習方法。最近,GCNS及其變體在真實數據集上的各個應用領域都顯示出了優異的性能。盡管取得了成功,但由于過平滑的問題,目前的大多數GCN模型都很淺。本文研究了深圖卷積網絡的設計與分析問題。我們提出了GCNII模型,它是對普通GCN模型的擴展,使用了兩個簡單而有效的技術:初始殘差和恒等映射(Identity mapping)。我們提供了理論和實驗證據,證明這兩種技術有效地緩解了過平滑問題。我們的實驗表明,深度GCNII模型在各種半監督和全監督任務上的性能優于最先進的方法。

網址:

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:譜聚類(SC)是發現圖上強連接社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用,以實現聚合屬于同一集群節點的池化操作。然而,Laplacian特征分解的代價很高,而且由于聚類結果是特定于圖的,因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中,我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛(continuous relaxation )公式,并訓練GNN來計算最小化這一目標的聚類分配。我們的基于GNN的實現是可微的,不需要計算譜分解,并且學習了一個聚合函數,可以在樣本外的圖上快速評估。從提出的聚類方法出發,我們設計了一個圖池化算子,它克服了現有圖池化技術的一些重要局限性,并在多個監督和非監督任務中取得了最好的性能。

網址:

付費5元查看完整內容

【導讀】ICML(International Conference on Machine Learning),即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一,因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計,ICML 2020共提交4990篇論文,接收論文1088篇,接收率為21.8%。與往年相比,接收率逐年走低。在會議開始前夕,專知小編為大家整理了ICML 2020圖神經網絡(GNN)的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我們引入了一系列多層圖核,并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據,其中每個節點攜帶關于局部圖子結構的信息。一方面,核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示,這在樣本有限的情況下很有用。另一方面,我們的模型也可以在大規模數據上進行端到端的訓練,從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能,同時提供了簡單的模型解釋。

網址:

代碼鏈接:

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一種新的基于特征線性調制(feature-wise linear modulation,FiLM)的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”,從而沿著圖的邊傳播信息。在GNN-FILE中,邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換,從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現,本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的,產生了一些令人驚訝的結果:基線模型之間的差異比文獻報道的要小。盡管如此,GNN-FILE在分子圖的回歸任務上的表現優于基線方法,在其他任務上的表現也具有競爭性。

網址:

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中,圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作;它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖;壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式,所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征,并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址:

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我們提出了Interferometric Graph Transform(IGT),這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標,我們的學習表示既包括可區分的特征,也包括不變的特征。通過實驗可以得到,我們的學習過程利用了譜域的拓撲,這通常是譜方法的一個缺陷,特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法,例如圖像分類(MNIST,CIFAR-10)、社區檢測(Authorship,Facebook graph)和3D骨架視頻中的動作識別(SBU,NTU),在譜圖非監督環境下展示了一種新的技術水平。

網址:

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用,以實現聚合屬于同一簇的節點的池化操作。然而,Laplacian的特征分解代價很高,而且由于聚類結果是特定于圖的,因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中,我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式,并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的,不需要計算譜分解,并且學習了一個聚類函數,可以在樣本外的圖上快速評估。從提出的聚類方法出發,我們設計了一個圖池化算子,它克服了現有圖池化技術的一些重要局限性,并在多個監督和非監督任務中取得了最好的性能。

網址:

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs),以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而,自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中,我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制,分析了預訓練&精調和自訓練的局限性,并進而將重點放在多任務學習上。此外,我們還提出了三種新的GCNS自監督學習任務,并進行了理論分析和數值比較。最后,我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明,通過合理設計任務形式和合并機制,自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址:

代碼鏈接:

付費5元查看完整內容

【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。本次ACL大會共提交了3429篇論文,共有571篇長論文、以及208篇短論文入選。不久之前,專知小編為大家整理了大會的圖神經網絡(GNN)相關論文,這期小編繼續為大家奉上ACL 2020圖神經網絡(GNN)相關論文-Part 2供參考——多文檔摘要、多粒度機器閱讀理解、帖子爭議檢測、GAE。

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Leveraging Graph to Improve Abstractive Multi-Document Summarization

作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du

摘要:捕捉文本單元之間關系圖對于從多個文檔中檢測顯著信息和生成整體連貫的摘要有很大好處。本文提出了一種神經抽取多文檔摘要(MDS)模型,該模型可以利用文檔的常見圖表示,如相似度圖和話語圖(discourse graph),來更有效地處理多個輸入文檔并生成摘要。我們的模型使用圖對文檔進行編碼,以捕獲跨文檔關系,這對于總結長文檔至關重要。我們的模型還可以利用圖來指導摘要的生成過程,這有利于生成連貫而簡潔的摘要。此外,預訓練的語言模型可以很容易地與我們的模型相結合,進一步提高了摘要的性能。在WikiSum和MultiNews數據集上的實驗結果表明,所提出的體系結構在幾個強大的基線上帶來了實質性的改進。

網址: //arxiv.org/abs/2005.10043

2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu

摘要:“自然問題”是一種具有挑戰性的新的機器閱讀理解基準,其中包含兩個答案:長答案(通常是一個段落)和短答案(長答案中的一個或多個實體)。盡管此基準測試的現有方法很有效,但它們在訓練期間單獨處理這兩個子任務,忽略了它們間的依賴關系。為了解決這個問題,我們提出了一種新穎的多粒度機器閱讀理解框架,該框架專注于對文檔的分層性質進行建模,這些文檔具有不同的粒度級別:文檔、段落、句子和詞。我們利用圖注意力網絡來獲得不同層次的表示,以便它們可以同時學習。長答案和短答案可以分別從段落級表示和詞級表示中提取。通過這種方式,我們可以對兩個粒度的答案之間的依賴關系進行建模,以便為彼此提供證據。我們聯合訓練這兩個子任務,實驗表明,我們的方法在長答案和短答案標準上都明顯優于以前的系統。

網址:

代碼鏈接:

3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection

作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang

摘要:識別社交媒體上有爭議的帖子是挖掘公眾情緒、評估事件影響、緩解兩極分化觀點的基礎任務。然而,現有的方法不能1)有效地融合來自相關帖子內容的語義信息;2)保留回復關系建模的結構信息;3)正確處理與訓練集中主題不同的帖子。為了克服前兩個局限性,我們提出了主題-帖子-評論圖卷積網絡(TPC-GCN),它綜合了來自主題、帖子和評論的圖結構和內容的信息,用于帖子級別的爭議檢測。對于第三個限制,我們將模型擴展到分離的TPC-GCN(DTPC-GCN),將主題相關和主題無關的特征分離出來,然后進行動態融合。在兩個真實數據集上的大量實驗表明,我們的模型優于現有的方法。結果和實例分析表明,該模型能夠將語義信息和結構信息有機地結合在一起,具有較強的通用性。

網址:

4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward

作者:Luyang Huang, Lingfei Wu, Lu Wang

摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已經被廣泛研究,但是生成的摘要通常受到捏造的內容的影響,并且經常被發現是near-extractive的。我們認為,為了解決這些問題,摘要生成器應通過輸入獲取語義解釋,例如通過結構化表示,以允許生成更多信息的摘要。在本文中,我們提出了一種新的抽取摘要框架--Asgard,它具有圖形增強和語義驅動的特點。我們建議使用雙重編碼器-序列文檔編碼器和圖形結構編碼器-來保持實體的全局上下文和局部特征,并且相互補充。我們進一步設計了基于多項選擇完形填空測試的獎勵,以驅動模型更好地捕捉實體交互。結果表明,我們的模型在紐約時報和CNN/每日郵報的數據集上都比沒有知識圖作為輸入的變體產生了更高的Rouge分數。與從大型預訓練的語言模型中優化的系統相比,我們也獲得了更好或可比的性能。評委進一步認為我們的模型輸出信息更豐富,包含的不實錯誤更少。

網址:

5. A Graph Auto-encoder Model of Derivational Morphology

作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty

摘要:關于派生詞的形態良好性(morphological well-formedness, MWF)建模工作在語言學中被認為是一個復雜而困難的問題,并且這方面的研究工作較少。我們提出了一個圖自編碼器學習嵌入以捕捉派生詞中詞綴和詞干的兼容性信息。自編碼器通過將句法和語義信息與來自心理詞典的關聯信息相結合,很好地模擬了英語中的MWF。

網址:

付費5元查看完整內容

【導讀】作為CCF推薦的A類國際學術會議,International ACM SIGIR Conference on Research and Development in Information Retrieval(國際計算機學會信息檢索大會,簡稱 SIGIR)在信息檢索領域享有很高的學術聲譽,每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2020計劃將于 2020年7月25日~30日在中國西安舉行。本次大會共有555篇長文投稿,僅有147篇長文被錄用,錄用率約26%。專知小編提前為大家整理了六篇SIGIR 2020 基于圖神經網絡的推薦(GNN+RS)相關論文,這六篇論文分別出自中科大何向南老師和和昆士蘭大學陰紅志老師團隊,供大家參考——捆綁推薦、Disentangled GCF、服裝推薦、多行為推薦、全局屬性GNN

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Bundle Recommendation with Graph Convolutional Networks

作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin

摘要:捆綁推薦(Bundle recommendation )旨在推薦一組商品供用戶整體消費。現有的解決方案通過共享模型參數或多任務學習的方式將用戶項目交互建模集成到捆綁推薦中,然而,這些方法不能顯式建模項目與捆綁包(bundles)之間的隸屬關系,不能探索用戶選擇捆綁包時的決策。在這項工作中,我們提出了一個用于捆綁推薦的圖神經網絡模型BGCN(Bundle Graph Convolutional Network)。BGCN將用戶-項目交互、用戶-捆綁包交互和捆綁包-項目從屬關系統一到一個異構圖中。以項目節點為橋梁,在用戶節點和捆綁包節點之間進行圖卷積傳播,使學習到的表示能夠捕捉到項目級的語義。通過基于hard-negative采樣器的訓練,可以進一步區分用戶對相似捆綁包的細粒度偏好。在兩個真實數據集上的實驗結果表明,BGCN的性能有很高的提升,其性能比最新的基線高出10.77%到23.18%。

網址: //arxiv.org/abs/2005.03475

2. Disentangled Graph Collaborative Filtering

作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua

摘要:從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入函數利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,這些方法在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了打發時間,為了興趣,或者為其他人(如家庭)購物。這種統一的對用戶興趣建模的方法很容易導致次優表示,不能對不同的關系建模并在表示中分清用戶意圖。在這項工作中,我們特別關注用戶意圖細粒度上的用戶-項目關系。因此,我們設計了一種新的模型- Disentangled圖協同過濾(Disentangled Graph Collaborative Filtering ,DGCF),來理清這些因素并產生disentangled的表示。具體地說,通過在每個用戶-項目交互意圖上的分布建模,我們迭代地細化意圖感知的交互圖和表示。同時,我們鼓勵不同的意圖獨立。這將生成disentangled的表示,有效地提取與每個意圖相關的信息。我們在三個基準數據集上進行了廣泛的實驗,DGCF與NGCF、DisenGCN和MacridV AE這幾個最先進的模型相比取得了顯著的改進。進一步的分析揭示了DGCF在分解用戶意圖和表示的可解釋性方面的優勢。

網址:

代碼鏈接:

.

3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection

作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui

摘要:近年來,推薦系統已經成為所有電子商務平臺中不可缺少的功能。推薦系統的審查評級數據通常來自開放平臺,這可能會吸引一群惡意用戶故意插入虛假反饋,試圖使推薦系統偏向于他們。此類攻擊的存在可能會違反高質量數據始終可用的建模假設,而這些數據確實會影響用戶的興趣和偏好。因此,構建一個即使在攻擊下也能產生穩定推薦的健壯推薦系統具有重要的現實意義。本文提出了一種基于GCN的用戶表示學習框架GraphRf,該框架能夠統一地進行穩健的推薦和欺詐者檢測。在其端到端學習過程中,用戶在欺詐者檢測模塊中被識別為欺詐者的概率自動確定該用戶的評級數據在推薦模塊中的貢獻;而在推薦模塊中輸出的預測誤差作為欺詐者檢測模塊中的重要特征。因此,這兩個組成部分可以相互促進。經過大量的實驗,實驗結果表明我們的GraphRf在魯棒評級預測和欺詐者檢測這兩個任務中具有優勢。此外,所提出的GraphRf被驗證為對現有推薦系統上的各種攻擊具有更強的魯棒性。

網址:

4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua

摘要:服裝推薦越來越受到網購服務商和時尚界的關注。與向用戶推薦單個單品(例如,朋友或圖片)的其他場景(例如,社交網絡或內容共享)不同,服裝推薦預測用戶對一組匹配良好的時尚單品的偏好。因此,進行高質量的個性化服裝推薦應滿足兩個要求:1)時尚單品的良好兼容性;2)與用戶偏好的一致性。然而,目前的研究主要集中在其中一個需求上,只考慮了用戶-全套服裝(outfit)或全套服裝-項目的關系,從而容易導致次優表示,限制了性能。在這項工作中,我們統一了兩個任務,服裝兼容性建模和個性化服裝推薦。為此,我們開發了一個新的框架,層次時尚圖網絡(HFGN),用于同時建模用戶、商品和成套服裝之間的關系。特別地,我們構建了一個基于用戶-全套服裝交互和全套服裝-項目映射的層次結構。然后,我們從最近的圖神經網絡中得到啟發,在這種層次圖上使用嵌入傳播,從而將項目信息聚合到一個服裝表示中,然后通過他/她的歷史服裝來提煉用戶的表示。此外,我們還對這兩個任務進行了聯合訓練,以優化這些表示。為了證明HFGN的有效性,我們在一個基準數據集上進行了廣泛的實驗,HFGN在NGNN和FHN等最先進的兼容性匹配模型基礎上取得了顯著的改進。

網址:

代碼鏈接:

5. Multi-behavior Recommendation with Graph Convolutional Networks

作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li

摘要:傳統的推薦模型通常只使用一種類型的用戶-項目交互,面臨著嚴重的數據稀疏或冷啟動問題。利用多種類型的用戶-項目交互(例如:點擊和收藏)的多行為推薦可以作為一種有效的解決方案。早期的多行為推薦研究未能捕捉到行為對目標行為的不同程度的影響。它們也忽略了多行為數據中隱含的行為語義。這兩個限制都使得數據不能被充分利用來提高對目標行為的推薦性能。在這項工作中,我們創新性地構造了一個統一的圖來表示多行為數據,并提出了一種新的模型--多行為圖卷積網絡(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通過用戶-項目傳播層學習行為強度,通過項目-項目傳播層捕獲行為語義,較好地解決了現有工作的局限性。在兩個真實數據集上的實驗結果驗證了該模型在挖掘多行為數據方面的有效性。我們的模型在兩個數據集上的性能分別比最優基線高25.02%和6.51%。對冷啟動用戶的進一步研究證實了該模型的實用性。

網址:

6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation

作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen

摘要:基于流會話的推薦(Streaming session-based recommendation,SSR)是一項具有挑戰性的任務,它要求推薦器系統在流媒體場景(streaming scenario)中進行基于會話的推薦(SR)。在電子商務和社交媒體的現實應用中,在一定時間內產生的一系列用戶-項目交互被分組為一個會話,這些會話以流的形式連續到達。最近的SR研究大多集中在靜態集合上,即首先獲取訓練數據,然后使用該集合來訓練基于會話的推薦器模型。他們需要對整個數據集進行幾個epoch的訓練,這在流式設置下是不可行的。此外,由于對用戶信息的忽視或簡單使用,它們很難很好地捕捉到用戶的長期興趣。雖然最近已經提出了一些流推薦策略,但它們是針對個人交互流而不是會話流而設計的。本文提出了一種求解SSR問題的帶有Wasserstein 庫的全局屬性圖(GAG)神經網絡模型。一方面,當新的會話到達時,基于當前會話及其關聯用戶構造具有全局屬性的會話圖。因此,GAG可以同時考慮全局屬性和當前會話,以了解會話和用戶的更全面的表示,從而在推薦中產生更好的性能。另一方面,為了適應流會話場景,提出了Wasserstein庫來幫助保存歷史數據的代表性草圖。在兩個真實數據集上進行了擴展實驗,驗證了GAG模型與最新方法相比的優越性。

網址:

付費5元查看完整內容

【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。為此,專知小編提前為大家整理了ACL 2020圖神經網絡(GNN)相關論文,讓大家先睹為快——事實驗證、法律文書、謠言檢測、自動摘要、情感分析。

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Fine-grained Fact Verification with Kernel Graph Attention Network

作者:Zhenghao Liu, Chenyan Xiong, Maosong Sun, Zhiyuan Liu

摘要:事實驗證(Fact V erification)需要細粒度的自然語言推理能力來找到微妙的線索去識別句法和語義上正確但沒有強有力支持的聲明(well-supported claims)。本文提出了基于核方法的圖注意力網絡(KGAT),該網絡使用基于核的注意力進行更細粒度的事實驗證。給定一個聲明和一組形成證據圖潛在證據的句子,KGAT在圖注意力網絡中引入了可以更好地衡量證據節點重要性的節點核,以及可以在圖中進行細粒度證據傳播的邊緣核,以實現更準確的事實驗證。KGAT達到了70.38%的FEVER得分,在FEVER上大大超過了現有的事實驗證模型(FEVER是事實驗證的大規模基準)。我們的分析表明,與點積注意力相比,基于核的注意力更多地集中在證據圖中的相關證據句子和有意義的線索上,這是KGAT有效性的主要來源。

網址://arxiv.org/pdf/1910.09796.pdf

2. Distinguish Confusing Law Articles for Legal Judgment Prediction

作者:Nuo Xu, Pinghui Wang, Long Chen, Li Pan, Xiaoyan Wang, Junzhou Zhao

摘要:法律審判預測(LJP)是在給出案件事實描述文本的情況下,自動預測案件判決結果的任務,其在司法協助系統中具有良好的應用前景,為公眾提供方便的服務。實際上,由于適用于類似法律條款的法律案件很容易被誤判,經常會產生混淆的指控。在本文中,我們提出了一個端到端的模型--LADAN來解決LJP的任務。為了解決這一問題,現有的方法嚴重依賴領域專家,這阻礙了它在不同法律制度中的應用。為了區分混淆的指控,我們提出了一種新的圖神經網絡來自動學習混淆法律文章之間的細微差別,并設計了一種新的注意力機制,該機制充分利用學習到的差別從事實描述中提取令人信服的鑒別特征。在真實數據集上進行的實驗證明了我們的LADAN算法的優越性。

網址:

3. GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media

作者:Yi-Ju Lu, Cheng-Te Li

摘要:本文解決了在更現實的社交媒體場景下的假新聞檢測問題。給定源短文本推文和相應的沒有文本評論的轉發用戶序列,我們的目的是預測源推文是否是假的,并通過突出可疑轉發者的證據和他們關注的詞語來產生解釋。為了實現這一目標,我們提出了一種新的基于神經網絡的模型--圖感知協同注意網絡(GCAN)。在真實推文數據集上進行的廣泛實驗表明,GCAN的平均準確率比最先進的方法高出16%。此外,案例研究還表明,GCAN可以給出合理的解釋。

網址:

4. Heterogeneous Graph Neural Networks for Extractive Document Summarization

作者:Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, Xuanjing Huang

摘要:作為提取文檔摘要的關鍵步驟,跨句關系學習已經有了大量的研究方法。一種直觀的方法是將它們放入基于圖的神經網絡中,該網絡具有更復雜的結構來捕獲句間關系。本文提出了一種基于圖的異構神經網絡抽取摘要算法(HeterSUMGraph),該算法除句子外,還包含不同粒度的語義節點。這些額外的結點起到句子之間的中介作用,豐富了句子之間的關系。此外,通過引入文檔節點,我們的圖結構可以靈活地從單文檔設置自然擴展到多文檔設置。據我們所知,我們是第一個將不同類型的節點引入到基于圖的神經網絡中進行提取文檔摘要的,我們還進行了全面的定性分析,以考察它們的好處。

網址:

代碼鏈接:

5. Relational Graph Attention Network for Aspect-based Sentiment Analysis

作者:Kai Wang, Weizhou Shen, Yunyi Yang, Xiaojun Quan, Rui Wang

摘要:Aspect級的情感分析旨在確定在線評論中對某一特定方面的情感極性。最近的大多數努力采用了基于注意力的神經網絡模型來隱式地將aspect與觀點詞聯系起來。然而,由于語言的復雜性和單句中多個aspect的存在,這些模型往往混淆了它們之間的聯系。在本文中,我們通過對語法信息進行有效的編碼來解決這個問題。首先,我們通過重塑和修剪常規依賴關系樹,定義了一個以目標方面為根的統一的面向aspect的依賴樹結構。然后,我們提出了一種關系圖注意力網絡(R-GAT)來編碼新的樹結構用于情感預測。我們在SemEval 2014和Twitter數據集上進行了廣泛的實驗,實驗結果證實,該方法可以更好地建立aspect和觀點詞之間的聯系,從而顯著提高了圖注意網絡(GAT)的性能。

網址:

付費5元查看完整內容

人工智能領域的頂會AAAI 2020將在2020年2月7日-12日在美國紐約舉行。據官方統計消息,AAAI 2020今年共收到的有效論文投稿超過 8800 篇,其中 7737 篇論文進入評審環節,最終收錄數量為 1591 篇,接收率 20.6%。開會在即,專知小編提前整理了AAAI 2020圖神經網絡(GNN)相關的接收論文,讓大家先睹為快——跨模態、部分標簽學習、交通流預測、少樣本學習、貝葉斯圖神經網絡。

  1. Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

作者:Renchun You, Zhiyao Guo, Lei Cui, Xiang Long, Yingze Bao, Shilei Wen

摘要:多標簽圖像和視頻分類是計算機視覺中最基本也是最具挑戰性的任務。主要的挑戰在于捕獲標簽之間的空間或時間依賴關系,以及發現每個類的區別性特征的位置。為了克服這些挑戰,我們提出將語義圖嵌入的跨模態注意力機制用于多標簽分類。基于所構造的標簽圖,我們提出了一種基于鄰接關系的相似圖嵌入方法來學習語義標簽嵌入,該方法顯式地利用了標簽之間的關系。在學習標簽嵌入的指導下,生成我們新穎的跨模態注意力圖。在兩個多標簽圖像分類數據集(MS-COCO和NUS-WIDE)上的實驗表明,我們的方法優于其他現有的方法。此外,我們在一個大的多標簽視頻分類數據集(YouTube-8M Segments)上驗證了我們的方法,評估結果證明了我們的方法的泛化能力。

網址: //arxiv.org/abs/1912.07872

  1. General Partial Label Learning via Dual Bipartite Graph Autoencoder

作者:Brian Chen, Bo Wu, Alireza Zareian, Hanwang Zhang, Shih-Fu Chang

摘要:我們提出了一個實際但有挑戰性的問題: 通用部分標簽學習(General Partial Label Learning,GPLL)。相比傳統的部分標簽學習(Partial Label Learning,PLL)問題, GPLL將監督假設從從實例級別(標簽集部分標記一個實例)放到了組級別: 1)標簽集部分標簽了一組實例, 其中組內 instance-label link annotations 丟失, 2)組間的link是允許的——組中的實例可以部分鏈接到另一個組中的標簽集。這種模糊的組級監督在實際場景中更實用,因為不再需要實例級的附加標注,例如,在視頻中組由一個幀中的人臉組成,并在相應的標題中使用名稱集進行標記,因此不再需要對實例級進行命名。本文提出了一種新的圖卷積網絡(GCN)——Dual Bipartite Graph Autoencoder (DB-GAE)來解決GPLL的標簽模糊問題。首先,我們利用組間的相互關系將實例組表示為dual bipartite圖:組內圖和組間圖,它們相互補充以解決鏈接的歧義。其次,我們設計了一個GCN自動編碼器來對它們進行編碼和解碼,其中的解碼被認為是經過改進的結果。值得注意的是DB-GAE是自監督和轉導的,因為它只使用組級的監督,而沒有單獨的offline訓練階段。對兩個真實數據集的大量實驗表明,DB-GAEG跟最佳baseline相比有著絕對的提升,0.159 的F1 score和24.8%的accuracy。我們還進一步分析了標簽歧義的各個層次。

網址:

  1. GMAN: A Graph Multi-Attention Network for Traffic Prediction

作者:Chuanpan Zheng, Xiaoliang Fan, Cheng Wang, Jianzhong Qi

摘要:由于交通系統的復雜性和影響因素的不斷變化,長期的交通預測具有很大的挑戰性。在本文中,我們以時空因素為研究對象,提出了一種多注意力圖網絡(graph multi-attention network ,GMAN)來預測道路網絡圖中不同位置的時間步長的交通狀況。GMAN采用了一種encoder-decoder結構,其中編碼器和解碼器都由多個時空注意力塊組成,以模擬時空因素對交通條件的影響。編碼器對輸入流量特征進行編碼,解碼器對輸出序列進行預測。在編碼器和解碼器之間,應用轉換注意力層來轉換已編碼的流量特征,以生成未來時間步長的序列表示作為解碼器的輸入。轉換注意力機制模擬了歷史時間步長與未來時間步長之間的直接關系,有助于緩解預測時間步長之間的誤差傳播問題。在兩個現實世界中的交通預測任務(即交通量預測和交通速度預測)上的實驗結果證明了GMAN的優越性。特別地,在提前1個小時的預測中,GMAN的MAE指標提高了4%,優于最新技術。源代碼可在

網址:

  1. Graph Few-shot Learning via Knowledge Transfer

作者:Huaxiu Yao, Chuxu Zhang, Ying Wei, Meng Jiang, SuhangWang, Junzhou Huang, Nitesh V. Chawla, Zhenhui Li

摘要:對于具有挑戰性的半監督節點分類問題,已經進行了廣泛的研究。圖神經網絡(GNNs)作為一個前沿領域,近年來引起了人們極大的興趣。然而,大多數GNN具有較淺的層,接收域有限,并且可能無法獲得令人滿意的性能,特別是在標記節點數量很少的情況下。為了解決這一問題,我們創新性地提出了一種基于輔助圖的先驗知識的graph few-shot learning (GFL)算法,以提高目標圖的分類精度。具體來說,輔助圖與目標之間共享一個可遷移的度量空間,該空間以節點嵌入和特定于圖的原型嵌入函數為特征,便于結構知識的傳遞。對四個真實世界圖數據集的大量實驗和消融研究證明了我們提出的模型的有效性以及每個組件的貢獻。

網址:

  1. Learning Cross-Modal Context Graph for Visual Grounding

作者:Yongfei Liu, Bo Wan, Xiaodan Zhu, Xuming He

摘要:Visual grounding是許多視覺語言任務中普遍存在的一個基本單元,但由于grounding實體的視覺和語言特征的巨大差異、強大的語境效應以及由此產生的語義歧義,visual grounding仍然具有挑戰性。以前的研究主要集中在學習單個短語在有限的語境信息下的表達。針對其局限性,本文提出了一種languageguided graph representation表示方法來捕獲grounding實體的全局上下文及其關系,并針對多短語visual grounding任務開發了一種跨模態圖匹配策略。特別地,我們引入一個模塊化圖神經網絡,通過消息傳播分別計算短語和目標建議的上下文感知表示,然后引入一個基于圖的匹配模塊來生成全局一致的基礎短語定位。我們在兩階段策略中聯合訓練整個圖神經網絡,并在Flickr30K Entities基準上對其進行評估。大量的實驗表明,我們的方法比之前的技術有相當大的優勢,證明了我們的基礎框架的有效性。代碼可以在 找到。

網址:

  1. Learning from the Past: Continual Meta-Learning with Bayesian Graph Neural Networks

作者:Yadan Luo, Zi Huang, Zheng Zhang, Ziwei Wang, Mahsa Baktashmotlagh, Yang Yang

摘要:元學習(Meta-learning)用于few-shot learning,允許機器利用以前獲得的知識作為優先級,從而在只有少量數據的情況下提高新任務的性能。然而,大多數主流模型都存在災難性遺忘和魯棒性不足的問題,因此不能充分保留或利用長期知識,同時容易導致嚴重的錯誤累積。本文提出了一種新的基于貝葉斯圖神經網絡(CML-BGNN)的連續元學習方法。通過將每個任務形成一個圖,可以通過消息傳遞和歷史遷移很好地保存任務內部和任務間的相關性。為了解決圖初始化過程中的拓撲不確定性問題,我們使用了Bayes by Backprop算法,該算法利用amortized推理網絡逼近任務參數的后驗分布,并將其無縫地集成到端到端邊緣學習中。在miniImageNet和tieredImageNet數據集上進行的大量實驗證明了該方法的有效性和效率,與最先進的miniImageNet 5-way 1-shot分類任務相比,性能提高了42:8%。

網址:

  1. Neural Graph Embedding for Neural Architecture Search

作者:Wei Li, Shaogang Gong, Xiatian Zhu

摘要:現有的神經體系結構搜索((NAS))方法往往直接在離散空間或連續空間中進行搜索,忽略了神經網絡的圖形拓撲知識。考慮到神經網絡本質上是有向無環圖(DAG),這會導致搜索性能和效率欠佳。在這項工作中,我們通過引入一種新的神經圖嵌入(NGE)思想來解決這個限制。具體來說,我們用神經DAG表示神經網絡的構建塊(即cell),并利用圖卷積網絡來傳播和建模網絡結構的固有拓撲信息。這導致可與現有的不同NAS框架集成的通用神經網絡表示。大量實驗表明,在圖像分類和語義分割方面,NGE優于最新方法。

網址:

  1. RoadTagger: Robust Road Attribute Inference with Graph Neural Networks

作者:Songtao He, Favyen Bastani, Satvat Jagwani, Edward Park, Sofiane Abbar, Mohammad Alizadeh, Hari Balakrishnan, Sanjay Chawla, Samuel Madden, Mohammad Amin Sadeghi

摘要:從衛星圖像中推斷道路屬性(例如車道數和道路類型)是一項挑戰。通常,由于衛星圖像的遮擋和道路屬性的空間相關性,僅當考慮道路的較遠路段時,道路上某個位置的道路屬性才可能是顯而易見的。因此,為了魯棒地推斷道路屬性,模型必須整合分散的信息,并捕捉道路沿線特征的空間相關性。現有的解決方案依賴于圖像分類器,無法捕獲這種相關性,導致準確性較差。我們發現這種失敗是由于一個基本的限制–圖像分類器的有效接受范圍有限。

為了克服這一局限性,我們提出了一種結合卷積神經網絡(CNNs)和圖神經網絡(GNNs)來推斷道路屬性的端到端體系結構RoadTagger。使用GNN允許信息在路網圖上傳播,消除了圖像分類器的接收域限制。我們在一個覆蓋美國20個城市688平方公里面積的大型真實數據集和一個綜合數據集上對RoadTagger進行了評估。在評估中,與基于CNN圖像分類器的方法相比,RoadTagger提高了推理的準確性。此外,RoadTagger對衛星圖像的中斷具有較強的魯棒性,能夠學習復雜的inductive rule來聚合道路網絡上分散的信息。

網址:

付費5元查看完整內容

數據挖掘領域的國際會議WSDM將于2020年2月3日-2月7日在美國休斯敦召開,WSDM 2020全稱為第13屆國際互聯網搜索與數據挖掘會議(The 13th International Conference on Web Search and Data Mining, WSDM 2020)。WSDM是CCF推薦的B類國際學術會議,由SIGIR、SIGKDD、SIGMOD和SIGWEB四個專委會協調籌辦,在互聯網搜索、數據挖掘領域享有較高學術聲譽。這次會議共收到來自615篇長文投稿,僅有91篇長文被錄用,錄用率約15%。

為此小編特意整理了近期五篇圖神經網絡(GNN)相關的接收論文,讓大家先睹為快。

1. A Structural Graph Representation Learning Framework

作者:Ryan A. Rossi, Nesreen K. Ahmed, Eunyee Koh, Sungchul Kim, Anup Rao and Yasin Abbasi-Yadkori;

摘要:許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入,而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中,我們闡述了高階網絡表示學習,并提出了一個稱為HONE的通用框架,用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法,該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外,HONE被證明是快速和有效的,最壞情況下的時間復雜度幾乎是線性的。實驗結果表明,該算法能有效地處理大量的網絡日志數據,包括鏈接預測和visitor stitching。

網址//ryanrossi.com/pubs/WSDM20-structural-node-embedding-framework.pdf

2. Initialization for Network Embedding: A Graph Partition Approach

作者:Wenqing Lin, Feng He, Faqiang Zhang, Xu Cheng and Hongyun Cai;

摘要:網絡嵌入已經在文獻中得到了深入的研究,并廣泛用于各種應用中,如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制,但常常忽略了學習過程中對初始化策略的討論。在這項工作中,我們解決了這個重要的網絡嵌入初始化問題,它可以顯著地提高算法的有效性和效率。具體來說,我們首先利用graph partition技術將圖劃分為幾個不相交的子集,然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入,得到圖中每個節點的嵌入初始化,abstract graph上的網絡嵌入比輸入圖小得多,然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗,我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能,分別提高了7.76%和8.74%。此外,我們證明了初始化技術至少減少了20%的運行時間。

網址

3. Dynamic graph representation learning via self-attention networks

作者:Aravind Sankar, Yanhong Wu, Liang Gou, Wei Zhang and Hao Yang;

摘要:學習圖中節點的潛在表示是一項重要且普遍存在的任務,在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上,而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中,我們提出了Dynamic Self-Attention Network (DySAT),這是一種新型的神經架構,它操作在動態圖上,并學習節點表示,以捕捉結構特性和時間演化模式。具體來說,DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗:通信網絡和二分評級網絡。我們的實驗結果表明,DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。

網址

4. Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

作者:Carl Yang, Jieyu Zhang, Haonan Wang, Sha Li, Myungwan Kim, Ma? Walker, Yiou Xiao and Jiawei Han;

摘要:盡管節點語義已在社交網絡中得到了廣泛的探索,但對邊緣語義即社會關系的研究很少受到關注。理想的邊緣語義不僅應該顯示兩個用戶是連接的,而且還應該說明他么為什么彼此認識以及共享什么。然而,由于嘈雜的多模態信號和有限的用戶生成的ground-truth標簽,社交網絡中的關系往往很難分析。

在這項工作中,我們的目標是開發一個統一的且有原則的框架,通過在有噪聲和不完整數據存在的情況下整合多模態信號,將用戶關系描述為社交網絡中的邊緣語義。我們的框架對于半監督或無監督的情況也是靈活的。具體地說,我們假定每個用戶鏈接下的多個關系的潛在分布,并使用多模態圖邊緣變分自動編碼器來學習它們。我們用一個圖卷積網絡對網絡數據進行編碼,用多個重構網絡對任意信號進行解碼。在兩個公開的DBLP author network和兩個internal LinkedIn member network上的大量實驗和案例研究證明了我們提出的模型的優越性和有效性。

網址

5. Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning

作者:Xianfeng Tang, Yandong Li, Yiwei Sun, Huaxiu Yao, Prasenjit Mitra and Suhang Wang;

摘要:圖神經網絡(GNNs)有著廣泛的應用。然而,他們在對抗攻擊的魯棒性方面是不行的。先前的研究表明,對圖拓撲或節點特征使用不明顯的修改會大大降低GNN的性能。設計強大的圖神經網絡以防止poisoning attack是一項非常具有挑戰性的工作。現有工作的目標是僅使用poisoned圖來減少adversarial edge的負面影響,這是次優的,因為它們無法區分adversarial edge和normal edge。另一方面,來自與目標poisoned圖類似領域的clean圖在現實世界中通常是可用的。通過擾動這些clean圖,我們創建了監督知識來訓練檢測adversarial edge的能力,從而提高了GNN的魯棒性。然而,現有的工作忽略了這種clean圖的潛力。為此,我們研究了一個新的問題,通過研究clean圖來提高GNNs對poisoning attack的魯棒性。具體而言,我們提出了PA-GNN,它基于一種懲罰性聚合機制,通過分配較低的注意力系數來直接限制adversarial edge的負面影響。為了優化一個poisoned圖的PA-GNN,我們設計了一種meta-optimization算法,訓練PA-GNN使用clean圖和其adversarial圖懲罰擾動,并將這種能力遷移到poisoned圖上,以提高PA-GNN的魯棒性。在四個真實數據集上的實驗結果證明了PA-GNN對圖數據poisoning attack的魯棒性。

網址

論文鏈接: 提取碼:uzby

付費5元查看完整內容
北京阿比特科技有限公司