【導讀】最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】,CVPR視覺目標跟蹤,CVPR視覺問答,醫學圖像分割,圖神經網絡的推薦,CVPR域自適應, ICML圖神經網絡相關論文,反響熱烈。最近,Meta-Learning(元學習)相關研究非常火熱,這兩年相關論文非常多,結合最新的熱點方法,在應用到自己的領域,已經是大部分研究者快速出成果的一個必備方式。基于Meta-Learning(元學習)的工作在今年ICML 2019上出現了大量的論文,好多是些理論方法,希望CV、NLP、DM或者其他領域的同學多多學習,看能否結合,期待好的工作!今天小編專門整理最新七篇Meta-Learning(元學習)—在線元學習、元強化學習、元逆強化學習、層次結構元學習、小樣本學習等。
1、Sever: A Robust Meta-Algorithm for Stochastic Optimization(Sever:一種魯棒的隨機優化元算法)
ICML ’19
作者:Ilias Diakonikolas, Gautam Kamath, Daniel Kane, Jerry Li, Jacob Steinhardt, Alistair Stewart
摘要:在高維情況下,大多數機器學習方法對于哪怕是一小部分結構化異常值也是脆弱的。為了解決這一問題,我們引入了一種新的元算法,它可以接納base learner,如最小二乘或隨機梯度下降,并增強learner對異常值的抵抗力。我們的方法Sever具有強大的理論保證,但同時也具有很高的可伸縮性——除了運行base learner本身,它只需要計算某個n* d矩陣的頂部奇異向量。我們將服務器應用于藥物設計數據集和垃圾郵件分類數據集,發現在這兩種情況下,它都比幾個baseline具有更強的魯棒性。在垃圾郵件數據集上,有1%的損壞,我們實現了7.4%的test error, 相比之下,baseline的test error為13.4%-20.5%,未損壞數據集的test error為3%。同樣,在藥物設計數據集上,在10%的損壞情況下,我們獲得了1.42的mean squared test error,而baseline為1.51-2.33,未損壞數據集為1.23的mean squared test error。
網址:
//proceedings.mlr.press/v97/diakonikolas19a.html
代碼鏈接:
2、Online Meta-Learning(在線元學習)
ICML ’19
作者:智能系統的一個核心能力是能夠不斷地利用以前的經驗來加快和加強新任務的學習。兩個不同的研究范式研究了這個問題。元學習將此問題視為學習優先于模型的參數,該參數可用于快速適應新任務,但通常假定任務作為批處理一起可用。相比之下,在線(regret based)學習考慮的是一個任務接一個任務地顯示的環境,但傳統上只訓練一個模型,沒有特定于任務的適應性。這項工作引入了一個在線元學習設置,它融合了兩種范式的思想,以更好地捕捉持續終生學習的精神和實踐。我們提出了follow the meta leader (FTML)算法,它將MAML算法擴展到這個設置。從理論上講,這項工作提供了一個O(log T) regret guarantee,附加了一個高階平滑度的假設(與標準的在線設置相比)。我們對三個不同的大規模問題的實驗評估表明,該算法的性能顯著優于傳統在線學習方法。
網址:
3、Taming MAML: Efficient unbiased meta-reinforcement learning(Taming MAML: 有效的無偏元強化學習)
ICML ’19
作者:Hao Liu, Richard Socher, Caiming Xiong
摘要:雖然元強化學習(meta-reinformation learning,meta-rl)方法取得了顯著的成功,但如何獲得正確的、低方差的policy梯度估計仍然是一個重大的挑戰。特別是,估計一個大的Hessian,低樣本效率和不穩定的訓練繼續使Meta-RL變得困難。我們提出了一個名為Taming MAML (TMAML)的替代目標函數,它通過自動微分將控制變量添加到梯度估計中。TMAML通過在不引入偏差的情況下減小方差,提高了梯度估計的質量。我們進一步提出了我們方法的一個版本,該版本將元學習框架擴展到學習控制變量本身,從而從MDPs的分布中實現高效和可伸縮的學習。我們將我們的方法與MAML和其他方差偏置權衡方法(包括DICE、LVC和action-dependent control variates)進行了經驗性比較。我們的方法易于實現,并且在梯度估計的方差和精度方面優于現有的方法,最終在各種具有挑戰性的Meta-RL環境中獲得更高的性能。
網址:
代碼鏈接:
4、Learning a Prior over Intent via Meta-Inverse Reinforcement Learning(通過元逆強化學習學習先驗過意圖)
ICML ’19
作者:Kelvin Xu, Ellis Ratner, Anca Dragan, Sergey Levine, Chelsea Finn
摘要:將強化學習應用于實際問題的一個重大挑戰是需要指定一個oracle獎勵函數來正確定義任務。逆向強化學習(IRL)試圖通過從專家論證中推斷獎勵函數來避免這一問題。雖然很吸引人,但是收集涵蓋現實世界中常見變化的演示數據集(例如打開任何類型的門)可能會非常昂貴。因此,在實踐中,IRL通常只能通過有限的一組演示來執行,而在這些演示中,要明確地恢復一個獎勵函數是極其困難的。在這項工作中,我們利用了來自其他任務的演示可以用來約束一組可能的獎勵函數這一觀點,方法是學習一個“先驗”,這個“先驗”是專門為從有限的演示中推斷表達性獎勵函數的能力而優化的。我們證明了我們的方法可以有效地從新任務的圖像中recover rewards,并提供關于我們的方法如何類似于學習先驗的intuition。
網址:
5、Hierarchically Structured Meta-learning(層次結構元學習)
ICML ’19
作者:Huaxiu Yao, Ying Wei, Junzhou Huang, Zhenhui Li
摘要:為了在較少樣本的情況下快速學習,元學習利用了從以前任務中學到的先驗知識。然而,元學習的一個關鍵挑戰是任務的不確定性和異構性,這是無法通過任務之間的全局共享知識來處理的。在基于梯度元學習的基礎上,我們提出了一種層次結構的元學習(HSML)算法。受人類組織知識的方式的啟發,我們采用層次任務聚類結構對任務進行聚類。因此,該方法不僅通過對不同任務集群進行知識定制來解決這一問題,而且在相似任務集群之間保持了知識的泛化。為了解決任務關系的變化,我們還將層次結構擴展到連續學習環境中。實驗結果表明,該方法在toy回歸和少樣本圖像分類問題上均能取得較好的分類效果。
網址:
代碼鏈接:
6、Fast Context Adaptation via Meta-Learning(通過元學習快速適應上下文)
ICML ’19
作者:Luisa Zintgraf, Kyriacos Shiarli, Vitaly Kurin, Katja Hofmann, Shimon Whiteson
摘要:我們提出使用CAVIA進行元學習,這是對MAML的一個簡單擴展,它不太容易發生元過度擬合,更容易并行化,并且更具解釋性。CAVIA將模型參數劃分為兩部分:上下文參數(作為模型的額外輸入,適用于單獨的任務)和共享參數(經過元訓練并在任務之間共享)。在測試時,只更新上下文參數,從而導致低維任務表示。我們的經驗表明,CAVIA在回歸、分類和強化學習方面優于MAML。我們的實驗還突出了當前benchmark的弱點,即在某些情況下所需的適應量很小。
網址:
代碼鏈接:
7、LGM-Net: Learning to Generate Matching Networks for Few-Shot Learning(針對小樣本問題的學習生成匹配網絡方法)
ICML ’19
作者:Huaiyu Li, Weiming Dong, Xing Mei, Chongyang Ma, Feiyue Huang, Bao-Gang Hu
摘要:目前,成功的深度神經網絡往往依賴于大量訓練數據和訓練時間,當訓練數據較少時,神經網絡通常容易過擬合,這是由于傳統的基于梯度的更新算法沒有針對當前任務的先驗知識,無法在神經網絡的參數空間中找到具有較好泛化能力的參數點。當一個神經網絡計算結構固定的時候,網絡的參數權重決定了網絡的功能,而具有較好泛化能力的參數點可以看作是一個基于訓練數據的條件概率分布。根據這樣的觀察,我們針對小樣本問題提出了一種基于訓練數據直接生成具有較好泛化性網絡參數的元學習方法,讓神經網絡在大量的任務中積累經驗,自己學會如何解決小樣本問題。
網址:
代碼鏈接:
下載鏈接: 提取碼:06eq
【導讀】ICML(International Conference on Machine Learning),即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一,因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計,ICML 2020共提交4990篇論文,接收論文1088篇,接收率為21.8%。與往年相比,接收率逐年走低。在會議開始前夕,專知小編為大家整理了ICML 2020圖神經網絡(GNN)的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。
ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial
ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Convolutional Kernel Networks for Graph-Structured Data
作者:Dexiong Chen, Laurent Jacob, Julien Mairal
摘要:我們引入了一系列多層圖核,并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據,其中每個節點攜帶關于局部圖子結構的信息。一方面,核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示,這在樣本有限的情況下很有用。另一方面,我們的模型也可以在大規模數據上進行端到端的訓練,從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能,同時提供了簡單的模型解釋。
網址:
代碼鏈接:
2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt
摘要:本文提出了一種新的基于特征線性調制(feature-wise linear modulation,FiLM)的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”,從而沿著圖的邊傳播信息。在GNN-FILE中,邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換,從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現,本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的,產生了一些令人驚訝的結果:基線模型之間的差異比文獻報道的要小。盡管如此,GNN-FILE在分子圖的回歸任務上的表現優于基線方法,在其他任務上的表現也具有競爭性。
網址:
3. Haar Graph Pooling
作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan
摘要:深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中,圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作;它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖;壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式,所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征,并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。
網址:
4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon
摘要:我們提出了Interferometric Graph Transform(IGT),這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標,我們的學習表示既包括可區分的特征,也包括不變的特征。通過實驗可以得到,我們的學習過程利用了譜域的拓撲,這通常是譜方法的一個缺陷,特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法,例如圖像分類(MNIST,CIFAR-10)、社區檢測(Authorship,Facebook graph)和3D骨架視頻中的動作識別(SBU,NTU),在譜圖非監督環境下展示了一種新的技術水平。
網址:
5. Spectral Clustering with Graph Neural Networks for Graph Pooling
作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi
摘要:譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用,以實現聚合屬于同一簇的節點的池化操作。然而,Laplacian的特征分解代價很高,而且由于聚類結果是特定于圖的,因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中,我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式,并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的,不需要計算譜分解,并且學習了一個聚類函數,可以在樣本外的圖上快速評估。從提出的聚類方法出發,我們設計了一個圖池化算子,它克服了現有圖池化技術的一些重要局限性,并在多個監督和非監督任務中取得了最好的性能。
網址:
6. When Does Self-Supervision Help Graph Convolutional Networks?
作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen
摘要:自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs),以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而,自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中,我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制,分析了預訓練&精調和自訓練的局限性,并進而將重點放在多任務學習上。此外,我們還提出了三種新的GCNS自監督學習任務,并進行了理論分析和數值比較。最后,我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明,通過合理設計任務形式和合并機制,自監督有利于GCNS獲得更強的泛化能力和魯棒性。
網址:
代碼鏈接:
【導讀】最近小編推出CVPR2019圖卷積網絡相關論文、CVPR2019生成對抗網絡相關視覺論文、【可解釋性】相關論文和代碼,CVPR視覺目標跟蹤相關論文,CVPR視覺問答相關論文,反響熱烈。最近,醫學圖像分割這一新分割應用領域也廣泛受關注,出現了好多新方法、新數據集,今天小編專門整理最新七篇醫學圖像分割相關應用論文—對抗攻擊、跨模態域自適應、遷移學習、one-shot、GAN等。
1、Non-Local Context Encoder: Robust Biomedical Image Segmentation against Adversarial Attacks(非局部上下文編碼器: 針對對抗攻擊的魯棒生物醫學圖像分割)
AAAI ’19 Oral
作者:Xiang He, Sibei Yang, Guanbin Li?, Haofeng Li, Huiyou Chang, Yizhou Yu
摘要:基于深度卷積神經網絡(CNNs)的生物醫學圖像分割技術近年來受到廣泛關注。然而,它對對抗性樣本的脆弱性不容忽視。本文首次發現所有基于CNN的先進生物醫學圖像分割模型都對對抗擾動敏感。這限制了這些方法在安全關鍵的生物醫學領域的應用。在本文中,我們發現生物醫學圖像中的全局空間依賴關系和全局上下文信息可以被用來抵御對抗攻擊。為此,提出了一種基于非局部上下文編碼(NLCE)的短時和長時程空間依賴關系建模方法,并對全局上下文進行編碼,通過信道感知增強特征激活。NLCE模塊增強了非局部上下文編碼網絡(NLCEN)的魯棒性和準確性,NLCEN利用NLCE模塊學習魯棒性增強的金字塔特征表示,并將不同層次的信息集成在一起。在肺和皮膚病變分割數據集上的實驗表明,NLCEN在抵抗對抗攻擊方面優于任何其他先進的生物醫學圖像分割方法。此外,NLCE模塊可用于提高其他基于CNN的生物醫學圖像分割方法的魯棒性。
網址:
2、Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation(協同圖像與特征自適應: 面向醫學圖像分割的跨模態域自適應)
AAAI ’19 Oral
作者:Cheng Chen, Qi Dou, Hao Chen, Jing Qin, Pheng-Ann Heng
摘要:本文提出了一種新的無監督域自適應框架——協同圖像與特征自適應(SIFA),有效地解決了domain shift問題。域自適應是近年來深度學習研究的一個重要和熱點問題,其目的是解決神經網絡應用于新的測試領域時性能下降的問題。我們提出的SIFA是一個優雅的學習圖,它從圖像和特征兩個角度展示了適應性的協同融合。特別是,我們同時跨域轉換圖像的外觀并且增強所提取的特征的域不變性來進行分割任務。在端到端學習過程中,特征編碼器層由兩個透視圖共享,以掌握它們的共同特征。在不使用目標域的任何標注的情況下,我們的統一模型的學習是以對抗性損失為指導,從各個方面使用多個判別器。我們已經通過對心臟結構的跨模態醫學圖像分割這一具有挑戰性的應用廣泛地驗證了我們的方法。實驗結果表明,我們的SIFA模型能夠將性能下降幅度從17.2%恢復到73.0%,并顯著優于現有的最先進方法。
網址:
代碼鏈接:
3、Data augmentation using learned transformations for one-shot medical image segmentation(利用學習變換進行數據增強,實現one-shot醫學圖像分割)
CVPR ’19
作者:Amy Zhao, Guha Balakrishnan, Frédo Durand, John V. Guttag, Adrian V. Dalca
摘要:圖像分割是醫學應用中的一個重要課題。基于卷積神經網絡的方法獲得了最先進的精度;然而,它們通常依賴于帶有大型標記數據集的監督訓練。醫學圖像的標注需要大量的專業知識和時間,而典型的手工調優的數據增強方法無法捕捉這些圖像中的復雜變化。我們提出了一種自動數據增強方法來合成標記醫學圖像。我們在分割磁共振成像(MRI)腦掃描的任務中展示了我們的方法。我們的方法只需要一次分段掃描,并利用半監督方法中的其他未標記掃描。我們從圖像中學習轉換模型,并使用該模型和帶標記的示例來合成其他帶標記的示例。每個轉換都由空間變形場和強度變化組成,從而能夠綜合復雜的效果,如解剖學和圖像采集過程的變化。我們展示了使用這些新示例訓練有監督的分割器,對于one-shot生物醫學圖像分割的最先進方法有著顯著的改進。我們的代碼可以在
網址:
代碼鏈接:
4、Autofocus Layer for Semantic Segmentation(用于語義分割的自動聚焦層)
作者:Yao Qin, Konstantinos Kamnitsas, Siddharth Ancha, Jay Nanavati, Garrison Cottrell, Antonio Criminisi, Aditya Nori
摘要:為了提高神經網絡的多尺度處理能力,提出了一種自聚焦卷積層用于語義分割。自動聚焦層根據處理過的上下文自適應地改變有效接受域的大小,以生成更強大的特征。這是通過將具有不同膨脹率的多個卷積層并行化來實現的,并結合一種注意力機制,該機制學會將注意力集中在由上下文驅動的最優尺度上。通過共享并行卷積的權值,我們使網絡的規模不變,只增加了少量的參數。提出的自動聚焦層可以很容易地集成到現有網絡中,提高模型的表示能力。我們在骨盆CT多器官分割和MRI腦腫瘤分割的挑戰性任務中評估了我們的模型,并取得了非常有前景的性能。
網址:
5、Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning(利用生成式對抗學習進行Few-shot三維多模態醫學圖像分割)
作者:Arnab Kumar Mondal, Jose Dolz, Christian Desrosiers
摘要:我們解決了在極少數標記示例可供訓練的情況下分割三維多模態醫學圖像的問題。利用最近成功的對抗學習進行半監督分割,我們提出了一種基于生成對抗網絡(GAN)的新方法來訓練具有標記和未標記圖像的分割模型。該方法通過學習識別生成網絡中獲得的真假patch,來防止過擬合。我們的工作擴展了目前的專注于二維單模態圖像對抗性學習方法到更具挑戰性的三維體多模態。針對iSEG-2017和MRBrainS 2013數據集的腦MRI分割問題,對該方法進行了評估。與在完全監督下訓練的最先進的分割網絡相比,性能有了顯著的提高。此外,我們的工作提供了對半監督分割的不同GAN架構的綜合分析,顯示了最近的技術,如特征匹配,以產生比傳統對抗訓練方法更高的性能。我們的代碼可以通過
網址:
代碼鏈接:
6、nnU-Net: Breaking the Spell on Successful Medical Image Segmentation(nnU-Net)
作者:Fabian Isensee, Jens Petersen, Simon A. A. Kohl, Paul F. J?ger, Klaus H. Maier-Hein
摘要:由于數據集的多樣性,語義分割是醫學圖像分析中的一個熱門子領域,每年都有大量的新方法被提出。然而,這個不斷增長的系列方法變得越來越難以理解。同時,許多提出的方法不能推廣到實驗之外,從而阻礙了在新數據集上開發分割算法的過程。這里我們介紹nnU-Net(“no-new-Net”),這個框架可以自適應任何給定的新數據集。雖然到目前為止這個過程完全由人為驅動,但我們首先嘗試根據給定數據集的屬性自動執行必要的調整,例如預處理,精確的patch大小,batch大小和推理設置。值得注意的是,nnU-Net去掉了通常在文獻中提出的架構上的附加功能,只依賴于嵌入在健壯的訓練方案中的簡單U-Net架構。開箱即用,nnU-Net在六個完善的細分挑戰中實現了最先進的性能。源代碼可從
網址:
代碼鏈接:
7、PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network with a Benchmark at Cross-modality Cardiac Segmentation(PnP-AdaNet:即插即用的對抗性域自適應網絡,用于跨模態心臟分割的基準)
作者:Qi Dou, Cheng Ouyang, Cheng Chen, Hao Chen, Ben Glocker, Xiahai Zhuang, Pheng-Ann Heng
摘要:深卷積網絡在各種醫學圖像計算任務中表現出了最先進的性能。利用來自不同模式的圖像進行相同的分析任務具有臨床益處。然而,深度模型對不同分布的測試數據的泛化能力仍然是一個主要的挑戰。在本文中,我們提出了PnPAdaNet(即插即用的對抗域自適應網絡)來適應不同醫學圖像模式(如MRI和CT)之間的分割網絡。我們建議以一種無監督的方式對齊源域和目標域的特征空間,從而解決重要的domain shift問題。具體地,域自適應模塊靈活地替換源網絡的早期編碼器層,并且在域之間共享更高層。通過對抗性學習,我們構建了兩個判別器,其輸入分別是多級特征和預測分割掩碼。我們在非配對MRI和CT中的心臟結構分割任務驗證了我們的域自適應方法。綜合消融研究的實驗結果證明了我們提出的PnP-AdaNet的優異功效。此外,我們為心臟數據集引入了一個新的基準,用于無監督跨模態域自適應的任務。我們將公開我們的代碼和數據集,旨在促進醫學成像這一具有挑戰性但重要的研究課題的未來研究。
網址:
代碼鏈接:
下載鏈接: 提取碼:kljf
計算機視覺頂會 CVPR 2019 的論文接前幾天公布了接受論文:在超過 5100 篇投稿中,共有 1300 篇被接收,達到了接近 25.2% 的接收率。上周小編推出CVPR2019圖卷積網絡相關論文,反響熱烈。CVPR2019 最新發布的論文有很多關于生成對抗網絡(GAN)相關論文,今天小編專門整理最新十篇生成對抗網絡相關視覺論文—風格遷移、圖像合成、異常檢測、事件、故事可視化、Text2Scene等。
1、A Style-Based Generator Architecture for Generative Adversarial Networks(一種用于生成對抗網絡的基于Style的新生成器結構)
作者:Tero Karras, Samuli Laine, Timo Aila
摘要:我們借鑒了風格遷移的相關工作,提出了一種用于生成對抗網絡的替代生成器結構。新的結構自動學習、無監督地分離高級屬性(例如,在人臉訓練時的姿勢和身份)和生成圖像中的隨機變化(例如雀斑、頭發),并支持對合成的直觀、特定尺度的控制。該算法改進了傳統的分布質量度量方法,提高了插補性能,并較好地解決了潛在的變化因素。為了量化interpolation quality和disentanglement,我們提出了兩種新的、適用于任何生成器架構的自動化方法。最后,我們介紹了一個新的,高度多樣化和高質量的人臉數據集。
網址:
代碼鏈接:
2、Spatial Fusion GAN for Image Synthesis(基于空間融合GAN的圖像合成)
作者:Fangneng Zhan, Hongyuan Zhu, Shijian Lu
摘要:生成對抗網絡(GANs)的最新研究成果顯示了其在真實圖像合成方面的巨大潛力,而現有的大多數文章都是在外觀空間或幾何空間進行合成,但同時使用兩者的很少。本文提出了一種新穎的空間融合GAN (SF-GAN),它結合了幾何合成器和表觀合成器,實現了幾何和外觀空間的綜合真實感。該幾何合成器學習背景圖像的背景幾何,并一致地將前景對象轉換和放置到背景圖像中。該外觀合成器對前景對象的顏色、亮度和樣式進行調整,并將其和諧地嵌入背景圖像中,其中引入了一個用于細節保存的引導濾波器。這兩個合成器相互連接,作為相互參照,可以在沒有監督的情況下進行端到端訓練。對SF-GAN在兩個任務中進行了評估: (1)為訓練更好的識別模型,進行了逼真的場景文本圖像合成;(2)戴眼鏡和帽子,與真人相匹配的眼鏡和帽子。定性和定量的比較表明了所提出的SF-GAN的優越性。
網址:
代碼鏈接:
3、f-VAEGAN-D2: A Feature Generating Framework for Any-Shot Learning(任意樣本學習的特征生成框架)
作者:Yongqin Xian, Saurabh Sharma, Bernt Schiele, Zeynep Akata
摘要:當標記的訓練數據很少時,一種很有前途的數據增強方法是使用未知類的屬性生成它們的視覺特征。為了學習CNN特征的類條件分布,這些模型依賴于成對的圖像特征和類屬性。因此,他們無法利用大量未標記的數據樣本。在本文中,我們在一個統一的特征生成框架中處理任意樣本學習問題,即零樣本和少樣本。我們建立了一個結合VAE和GANs的強度的條件生成模型,并通過一個無條件的判別器學習未標記圖像的邊緣特征分布。我們的實驗表明,我們的模型學習了CUB、SUN、AWA和ImageNet這5個數據集的CNN特征,并建立了一種新的最前沿的任意樣本學習,即歸納和轉換(廣義)零樣本和少樣本學習設置。我們還證明了我們所學習的特性是可解釋的: 我們通過將它們反轉回像素空間來對它們進行可視化,并通過生成文本參數來解釋它們為什么與某個標簽相關聯。
網址:
4、OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations(OCGAN:使用具有約束潛在表征的GAN進行One-class異常檢測)
作者:Pramuditha Perera, Ramesh Nallapati, Bing Xiang
摘要:針對單類異常檢測的經典問題,提出了一種新的OCGAN模型,其中,給定一組來自特定類的示例,目標是確定查詢示例是否來自同一類。我們的解決方案基于使用去噪自編碼器網絡學習類內示例的潛在表示。我們工作的關鍵貢獻是我們顯式地約束潛在空間,使其只表示給定的類。為了實現這一目標,首先,我們通過在編碼器的輸出層引入tanh激活函數來強制潛在空間獲得有限的支持。其次,在反方向訓練的潛在空間中使用判別器,保證了類內樣本的編碼表示形式類似于從同一有界空間抽取的均勻隨機樣本。第三,在輸入空間中使用第二個對抗性判別器,確保所有隨機抽取的潛在樣本生成的示例看起來都是真實的。最后,我們介紹了一種基于梯度下降的采樣技術,該技術探索潛在空間中的點,這些點生成潛在的類外示例,并將這些類外示例反饋給網絡,進一步訓練網絡從這些點生成類內示例。該方法通過四個公開可用的數據集,使用兩種one-class異常檢測協議來證明其有效性,跟別的方法相比,我們的方法實現了最先進的結果。
網址:
代碼鏈接:
5、Event-based High Dynamic Range Image and Very High Frame Rate Video Generation using Conditional Generative Adversarial Networks(使用條件生成對抗網絡生成基于事件的高動態范圍圖像和超高幀率視頻)
作者:S. Mohammad Mostafavi I., Lin Wang, Yo-Sung Ho, Kuk-Jin Yoon
摘要:與傳統相機相比,Event camera具有低延遲、高時間分辨率、高動態范圍等優點。然而,由于Event camera的輸出是超時的異步事件序列而不是實際強度圖像,因此不能直接應用現有算法。因此,需要從事件中為其他任務生成強度圖像。在本文中,我們揭開了基于Event camera的條件生成對抗網絡的潛力,從事件數據流的可調部分創建圖像/視頻。利用事件的時空坐標棧作為輸入,訓練網絡根據時空強度變化再現圖像。并且,還證明了Event camera在極端光照條件下也能生成高動態范圍(HDR)圖像,在快速運動下也能生成非模糊圖像。此外,還演示了生成非常高幀率視頻的可能性,理論上可以達到每秒100萬幀(FPS),因為Event camera的時間分辨率大約為1{\mu}s。通過與使用在線可用的真實數據集和Event camera模擬器生成的合成數據集在同一像素事件網格線上捕獲的強度圖像進行比較,對所提出的方法進行了評估。
網址:
6、GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction(GANFIT: 用于高保真三維人臉重建的生成對抗網絡擬合)
作者:Baris Gecer, Stylianos Ploumpis, Irene Kotsia, Stefanos Zafeiriou
摘要:在過去的幾年里,利用深度卷積神經網絡(DCNNs)的強大功能,從單個圖像中重建三維人臉結構已經做了大量的工作。在最近的研究中,我們使用了可微渲染器來學習人臉識別特征與三維形態和紋理模型參數之間的關系。紋理特征要么對應于線性紋理空間的組件,要么由自編碼器直接從野外圖像(in-the-wild images)中學習。在所有情況下,人臉紋理重建的最先進的方法仍然不能以高保真度來建模紋理。在這篇論文中,我們采取了一個完全不同的方法,利用生成對抗網絡(GANs)和DCNNs的力量,從單一的圖像重建面部紋理和形狀。也就是說,我們利用GAN在UV空間中訓練一個非常強大的面部紋理生成器。在此基礎上,利用非線性優化方法,對原三維形態模型(3DMMs)擬合方法進行了重新研究,找到了最優的潛在參數,并在新的視角下對測試圖像進行了重構。利用端到端可微框架,我們通過預先訓練的深層身份特征來優化參數。我們在真實感和保真性的三維人臉重建方面取得了優異的效果,并首次實現了基于高頻細節的人臉紋理重建。
網址:
代碼鏈接:
7、Self-Supervised Generative Adversarial Networks(自監督生成對抗網絡)
作者:Ting Chen, Xiaohua Zhai, Marvin Ritter, Mario Lucic, Neil Houlsby
摘要:條件GAN是自然圖像合成的前沿。這種模型的主要缺點是需要標記數據。在這項工作中,我們使用了兩種流行的無監督學習技術,對抗性訓練(adversarial training)和自監督(self-supervision),以縮小有條件和無條件GAN之間的差距。特別是,我們允許網絡在表示學習的任務上進行協作,同時在經典的GAN游戲中具有對抗性。自監督的作用是鼓勵discriminator學習有意義的特征表示,這些特征在訓練中不會被遺忘。我們對學習圖像表示的質量和合成圖像的質量進行了經驗檢驗。在相同條件下,自監督GAN獲得與最先進的條件相似的性能。最后,我們證明了這種完全無監督學習的方法可以在無條件生成ImageNet時擴展到FID為33。
網址:
代碼鏈接:
8、Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis(基于Mode Seeking的生成對抗網絡方法應用于多種圖像合成)
作者:Qi Mao, Hsin-Ying Lee, Hung-Yu Tseng, Siwei Ma, Ming-Hsuan Yang
摘要:大多數條件生成任務都期望給定一個條件上下文的不同輸出。然而,條件生成對抗網絡(cGANs)往往只關注先驗條件信息,而忽略了輸入噪聲向量,從而導致了輸出的變化。最近解決cGANs模式崩潰問題的嘗試通常是特定于任務的,而且計算成本很高。在這項工作中,我們提出了一個簡單而有效的正則化項來解決cGANs的模式崩潰問題。該方法顯式地將生成的圖像與對應的潛在編碼(latent codes)之間的距離比值最大化,從而鼓勵生成器在訓練過程中探索更多的小模式。這種尋求正則化項的模式很容易適用于各種條件生成任務,而不需要增加訓練開銷或修改原有的網絡結構。基于不同的baseline模型,我們在三個條件圖像合成任務上驗證了該算法的有效性,任務包括分類生成、圖像到圖像的轉換、文本到圖像的合成。定性和定量結果都證明了所提出的正則化方法在不損失質量的情況下提高多樣性的有效性。
網址:
代碼鏈接:
9、StoryGAN: A Sequential Conditional GAN for Story Visualization(StoryGAN: 序列條件GAN的故事可視化)
作者:Yitong Li, Zhe Gan, Yelong Shen, Jingjing Liu, Yu Cheng, Yuexin Wu, Lawrence Carin, David Carlson, Jianfeng Gao
摘要:在這項工作中,我們提出了一個新的任務,稱為故事可視化(Story Visualization)。給定一個多句的段落,通過為每個句子生成一個圖像序列來可視化故事。與視頻生成不同,故事可視化不太關注生成圖像(幀)中的連續性,而是更關注動態場景和角色之間的全局一致性——這是任何單一圖像或視頻生成方法都無法解決的挑戰。因此,我們提出了一個新的基于序列條件GAN框架的故事到圖像序列生成模型StoryGAN。我們的模型的獨特之處在于,它由一個動態跟蹤故事流的深層上下文編碼器和兩個分別位于故事和圖像級別的鑒別器組成,以提高圖像質量和生成序列的一致性。為了評估模型,我們修改了現有的數據集,以創建CLEVR-SV和Pororo-SV數據集。從經驗上看,StoryGAN在圖像質量、上下文一致性度量和人類評估方面優于最先進的模型。
網址:
代碼鏈接:
10、Text2Scene: 從文本描述生成合成場景(使用條件生成對抗網絡生成基于事件的高動態范圍圖像和超高幀率視頻)
作者:Fuwen Tan, Song Feng, Vicente Ordonez
摘要:我們提出了Text2Scene模型,該模型對輸入的自然語言描述進行解釋,以生成各種形式的合成場景表示;從抽象的卡通場景到合成圖像。與最近的工作不同,我們的方法不使用生成對抗網絡,而是將編碼器-解碼器模型與基于半參數檢索的方法相結合。Text2Scene學習通過關注輸入文本的不同部分以及生成場景的當前狀態,在每一個時間步驟中依次生成對象及其屬性(位置、大小、外觀等)。我們表明,在微小的修改下,所提出的框架可以處理不同形式的場景表示的生成,包括卡通場景、與真實圖像對應的對象布局以及合成圖像組合。我們的方法不僅與最先進的基于GAN的自動度量方法和基于人類判斷的方法相比具有競爭力,而且更通用、更易于解釋。
網址:
下載鏈接: 提取碼:lb7k
最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】,CVPR視覺目標跟蹤,CVPR視覺問答,醫學圖像分割,圖神經網絡的推薦,CVPR域自適應, ICML圖神經網絡,ICML元學習相關論文,反響熱烈。最近,ACL 2019最新接受文章出爐,大會共收到2905 篇論文投稿,其中660 篇被接收(接收率為22.7%)。小編發現,今年接受的文章結合GNN的工作有二三十篇,看來,圖神經網絡已經攻占NLP領域,希望其他領域的同學多多學習,看能否結合,期待好的工作!今天小編專門整理最新十篇ACL長文,圖神經網絡(GNN)+NLP—注意力機制引導圖神經網絡、Graph-to-Sequence、動態融合圖網絡、實體和關系抽取、Multi-hop閱讀理解、多模態上下文圖理解等。
1、Attention Guided Graph Convolutional Networks for Relation Extraction (注意力機制引導圖神經網絡的關系抽取)
ACL ’19
作者:Zhijiang Guo*, Yan Zhang* and Wei Lu
摘要:Dependency trees傳遞豐富的結構信息,這些信息對于提取文本中實體之間的關系非常有用。然而,如何有效利用相關信息而忽略Dependency trees中的無關信息仍然是一個具有挑戰性的研究問題。現有的方法使用基于規則的hard-pruning策略來選擇相關的部分依賴結構,可能并不總是產生最佳結果。本文提出了一種直接以全依賴樹為輸入的Attention Guided圖卷積網絡(AGGCNs)模型。我們的模型可以理解為一種soft-pruning方法,它自動學習如何有選擇地關注對關系提取任務有用的相關子結構。在包括跨句n元關系提取和大規模句級關系提取在內的各種任務上的大量結果表明,我們的模型能夠更好地利用全依賴樹的結構信息,其結果顯著優于之前的方法。
網址: //www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html
代碼鏈接:
2、Cognitive Graph for Multi-Hop Reading Comprehension at Scale(大規模認知圖的Multi-Hop閱讀理解)
ACL ’19
作者:Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang
摘要:我們提出了一種新的基于CogQA的web級文檔multi-hop問答框架。該框架以認知科學的對偶過程理論為基礎,通過協調隱式抽取模塊(System 1)和顯式推理模塊(System 2),在迭代過程中逐步構建認知圖,在給出準確答案的同時,進一步提供了可解釋的推理路徑。具體來說,我們基于BERT和graph neural network (GNN)的實現有效地處理了HotpotQA fullwiki數據集中數百萬個multi-hop推理問題的文檔,在排行榜上獲得了34.9的F1 score,而最佳競爭對手的得分為23.6。
網址:
代碼鏈接:
3、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model(使用Graph-to-Sequence模型為中文文章生成連貫的評論)
ACL ’19
作者:Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu sun
摘要:自動文章評論有助于鼓勵用戶參與和在線新聞平臺上的互動。然而,對于傳統的基于encoder-decoder的模型來說,新聞文檔通常太長,這往往會導致一般性和不相關的評論。在本文中,我們提出使用一個Graph-to-Sequence的模型來生成評論,該模型將輸入的新聞建模為一個主題交互圖。通過將文章組織成圖結構,我們的模型可以更好地理解文章的內部結構和主題之間的聯系,這使得它能夠更好地理解故事。我們從中國流行的在線新聞平臺Tencent Kuaibao上收集并發布了一個大規模的新聞評論語料庫。廣泛的實驗結果表明,與幾個強大的baseline模型相比,我們的模型可以產生更多的連貫性和信息豐富性的評論。
網址:
代碼鏈接:
4、Dynamically Fused Graph Network for Multi-hop Reasoning(基于動態融合圖網絡的Multi-hop Reasoning)
ACL ’19
作者:Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu
摘要:近年來,基于文本的問答(TBQA)得到了廣泛的研究。大多數現有的方法側重于在一段話內找到問題的答案。然而,許多有難度的問題需要來自兩個或多個文檔的分散文本的支持證據。本文提出了動態融合圖網絡(Dynamically Fused Graph Network ,DFGN),這是一種解決需要多個分散證據和推理的問題的新方法。受人類逐步推理行為的啟發,DFGN包含一個動態融合層,從給定查詢中提到的實體開始,沿著文本動態構建的實體圖進行探索,并逐步從給定文檔中找到相關的支持實體。我們在需要multi-hop reasoning的公共TBQA數據集HotpotQA上評估了DFGN。DFGN在公共數據集上取得了有競爭力的成績。此外,我們的分析表明,DFGN可以產生可解釋的推理鏈。
網址:
5、 Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media(利用圖卷積網絡對Social Information進行編碼,用于新聞媒體中的政治傾向性檢測)
ACL ’19
作者:Chang Li, Dan Goldwasser
摘要:確定新聞事件在媒體中討論方式的政治視角是一項重要而富有挑戰性的任務。在這篇文章中,我們強調了將社交網絡置于情景化的重要性,捕捉這些信息如何在社交網絡中傳播。我們使用最近提出的一種表示關系信息的神經網絡結構——圖卷積網絡(Graph Convolutional Network)來捕獲這些信息,并證明即使在很少的social information分類中也可以得到顯著改進。
網址:
6、Graph Neural Networks with Generated Parameters for Relation Extraction(用于關系抽取的具有生成參數的圖神經網絡)
ACL ’19
作者:Hao Zhu, Yankai Lin, Zhiyuan Liu, Jie Fu, Tat-seng Chua, Maosong Sun
摘要:近年來,在改進機器學習領域的關系推理方面取得了一些進展。在現有的模型中,圖神經網絡(GNNs)是最有效的multi-hop關系推理方法之一。事實上,在關系抽取等自然語言處理任務中,multi-hop關系推理是必不可少的。本文提出了一種基于自然語言語句生成圖神經網絡(GP-GNNs)參數的方法,使神經網絡能夠對非結構化文本輸入進行關系推理。我們驗證了從文本中提取關系的GPGNN。 實驗結果表明,與baseline相比,我們的模型取得了顯著的改進。我們還進行了定性分析,證明我們的模型可以通過multi-hop關系推理發現更精確的關系。
網址:
7、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks(使用圖卷積網絡在詞嵌入中結合句法和語義信息)
ACL ’19
作者:Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar
摘要:詞嵌入已被廣泛應用于多種NLP應用程序中。現有的詞嵌入方法大多利用詞的sequential context來學習詞的嵌入。雖然有一些嘗試利用詞的syntactic context,但這種方法會導致詞表數的爆炸。在本文中,我們通過提出SynGCN來解決這個問題,SynGCN是一種靈活的基于圖卷積的學習詞嵌入的方法。SynGCN在不增加詞表大小的情況下利用單詞的dependency context。SynGCN學習的詞嵌入在各種內部和外部任務上都優于現有方法,在與ELMo一起使用時提供優勢。我們還提出了SemGCN,這是一個有效的框架,用于整合不同的語義知識,以進一步增強所學習的單詞表示。我們提供了兩個模型的源代碼,以鼓勵可重復的研究。
網址:
代碼鏈接:
8、 GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction(GraphRel: 將文本建模為關系圖,用于實體和關系抽取)
ACL ’19
作者:Tsu-Jui Fu, Peng-Hsuan Li, Wei-Yun Ma
摘要:本文提出了一種利用圖卷積網絡(GCNs)聯合學習命名實體和關系的端到端關系抽取模型GraphRel。與之前的baseline相比,我們通過關系加權GCN來考慮命名實體和關系之間的交互,從而更好地提取關系。線性結構和依賴結構都用于提取文本的序列特征和區域特征,并利用完整的詞圖進一步提取文本所有詞對之間的隱式特征。基于圖的方法大大提高了對重疊關系的預測能力。我們在兩個公共數據集NYT和webnlg上評估了GraphRel。結果表明,GraphRel在大幅度提高recall的同時,保持了較高的precision。GraphRel的性能也比之前的工作好3.2%和5.8% (F1 score),實現了關系抽取的最先進的方法。
網址:
代碼鏈接:
9、Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs(通過對異構圖進行推理,實現跨多個文檔的Multi-hop閱讀理解)
ACL ’19
作者:Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, Bowen Zhou
摘要:跨文檔的Multi-hop閱讀理解(RC)對單文本RC提出了新的挑戰,因為它需要對多個文檔進行推理才能得到最終答案。在本文中,我們提出了一個新的模型來解決multi-hop RC問題。我們引入了具有不同類型的節點和邊的異構圖,稱為異構文檔-實體(HDE)圖。HDE圖的優點是它包含不同粒度級別的信息,包括特定文檔上下文中的候選信息、文檔和實體。我們提出的模型可以對HDE圖進行推理,節點表示由基于co-attention 和 self-attention的上下文編碼器初始化。我們使用基于圖神經網絡(GNN)的消息傳遞算法,在提出的HDE圖上累積evidence。通過對Qangaroo WIKIHOP數據集的blind測試集的評估,我們的基于HDE圖的單模型給出了具有競爭力的結果,并且集成模型達到了最先進的性能。
網址:
10、Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension(多模態上下文圖理解和自監督開放集理解的Textbook問答)
ACL ’19
作者:Daesik Kim, Seonhoon Kim, Nojun Kwak
摘要:在本文中,我們介紹了一種解決教科書問答(TQA)任務的新算法。在分析TQA數據集時,我們主要關注兩個相關問題。首先,解決TQA問題需要理解復雜輸入數據中的多模態上下文。為了解決從長文本中提取知識特征并與視覺特征相結合的問題,我們從文本和圖像中建立了上下文圖,并提出了一種基于圖卷積網絡(GCN)的f-GCN模塊。其次,科學術語不會分散在各個章節中,而且主題在TQA數據集中是分開的。為了克服這個所謂的“領域外”問題,在學習QA問題之前,我們引入了一種新的沒有任何標注的自監督開放集學習過程。實驗結果表明,我們的模型明顯優于現有的最先進的方法。此外,消融研究證實,將f-GCN用于從多模態上下文中提取知識的方法和我們新提出的自監督學習過程對于TQA問題都是有效的。
網址:
下載鏈接: 提取碼:rr1c
1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing(MixHop: 通過稀疏鄰域混合實現的高階圖卷積結構)
作者:Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan
摘要:現有的基于圖神經網絡的半監督學習方法(如圖卷積網絡)不能學習一般的鄰域混合關系。為了解決這個缺點,我們提出了一個新的模型,MixHop,它可以通過在不同距離重復混合鄰居的特征表示來學習這些關系,包括不同的操作符。MixHop不需要額外的內存或計算復雜度,并且在一些具有挑戰性的baseline上性能更好。此外,我們建議使用稀疏正則化,使我們能夠可視化網絡如何跨不同的圖數據集對鄰居信息進行優先級排序。我們對所學體系結構的分析表明,每個數據集的鄰域混合是不同的。
網址://proceedings.mlr.press/v97/abu-el-haija19a.html
代碼鏈接:
2、Compositional Fairness Constraints for Graph Embeddings(圖嵌入的組合公平性約束)
作者:Avishek Bose, William Hamilton
摘要:學習高質量的節點嵌入是基于圖數據(如社交網絡和推薦系統)的機器學習模型的關鍵步驟。然而,現有的圖嵌入技術無法處理公平約束,例如,確保所學習的表示與某些屬性(如年齡或性別)不相關。在這里,我們引入一個對抗框架來對圖嵌入實施公平性約束。我們的方法是組合的,這意味著它可以靈活地適應推理過程中公平約束的不同組合。例如,在社會推薦的上下文中,我們的框架允許一個用戶要求他們的推薦對他們的年齡和性別都是不變的,同時也允許另一個用戶只對他們的年齡要求不變。在標準知識圖和推薦系統基準測試上的實驗突出了我們提出的框架的實用性。
網址:
代碼鏈接:
3、Learning Discrete Structures for Graph Neural Networks(學習圖神經網絡的離散結構)
作者:Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He
摘要:圖神經網絡(GNNs)是一種流行的機器學習模型,已成功地應用于一系列問題。它們的主要優勢在于能夠顯式地合并數據點之間的稀疏和離散依賴結構。不幸的是,只有在這種圖結構可用時才能使用GNN。然而,在實踐中,真實世界中的圖常常是嘈雜的、不完整的,或者根本就不可用。在此基礎上,我們提出通過近似求解一個學習圖邊緣離散概率分布的雙層程序來共同學習圖卷積網絡(GCNs)的圖結構和參數。這不僅允許在給定圖不完整或損壞的場景中應用GCNs,還允許在圖不可用的場景中應用GCNs。我們進行了一系列的實驗,分析了該方法的行為,并證明了它比相關的方法有顯著的優勢。
網址:
代碼鏈接:
4、Graph U-Nets
作者:Hongyang Gao, Shuiwang Ji
摘要:我們研究了圖數據的表示學習問題。卷積神經網絡可以很自然地對圖像進行操作,但在處理圖數據方面存在很大的挑戰。由于圖像是二維網格上節點圖的特殊情況,圖的嵌入任務與圖像的分割等像素級預測任務具有天然的對應關系。雖然像U-Nets這樣的編解碼器結構已經成功地應用于許多圖像的像素級預測任務,但是類似的方法在圖數據上還是很缺乏。這是由于池化操作和上采樣操作對圖數據不是自然的。為了解決這些挑戰,我們提出了新的圖池化(gPool)和反池化(gUnpool)操作。gPool層根據節點在可訓練投影向量上的標量投影值,自適應地選擇節點,形成較小的圖。我們進一步提出了gUnpool層作為gPool層的逆操作。gUnpool層使用在相應gPool層中選擇的節點位置信息將圖恢復到其原始結構。基于我們提出的gPool和gUnpool層,我們開發了一個基于圖的編解碼器模型,稱為Graph U-Nets。我們在節點分類和圖分類任務上的實驗結果表明,我們的方法比以前的模型具有更好的性能。
網址:
代碼鏈接:
5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance(圖神經網絡用于樂譜數據和鋼琴演奏表現力的建模)
作者:Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam
摘要:樂譜通常被處理為一維序列數據。與文本文檔中的單詞不同,樂譜中的音符可以由復調性質同時演奏,并且每個音符都有自己的持續時間。在本文中,我們使用圖神經網絡表示樂譜的獨特形式,并將其應用于從樂譜中渲染表現力的鋼琴演奏。具體地,我們設計了使用note-level門控圖神經網絡和采用迭代反饋方法的雙向LSTM測量級層次注意網絡的模型。此外,為了對給定輸入分數的不同性能風格建模,我們使用了一個變分自編碼器。聽力測試結果表明,與baseline模型和層次注意網絡模型相比,我們提出的模型生成了更多的類人性能,而層次注意網絡模型將音樂得分處理為類詞序列。
網址:
代碼鏈接:
6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects(用于學習圖結構物體相似性的圖匹配網絡)
作者:Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli
摘要:本文針對圖結構物體的檢索與匹配這一具有挑戰性的問題,做了兩個關鍵的貢獻。首先,我們演示了如何訓練圖神經網絡(GNN)在向量空間中嵌入圖,從而實現高效的相似性推理。其次,提出了一種新的圖匹配網絡模型,該模型以一對圖作為輸入,通過一種新的基于注意力的交叉圖匹配機制,對圖對進行聯合推理,計算出圖對之間的相似度評分。我們證明了我們的模型在不同領域的有效性,包括具有挑戰性的基于控制流圖的功能相似性搜索問題,該問題在軟件系統漏洞檢測中發揮著重要作用。實驗分析表明,我們的模型不僅能夠在相似性學習的背景下利用結構,而且它們還比那些為這些問題精心手工設計的領域特定baseline系統表現得更好。
網址:
7、Disentangled Graph Convolutional Networks(Disentangled圖卷積網絡)
作者:Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu
摘要:真實世界圖形的形成通常來自于許多潛在因素之間高度復雜的交互作用。現有的基于圖結構數據的深度學習方法忽略了潛在因素的糾纏,使得學習表示不魯棒,難以解釋。然而,在圖神經網絡的研究中,如何將潛在因素分解出來的學習表示方法面臨著巨大的挑戰,并且在很大程度上還沒有得到探索。本文引入解糾纏(Disentangled)圖卷積網絡(DisenGCN)來學習disentangled節點表示。特別地,我們提出了一種新的鄰域路由機制,它能夠動態地識別可能導致節點與其相鄰節點之間產生邊的潛在因素,并相應地將相鄰節點分配到一個提取和卷積特定于該因素的特性的信道。從理論上證明了該路由機制的收斂性。實驗結果表明,我們提出的模型可以獲得顯著的性能提升,特別是當數據表明存在許多糾纏因素時。
網址:
8、GMNN: Graph Markov Neural Networks(GMNN: 圖馬爾可夫神經網絡)
作者:Meng Qu, Yoshua Bengio, Jian Tang
摘要:本文研究關系數據中的半監督對象分類問題,這是關系數據建模中的一個基本問題。在統計關系學習(如關系馬爾可夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中,這一問題得到了廣泛的研究。統計關系學習方法可以通過條件隨機場對對象標簽的依賴關系進行有效的建模,用于集體分類,而圖神經網絡則通過端到端訓練學習有效的對象表示來分類。在本文中,我們提出了一種集兩種方法優點于一體的Graph Markov Neural Networks (GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模,利用變分EM算法對其進行有效訓練。在E-step中,一個圖神經網絡學習有效的對象表示,逼近對象標簽的后驗分布。在M-step中,利用另一個圖神經網絡對局部標簽依賴關系進行建模。在對象分類、鏈路分類和無監督節點表示學習等方面的實驗表明,GMNN取得了較好的效果。
網址:
代碼鏈接:
9、Simplifying Graph Convolutional Networks(簡化圖卷積網絡)
作者:Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger
摘要:圖卷積網絡(GCNs)及其變體得到了廣泛的關注,已成為學習圖表示的實際方法。GCNs的靈感主要來自最近的深度學習方法,因此可能會繼承不必要的復雜性和冗余計算。在本文中,我們通過連續消除非線性和折疊連續層之間的權重矩陣來減少這種額外的復雜性。我們從理論上分析了得到的線性模型,結果表明它對應于一個固定的低通濾波器,然后是一個線性分類器。值得注意的是,我們的實驗評估表明,這些簡化不會對許多下游應用程序的準確性產生負面影響。此外,生成的模型可以擴展到更大的數據集,這是自然可解釋的,并且比FastGCN的速度提高了兩個數量級。
網址:
代碼鏈接:
10、Position-aware Graph Neural Networks(位置感知圖神經網絡)
作者:Jiaxuan You, Rex Ying, Jure Leskovec
摘要:學習節點嵌入,捕捉節點在更廣泛的圖結構中的位置,對于圖上的許多預測任務是至關重要的。然而,現有的圖神經網絡(GNN)結構在獲取給定節點相對于圖中所有其他節點的position/location方面的能力有限。本文提出了一種計算位置感知節點嵌入的新型神經網絡—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先對錨節點集進行采樣,計算給定目標節點到每個錨集的距離,然后學習錨集上的非線性距離加權聚集方案。通過這種方式,P-GNNs可以捕獲節點相對于錨節點的位置。P-GNN有幾個優點: 它們具有歸納性,可擴展性,并且可以包含節點特征信息。我們將P-GNNs應用于多個預測任務,包括鏈路預測和社區檢測。我們顯示,P-GNNs始終優于最先進的GNNs, 在ROC AUC分數方面提高了66%。
網址:
代碼鏈接:
論文下載
百度云鏈接:
提取碼:vcc3