?【導讀】NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一,每年全球的人工智能愛好者和科學家都會在這里聚集,發布最新研究。NIPS 2019大會已經在12月8日-14日在加拿大溫哥華舉行。這次專知小編發現零樣本學習(Zero-Shot Learning, ZSL)在今年的NeurIPS出現了好多篇,也突出其近期的火熱程度, 為此,專知小編整理了NIPS 2019零樣本學習(Zero-Shot Learning)相關的論文供大家學習收藏—零樣本知識遷移、Transductive ZSL、多注意力定位、ZSL語義分割、對偶對抗語義一致網絡。
作者:Paul Micaelli and Amos Storkey
摘要:在現代深度學習應用中,將知識從一個大的teacher network遷移到一個小的student network中是一個很受歡迎的任務。然而,由于數據集的規模越來越大,隱私法規也越來越嚴格,越來越多的人無法訪問用于訓練teacher network的數據。我們提出一種新方法,訓練student network在不使用任何數據或元數據的情況下,與teacher network的預測相匹配。我們通過訓練一個對抗生成器來搜索student與teacher匹配不佳的圖片,然后使用它們來訓練student,從而達到這個目的。我們得到的student在SVHN這樣的簡單數據集上與teacher非常接近,而在CIFAR10上,盡管沒有使用數據,我們在few-shot distillation (100 images per class)的技術水平上進行了改進。最后,我們還提出了一種度量標準,來量化teacher與student在決策邊界附近的信念匹配程度,并觀察到我們的zero-shot student與teacher之間的匹配程度顯著高于用真實數據提取的student與teacher之間的匹配程度。我們的代碼鏈接如下:
//github.com/polo5/ZeroShotKnowledgeTransfer。
網址:
2. Transductive Zero-Shot Learning with Visual Structure Constraint
作者:Ziyu Wan, Dongdong Chen, Yan Li, Xingguang Yan, Junge Zhang, Yizhou Yu and Jing Liao
摘要:為了識別未知類的目標,現有的零樣本學習(Zero-Shot Learning, ZSL)方法大多是先根據源可見類的數據,在公共語義空間和視覺空間之間學習一個相容的投影函數,然后直接應用于目標未知類。然而,在實際場景中,源域和目標域之間的數據分布可能不匹配,從而導致眾所周知的domain shift問題。基于觀察到的測試實例的視覺特征可以被分割成不同的簇,我們針對轉導ZSL的類中心提出了一種新的視覺結構約束,以提高投影函數的通用性(即緩解上述域移位問題)。具體來說,采用了三種不同的策略 (symmetric Chamfer-distance, Bipartite matching distance, 和Wasserstein distance) 來對齊測試實例的投影不可見的語義中心和可視集群中心。我們還提出了一種新的訓練策略,以處理測試數據集中存在大量不相關圖像的實際情況,這在以前的方法中是沒有考慮到的。在許多廣泛使用的數據集上進行的實驗表明,我們所提出的視覺結構約束能夠持續地帶來可觀的性能增益,并取得最先進的結果。我們源代碼在:
網址:
作者:Yizhe Zhu, Jianwen Xie, Zhiqiang Tang, Xi Peng and Ahmed Elgammal
摘要:零樣本學習(Zero-shot learning)通過引入類的語義表示,將傳統的目標分類擴展到不可見的類識別。現有的方法主要側重于學習視覺語義嵌入的映射函數,而忽視了學習discriminative視覺特征的效果。本文研究了discriminative region localization的意義。提出了一種基于語義引導的多注意力定位模型,該模型能自動發現目標中最discriminative的部分,實現零樣本學習,不需要人工標注。我們的模型從整個目標和被檢測部分共同學習協作的全局和局部特征,根據語義描述對對象進行分類。此外,在嵌入softmax loss和class-center triplet loss的聯合監督下,鼓勵模型學習具有高類間離散性和類內緊湊性的特征。通過對三種廣泛使用的零樣本學習基準的綜合實驗,我們證明了multi-attention localization的有效性,我們提出的方法在很大程度上改進了最先進的結果。
網址:
作者:Hyeonwoo Yu and Beomhee Lee
摘要:為了克服不可見類訓練數據的不足,傳統的零樣本學習方法主要在可見數據點上訓練模型,并利用可見類和不可見類的語義描述。在探索類與類之間關系的基礎上,我們提出了一個深度生成模型,為模型提供了可見類與不可見類的經驗。該方法基于類特定多模態先驗的變分自編碼器,學習可見類和不可見類的條件分布。為了避免使用不可見類的示例,我們將不存在的數據視為缺失的示例。也就是說,我們的網絡目標是通過迭代地遵循生成和學習策略來尋找最優的不可見數據點和模型參數。由于我們得到了可見類和不可見類的條件生成模型,因此無需任何現成的分類器就可以直接進行分類和生成。在實驗結果中,我們證明了所提出的生成和學習策略使模型取得了優于僅在可見類上訓練的結果,也優于幾種最先進的方法。
網址:
作者:Maxime Bucher, Tuan-Hung VU, Matthieu Cord and Patrick Pérez
摘要:語義分割模型在擴展到大量對象類別的能力上受到限制。在本文中,我們介紹了零樣本語義分割的新任務:用零訓練實例學習從未見過的對象類別的像素級分類器。為此,我們提出了一個新的架構,ZS3Net,結合了一個深度的視覺分割模型和一種從語義詞嵌入生成視覺表示的方法。通過這種方式,ZS3Net解決了在測試時可見和不可見的類別都面臨的像素分類任務(所謂的“generalized” zero-shot 分類)。通過依賴于不可見類的像素的自動偽標記的自訓練步驟,可以進一步提高性能。在兩個標準的細分數據集,Pascal-VOC和Pascal-Context,我們提出了zero-shot基準和設置競爭的baseline。對于Pascal-Context數據集中的復雜場景,我們通過使用圖形-上下文編碼來擴展我們的方法,以充分利用來自類分割圖的空間上下文先驗。
網址:
作者:Jian Ni, Shanghang Zhang and Haiyong Xie
摘要:廣義零樣本學習(Generalized zero-shot learning,GZSL)是一類具有挑戰性的視覺和知識遷移問題,在測試過程中,既有看得見的類,也有看不見的類。現有的GZSL方法要么在嵌入階段遭遇語義丟失,拋棄有區別的信息,要么不能保證視覺語義交互。為了解決這些局限性,我們提出了一個Dual Adversarial Semantics-Consistent Network (簡稱DASCN),它在一個統一的GZSL框架中學習原始的和對偶的生成的對抗網絡(GANs)。在DASCN中,原始的GAN學習綜合類間的區別和語義——從可見/不可見類的語義表示和對偶GAN重構的語義表示中保留視覺特征。對偶GAN通過語義一致的對抗性學習,使合成的視覺特征能夠很好地表示先驗語義知識。據我們所知,這是針對GZSL采用新穎的Dual-GAN機制的第一個工作。大量的實驗表明,我們的方法比最先進的方法取得了顯著的改進。
網址:
【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣
KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers
KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、
1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction
作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial
摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。
網址:
2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang
摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。
網址:
代碼鏈接:
3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases
作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun
摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。
網址:
4. Graph Structural-topic Neural Network
作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin
摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。
網址:
代碼鏈接:
5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi
摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。
網址:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020已于2020年4月20日至4月24日在中國臺灣臺北舉行。會議論文集已經公開,大家可以自己查看感興趣的論文,專知小編繼續整理WWW 2020 系列論文,這期小編為大家奉上的是WWW 2020六篇遷移學習(Transfer Learning)相關論文,供大家參考!——主動域遷移、多任務域遷移、類別注意力遷移網絡、多模態域遷移、跨域推薦、跨域欺詐檢測。
WWW 2020 會議論文集: //dl.acm.org/doi/proceedings/10.1145/3366423
WWW2020KG+GNN、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
CCF-A類頂會WWW2020最佳論文出爐!OSU最佳論文,北郵斬獲最佳學生論文!
1. Active Domain Transfer on Network Embedding
作者:Lichen Jin, Yizhou Zhang, Guojie Song, Yilun Jin
摘要:最近的工作表明,端到端、監督(半監督)的網絡嵌入模型可以生成令人滿意的向量來表示網絡拓撲,甚至可以通過歸納學習(inductive learning)適用于未知(unseen)的圖。然而,歸納學習的訓練網絡和測試網絡之間的域不匹配,以及缺乏標記數據,會影響這種方法的結果。相應地能夠解決上述問題的遷移學習和主動學習(active learning)技術已經在常規獨立同分布數據上得到了很好的研究,而它們在網絡上的關注相對較少。因此,本文提出了一種網絡上的主動遷移學習方法,稱為主動遷移網絡嵌入(Active-Transfer Network Embedding,ATNE)。在ATNE中,我們從遷移和主動學習兩個角度綜合考慮各個節點對網絡的影響,從而在訓練過程中結合這兩個方面設計新穎有效的影響分值以方便節點的選擇。我們證明了ATNE是有效的,并且與實際使用的模型是解耦的。進一步的實驗表明,ATNE的性能優于最新的主動節點選擇方法,并且在不同的情況下表現出了通用性。
網址:
2. Anchored Model Transfer and Soft Instance Transfer for Cross-Task Cross-Domain Learning: A Study Through Aspect-Level Sentiment Classification
作者:Yaowei Zheng, Richong Zhang, Suyuchen Wang, Samuel Mensah, Yongyi Mao
摘要:監督學習在很大程度上依賴于容易獲得的標記數據來推斷有效的分類函數。然而,在有監督學習下提出的方法面臨領域內標注數據稀缺的問題,且通用性不夠強,不能適用于其他任務。通過允許跨域和跨任務共享知識,遷移學習已被證明是解決這些問題的一個有價值的選擇。通過允許跨域和跨任務共享知識,遷移學習已被證明是解決上述問題的一個有價值的選擇。本文提出了Anchored Model遷移(AMT)和Soft Instance遷移(SIT)兩種遷移學習方法,這兩種學習方法都是基于多任務學習,兼顧了模型遷移和實例遷移,可以結合到一個通用的框架中。我們證明了AMT和SIT對于aspect-level的情感分類的有效性,在基準數據集上我們的模型表現出比基線模型更有競爭力的表現。有趣的是,AMT + SIT的集成可在同一任務上實現最先進的性能。
網址:
作者:Dongbo Xi, Fuzhen Zhuang, Ganbin Zhou, Xiaohu Cheng, Fen Lin, Qing He
摘要:跨域情感分類等領域自適應任務旨在利用源域中已有的已標記數據和目標域中未標記或很少的標記數據,通過減少數據分布之間的偏移來提高目標域的性能。現有的跨領域情感分類方法需要區中心點(pivots)(即領域共享的情感詞)和非中心點(即領域特定的情感詞),才能獲得良好的自適應性能。本文首先設計了一個類別注意網絡(CAN),然后提出了一種將CAN和卷積神經網絡(CNN)相結合的CAN-CNN模型。該模型一方面將中心點和非中心點作為統一的類別屬性詞進行自動捕獲,提高領域自適應性能;另一方面,對遷移后的類別屬性詞進行可解釋性學習的嘗試。具體地說,該模型的優化目標有三個不同的組成部分:1)監督分類損失;2)類別特征權重的分布損失;3)領域不變性損失。最后,在三個輿情分析數據集上對所提出的模型進行了評估,結果表明CAN-CNN的性能優于其他各種基線方法。
網址:
4. Domain Adaptive Multi-Modality Neural Attention Network for Financial Forecasting
作者:Dawei Zhou, Lecheng Zheng, Yada Zhu, Jianbo Li, Jingrui He
摘要:金融時間序列分析在優化投資決策、對沖市場風險方面起著核心作用。這是一項具有挑戰性的任務,因為問題總是伴隨著雙層(即數據級和任務級)的異構性。例如,在股價預測中,一個成功的具有有限風險的投資組合通常由來自不同領域(如公用事業、信息技術、醫療保健等)的大量股票組成,每個領域的股票預測可以視為一個任務;在一個投資組合中,每個股票的特征是從多個模態(例如金融、天氣和新聞)收集的時間數據,這對應于數據層的異構性。此外,金融業遵循高度監管的過程,這就要求預測模型是可解釋的,輸出結果必須滿足合規性。因此,一個自然的研究問題就是如何建立一個模型,既能在解決此類多通道多任務學習問題時取得滿意的性能,又能為最終用戶提供全面的解釋。為了回答這個問題,本文提出了一個通用的時間序列預測框架Dandelion,它利用多模態的一致性,并使用深度神經網絡來探索多個任務的相關性。此外,為了保證框架的可解釋性,我們集成了一種新的三位一體的注意機制,允許最終用戶在三個維度(即任務、通道和時間)上調查變量重要性。廣泛的實證結果表明,Dandelion在過去15年中對來自4個不同領域的396只股票的金融市場預測取得了優異的表現。具體地說,兩個有趣的案例研究顯示了Dandelion在其盈利表現和輸出結果對最終用戶的可解釋性方面的成效。
網址:
5. Exploiting Aesthetic Preference in Deep Cross Networks for Cross-domain Recommendation
作者:Jian Liu, Pengpeng Zhao, Fuzhen Zhuang, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Xiaofang Zhou, Hui Xiong
摘要:產品的視覺美學在購買外觀優先的產品(如服裝)的決策過程中起著重要的作用。用戶的審美偏好作為一種個性特征和基本要求,是與領域無關的,可以作為領域間知識遷移的橋梁。然而,現有的工作很少考慮產品圖像中的審美信息進行跨域推薦。為此,本文提出了一種新的深度審美跨域網絡(ACDN),通過跨網絡共享表征個人審美偏好的參數來實現領域間的知識傳遞。具體地說,我們首先利用審美網絡來提取審美特征。然后,我們將這些特征集成到一個跨域網絡中,以傳遞用戶與領域無關的審美偏好。此外,還引入了網絡交叉連接,以實現跨域的雙重知識轉移。最后,在真實數據集上的實驗結果表明,我們提出的模型ACDN在推薦準確率方面優于基準方法。
網址:
6. Modeling Users’ Behavior Sequences with Hierarchical Explainable Network for Cross-domain Fraud Detection
作者:Yongchun Zhu, Dongbo Xi, Bowen Song, Fuzhen Zhuang, Shuai Chen, Xi Gu, Qing He
摘要:隨著電子商務行業的爆炸式增長,檢測現實應用中的網絡交易欺詐對電子商務平臺的發展變得越來越重要。用戶的連續行為歷史為區分欺詐支付和正常支付提供了有用的信息。最近,已經提出了一些方法來解決這一基于序列的欺詐檢測問題。然而,這些方法通常存在兩個問題:預測結果難以解釋和對行為內部信息的利用不足。針對上述兩個問題,本文提出了一種分層可解釋網絡(HEN)對用戶行為序列進行建模,不僅提高了欺詐檢測的性能,而且使推理過程具有可解釋性。同時,隨著電子商務業務擴展到新的領域,例如,新的國家或新的市場,在欺詐檢測系統中建模用戶行為的一個主要問題是數據收集的限制(例如,可用的數據/標簽非常少)。因此,在本文中,我們進一步提出了一個跨域欺詐檢測問題的遷移框架,該框架的目的是從現有領域(源域)遷移足夠成熟數據的知識,以提高在新領域(目標域)的性能。我們提出的方法是一個通用的遷移框架,它不僅可以應用于HEN,而且可以應用于嵌入&MLP范式中的各種現有模型。利用世界領先的跨境電商平臺的數據,我們在不同國家進行了廣泛的檢測盜卡交易詐騙的實驗,以展示HEN的優越性能。此外,基于90個遷移任務的實驗,證明了我們的遷移框架不僅可以用于HEN的跨域詐騙檢測任務,而且對現有的各種模型都具有通用性和可擴展性。此外,HEN和遷移框架形成了三個級別的注意力,極大地提高了檢測結果的可解釋性。
網址:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。近期,隨著會議的臨近,有很多paper放出來,幾周前專知小編整理了WWW 2020圖神經網絡(GNN)比較有意思的論文,這期小編繼續為大家奉上WWW 2020五篇GNN相關論文供參考——對抗攻擊、Heterogeneous Graph Transformer、圖生成、多關系GNN、知識庫補全。
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
作者:Jia Li, Honglei Zhang, Zhichao Han, Yu Rong, Hong Cheng and Junzhou Huang
摘要:已經證明,添加了不可察覺擾動的對抗圖(adversarial graphs),會導致深層圖模型在節點/圖分類任務中失敗。在本文中,我們將對抗性圖擴展到困難得多的社區發現(community detection)問題上。我們關注黑盒攻擊,致力于隱藏目標個體,使其不被深度圖社區檢測模型檢測到,該模型在現實場景中有很多應用,例如,保護社交網絡中的個人隱私,理解交易網絡中的偽裝模式。我們提出了一個迭代學習框架,輪流更新兩個模塊:一個作為約束圖生成器,另一個作為替代社區發現模型。我們還發現,我們的方法生成的對抗圖可以遷移到其他基于社區發現模型的學習中。
作者:Ziniu Hu, Yuxiao Dong, Kuansan Wang and Yizhou Sun
摘要:近年來,圖神經網絡(GNNs)在結構化數據建模方面取得了突飛猛進的成功。然而,大多數GNN都是為同質圖(所有的節點和邊都屬于相同的類型)設計的,這使得這些GNN不能表示異構結構。在這篇文章中,我們提出了異構圖轉換器(HGT)結構來建模Web規模的異構圖。為了建模異構性,我們設計了與節點和邊類型相關的參數來表征對每條邊的異構關注,使得HGT能夠維護不同類型的節點和邊的專有表示。為了處理動態異構圖,我們將相對時間編碼技術引入到HGT中,能夠捕獲任意持續時間的動態結構依賴關系。為了處理Web規模的圖數據,我們設計了異構小批量圖采樣算法HGSamples,以實現高效和可擴展的訓練。在具有1.79億個節點和20億條邊的開放學術圖上的廣泛實驗表明,本文所提出的HGT模型在各種下游任務上的性能一致地比所有最新的GNN基線高出9%-21%。
網址:
代碼鏈接:
作者:Nikhil Goyal, Harsh Vardhan Jain and Sayan Ranu
摘要:圖生成模型在數據挖掘領域中得到了廣泛的研究。傳統的技術基于預定義分布的生成結構,而最近的技術已轉向直接從數據中學習此分布。雖然基于學習的方法在質量上有了顯著的提高,但仍有一些缺點需要解決。首先,學習圖的分布會帶來額外的計算開銷,這就限制了這些方法對大型圖數據庫的可擴展性。第二,許多方法只學圖結構,并沒有學習節點和邊的標簽(這些標簽編碼重要的語義信息會影響結構自身)。第三,現有技術往往包含領域的特定規則,缺乏通用性。第四,現有方法的實驗部分要么使用了較弱的評估指標,要么主要集中在合成數據或小數據集上,實驗不夠全面上。在這項工作中,我們提出了一種稱為GraphGen的域未知(domain-agnostic)技術來克服所有這些缺點,GraphGen使用最少的DFS代碼將圖轉換為序列。最小DFS碼是規范化的標簽,并且可以精確地捕捉圖結構和標簽信息。本文通過一種新的LSTM結構學習結構標簽和語義標簽之間復雜的聯合分布。在百萬級的真實圖數據集上的廣泛實驗表明,GraphGen的平均速度是最先進方法的4倍,同時在11個不同指標的綜合集合中質量明顯更好。
網址:
代碼鏈接:
作者:Wen Wang, Wei Zhang, Shukai Liu, Bo Zhang, Leyu Lin and Hongyuan Zha
摘要:基于會話的目標行為預測旨在預測要與特定行為類型(例如,點擊)交互的下一項。雖然現有的基于會話的行為預測方法利用強大的表示學習方法來編碼項目在低維空間中的順序相關性,但是它們受到一些限制。首先,之前的方法側重于只利用同一類型的用戶行為進行預測,而忽略了將其他行為數據作為輔助信息的潛力。當目標行為稀疏但很重要(例如,購買或共享物品)時,輔助信息尤為重要。其次,項目到項目的關系是在一個行為序列中單獨和局部建模的,缺乏一種規定的方法來更有效地全局編碼這些關系。為了克服這些局限性,我們提出了一種新的基于會話的多關系圖神經網絡模型(MGNN-SPred)。具體地說,我們基于來自所有會話的所有行為序列(涉及目標行為類型和輔助行為類型)構建多關系項目圖(Multi-Relational Item Graph,MRIG)。在MRIG的基礎上,MGNN-SPred學習全局項目與項目之間的關系,進而獲得用戶偏好分別作為為當前目標行為序列和輔助行為序列。最后,MGNN-SPred利用門控機制自適應地融合用戶表示,以預測與目標行為交互的下一項。在兩個真實數據集上的廣泛實驗證明了MGNN-SPred與最新的基于會話的預測方法相比的優越性,驗證了利用輔助行為和基于MRIG學習項目到項目關系的優點。
網址:
作者:Ermei Cao, Difeng Wang, Jiacheng Huang and Wei Hu
摘要:知識庫(KBS)已經逐漸成為許多人工智能應用的寶貴資產。雖然目前的許多知識庫相當大,但它們被是不完整的,特別是缺乏長尾實體(例如:不太有名的人)。現有的方法主要通過補全缺失連接或補齊缺失值來豐富知識庫。然而,它們只解決了充實知識庫問題的一部分,缺乏對長尾實體的具體考慮。在這篇文章中,我們提出了一種新穎的知識補齊方法,它從開放的Web中預測缺失的屬性并推斷出長尾實體的真實值。利用來自流行實體的先驗知識來改進每個充實步驟。我們在合成數據集和真實數據集上的實驗以及與相關工作的比較表明了該方法的可行性和優越性。
網址:
【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿,接收1470篇,其接受率在逐年下降,今年接受率僅為22%。近期,一些Paper放出來,專知小編整理了CVPR 2020 圖神經網絡(GNN)相關的比較有意思的值得閱讀的五篇論文,供大家參考—點云分析、視頻描述生成、軌跡預測、場景圖生成、視頻理解等。
1. Grid-GCN for Fast and Scalable Point Cloud Learning
作者:Qiangeng Xu, Xudong Sun, Cho-Ying Wu, Panqu Wang and Ulrich Neumann
摘要:由于點云數據的稀疏性和不規則性,越來越多的方法直接使用點云數據。在所有基于point的模型中,圖卷積網絡(GCN)通過完全保留數據粒度和利用點間的相互關系表現出顯著的性能。然而,基于點的網絡在數據結構化(例如,最遠點采樣(FPS)和鄰接點查詢)上花費了大量的時間,限制了其速度和可擴展性。本文提出了一種快速、可擴展的點云學習方法--Grid-GCN。Grid-GCN采用了一種新穎的數據結構策略--Coverage-Aware Grid Query(CAGQ)。通過利用網格空間的效率,CAGQ在降低理論時間復雜度的同時提高了空間覆蓋率。與最遠的點采樣(FPS)和Ball Query等流行的采樣方法相比,CAGQ的速度提高了50倍。通過網格上下文聚合(GCA)模塊,Grid-GCN在主要點云分類和分割基準上實現了最先進的性能,并且運行時間比以前的方法快得多。值得注意的是,在每個場景81920個點的情況下,Grid-GCN在ScanNet上的推理速度達到了50fps。
2. Object Relational Graph with Teacher-Recommended Learning for Video Captioning
作者:Ziqi Zhang, Yaya Shi, Chunfeng Yuan, Bing Li, Peijin Wang, Weiming Hu and Zhengjun Zha
摘要:充分利用視覺和語言的信息對于視頻字幕任務至關重要。現有的模型由于忽視了目標之間的交互而缺乏足夠的視覺表示,并且由于長尾(long-tailed)問題而對與內容相關的詞缺乏足夠的訓練。在本文中,我們提出了一個完整的視頻字幕系統,包括一種新的模型和一種有效的訓練策略。具體地說,我們提出了一種基于目標關系圖(ORG)的編碼器,該編碼器捕獲了更詳細的交互特征,以豐富視覺表示。同時,我們設計了一種老師推薦學習(Teacher-Recommended Learning, TRL)的方法,充分利用成功的外部語言模型(ELM)將豐富的語言知識整合到字幕模型中。ELM生成了在語義上更相似的單詞,這些單詞擴展了用于訓練的真實單詞,以解決長尾問題。 對三個基準MSVD,MSR-VTT和VATEX進行的實驗評估表明,所提出的ORG-TRL系統達到了最先進的性能。 廣泛的消去研究和可視化說明了我們系統的有效性。
網址:
3. Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction
作者:Abduallah Mohamed and Kun Qian
摘要:有了更好地了解行人行為的機器可以更快地建模智能體(如:自動駕駛汽車)和人類之間的特征交互。行人的運動軌跡不僅受行人自身的影響,還受與周圍物體相互作用的影響。以前的方法通過使用各種聚合方法(整合了不同的被學習的行人狀態)對這些交互進行建模。我們提出了社交-時空圖卷積神經網絡(Social-STGCNN),它通過將交互建模為圖來代替聚合方法。結果表明,最終位偏誤差(FDE)比現有方法提高了20%,平均偏移誤差(ADE)提高了8.5倍,推理速度提高了48倍。此外,我們的模型是數據高效的,在只有20%的訓練數據上ADE度量超過了以前的技術。我們提出了一個核函數來將行人之間的社會交互嵌入到鄰接矩陣中。通過定性分析,我們的模型繼承了行人軌跡之間可以預期的社會行為。
網址:
代碼鏈接:
4. Unbiased Scene Graph Generation from Biased Training
作者:Kaihua Tang, Yulei Niu, Jianqiang Huang, Jiaxin Shi and Hanwang Zhang
摘要:由于嚴重的訓練偏差,場景圖生成(SGG)的任務仍然不夠實際,例如,將海灘上的各種步行/坐在/躺下的人簡化為海灘上的人。基于這樣的SGG,VQA等下游任務很難推斷出比一系列對象更好的場景結構。然而,SGG中的debiasing 是非常重要的,因為傳統的去偏差方法不能區分好的和不好的偏差,例如,好的上下文先驗(例如,人看書而不是吃東西)和壞的長尾偏差(例如,將在后面/前面簡化為鄰近)。與傳統的傳統的似然推理不同,在本文中,我們提出了一種新的基于因果推理的SGG框架。我們首先為SGG建立因果關系圖,然后用該因果關系圖進行傳統的有偏差訓練。然后,我們提出從訓練好的圖中提取反事實因果關系(counterfactual causality),以推斷應該被去除的不良偏差的影響。我們使用Total Direct Effect作為無偏差SGG的最終分數。我們的框架對任何SGG模型都是不可知的,因此可以在尋求無偏差預測的社區中廣泛應用。通過在SGG基準Visual Genome上使用我們提出的場景圖診斷工具包和幾種流行的模型,與以前的最新方法相比有顯著提升。
網址:
代碼鏈接:
5. Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences
作者:Zhu Zhang, Zhou Zhao, Yang Zhao, Qi Wang, Huasheng Liu and Lianli Gao
摘要:在本文中,我們考慮了一項用于多形式句子(Multi-Form Sentences)的時空Video Grounding(STVG)的任務。 即在給定未剪輯的視頻和描述對象的陳述句/疑問句,STVG旨在定位所查詢目標的時空管道(tube)。STVG有兩個具有挑戰性的設置:(1)我們需要從未剪輯的視頻中定位時空對象管道,但是對象可能只存在于視頻的一小段中;(2)我們需要處理多種形式的句子,包括帶有顯式賓語的陳述句和帶有未知賓語的疑問句。 由于無效的管道預生成和缺乏對象關系建模,現有方法無法解決STVG任務。為此,我們提出了一種新穎的時空圖推理網絡(STGRN)。首先,我們構建時空區域圖來捕捉具有時間對象動力學的區域關系,包括每幀內的隱式、顯式空間子圖和跨幀的時間動態子圖。然后,我們將文本線索加入到圖中,并開發了多步跨模態圖推理。接下來,我們引入了一種具有動態選擇方法的時空定位器,該定位器可以直接檢索時空管道,而不需要預先生成管道。此外,我們在視頻關系數據集Vidor的基礎上構建了一個大規模的video grounding數據集VidSTG。大量的實驗證明了該方法的有效性。
網址:
【導讀】知識圖譜一直是學術界和工業界關注的熱點。隨著AAAI2020的到來,專知小編整理了最新10篇關于知識圖譜的論文,來自清華大學、中科大、北航、中山大學、UCL、Facebook、騰訊、阿里巴巴等,包含義原知識圖譜、知識遷移、知識圖譜層次表示、常識知識圖譜補全。
1、Towards Building a Multilingual Sememe Knowledge Base: Predicting Sememes for BabelNet Synsets(建立多語言義原知識庫:預測BabelNet Synsets的義原)
AAAI2020 oral ,清華大學
作者:Fanchao Qi, Liang Chang, Maosong Sun, Sicong Ouyang, Zhiyuan Liu
摘要:義原是人類語言中最小的語義單位。義原知識庫(KBs)包含了由義原標注的詞,已成功地應用于許多自然語言處理任務中。然而,現有的義原KBs僅建立在少數幾種語言上,這阻礙了它們的廣泛應用。為了解決這個問題,我們提出基于BabelNet(一種多語言百科詞典)為多種語言構建統一的義原知識庫。我們首先構建一個作為多語言義原知識庫種子的數據集。它為超過15000個synset (BabelNet的條目)手工注釋義位。然后,我們提出了一種新的自動預測synsets義位的任務,目的是將種子數據集擴展成一個可用的知識庫。我們還提出了兩個簡單有效的模型,利用了不同的synsets信息。最后,我們進行了定量和定性分析,以探索任務中的重要因素和困難。所有的源代碼和數據,這項工作可以獲得 //github.com/thunlp/BabelNet-Sememe-Prediction
論文地址:
2、Knowledge Graph Transfer Network for Few-Shot Recognition(知識圖譜遷移網絡小樣本識別)
AAAI2020 oral ,中山大學,暗物質
作者:Riquan Chen, Tianshui Chen, Xiaolu Hui, Hefeng Wu, Guanbin Li, Liang Lin
摘要:小樣本學習的目標是在給定一些基類有充足訓練樣本的情況下,從非常少的樣本中學習新的類別。這個任務的主要挑戰是新類很容易由顏色、質地、形狀的物體或背景上下文(即特異性),這特別是對于訓練樣本少且不常見的相應的類別非常突出(見圖1)。幸運的是,我們發現遷移信息的相關類別可以幫助學習新概念,從而避免新概念主導的特異性。此外,結合不同類別之間的語義關聯可以有效地規范這種信息傳遞。在本文中,我們將語義關聯以結構化的知識圖譜的形式表示出來,并將此圖集成到深度神經網絡中,通過一種新的知識圖譜傳輸網絡(KGTN)來促進小樣本學習。具體地,通過使用對應類別的分類器權值初始化每個節點,學習一種傳播機制,通過圖來自適應地傳播節點消息,探索節點間的交互,將基類的分類器信息傳遞給新類別的分類器信息。在ImageNet數據集上的大量實驗表明,與當前領先的對比方法相比,性能有了顯著的改進。此外,我們還構建了一個覆蓋更大范圍類別的ImageNet-6K數據集。在這個數據集上的實驗進一步證明了我們提出的模型的有效性。
論文地址:
3、Reasoning on Knowledge Graphs with Debate Dynamics(基于辯論動力學的知識圖譜推理)
AAAI2020 ,Siemens Corporate Technology
作者:Marcel Hildebrandt, Jorge Andres Quintero Serna, Yunpu Ma, Martin Ringsquandl, Mitchell Joblin, Volker Tresp
摘要: 我們提出了一種基于辯論動力學的知識圖譜自動推理方法。其主要思想是將三元組分類任務框定為兩個抽取論點(知識圖譜中的路徑)的強化學習代理之間的辯論游戲,目標分別是促進事實為真(正題)或事實為假(反題)。基于這些論據,一個叫做“法官”的二元分類器決定事實是對還是錯。這兩個代理可以被看作是稀疏的、對抗性的特征生成器,它們為正題或反題提供了可解釋的證據。與其他黑盒方法相比,這些參數允許用戶了解法官的決定。由于這項工作的重點是創建一個可解釋的方法,以保持一個有競爭力的預測精度,我們基準的三重分類和鏈接預測任務我們的方法。因此,我們發現我們的方法優于基準數據集FB15k-237、WN18RR和Hetionet上的幾個基線。我們也進行了一個調查,發現提取的參數對用戶是有益的。
論文地址:
4、Differentiable Reasoning on Large Knowledge Bases and Natural Language(大規模知識庫與自然語言上的可微分推理)
AAAI2020 ,UCL Centre for Artificial Intelligence, University College London,Facebook AI Research
作者:Pasquale Minervini, Matko Bo?njak, Tim Rockt?schel, Sebastian Riedel, Edward Grefenstette
摘要:用自然語言和知識庫(KBs)表達的知識進行推理是人工智能面臨的主要挑戰,在機器閱讀、對話和問題回答等方面都有應用。聯合學習文本表示和轉換的一些神經體系結構非常缺乏數據效率,很難分析它們的推理過程。這些問題由端到端的可微推理系統(如神經定理證明程序(NTPs))來解決,盡管它們只能用于小型符號KBs。在本文中,我們首先提出貪心NTPs (GNTPs),這是NTPs的擴展,解決了它們的復雜性和可伸縮性限制,從而使它們適用于真實世界的數據集。該結果是通過動態構建NTPs的計算圖來實現的,并且只包含推理過程中最有希望的證明路徑,從而獲得更有效的模型。然后,我們提出了一種新的方法,通過在一個共享的嵌入空間中嵌入邏輯事實和自然語言句子來聯合推理KBs和篇章提及。我們發現,GNTPs的性能與NTPs相當,但成本僅為NTPs的一小部分,同時在大型數據集上獲得了具有競爭力的鏈接預測結果,為預測提供了解釋,并引入了可解釋的模型。源代碼,數據集,和補充材料可在網上
論文地址:
5、Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering(通過知識庫問題回答來改進知識感知對話的生成)
AAAI2020 ,華南理工,騰訊
作者:Jian Wang, Junhao Liu, Wei Bi, Xiaojiang Liu, Kejing He, Ruifeng Xu, Min Yang
摘要:神經網絡模型常常面臨將常識引入開放域對話系統的挑戰。本文提出了一種新的知識感知對話生成模型(TransDG),該模型將基于知識庫問答(KBQA)任務的問題表示和知識匹配能力進行轉換,以促進話語理解和對話生成的事實知識選擇。此外,我們提出了一種響應引導注意和多步驟解碼策略,以指導我們的模型將重點放在用于響應生成的相關特征上。在兩個基準數據集上的實驗表明,該模型在生成信息豐富、流暢的對話方面具有較強的優越性。我們的代碼在 .
論文地址:
6、Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction(用于鏈接預測的學習層次感知知識圖嵌入)
AAAI2020 ,中科大
作者:Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, Jie Wang
摘要:知識圖譜嵌入的目的是將實體和關系表示為低維向量(或矩陣、張量等),已經被證明是一種預測知識圖譜中缺失鏈接的強大技術。現有的知識圖譜嵌入模型主要側重于對稱/反對稱、反轉、復合等關系模式的建模。然而,許多現有的方法無法對語義層次結構建模,而這在實際應用程序中是很常見的。為了解決這一問題,我們提出了一種新的知識圖譜嵌入模型——層次感知知識圖譜嵌入(HAKE),它將實體映射到極坐標系統中。HAKE的靈感來自于這樣一個事實,即在極坐標系統中的同心圓可以自然地反映層次結構。具體來說,徑向坐標的目標是在層次結構的不同層次上對實體進行建模,半徑較小的實體被期望在更高的層次上;角坐標的目的是區分層次結構中同一層次上的實體,這些實體的半徑大致相同,但角度不同。實驗表明,HAKE可以有效地對知識圖譜中的語義層次進行建模,并在鏈接預測任務的基準數據集上顯著優于現有的最先進的方法。
.
論文地址:
7、Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation(用具有門控多跳鄰居聚合的知識圖譜對齊網絡)
AAAI2020 ,南京大學,阿里巴巴
作者:Zequn Sun, Chengming Wang, Wei Hu, Muhao Chen, Jian Dai, Wei Zhang, Yuzhong Qu
摘要:圖神經網絡由于具有識別同構子圖的能力,已經成為一種強大的基于嵌入的實體對齊范式。然而,在實知識圖(KGs)中,對應實體通常具有非同構的鄰域結構,這很容易導致gnn產生不同的表示。為了解決這一問題,我們提出了一種新的KG對齊網絡,即AliNet,旨在以端到端方式緩解鄰域結構的非同構性。由于模式異構性,對等實體的直接鄰居通常是不相似的,AliNet引入了遠程鄰居來擴展它們的鄰居結構之間的重疊。它采用了一種注意機制,以突出有益的遙遠的鄰居和減少噪音。然后,利用門控機制控制直接和遠處鄰居信息的聚合。我們進一步提出了一個關系損失來細化實體表示。我們進行了深入的實驗,詳細的燒蝕研究和分析的五個實體對齊數據集,證明了AliNet的有效性。
.
論文地址:
8、Rule-Guided Compositional Representation Learning on Knowledge Graphs(規則指導的知識圖譜組合式表示學習)
AAAI2020 ,北航
作者:Guanglin Niu, Yongfei Zhang, Bo Li, Peng Cui, Si Liu, Jingyang Li, Xiaowei Zhang
摘要:知識圖譜的表示學習是將知識圖中的實體和關系嵌入到低維連續向量空間中。早期的KG嵌入方法只關注三元組編碼的結構化信息,由于KGs的結構稀疏性,導致其性能有限。最近的一些嘗試考慮路徑信息來擴展KGs的結構,但在獲取路徑表示的過程中缺乏可解釋性。本文提出了一種新的基于規則和路徑的聯合嵌入(RPJE)方案,該方案充分利用了邏輯規則的可解釋性和準確性、KG嵌入的泛化性以及路徑的補充語義結構。具體來說,首先從KG中挖掘出不同長度(規則體中的關系數)的Horn子句形式的邏輯規則,并對其進行編碼,用于表示學習。然后,利用長度2的規則來精確地組合路徑,而使用長度1的規則來明確地創建關系之間的語義關聯和約束關系嵌入。優化時還考慮了規則的置信度,保證了規則在表示學習中的可用性。大量的實驗結果表明,RPJE在KG完成任務上的表現優于其他最先進的基線,這也證明了利用邏輯規則和路徑來提高表示學習的準確性和可解釋性的優越性。
.
論文地址:
9、InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions(規InteractE:通過增加特征交互來改進基于卷積的知識圖譜嵌入)
AAAI2020 ,Indian Institute of Science, Columbia University
作者:Shikhar Vashishth, Soumya Sanyal, Vikram Nitin, Nilesh Agrawal, Partha Talukdar
摘要:現有的知識圖譜大多存在不完備性,可以通過基于已知事實推斷缺失的鏈接來緩解不完備性。一種流行的方法是生成實體和關系的低維嵌入,并使用它們進行推論。ConvE是最近提出的一種方法,它將卷積濾波器應用于實體和關系嵌入的二維重塑,以捕獲其組件之間豐富的交互。然而,ConvE能夠捕獲的交互的數量是有限的。在這篇論文中,我們分析了增加這些相互作用的數量如何影響鏈路預測性能,并利用我們的觀測結果提出了相互作用。InteractE基于三個關鍵思想:特征置換、新穎的特征重塑和循環卷積。通過大量的實驗,我們發現InteractE在FB15k-237上的性能優于最先進的卷積鏈路預測基線。此外,InteractE在FB15k-237、WN18RR和YAGO3-10數據集上的MRR評分分別比ConvE高9%、7.5%和23%。結果驗證了我們的中心假設——增加特征交互有助于鏈接預測性能。我們提供InteractE的源代碼,以鼓勵可重復的研究。 InteractE.
.
論文地址:
10、Commonsense Knowledge Base Completion with Structural and Semantic Context(具有結構和語義上下文的常識知識庫的完成)
AAAI2020 ,Allen Institute for Artificial Intelligence 華盛頓大學
作者:Chaitanya Malaviya, Chandra Bhagavatula, Antoine Bosselut, Yejin Choi
摘要:與經過大量研究的傳統知識庫(如Freebase)相比,對常識知識圖譜(如原子圖和概念圖)的自動知識庫補全帶來了獨特的挑戰。常識知識圖譜使用自由格式的文本來表示節點,這使得節點的數量比傳統KBs多了幾個數量級(ATOMIC比Freebase多18倍(FB15K-237))。重要的是,這意味著圖數據結構將顯著稀疏化——這是現有KB補全方法面臨的主要挑戰,因為這些方法在相對較小的節點集上采用密集連接的圖數據。在本文中,我們提出了新的知識庫完成模型,該模型可以通過利用節點的結構和語義上下文來解決這些挑戰。具體來說,我們研究了兩個關鍵的思想: (1) 從局部圖結構學習,使用圖卷積網絡和自動圖加密,(2) 從預先訓練的語言模型學習到知識圖譜,以增強知識的上下文表示。我們描述了將來自這兩個來源的信息合并到一個聯合模型中的方法,并提供了原子知識庫完成和使用ConceptNet上的排名指標進行評估的第一個經驗結果。我們的結果證明了語言模型表示在提高鏈接預測性能方面的有效性,以及在訓練子圖以提高計算效率時從局部圖結構(對ConceptNet的MRR +1.5分)學習的優勢。對模型預測的進一步分析揭示了語言模型能夠很好地捕捉到的常識類型。
.
論文地址: