題目: Relation Adversarial Network for Low Resource Knowledge Graph Completion
摘要: 知識圖譜補全(Knowledge Graph Completion, KGC)是一種通過鏈接預測或關系提取來填充缺少的鏈接來改進知識圖譜的方法。KGC的主要困難之一是資源不足。之前的方法假設有足夠訓練的三元組來學習實體和關系的通用向量,或者假設有足夠數量的標簽句子來訓練一個合格的關系提取模型。然而,在KGs中,少資源關系非常普遍,這些新增加的關系往往沒有很多已知的樣本去進行訓練。在這項工作中,我們的目標是在具有挑戰性的環境下只有有限可用的訓練實例預測新的事實。我們提出了一個加權關系對抗性網絡的通用框架,它利用對抗性過程來幫助將從多資源關系中學習到的知識/特征調整為不同但相關的少資源關系。具體地說,該框架利用了一個關系鑒別器來區分樣本和不同的關系,幫助學習更容易從源關系轉移到目標關系的關系不變量特征。實驗結果表明,該方法在少資源設置下的鏈路預測和關系提取都優于以往的方法。
題目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入通過學習實體和關系的低維表示,以預測缺失事實。KGs通常具有層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于分層數據,雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而,現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中,我們引入了一類雙曲KG嵌入模型,可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外,我們觀察到不同的幾何變換捕捉不同類型的關系,而基于注意的變換則推廣到多重關系。在高維情況下,我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。
有關實體及其關系的真實世界事實的知識庫是各種自然語言處理任務的有用資源。然而,由于知識庫通常是不完整的,因此能夠執行知識庫補全或鏈接預測是很有用的。本文全面概述了用于知識庫完成的實體和關系的嵌入模型,總結了標準基準數據集上最新的實驗結果。
題目: Composition-Based Multi-Relational Graph Convolutional Networks
摘要: 圖卷積網絡(GCNs)最近被證明在對圖結構數據建模方面是非常成功的。然而,主要的重點是處理簡單的無向圖。多關系圖是一種更為普遍和流行的圖,其中每條邊都有一個與之相關的標簽和方向。現有的大多數處理此類圖的方法都存在參數過多的問題,并且僅限于學習節點的表示形式。在本文中,我們提出了一種新的圖卷積框架COMP-GCN,它將節點和關系共同嵌入到一個關系圖中。COMP-GCN利用知識圖譜嵌入技術中的各種實體關系組合操作,并根據關系的數量進行擴展。它還概括了幾種現有的多關系GCN方法。我們評估了我們提出的方法在多個任務,如節點分類,鏈接預測,和圖分類,并取得了明顯的結果。
題目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要: 近年來隨著知識圖譜(KGs)的大量涌現,加上實體間缺失關系(鏈接)的不完全或部分信息,催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明,基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入,因此在關系預測方面也有很好的表現。然而,我們觀察到這些KG嵌入獨立地處理三元組,因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此,本文提出了一種新的基于注意的特征嵌入方法,該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外,我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解,并且與所有數據集上的最先進的方法相比,有顯著的性能提升。
跨語言實體鏈接(Cross-lingual entity linking, XEL)的任務是在目標語言知識庫(target-language知識庫,KB)中查找從源語言文本中提取的提及內容。(X)EL的第一步是生成候選實體,它從目標語言知識庫中為每個提到的候選實體檢索貌似合理的候選實體列表。基于Wikipedia資源的方法已經在資源相對較多的語言(HRL)領域被證明是成功的,但是這些方法不能很好地擴展到資源較少的語言(LRL),即使有,也只有很少的Wikipedia頁面。近年來,遷移學習方法已被證明可以利用相近語言的資源來降低語言學習對資源的需求,但其性能仍遠遠落后于資源豐富的語言學習。在本文中,我們首先評估了當前低資源XEL的實體候選生成方法所面臨的問題,然后提出了三個改進:(1)減少實體提及和知識庫條目之間的脫節,(2)提高模型對低資源場景的魯棒性。這些方法很簡單,但是很有效:我們在7個XEL數據集上對我們的方法進行了實驗,發現與最先進的基線相比,它們在前30名標準候選召回中平均產生16.9%的收益。我們改進的模型還使端到端XEL的in-KB精度平均提高了7.9%。
題目
知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
簡介
大規模知識圖譜(KGs)在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍,以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式,即零樣本學習,以擺脫這種繁瑣的處理,對于新增加的關系,我們試圖從文本描述中學習它們的語義特征,從而在不見實例的情況下識別出看不見的關系。為此,我們利用生成性對抗網絡(GANs)來建立文本與知識邊緣圖域之間的聯系:生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下,零樣本學習自然轉化為傳統的監督分類任務。從經驗上講,我們的方法是模型不可知的,可以應用于任何版本的KG嵌入,并在NELL和Wikidataset上產生性能改進。
作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang
題目
Few-Shot Knowledge Graph Completion
簡介
知識圖是各種自然語言處理應用的有用資源。以前的KG完成方法需要為每個關系提供大量的訓練實例(即頭-尾實體對)。實際情況是,對于大多數關系,很少有實體對可用。現有的單鏡頭學習極限方法普遍適用于少鏡頭場景,不能充分利用監控信息,但很少有人對KG完工的研究還很少。在這項工作中,我們提出了一個新的少數鏡頭關系學習模型(FSRL),旨在發現新的關系事實很少鏡頭參考。FSRL可以有效地從異構圖結構中獲取知識,聚集少量鏡頭引用的表示,并為每個關系匹配相似的引用集實體對。在兩個公共數據集上進行的大量實驗表明,FSRL優于最新技術。
作者
Chuxu Zhang, Meng Jiang,Nitesh V. Chawla,來自圣母大學
Huaxiu Yao, Zhenhui Li,來自賓夕法尼亞州立大學
Chao Huang, 來自JD金融美國公司
論文題目: Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation
論文摘要
圖神經網絡由于具有識別同構子圖的能力,已經成為一種強大的基于嵌入的實體對齊范式。然而,在真實知識圖(KGs)中,通常是對應的實體 具有非同構的鄰域結構,這很容易導致GNN產生不同的表示。為了解決這一問題,我們提出了一種新的KG對齊網絡,即AliNet,旨在以端到端方式緩解鄰域結構的非同構性。由于模式異構性,對等實體的直接鄰域通常是不相似的,AliNet引入了遠程鄰域來擴展它們的鄰域結構之間的重疊。它采用了一種注意機制,以突出有益的遙遠的鄰域和減少噪音。然后,利用門控機制控制直接和遠處鄰域信息的聚合。我們進一步提出了一個關系損失來細化實體表示。我們進行了深入的實驗,詳細的研究和分析的五個實體對齊數據集,證明了AliNet的有效性。
論文作者
孫澤群是南京大學計算機科學與技術系在讀博士,目前在南京大學軟件新技術國家重點實驗室,博士導師為胡偉副教授。
胡偉,博士,南京大學計算機科學與技術系副教授,博士生導師。2005年、2009年分別于東南大學計算機科學與工程學院獲學士、博士學位。2009年12月加入南京大學工作至今。研究領域為知識挖掘,數據集成,智能軟件。
論文題目
Model Cards for Model Reporting
論文摘要
在給定一些具有足夠訓練樣本的基本類別上,少鏡頭學習的目的是從很少的樣本中學習新的類別。這項任務的主要挑戰是新的類別容易受到顏色、紋理、物體形狀或背景背景(即特異性)的支配,這對于給定的少數訓練樣本是不同的,但對于相應的類別則不常見。幸運的是,我們發現基于范疇可以幫助學習新概念,從而避免新概念被特定性所支配。此外,結合不同類別之間的語義關聯,可以有效地規范這種信息傳遞。在這項工作中,我們以結構化知識圖的形式來表示語義關聯,并將此圖集成到深度神經網絡中,利用一種新的知識圖轉移網絡(KGTN)來促進少量鏡頭的學習。具體地說,通過使用對應類別的分類器權重初始化每個節點,學習傳播機制以自適應地通過圖來探索節點間的相互作用,并將基本類別的分類器信息傳遞給新類別的分類器信息。在ImageNet數據集上進行的大量實驗表明,與當前領先的競爭對手相比,性能有了顯著提高。此外,我們還構建了一個涵蓋更大尺度類別(即6000個類別)的ImageNet-6K數據集,在該數據集上的實驗進一步證明了我們提出的模型的有效性。
論文作者 陳日泉,陳天水,許曉璐,吳鶴峰,李冠斌,梁林,中山大學達克馬特人工智能研究所。
We introduce KBGAN, an adversarial learning framework to improve the performances of a wide range of existing knowledge graph embedding models. Because knowledge graphs typically only contain positive facts, sampling useful negative training examples is a non-trivial task. Replacing the head or tail entity of a fact with a uniformly randomly selected entity is a conventional method for generating negative facts, but the majority of the generated negative facts can be easily discriminated from positive facts, and will contribute little towards the training. Inspired by generative adversarial networks (GANs), we use one knowledge graph embedding model as a negative sample generator to assist the training of our desired model, which acts as the discriminator in GANs. This framework is independent of the concrete form of generator and discriminator, and therefore can utilize a wide variety of knowledge graph embedding models as its building blocks. In experiments, we adversarially train two translation-based models, TransE and TransD, each with assistance from one of the two probability-based models, DistMult and ComplEx. We evaluate the performances of KBGAN on the link prediction task, using three knowledge base completion datasets: FB15k-237, WN18 and WN18RR. Experimental results show that adversarial training substantially improves the performances of target embedding models under various settings.