題目: Embedding Symbolic Knowledge into Deep Networks
摘要:
在這項工作中,我們的目標是利用先前的符號知識來提高深層模型的性能。提出了一種利用增廣圖卷積網絡(GCN)將命題公式(和賦值)投影到流形上的圖嵌入網絡。為了生成語義上可靠的嵌入,我們開發了識別節點異構性的技術和將結構約束合并到嵌入中的語義正則化。實驗結果表明,該方法提高了訓練后的模型的性能,使其能更好地進行蘊涵檢測和視覺關聯預測。有趣的是,我們觀察到命題理論表達的可追蹤性和嵌入的容易程度之間的聯系。對這一聯系的進一步探索可以闡明知識編輯與向量表示學習之間的關系。
作者:
Ziwei Xu是新加坡國立大學博士研究生。之前是中國科學技術大學的一名本科生,對計算機視覺感興趣,尤其對搭建自然語言、人類知識和視覺世界之間的橋梁感興趣。
題目: KG-BERT: BERT for Knowledge Graph Completion
摘要: 知識圖譜是許多人工智能任務的重要資源,但往往是不完整的。在這項工作中,我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列,并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入,利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明,我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。
題目: Knowledge Graph Embeddings and Explainable AI
摘要: 知識圖譜嵌入是一種廣泛采用的知識表示方法,它將實體和關系嵌入到向量空間中。在這一章中,我們通過解釋知識圖譜嵌入是什么,如何生成它們以及如何對它們進行評估,向讀者介紹知識圖譜嵌入的概念。我們總結了這一領域的最新研究成果,對向量空間中表示知識的方法進行了介紹。在知識表示方面,我們考慮了可解釋性問題,并討論了通過知識圖譜嵌入來解釋預測的模型和方法。
題目: End-to-End Entity Classification on Multimodal Knowledge Graphs
簡介:
知識圖的端到端多模式學習在很大程度上尚未解決。取而代之的是,大多數端到端模型(例如消息傳遞網絡)僅從圖形結構中編碼的關系信息中學習:原始值或文字要么被完全省略,要么從其值中剝離而被視為常規節點。無論哪種情況,我們都會丟失潛在的相關信息,而這些信息本來可以被我們的學習方法所利用。為避免這種情況,我們必須將文字和非文字視為單獨的情況。我們還必須分別并相應地處理每種形式:數字,文本,圖像,幾何形狀等等。我們提出了一種多模態消息傳遞網絡,該網絡不僅可以從圖的結構中端到端學習,而且可以從它們的多模態節點特征集合中學習。我們的模型使用專用的(神經)編碼器來自然學習節點特征的嵌入,這些節點特征屬于五種不同類型的模態,包括圖像和幾何圖形,這些圖像連同其關系信息被投影到聯合表示空間中。我們在節點分類任務上演示我們的模型,并評估每種模式對整體性能的影響。我們的結果支持我們的假設,即包含來自多種模式的信息可以幫助我們的模型獲得更好的整體性能。
題目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要: 近年來隨著知識圖譜(KGs)的大量涌現,加上實體間缺失關系(鏈接)的不完全或部分信息,催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明,基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入,因此在關系預測方面也有很好的表現。然而,我們觀察到這些KG嵌入獨立地處理三元組,因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此,本文提出了一種新的基于注意的特征嵌入方法,該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外,我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解,并且與所有數據集上的最先進的方法相比,有顯著的性能提升。
現有的知識蒸餾方法主要集中在卷積神經網絡(convolutional neural networks~, CNNs)上,其中圖像等輸入樣本位于一個網格域內,而處理非網格數據的graph convolutional networks~(GCN)則在很大程度上被忽略。在這篇論文中,我們提出從一個預先訓練好的GCN模型中蒸餾知識的第一個專門方法。為了實現知識從教師到學生的遷移,我們提出了一個局部結構保留模塊,該模塊明確地考慮了教師的拓撲語義。在這個模塊中,來自教師和學生的局部結構信息被提取為分布,因此最小化這些分布之間的距離,使得來自教師的拓撲感知的知識轉移成為可能,從而產生一個緊湊但高性能的學生模型。此外,所提出的方法很容易擴展到動態圖模型,其中教師和學生的輸入圖可能不同。我們使用不同架構的GCN模型,在兩個不同的數據集上對所提出的方法進行了評估,并證明我們的方法達到了GCN模型最先進的知識蒸餾性能。
題目: Bayesian Reasoning with Deep-Learned Knowledge
摘要: 我們通過對訓練的深層神經網絡的內在理解,在復雜的任務上進行貝葉斯推理。獨立訓練的網絡被安排在其原始范圍之外的swer問題的聯合中,而swer問題是用貝葉斯推理問題來表示的。我們用近似推理來解決這個問題,這為結果提供了不確定性。我們展示了如何在高分辨率的人臉圖像背景下,將獨立訓練的網絡與傳統的噪聲測量相結合,從傳統的生成器中提取樣本,同時解決多個約束條件下的謎題。
題目
知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
簡介
大規模知識圖譜(KGs)在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍,以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式,即零樣本學習,以擺脫這種繁瑣的處理,對于新增加的關系,我們試圖從文本描述中學習它們的語義特征,從而在不見實例的情況下識別出看不見的關系。為此,我們利用生成性對抗網絡(GANs)來建立文本與知識邊緣圖域之間的聯系:生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下,零樣本學習自然轉化為傳統的監督分類任務。從經驗上講,我們的方法是模型不可知的,可以應用于任何版本的KG嵌入,并在NELL和Wikidataset上產生性能改進。
作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang
題目: Group Representation Theory for Knowledge Graph Embedding
摘要: 最近,知識圖譜嵌入已經成為一種流行的建模和推斷缺失鏈接的方法。本文提出了一種知識圖譜嵌入的群論觀點,將以往的方法與不同的群作用聯系起來。此外,利用群表示理論中的Schur引理,我們證明了最新的嵌入方法RotatE具有從任意有限阿貝爾群建立關系的能力
作者簡介: Chen Cai,俄亥俄州立大學計算機科學與工程系博士。他的研究興趣在于圖表示學習和拓撲數據分析。