簡介: 知識圖譜作為Ai要實現通用智能不可或缺的一環,其重要性不言而喻。要構建知識圖譜,離不開知識表示與知識建模。知識建模依賴于知識表示的語言和框架,這里說的知識,與數據的不同之處在于即要表達數據本身的意義,還要有理解的強大推理能力。本次報告利用知識建模與生成式推理相結合一起解決常識問題。如何來定義這個常識問題?首先是關于日常情況和事件,其次是存在于大多數人之間普遍共享的。比如,可以打開壁櫥門,但不能打開冰箱門,因為里面的食物可能變質。
本次報告的主要內容包括:
存在的數條常識推理挑戰歸結來說就是:
1)無法對有限的變量集使用有限的推理規則來進行推理
2)推理取決于豐富的知識
多模態信息抽取,Multi-modal Information Extraction from Text, Semi-structured, and Tabular Data on the Web
Organizers: Xin Luna Dong, Hannaneh Hajishirzi, Colin Lockard and Prashant Shiralkar
萬維網以多種形式包含大量的文本信息:非結構化文本、基于模板的半結構化網頁(以鍵-值對和列表的形式呈現數據)和表格。從這些資源中提取信息并將其轉換為結構化形式的方法一直是自然語言處理(NLP)、數據挖掘和數據庫社區研究的目標。雖然這些研究人員已經很大程度上根據數據的模態將web數據的提取分離到不同的問題中,但他們也面臨著類似的問題,比如使用有限的標記數據進行學習,定義(或避免定義)本體,利用先驗知識,以及針對web規模的縮放解決方案。在本教程中,我們將從整體的角度來看待信息抽取,探索挑戰中的共性,以及為解決這些不同形式的文本而開發的解決方案。
地址:
題目: Interpretable Deep Graph Generation with Node-edge Co-disentanglement
摘要:
解糾纏表示學習近年來受到了廣泛的關注,特別是在圖像表示學習領域。然而,學習圖背后的解糾纏表示在很大程度上仍未探索,特別是對于同時具有節點和邊緣特征的屬性圖。圖生成的解糾纏學習具有實質性的新挑戰,包括
為了解決這些問題,提出了一個新的屬性圖深層生成模型的解糾纏增強框架。特別地,提出了一種新的變分目標來解開上述三種潛在因素,并具有新的節點和邊緣反褶積結構。此外,在每種類型中,個體因素的分離進一步增強,這被證明是對現有圖像框架的一般化。在綜合數據集和真實數據集上的定性和定量實驗證明了該模型及其擴展的有效性。
在NLP中,“域內數據”的概念常常過于簡單和模糊,因為文本數據在許多細微的語言方面存在差異,比如主題、風格或正式程度。此外,域標簽很多時候是不可用的,這使得構建特定于域的系統變得很困難。我們證明了大量的預先訓練的語言模型隱式地學習句子表示,這些句子表示在沒有監督的情況下由域進行聚類——這表明文本數據中域的簡單數據驅動定義。我們利用這一特性,提出了基于這些模型的域數據選擇方法,這些方法只需要少量的域內單語數據。我們評估了我們的神經機器翻譯的數據選擇方法在五個不同的領域,在這些領域中,它們的表現優于現有的方法,包括BLEU和句子選擇的精確度以及對oracle的召回率。
互聯網上短視頻的快速涌現為視頻內容的精準檢索帶來了前所未有的挑戰。使用自然語言文本描述對視頻進行跨模態檢索(Cross-modal Video-Text Retrieval)是最符合自然人機交互的方式之一,能更加全面細粒度地表達用戶檢索需求,得到了越來越多的研究關注。
當前跨模態檢索的主要方法將視頻和文本模態映射到聯合視覺語義空間以計算跨模態相似度。大部分工作[1,2]使用全局特征向量分別表示視頻和文本信息,但是文本和視頻中包含了豐富復雜的元素,例如圖1中的事件檢索涉及了不同的動作、實體、以及動作實體之間的關系等等,使用單一的特征表示很難捕獲細粒度的語義信息。少量工作[3]提出細粒度的密集匹配,將視頻和文本表示為序列化特征,對每一序列元素進行局部對齊匹配,融合得到全局跨模態相似度,然而僅使用序列化表示忽略了文本或視頻內部復雜的拓撲結構,不能準確地表示事件中不同元素之間的關系,使得局部對齊匹配的語義表達能力下降。
視頻文本匹配被分解包括事件(Event)、動作(Action)和實體(Entities)的三個層次,形成整體到局部的結構。一方面,模型可借助局部語義元素增強全局語義匹配;另一方面,全局語義信息也能幫助局部元素的語義理解,增強局部信息的跨模態匹配。
因此,我們提出了層次化圖推理模型(Hierarchical Graph Reasoning model, HGR),更好地結合全局和局部密集匹配的優點,并彌補其不足。如圖1所示,我們將視頻文本匹配分解為三層的語義級別,分別負責刻畫全局事件(Event)以及局部的動作(Action)和實體(Entities),以涵蓋整體到局部的語義信息。首先對于文本編碼,全局事件由整個句子表示,動作由動詞表示,實體則由名詞短語表示。不同語義級別不是獨立的,它們之間的交互反映了它們在事件中扮演的語義角色(Semantic Role),因此我們建立三層語義級別的語義角色圖(Semantic Role Graph),提出利用基于注意力的圖推理方法來捕捉圖中的交互信息。然后,不同層次的文本特征用于指導多樣化的視頻編碼,視頻也被編碼為與事件、動作和實體相關的層次化表示。每一層次級通過注意力機制進行跨模態匹配,最后進行不同層次的融合。
我們在三個視頻描述數據集上進行實驗,從3個方面證明了所提出模型的有效性: 1) HGR模型在多個數據集中取得更好的跨模態檢索結果;2) 在跨數據集實驗中,HGR模型具有更強泛化性能;3) 提出了一個新的細粒度二元選擇任務,HGR模型更能區分細粒度語義變化和選擇更加全面的檢索結果。
題目:
Generating new concepts with hybrid neuro-symbolic models
簡介:
人類的概念知識支持生成新穎而高度結構化的概念的能力,而這種概念知識的形式引起科學家的極大興趣。一種傳統強調結構化知識,將概念視為嵌入直觀理論中或組織為復雜的符號知識結構的概念。第二種傳統強調統計知識,將概念知識視為訓練神經網絡和其他統計模型所捕獲的豐富相關結構中的新興知識。在本文中,我們通過用于產生新概念的新型神經符號模型探索了這兩種傳統的綜合。使用簡單的視覺概念作為測試平臺,我們將神經網絡和符號概率程序結合在一起,以學習新型手寫字符的生成模型。使用更通用的神經網絡體系結構探索了兩個替代模型。我們比較了這三種模型中每種模型在保留字符類上的可能性以及它們的產品質量,發現我們的混合模型學習了最有說服力的表示,并從訓練中得到了進一步的概括。
題目
知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
簡介
大規模知識圖譜(KGs)在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍,以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式,即零樣本學習,以擺脫這種繁瑣的處理,對于新增加的關系,我們試圖從文本描述中學習它們的語義特征,從而在不見實例的情況下識別出看不見的關系。為此,我們利用生成性對抗網絡(GANs)來建立文本與知識邊緣圖域之間的聯系:生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下,零樣本學習自然轉化為傳統的監督分類任務。從經驗上講,我們的方法是模型不可知的,可以應用于任何版本的KG嵌入,并在NELL和Wikidataset上產生性能改進。
作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang
由于大量對話數據的可用性和人工智能對話的神經方法的最新進展,開發智能開放域對話系統的興趣正在復蘇。與傳統的面向任務的機器人不同,開放域對話系統旨在通過滿足人類交流、情感和社會歸屬感的需求,與用戶建立長期的聯系。這篇文章回顧了最近關于神經方法的工作,致力于解決在開發這樣的系統中的三個挑戰:語義,一致性和交互性。語義要求對話系統不僅要理解對話的內容,還要識別用戶在對話過程中的情感和社會需求。一致性要求系統表現出一致的個性,以贏得用戶的信任,獲得用戶的長期信心。互動性是指系統產生人際反應以實現特定社會目標的能力,如娛樂、一致性和任務完成。我們在這次調查中選擇的研究是基于我們獨特的觀點,并不是完全的。盡管如此,我們希望討論將會給開發更智能的開放域對話系統的新研究帶來靈感。
Inferring missing links in knowledge graphs (KG) has attracted a lot of attention from the research community. In this paper, we tackle a practical query answering task involving predicting the relation of a given entity pair. We frame this prediction problem as an inference problem in a probabilistic graphical model and aim at resolving it from a variational inference perspective. In order to model the relation between the query entity pair, we assume that there exist underlying latent variables (assemble of all paths connecting these two nodes) in the KG, which carries the equivalent semantics of their relation. However, due to the intractability of connections in large KGs, we propose to use variation inference to maximize the evidence lower bound. More specifically, our framework (\textsc{Diva}) is composed of three modules, i.e. a posterior approximator, a prior (path finder), and a likelihood (path reasoner). By using variational inference, we are able to incorporate them closely into a unified architecture and jointly optimize them to perform KG reasoning. With active interactions among these sub-modules, \textsc{Diva} is better at handling noise and cope with more complex reasoning scenarios. In order to evaluate our method, we conduct the experiment of the link prediction task on NELL-995 and FB15K datasets and achieve state-of-the-art performances on both datasets.