題目: Knowledge-Enriched Visual Storytelling
摘要: 故事具有多樣性和高度個性化,為故事生成提供了很大的可能輸出空間。現有的端到端方法產生單調的故事,因為它們僅限于單個訓練數據集中的詞匯和知識。本文介紹了KG-Story,一個三階段的框架,它允許故事生成模型利用外部知識圖生成有趣的故事。KG-Story從輸入提示中提取一組有代表性的單詞,利用外部知識圖豐富單詞集,最后根據豐富的單詞集生成故事。這種蒸餾-濃縮-生成框架不僅允許在濃縮階段使用外部資源,還允許在蒸餾和生成階段使用外部資源。在本文中,我們展示了KG故事在視覺講故事方面的優越性,輸入提示是五張照片的序列,輸出是一個短篇故事。根據人類排名評估,KG Story生成的故事平均排名高于最先進的系統。
作者簡介: Chao Chun Hsu,美國科羅拉多大學博德分校計算機科學系研究助理。
Lun-Wei Ku,中國科學院信息科學研究所博士。
主題: TransOMCS: From Linguistic Graphs to Commonsense Knowledge
摘要: 常識圖譜獲取是人工智能的關鍵問題。 獲取常識圖譜的常規方法通常需要費力且昂貴的人工注釋,這在大規模上是不可行的。 在本文中,我們探索了一種從語言圖中提取常識圖譜的實用方法,目的是將通過語言模式獲得的廉價知識轉化為昂貴的常識圖譜。 結果是將大型選擇偏好知識資源ASER轉換為與ConceptNet相同表示的TransOMCS。實驗結果證明了語言知識到常識知識的轉移性以及所提出方法在數量,新穎性和質量方面的有效性。
題目:
Generating new concepts with hybrid neuro-symbolic models
簡介:
人類的概念知識支持生成新穎而高度結構化的概念的能力,而這種概念知識的形式引起科學家的極大興趣。一種傳統強調結構化知識,將概念視為嵌入直觀理論中或組織為復雜的符號知識結構的概念。第二種傳統強調統計知識,將概念知識視為訓練神經網絡和其他統計模型所捕獲的豐富相關結構中的新興知識。在本文中,我們通過用于產生新概念的新型神經符號模型探索了這兩種傳統的綜合。使用簡單的視覺概念作為測試平臺,我們將神經網絡和符號概率程序結合在一起,以學習新型手寫字符的生成模型。使用更通用的神經網絡體系結構探索了兩個替代模型。我們比較了這三種模型中每種模型在保留字符類上的可能性以及它們的產品質量,發現我們的混合模型學習了最有說服力的表示,并從訓練中得到了進一步的概括。
許多視覺和語言的研究集中在一組小而多樣的獨立任務和支持的數據集上,這些數據集通常是單獨研究的;然而,成功完成這些任務所需的視覺語言理解技能有很大的重疊。在這項工作中,我們通過開發一個大規模的、多任務的訓練機制來研究視覺和語言任務之間的關系。我們的方法最終在12個數據集上建立了一個模型,這些數據集來自4大類任務,包括可視化問題回答、基于標題的圖像檢索、基礎引用表達式和多模態驗證。與獨立訓練的單任務模型相比,這意味著從大約30億個參數減少到2.7億個參數,同時在各個任務中平均提高性能2.05個百分點。我們使用我們的多任務框架來深入分析聯合訓練不同任務的效果。此外,我們還展示了從單一的多任務模型中細化特定任務模型可以帶來進一步的改進,達到或超過最先進的性能。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括:KG-Augmented語言模型,異構KGs中的實體匹配,KG完成和鏈路預測,基于kg的會話人工智能和問題回答,包括論文,值得查看!
Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020
題目
知識增強的常識性故事生成預訓練模型,A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation
關鍵字
知識增強,故事生成,預訓練,機器學習,神經網絡,語言模型
簡介
故事生成,即從主導語境中生成真實的故事,是一項重要而富有挑戰性的任務。盡管成功建模流暢性和本地化,現有的神經語言生成模型(例如,GPT-2)仍然遭受重復,邏輯沖突,缺乏長期連貫性在生成的故事。我們推測,這是由于關聯相關常識知識、理解因果關系、規劃實體和事件具有適當的時間順序等方面的困難,本文設計了一個常識故事生成的知識增強預訓練模型,并提出了利用常識知識的方法來自外部知識庫的知識,以生成合理的故事。為了進一步捕捉可推理故事中句子之間的因果關系和時間依賴關系,我們采用了多任務學習法,在微調過程中結合辨別目標來區分真假故事。自動和手動評估表明,我們的模型可以生成比藝術基線狀態更合理的故事,特別是在邏輯和全局一致性方面。
作者
Jian Guan, Fei Huang, Xiaoyan Zhu, Minlie Huang,來自人工智能研究所,智能技術與系統國家重點實驗室;北京國家信息科學技術研究中心;清華大學計算機科學與技術系。 Zhihao Zhao,來自北京航空航天大學軟件學院。
論文題目
少鏡頭視頻合成,Few-shot Video-to-Video Synthesis
論文簡介
視頻到視頻合成(vid2vid)旨在將輸入的語義視頻(如人體姿勢視頻或分割遮罩視頻)轉換為輸出的真實感視頻。雖然最先進的OFVID2VID有了很大的進步,但現有的方法有兩個主要的局限性。首先,他們渴望數據。訓練需要大量的目標人體或場景圖像。其次,學習模型的泛化能力有限。一個pose-to-humanvid2視頻模型只能合成訓練集中的單個人的姿勢。它并不適用于不在訓練集中的其他人。為了解決這些局限性,我們提出了一個新的shotvid2vidframework,它通過利用目標測試時間的少量示例圖像來學習合成先前未看到的對象或場景的視頻。我們的模型通過使用注意機制的novelnetwork權重生成模塊來實現這種少量的鏡頭泛化能力。我們使用多個大規模視頻數據集(包括人體舞蹈視頻、說話頭部視頻和街道場景視頻)進行了大量的實驗驗證,并與強基線進行了比較。實驗結果驗證了所提出的框架在解決現有VID2VID方法的兩個局限性方面的有效性。代碼可在我們的網站上找到
論文作者
Ting-Chun Wang, Ming-Yu Liu, Andrew Tao, Guilin Liu, Jan Kautz, Bryan Catanzaro 來自 NVIDIA(英偉達)公司
題目: Background Knowledge Injection forInterpretable Sequence Classification
摘要: 序列分類是一項有監督的學習任務,它建立模型來預測未知符號序列的類標簽。盡管準確性是最重要的,但在某些情況下,可解釋性是必須的。不幸的是,我們回溯了人類獨立的可解釋性度量,這樣的權衡通常很難實現。我們介紹了一種新的序列學習算法,它結合了(i)線性分類器,已知線性分類器在預測能力和可解釋性之間取得了很好的平衡,以及(ii)背景知識嵌入。我們將經典的子序列特征空間擴展為由嵌入字或圖的背景知識生成的符號組,并利用這個新的特征空間學習線性分類器。提出了一種新的基于符號嵌入的符號特征集可解釋性評價方法。從可穿戴設備和氨基酸序列分類中識別人類活動的實驗表明,我們的分類方法保留了預測能力,同時提供了更多的可解釋模型。
作者簡介: Severin Gsponer,都柏林大學學院數據分析洞察中心博士生。
Luca Costabello,都柏林大學學院埃森哲實驗室,研究科學家。等
題目:History-adaption Knowledge Incorporation Mechanism for Multi-turn Dialogue System
簡要介紹:近些年來,大家對于多輪對話中保持對話的一致性和減少重復性的問題。本文介紹中科院信工所孫雅靜等人的工作《History-adaption Knowledge Incorporation Mechanism for Multi-turn Dialogue System》,該論文提出了一種history-adaption knowledge incorporation 機制,動態的考慮對話歷史和知識之間的信息相互傳遞,增強檢索式對話中的對話一致性以及避免重復性。
動機:大部分的對話系統模型考慮將個性化知識或者背景知識融入到對話中提高對話的質量,但是卻忽略了重復融合相同的知識在對話中會產生重復性問題。因此在將外部知識融合到對話中時我們不僅應該考慮當前對話和外部知識的語義相關性,同時在整個對話的層次上盡量避免外部知識的重復性使用。在提高對話質量的同時避免對話重復。
核心思想:我們設計了基于歷史自適應的知識融合機制,該機制使用每一輪對話歷史和知識進行感知,得到knowledge-grounded歷史表示,同時設計了特殊的門機制來控制流向下一輪對話的知識的信息,隱式的控制知識的使用。Knowledge-grounded 歷史表示融合了知識的信息,同時我們使用層次的歷史編碼,增強對話的理解;history-aware 的知識表示參考了歷史信息,避免了知識的重復性使用。
摘要:文本蘊涵是自然語言處理的基本任務。大多數解決這個問題的方法只使用訓練數據中的文本內容。一些方法已經表明,來自外部知識來源(如知識圖譜)的信息除了文本內容之外,還可以通過提供對任務至關重要的背景知識來增加價值。然而,所提出的模型并沒有充分利用通常大而有噪聲的公斤中所包含的信息,而且也不清楚如何有效地編碼這些信息以使其對加密有用。我們提出了一種方法,通過(1)使用個性化的PageR- ank生成低噪聲的上下文子圖和(2)使用圖卷積網絡捕獲KG結構對這些子圖進行編碼,用KGs的信息來補充基于文本的嵌入模型。我們的技術擴展了文本模型挖掘知識結構和語義信息的能力。我們在多個文本蘊涵數據集上評估了我們的方法,并表明使用外部知識有助于提高預測準確性。這一點在極具挑戰性的BreakingNLI數據集中表現得尤為明顯,我們看到在多個基于文本的entailment模型上有5-20%的絕對改進。
報告主題:Natural Language Interface to Knowledge Graph (our experience)
報告摘要:世界上大量的數據存儲在關系數據庫和知識圖譜中。必須學習結構化查詢語言(SQL)這樣的編程語言,或者使用固定的查詢表單來查詢數據,即使是非常簡單的查詢。SQL和SPARQL分別是訪問關系數據庫和知識圖譜最常用的接口。但是,這需要用戶對查詢語言、數據模式和數據庫運行環境有很好的理解,這需要很長的訓練時間,對于偶爾查詢數據的用戶來說是不現實的。在本教程中,我將介紹這一領域的研究進展,并討論未來的研究方向。。
嘉賓簡介:嚴錫峰(Xifeng Yan)是加州大學圣塔芭芭拉分校的副教授。他擔任計算機科學Venkatesh Narayanamurti主席。他獲得了博士學位。于2006年獲得伊利諾伊大學香檳分校計算機科學博士學位。2006年至2008年,他是IBM TJ Watson研究中心的研究人員。他一直致力于信息網絡中圖形的建模,管理和挖掘,計算機系統,社交媒體和生物信息學。他的作品得到了廣泛的引用,每個Google Scholar的引用次數超過9000,并且下載了數千次軟件。他獲得了NSF職業獎,IBM發明成就獎,ACM-SIGMOD論文亞軍獎和IEEE ICDM十年最高影響力論文獎。