開放型對話是對話系統的一個重要分支,有著極強的應用前景。它不同于任務型對話,具有較強的隨機性和不確定性。該文從回復方式驅動對話技術發展這個角度切入,進行開放型對話技術發展過程的梳理,緊扣序列到序列及其改良模型在對話生成場景中應用的這條主要線索,對開放型對話的關鍵技術進行了探討和研究。上述研究勾畫出了從單輪對話到多輪對話發展的主要研究主線。為進一步探索對話技術發展的內在規律和發展趨勢,通過研究發現,基于序列到序列的生成模型在面向多輪對話生成的任務場景時,顯現出模型實現特點和應用場景不完全匹配的問題。因此,在該文的最后,從引入外部知識、改寫機制及代理機制三個角度切入,初步探索了相關技術針對多輪對話生成的可能改進方向。
面向知識圖譜的知識推理旨在通過已有的知識圖譜事實,去推斷新的事實,進而實現知識庫的補全。近年來,盡管基于分布式表示學習的方法在推理任務上取得了巨大的成功,但是他們的黑盒屬性使得模型無法為預測出的事實做出解釋。所以,如何設計用戶可理解、可信賴的推理模型成為了人們關注的問題。本文從可解釋性的基本概念出發,系統梳理了面向知識圖譜的可解釋知識推理的相關工作,具體介紹了事前可解釋推理模型和事后可解釋推理模型的研究進展;根據可解釋范圍的大小,本文將事前可解釋推理模型進一步細分為全局可解釋的推理和局部可解釋的推理;在事后解釋模型中,本文回顧了推理模型的代表方法,并詳細介紹提供事后解釋的兩類解釋方法。此外,本文還總結了可解釋知識推理在醫療、金融領域的應用。隨后,本文對可解釋知識推理的現狀進行概述,最后展望了可解釋知識推理的未來發展方向,以期進一步推動可解釋推理的發展和應用。
//www.jos.org.cn/jos/article/abstract/6522
知識圖譜(Knowledge Graph)本質是一種語義網絡,通常用 (頭實體,關系,尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關系。自谷歌提出知識圖譜概念以來,知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據,但是這樣大規模的數據仍然不完整,大量缺失的三元組嚴重限制了這些下游任務的性能。知識推理,這一旨在根據一定的推理機制去預測圖譜中缺失三元組的任務,也吸引了學術界越來越多的目光。
早在 2013 年,Li 等人[1] 提出利用表示學習的方法去做知識推理,通過將實體和關系映射到低維連續 的向量空間,將推理預測任務轉化為實體與關系所關聯的簡單的向量/矩陣操作。鑒于該方法的自由度高、 可計算性好、推理效率高等優點,該類方法在近幾年得到了廣泛關注和發展,并且廣泛的應用在推薦系統、 對話生成等互聯網場景。在這些場景下,研究者們更多的關注如何提高知識推理的性能,忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時,通常來說,并不會招致非常嚴重的后果。然而,在當今人工智能技術應用的大趨勢下,知識推理不僅可以應用在上述互聯網場景,而且越來越 多的被應用在和人類的生產生活息息相關的一些領域(例如,智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]),這些領域往往對模型的安全性能要求較高,風險高度敏感。例如,在醫療領域,推理的可 靠性會關系到人的生命安全。通常來說,在這些領域,僅僅獲得預測結果是不夠的,模型還必須解釋是怎 么獲得這個預測的,來建立用戶和推理模型之間的信任。
隨著深度學習的發展,知識推理方法的模型結構越來越復雜,僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方面優于人類,但由于用戶無 法對這類模型里的參數、結構、特征產生直觀理解,對于模型的決策過程和模型的推理依據知之甚少,對 于模型的決策過程知之甚少,不知道它何時會出現錯誤,在風險敏感的領域中,用戶仍然無法信任模型的 預測結果。因此,為了建立用戶和推理模型之間的信任,平衡模型準確率和可解釋性之間的矛盾,可解釋 性知識推理在近幾年的科研會議上成為關注熱點。
盡管有很多學者對知識推理領域進行了深入的研究,并從不同的角度(如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等)對推理模型進行梳理和總結。然而,在推理模型的可解釋性方面 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展,本文對現有的可解釋推理模型進行了 系統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性,并介紹常見的 可解釋模型劃分標準;然后,根據解釋產生的方式,對現有的可解釋知識推理模型進行總結和歸類,并討 論相關方法的局限性;接著,簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最后,本文討論可 解釋知識推理面臨的挑戰以及可能的研究方向。
1 可解釋的知識推理
在詳細介紹現有的可解釋知識推理模型之前,首先介紹知識推理的基本概念,接著對什么是可解釋性 (Interpretability),以及為什么要在推理任務中注重可解釋性進行介紹,最后對本文的劃分標準做簡要說明。
1.1 知識推理的基本概念
2012 年,谷歌正式提出知識圖譜的概念,用于改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關系,其中 h 代表頭實體, r 代表實體之間的關系, t 代表尾實體。例如(詹姆斯·卡梅隆,執導,泰坦尼克號)即是一個三元組,其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”,“執導”是兩個實體之間的關系。代表性的知識圖譜,如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等,雖然包含數以億計的三元組,但是卻面臨非常嚴重的數據缺失問題。據 2014 年的統計,在 Freebase 知識庫中,有 75%的人沒有國籍信息,DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重制約了知識圖譜在下游任務中的效能發揮。因此,如何讓機器自動基于知 識圖譜中的已有知識進行推理,從而補全和完善知識圖譜,成為了工業界和學術界都亟待解決的問題。
總的來說,面向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法,根據知識圖譜中已 有的三元組去推理出缺失的三元組,從而對知識圖譜進行補充和完善。例如,已知(詹姆斯·卡梅隆,執導, 泰坦尼克號)和(萊昂納多·迪卡普里奧,出演,泰坦尼克號),可以得到(詹姆斯·卡梅隆,合作,萊昂納 多·迪卡普里奧)。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全(又稱之為鏈接預測)[1,27,94,95]兩個 任務[117] ,其中,知識圖譜去噪任務專注于知識圖譜內部已有三元組正確性的判斷;而知識圖譜補全專注 于擴充現有的圖譜。根據要推理元素的不同,知識圖譜補全任務可以進一步細分為實體預測和關系預測。其中,實體預測是指給定查詢 ( ,r,?) h ,利用已有事實的關系,推理出另一個實體并由此構成完整三元組, 同理,關系預測則是指給定查詢 ( ,?, t) h ,推理給定的頭尾實體之間的關系。由于知識圖譜中大多數三元組 都是正確的,知識圖譜去噪任務通常采用對已有三元組進行聯合建模并進一步判斷特定三元組是否成立的 方法。在這種情況下,知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此,在下面的內容里,本 文以知識圖譜補全任務為中心,對相關的可解釋性方法進行梳理和總結。
1.2 可解釋性及其在知識推理中的必要性
目前學術界和工業界對于可解釋性沒有明確的數學定義[62] ,不同的研究者解決問題的角度不同,為 可解釋性賦予的涵義也不同,所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller (2017)[2,42]所提出,指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易于理解,那么它就比另一個模型具有更高的可解釋性。
在某些情況下,我們不必關心模型為什么做出這樣的預測,因為它們是在低風險的環境中使用的,這 意味著錯誤不會造成嚴重后果(例如,電影推薦系統),但是對于某些問題或任務,僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎么獲得這個預測的,因為正確的預測只部分地解決了原始問題。通常來說, 以下三點原因推動了對可解釋性的需求:
1、高可靠性要求。盡管可解釋性對于一些系統來說并不是不可或缺的,但是,對于某些需要高度可靠 的預測系統來說很重要,因為錯誤可能會導致災難性的結果(例如,人的生命、重大的經濟損失)。可解釋性可以使潛在的錯誤更容易被檢測到,避免嚴重的后果。此外,它可以幫助工程師查明根 本原因并相應地提供修復。可解釋性不會使模型更可靠或其性能更好,但它是構建高度可靠系統 的重要組成部分。
2、道德和法律要求。第一個要求是檢測算法歧視。由于機器學習技術的性質,經過訓練的深度神經網 絡可能會繼承訓練集中的偏差,這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題,例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因,希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外,推理模型目前也被用于新 藥的發現和設計[124] 。在藥物設計領域,除了臨床測試結果以外,新藥還需要通常還需要支持結 果的生物學機制,需要具備可解釋性才能獲得監管機構的批準,例如國家藥品監督管理局 (NMPA)。
3、科學發現的要求。推理模型本身應該成為知識的來源,可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時,它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。
1.3 本文的劃分標準
根據不同的劃分標準,知識推理模型可以被劃分成不同的類別。其中,根據解釋產生的方法,可以將 推理模型劃分為兩大類:事前可解釋和事后可解釋[41,62,96,97,102,118]。其中,事前可解釋模型主要指不需要額 外的解釋方法,解釋蘊含在自身架構之中的模型。事后可解釋性是指模型訓練后運用解釋方法進行推理過 程和推理結果的解釋,解釋方法自身是不包含在模型里面的。一種方法被看作能夠對黑盒模型進行解釋, 是指該方法可以:(1)通過可解釋和透明的模型(例如,淺決策樹、規則列表或者稀疏線性模型)對模型 的行為進行近似,可以為模型提供全局的可解釋;(2)能夠解釋模型在特定輸入樣例上進行預測的原因;(3)可以對模型進行內部檢查,了解模型的某些特定屬性,譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是,可以將事后解釋方法應用于事前可解釋的模型上,例如,可以 從敏感性分析的角度對事前模型進行剖析。此外,根據可解釋的范圍大小----是否解釋單個實例預測或整個 模型行為,可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96];根據解釋方法是否特定于模型,可以 將模型劃分為特定于模型和模型無關兩種類別[96] 。在接下來的內容里,本文按照解釋產生的方式,對知 識推理模型進行總結和歸類。
人臉合成由于其應用與技術價值,是機器視覺領域的熱點之一,而近年來深度學習的突破性進展使該領域吸引了更多關注。將該領域的研究分為四個子類:人臉身份合成、人臉動作合成、人臉屬性合成與人臉生成,并系統地總結了這些子類的發展歷程、現狀,以及現有技術存在的問題。首先針對人臉身份合成,從圖形學、數字圖像處理與深度學習三個角度總結了各自的合成流程,對關鍵技術原理進行了詳細的解釋與分析。其次將人臉動作合成進一步分為利用標簽驅動的表情編輯與利用真實人臉驅動的人臉重演,并指出了各自領域中存在的缺陷與難題。然后介紹了基于生成模型,尤其是生成對抗網絡在人臉屬性合成方面的發展,最終對人臉生成的各類工作進行了簡單的闡述。此外,介紹了人臉合成技術的實際應用與當前面臨的相關問題,并展望了該領域未來可能的研究方向。
隨著智能化水平的不斷提高, 每時每刻都有大量的新知識產生, 知識圖譜逐漸成為我們管理知識的工具之一. 但現有的知識圖譜仍然存在屬性缺失、關系稀疏等問題, 同時還存在大量噪聲信息, 導致圖譜質量不佳, 易對自然語言處理領域中的各類任務造成影響. 面向知識圖譜的知識推理技術作為目前的研究熱點, 是解決該問題的主要方法, 其通過模擬人的推理過程完成對圖譜信息的完善, 在眾多應用中有較好表現. 以知識圖譜為切入點, 將知識推理技術按類別劃分并分別闡釋, 詳細分析該技術的幾種應用任務, 例如智能問答、推薦系統等, 最后對未來主要研究方向進行展望, 提出幾種研究思路.
近年來, 隨著深度學習技術的廣泛應用, 人機對話研究取得了突破性進展. 但是, 目前的人機對話系統大多是在人機雙方參與的假設下進行設計的, 而更具挑戰性的人機多方對話的研究和應用尚不成熟. 本文將立足于自然語言處理領域, 對近幾年基于深度學習的多方對話研究進展進行綜述. 首先從人機對話角度出發, 整理多方對話系統的關鍵問題和已有解決方案; 然后, 梳理基于多方對話的其他自然語言處理任務; 之后, 總結已有多方對話研究的數據集, 并分析現有數據集的局限性和改進方案; 最后, 展望多方對話研究的未來發展趨勢.
摘要: 近年來, 基于卷積神經網絡的目標檢測研究發展十分迅速, 各種檢測模型的改進方法層出不窮. 本文主要對近幾年內目標檢測領域中一些具有借鑒價值的研究工作進行了整理歸納. 首先, 對基于卷積神經網絡的主要目標檢測框架進行了梳理和對比. 其次, 對目標檢測框架中主干網絡、頸部連接層、錨點等子模塊的設計優化方法進行歸納, 給出了各個模塊設計優化的基本原則和思路. 接著, 在COCO數據集上對各類目標檢測模型進行測試對比, 并根據測試結果分析總結了不同子模塊對模型檢測性能的影響. 最后, 對目標檢測領域未來的研究方向進行了展望.
精準地預判網絡流量變化趨勢可以幫助運營商準確預估網絡的使用情況,合理分配并高效利用網絡資源,以滿足日益增長且多樣化的用戶需求。以深度學習算法在網絡流量預測領域的進展為線索,闡述了網絡流量預測的評價指標和目前公開的網絡流量數據集及應用,具體分析了網絡流量預測中常用的深度信念網絡、卷積神經網絡、循環神經網絡和長短時記憶網絡共四種深度學習方法,并重點介紹了近年來針對不同問題所提出的改進神經網絡模型,總結了各模型特點及應用場景。最后對網絡流量預測未來發展進行了展望。
摘要 在線社交網絡中的消息流行度預測研究,對推薦、廣告、檢索等應用場景都具有非常重要的作用。近年來,深度學習的蓬勃發展和消息傳播數據的積累,為基于深度學習的流行度預測研究提供了堅實的發展基礎。現有的流行度預測研究綜述,主要是圍繞傳統的流行度預測方法展開的,而基于深度學習的流行度預測方法目前仍未得到系統性地歸納和梳理,不利于流行度預測領域的持續發展。鑒于此,該文重點論述和分析現有的基于深度學習的流行度預測相關研究,對近年來基于深度學習的流行度預測研究進行了歸納梳理,將其分為基于深度表示和基于深度融合的流行度預測方法,并對該研究方向的發展現狀和未來趨勢進行了分析展望。
句法分析的目標是分析輸入句子并得到其句法結構,是自然語言處理領域的經典任務之一。目前針對該任務的研究主要集中于如何通過從數據中自動學習來提升句法分析器的精度。該文對句法分析方向的前沿動態進行了調研,分別從有監督句法分析、無監督句法分析和跨領域跨語言句法分析三個子方向梳理和介紹了2018—2019年發表的新方法和新發現,并對句法分析子方向的研究前景進行了分析和展望。