隨著深度神經網絡在機器學習的各個領域獲得廣泛成功, 其自身所存在的問題也日益尖銳和突出, 例如可解釋性差、魯棒性弱和模型訓練難度大等. 這些問題嚴重影響了神經網絡模型的安全性和易用性. 因此, 神經網絡的可解釋性受到了大量的關注, 而利用模型可解釋性改進和優化模型的性能也成為研究熱點之一. 在本文中, 我們通過幾何中流形的觀點來理解深度神經網絡的可解釋性, 在通過流形視角分析神經網絡所遇到的問題的同時, 匯總了數種有效的改進和優化策略并對其加以解釋. 最后, 本文對深度神經網絡流形解釋目前存在的挑戰加以分析, 提出將來可能的發展方向, 并對今后的工作進行了展望.
//www.sciengine.com/publisher/scp/journal/SSI/51/9/10.1360/SSI-2020-0169?slug=fulltext
多視光場光線空間幾何模型研究
光場以空間光線為基本單元,通過對光線位置和角度信息進行采樣,可實現重聚 焦、變視點、擴展景深等新穎應用,是計算機視覺與計算攝像學的重要理論創新點和技 術突破口。但是,現有光場成像理論存在投影模型不統一、光場成像裝置存在空間和角 度分辨率折衷等問題,尚無法滿足應用需求。本文以多視光場為研究對象,從光場相機 投影模型出發,重點研究光場相機光線采樣及變換過程,分析其對場景三維結構的影 響。另一方面,本文從 Plücker 光線出發,重點研究光線空間對極幾何,分析多視光場 內在射影關系,進而研究多視光場相機自標定和三維重建方法。論文研究工作的主要創 新點包括:(1)提出了統一描述異構光場相機的多投影中心模型。從傳統相機的中心投影模型 出發,推導了三維空間點投影變換矩陣,提出了隱含視點偏移的光場相機畸變模型,實 現了基于空間點的光場相機標定方法。此外,分析了多投影中心模型對平面和二次曲線 的映射,推導了共心二次曲線的共自配極三角形,闡述了其性質并在光場中重建共自配 極三角形,實現了基于共心二次曲線的光場相機標定方法。仿真與真實光場數據的實驗 結果表明,多投影中心模型可統一描述光場相機的異構特性,并利用不同標定物精確標 定光場相機。
(2)提出了統一描述光場相機光線采樣及變換的光線空間投影模型。從 Plücker 光 線出發,提出了 6 × 6 光線空間內參矩陣和投影矩陣,分別描述了光場相機光線采樣和 變換過程。根據 Plücker 光線的數學定義,推導了其在 Klein 曲面的高維特性及光線空 間投影變換的不變性。基于光線空間投影矩陣,建立了空間點與光線間線性約束,提出 了光場相機標定方法,定義了異面光線間幾何距離,并用于非線性優化。仿真與真實光 場數據的實驗結果表明,光線空間投影模型可統一描述光線采樣及變換過程,并精確標 定光場相機。
(3)提出了描述多視光場關聯關系的光線空間對極幾何。從光線空間投影模型出發, 研究了光線空間對極幾何,描述了二視圖光場間內在射影幾何,其獨立于場景結構,只 依賴于光場相機的內外參數,推導了 6 × 6 光線空間基本矩陣,并給出其性質。通過分 析光線空間基本矩陣的正交性約束和奇異性約束,提出了光線空間基本矩陣計算方法, 定義了光線對稱對極距離,并用于非線性優化。通過仿真與真實光場數據的實驗,驗證 了光線空間基本矩陣計算方法的準確性與可靠性,展示了光線空間對極幾何對于多視光 場應用的理論指導意義。
(4)提出了多視光場相機自標定和三維重建方法。從光線空間對極幾何出發,構建 了 6 × 6 光線空間單應,描述了多視光場間同一光線的關聯性關系,分解了僅與旋轉矩 陣相關的光線空間無窮單應,推導了絕對二次曲線的光線束。根據光線空間無窮單應 的旋轉共軛,計算光線空間無窮單應,估計光場相機內參數及相對姿態,定義了光線間 Sampson 距離,并用于非線性優化,最終實現光場相機及場景的計算重構。仿真與真實 數據的實驗結果表明,所提算法在精確重構光場相機投影矩陣的同時,可直接從多視光 場實現三維重建。
基于人工智能技術的人機對話系統在人機交互、智能助手、智能客服、問答咨詢等多個領域應用日益廣泛,這極大地促進了自然語言理解及生成、對話狀態追蹤和端到端的深度學習模型構建等相關理論與技術的發展,并成為目前工業界與學術界共同關注的研究熱點之一。該文聚焦特定場景下的任務型對話系統,在對其基本概念進行形式化定義的基礎上,圍繞著以最少的對話輪次來獲得最佳用戶需求相匹配的對話內容為目標,針對目前存在的復雜業務場景下基于自然語言的用戶意圖的準確理解和識別、針對訓練數據的標注依賴及模型結果的可解釋性不足,以及多模態條件下對話內容的個性化生成這三個重大的技術問題和挑戰,對當前的技術與研究進展進行系統地對比分析和綜述,為進一步的研究工作奠定基礎。同時,對新一代的面向任務型的人機對話系統未來的關鍵研究方向與任務進行總結。
深度學習作為人工智能技術的重要組成部分,被廣泛應用于計算機視覺和自然語言處理等領域。盡管深度學習在圖像分類和目標檢測等任務中取得了較好性能,但是對抗攻擊的存在對深度學習模型的安全應用構成了潛在威脅,進而影響了模型的安全性。在簡述對抗樣本的概念及其產生原因的基礎上,分析對抗攻擊的主要攻擊方式及目標,研究具有代表性的經典對抗樣本生成方法。描述對抗樣本的檢測與防御方法,并闡述對抗樣本在不同領域的應用實例。通過對對抗樣本攻擊與防御方法的分析與總結,展望對抗攻擊與防御領域未來的研究方向。
組合優化問題廣泛存在于國防、交通、工業、生活等各個領域, 幾十年來, 傳統運籌優化方法是解決組合優化問題的主要手段, 但隨著實際應用中問題規模的不斷擴大、求解實時性的要求越來越高, 傳統運籌優化算法面臨著很大的計算壓力, 很難實現組合優化問題的在線求解. 近年來隨著深度學習技術的迅猛發展, 深度強化學習在圍棋、機器人等領域的矚目成果顯示了其強大的學習能力與序貫決策能力. 鑒于此, 近年來涌現出了多個利用深度強化學習方法解決組合優化問題的新方法, 具有求解速度快、模型泛化能力強的優勢, 為組合優化問題的求解提供了一種全新的思路. 因此本文總結回顧近些年利用深度強化學習方法解決組合優化問題的相關理論方法與應用研究, 對其基本原理、相關方法、應用研究進行總結和綜述, 并指出未來該方向亟待解決的若干問題.
通過人工神經網絡等獲得的預測具有很高的準確性,但人類經常將這些模型視為黑盒子。對于人類來說,關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域,對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義,概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述,回顧過去和最近可解釋的SML方法,并根據介紹的定義對它們進行分類。最后,我們通過一個解釋性的案例研究來說明原則,并討論未來的重要方向。
//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c
目前人工智能(AI)模型的準確性是顯著的,但準確性并不是最重要的唯一方面。對于高風險的領域,對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出,醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域,深刻理解人工智能的應用是至關重要的,對可解釋人工智能(XAI)的需求是顯而易見的。
可解釋性在許多領域很重要,但不是在所有領域。我們已經提到了可解釋性很重要的領域,例如衛生保健。在其他領域,比如飛機碰撞避免,算法多年來一直在沒有人工交互的情況下運行,也沒有給出解釋。當存在某種程度的不完整時,需要可解釋性。可以肯定的是,不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面,不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如,刑事風險評估工具應該是公正的,它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域,它是主觀的,很難正式化。相比之下,飛機避免碰撞是一個很容易理解的問題,也可以被精確地描述。如果一個系統能夠很好地避免碰撞,就不用再擔心它了。不需要解釋。
本文詳細介紹了可解釋SML的定義,并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義,將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋,區分局部解釋和全局解釋。
綜上所述,本文的貢獻如下:
近年來,機器學習發展迅速,尤其是深度學習在圖像、聲音、自然語言處理等領域取得卓越成效.機器學習算法的表示能力大幅度提高,但是伴隨著模型復雜度的增加,機器學習算法的可解釋性越差,至今,機器學習的可解釋性依舊是個難題.通過算法訓練出的模型被看作成黑盒子,嚴重阻礙了機器學習在某些特定領域的使用,譬如醫學、金融等領域.目前針對機器學習的可解釋性綜述性的工作極少,因此,將現有的可解釋方法進行歸類描述和分析比較,一方面對可解釋性的定義、度量進行闡述,另一方面針對可解釋對象的不同,從模型的解釋、預測結果的解釋和模仿者模型的解釋3個方面,總結和分析各種機器學習可解釋技術,并討論了機器學習可解釋方法面臨的挑戰和機遇以及未來的可能發展方向。
深度學習在很多人工智能應用領域中取得成功的關鍵原因在于,通過復雜的深層網絡模型從海量數據中學習豐富的知識。然而,深度學習模型內部高度的復雜性常導致人們難以理解模型的決策結果,造成深度學習模型的不可解釋性,從而限制了模型的實際部署。因此,亟需提高深度學習模型的可解釋性,使模型透明化,以推動人工智能領域研究的發展。本文旨在對深度學習模型可解釋性的研究進展進行系統性的調研,從可解釋性原理的角度對現有方法進行分類,并且結合可解釋性方法在人工智能領域的實際應用,分析目前可解釋性研究存在的問題,以及深度學習模型可解釋性的發展趨勢。為全面掌握模型可解釋性的研究進展以及未來的研究方向提供新的思路。
摘要: 深度學習的可解釋性研究是人工智能、機器學習、認知心理學、邏輯學等眾多學科的交叉研究課題,其在信息推送、醫療研究、金融、信息安全等領域具有重要的理論研究意義和實際應用價值.從深度學習可解釋性研究起源、研究探索期、模型構建期3方面回顧了深度學習可解釋性研究歷史,從可視化分析、魯棒性擾動分析、敏感性分析3方面展現了深度學習現有模型可解釋性分析研究現狀,從模型代理、邏輯推理、網絡節點關聯分析、傳統機器學習模型改進4方面剖析了可解釋性深度學習模型構建研究,同時對當前該領域研究存在的不足作出了分析,展示了可解釋性深度學習的典型應用,并對未來可能的研究方向作出了展望.