深度神經網絡(DNN)是實現人類在許多學習任務上的水平的不可缺少的機器學習工具。然而,由于其黑箱特性,很難理解輸入數據的哪些方面驅動了網絡的決策。在現實世界中,人類需要根據輸出的dna做出可操作的決定。這種決策支持系統可以在關鍵領域找到,如立法、執法等。重要的是,做出高層決策的人員能夠確保DNN決策是由數據特征的組合驅動的,這些數據特征在決策支持系統的部署上下文中是適當的,并且所做的決策在法律上或倫理上是可辯護的。由于DNN技術發展的驚人速度,解釋DNN決策過程的新方法和研究已經發展成為一個活躍的研究領域。在定義什么是能夠解釋深度學習系統的行為和評估系統的“解釋能力”時所存在的普遍困惑,進一步加劇了這種復雜性。為了緩解這一問題,本文提供了一個“領域指南”,為那些在該領域沒有經驗的人提供深度學習解釋能力指南: i)討論了研究人員在可解釋性研究中增強的深度學習系統的特征,ii)將可解釋性放在其他相關的深度學習研究領域的背景下,iii)介紹了定義基礎方法空間的三個簡單維度。
隨著圖像處理,語音識別等人工智能技術的發展,很多學習方法尤其是采用深度學習框架的方法取得了優異的性能,在精度和速度方面有了很大的提升,但隨之帶來的問題也很明顯,這些學習方法如果要獲得穩定的學習效果,往往需要使用數量龐大的標注數據進行充分訓練,否則就會出現欠擬合的情況而導致學習性能的下降。因此,隨著任務復雜程度和數據規模的增加,對人工標注數據的數量和質量也提出了更高的要求,造成了標注成本和難度的增大。同時,單一任務的獨立學習往往忽略了來自其他任務的經驗信息,致使訓練冗余重復因而導致了學習資源的浪費,也限制了其性能的提升。為了緩解這些問題,屬于遷移學習范疇的多任務學習方法逐漸引起了研究者的重視。與單任務學習只使用單個任務的樣本信息不同,多任務學習假設不同任務數據分布之間存在一定的相似性,在此基礎上通過共同訓練和優化建立任務之間的聯系。這種訓練模式充分促進任務之間的信息交換并達到了相互學習的目的,尤其是在各自任務樣本容量有限的條件下,各個任務可以從其它任務獲得一定的啟發,借助于學習過程中的信息遷移能間接利用其它任務的數據,從而緩解了對大量標注數據的依賴,也達到了提升各自任務學習性能的目的。在此背景之下,本文首先介紹了相關任務的概念,并按照功能的不同對相關任務的類型進行劃分后再對它們的特點進行逐一描述。然后,本文按照數據處理模式和任務關系建模過程的不同將當前的主流算法劃分為兩大類:結構化多任務學習算法和深度多任務學習算法。其中,結構化多任務學習算法采用線性模型,可以直接針對數據進行結構假設并且使用原有標注特征表述任務關系,同時,又可根據學習對象的不同將其細分為基于任務層面和基于特征層面兩種不同結構,每種結構有判別式方法和生成式方法兩種實現手段。與結構化多任務學習算法的建模過程不同,深度多任務學習算法利用經過多層特征抽象后的深層次信息進行任務關系描述,通過處理特定網絡層中的參數達到信息共享的目的。緊接著,以兩大類算法作為主線,本文詳細分析了不同建模方法中對任務關系的結構假設、實現途徑、各自的優缺點以及方法之間的聯系。最后,本文總結了任務之間相似性及其緊密程度的判別依據,并且分析了多任務作用機制的有效性和內在成因,從歸納偏置和動態求解等角度闡述了多任務信息遷移的特點。 //gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019
隨著web技術的發展,多模態或多視圖數據已經成為大數據的主要流,每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中于如何融合來自多模態空間的能量或信息,以提供比單一模態的同行更優越的性能。最近,深度神經網絡展示了一種強大的架構,可以很好地捕捉高維多媒體數據的非線性分布,對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢,從本質上深化了多模態深特征空間的融合。在這篇文章中,我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中,我們進一步指出,該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最后,我們就這一領域未來的一些方向分享我們的觀點。
深度學習方法對各種醫學診斷任務都非常有效,甚至在其中一些任務上擊敗了人類專家。然而,算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發,討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。
【簡介】近些年來,可解釋的人工智能受到了越來越多的關注。隨著人工智能模型變得越來越復雜和不透明,可解釋性變得越來越重要。最近,研究人員一直在以用戶為中心研究和處理可解釋性,尋找可信任、可理解、明確的來源和上下文感知的可解釋性。在這篇論文中,我們通過調研人工智能和相關領域中有關可解釋性的文獻,并利用過去的相關研究生成了一系列的可解釋類型。我們定義每種類型,并提供一個示例問題,來闡述對這種解釋方式的需求。我們相信,這一系列的解釋類型將有助于未來的系統設計人員獲得可靠的需求和確定各種需求的優先級,并進一步幫助生成能夠更好地符合用戶和情景需求的解釋。
介紹
人工智能(AI)領域已經從單純的基于符號和邏輯的專家系統發展到使用統計和邏輯推理技術的混合系統。可解釋性人工智能的進展與人工智能方法的發展緊密相關,例如我們在早期的論文“可解釋的知識支持系統的基礎”中所涉及的類別,涵蓋了專家系統、語義web方法、認知助手和機器學習方法。我們注意到這些方法主要處理可解釋性的特定方面。例如,由專家系統產生的解釋主要用于提供推理所需的痕跡、來源和理由。這些由認知助理提供的模型能夠調整它們的形式以適應用戶的需求,并且在機器學習和專家系統領域,解釋為模型的功能提供了一種“直覺”。
自然語言處理(NLP)幫助智能機器更好地理解人類語言,實現基于語言的人機交流。計算能力的最新發展和大量語言數據的出現,增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域的應用取得了顯著的進步,數據驅動策略的應用已經非常普遍。本調查對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用,并描述了深度學習方法和模型如何推進這些領域。我們進一步分析和比較不同的方法和最先進的模型。
【簡介】隨著深度表示學習的發展,強化學習(RL)已經成為了一個強大的學習框架,其可以在高維度空間中學習復雜的規則。這篇綜述總結了深度強化學習(DRL)算法,提供了采用強化學習的自動駕駛任務的分類方法,重點介紹了算法上的關鍵挑戰和在現實世界中將強化學習部署在自動駕駛方面的作用,以及最終評估,測試和加強強化學習和模仿學習健壯性的現有解決方案。
論文鏈接: //arxiv.org/abs/2002.00444
介紹:
自動駕駛(AD)系統由多個感知級任務組成,由于采用了深度學習架構,這些任務現在已經達到了很高的精度。除了感知任務之外,自主駕駛系統還包含多個其他任務,傳統的監督學習方法已經不再適用。首先,當對agent行為的預測發生變化時,從自動駕駛agent所處的環境中接收到的未來傳感器觀察到的結果,例如獲取市區最佳駕駛速度的任務。其次,監督信號(如碰撞時間(TTC),相對于agent最佳軌跡的側向誤差)表示agent的動態變化以及環境中的不確定性。這些問題都需要定義隨機損失函數來使其最大化。最后,agent需要學習當前環境新的配置參數,預測其所處的環境中每一時刻的最優決策。這表明在觀察agent和其所處環境的情況下,一個高維度的空間能夠給出大量唯一的配置參數。在這些場景中,我們的目標是解決一個連續決策的問題。在這篇綜述中,我們將介紹強化學習的概念,強化學習是一種很有前景的解決方案和任務分類方法,特別是在驅動策略、預測感知、路徑規劃以及低層控制器設計等領域。我們還重點回顧了強化學習在自動駕駛領域當中各種現實的應用。最后,我們通過闡述應用當前諸如模仿學習和Q學習等強化學習算法時所面臨的算力挑戰和風險來激勵使用者對強化學習作出改進。
章節目錄:
section2: 介紹一個典型的自動駕駛系統及其各個組件。
section3: 對深度強化學習進行介紹,并簡要討論關鍵概念。
section4: 探討在強化學習基本框架上對其進行更深層次,更加復雜的擴展。
section5: 對強化學習用于自動駕駛領域的所面臨的問題提供一個概述。
section6: 介紹將強化學習部署到真實世界自動駕駛系統中所面臨的挑戰。
section7: 總結
題目: Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends
簡介: 傳統上,語音處理研究將設計人工工程聲學特征(特征工程)的任務與設計有效的機器學習(ML)模型以做出預測和分類決策的任務分離為一個獨立的問題。這種方法有兩個主要缺點:首先,手工進行的特征工程很麻煩并且需要人類知識。其次,設計的功能可能不是最適合當前目標的。這引發了語音社區中采用表示表達學習技術的最新趨勢,該趨勢可以自動學習輸入信號的中間表示,從而更好地適應手頭的任務,從而提高性能。表示學習的重要性隨著深度學習(DL)的發展而增加,在深度學習中,表示學習更有用,對人類知識的依賴性更低,這有助于分類,預測等任務。本文的主要貢獻在于:通過將跨三個不同研究領域(包括自動語音識別(ASR),說話者識別(SR)和說話者情緒識別(SER))的分散研究匯總在一起,對語音表示學習的不同技術進行了最新和全面的調查。最近針對ASR,SR和SER進行了語音復習,但是,這些復習都沒有集中于從語音中學習表示法,這是我們調查旨在彌補的差距。
【導讀】最新的一期《Science》機器人雜志刊登了關于XAI—Explainable artificial intelligence專刊,涵蓋可解釋人工智能的簡述論文,論述了XAI對于改善用戶理解、信任與管理AI系統的重要性。并包括5篇專刊論文,值得一看。
BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG
SCIENCE ROBOTICS18 DEC 2019
可解釋性對于用戶有效地理解、信任和管理強大的人工智能應用程序是至關重要的。
//robotics.sciencemag.org/content/4/37/eaay7120
最近在機器學習(ML)方面的成功引發了人工智能(AI)應用的新浪潮,為各種領域提供了廣泛的益處。然而,許多這些系統中不能向人類用戶解釋它們的自主決策和行為。對某些人工智能應用來說,解釋可能不是必要的,一些人工智能研究人員認為,強調解釋是錯誤的,太難實現,而且可能是不必要的。然而,對于國防、醫學、金融和法律的許多關鍵應用,解釋對于用戶理解、信任和有效地管理這些新的人工智能合作伙伴是必不可少的(參見最近的評論(1-3))。
最近人工智能的成功很大程度上歸功于在其內部表示中構造模型的新ML技術。其中包括支持向量機(SVMs)、隨機森林、概率圖形模型、強化學習(RL)和深度學習(DL)神經網絡。盡管這些模型表現出了高性能,但它們在可解釋性方面是不透明的。ML性能(例如,預測準確性)和可解釋性之間可能存在固有的沖突。通常,性能最好的方法(如DL)是最不可解釋的,而最可解釋的方法(如決策樹)是最不準確的。圖1用一些ML技術的性能可解釋性權衡的概念圖說明了這一點。
圖1 ML技術的性能與可解釋性權衡。
(A)學習技巧和解釋能力。(B)可解釋模型:學習更結構化、可解釋或因果模型的ML技術。早期的例子包括貝葉斯規則列表、貝葉斯程序學習、因果關系的學習模型,以及使用隨機語法學習更多可解釋的結構。深度學習:一些設計選擇可能產生更多可解釋的表示(例如,訓練數據選擇、架構層、損失函數、正則化、優化技術和訓練序列)。模型不可知論者:對任意給定的ML模型(如黑箱)進行試驗以推斷出一個近似可解釋的模型的技術。
什么是XAI?
一個可解釋的人工智能(XAI)系統的目的是通過提供解釋使其行為更容易被人類理解。有一些通用原則可以幫助創建有效的、更人性化的人工智能系統:XAI系統應該能夠解釋它的能力和理解;解釋它已經做了什么,現在正在做什么,接下來會發生什么; 披露其所依據的重要信息(4)。
然而,每一個解釋都是根據AI系統用戶的任務、能力和期望而設置的。因此,可解釋性和可解釋性的定義是與域相關的,并且可能不是與域獨立定義的。解釋可以是全面的,也可以是片面的。完全可解釋的模型給出了完整和完全透明的解釋。部分可解釋的模型揭示了其推理過程的重要部分。可解釋模型服從根據域定義的“可解釋性約束”(例如,某些變量和相關變量的單調性服從特定關系),而黑箱或無約束模型不一定服從這些約束。部分解釋可能包括變量重要性度量、局部模型(在特定點近似全局模型)和顯著性圖。
來自用戶的期望
XAI假設向最終用戶提供一個解釋,該用戶依賴于AI系統所產生的決策、建議或操作,然而可能有許多不同類型的用戶,通常在系統開發和使用的不同時間點(5)。例如,一種類型的用戶可能是智能分析師、法官或操作員。但是,需要對系統進行解釋的其他用戶可能是開發人員或測試操作員,他們需要了解哪里可能有改進的地方。然而,另一個用戶可能是政策制定者,他們試圖評估系統的公平性。每個用戶組可能有一個首選的解釋類型,能夠以最有效的方式交流信息。有效的解釋將考慮到系統的目標用戶組,他們的背景知識可能不同,需要解釋什么。
可操作性——評估和測量
一些方法提出了一些評價和衡量解釋有效性的方法;然而,目前還沒有通用的方法來衡量XAI系統是否比非XAI系統更容易被用戶理解。其中一些度量是用戶角度的主觀度量,例如用戶滿意度,可以通過對解釋的清晰度和實用性的主觀評級來度量。解釋有效性的更客觀的衡量標準可能是任務績效; 即,這樣的解釋是否提高了用戶的決策能力?可靠和一致的測量解釋的影響仍然是一個開放的研究問題。XAI系統的評價和測量包括評價框架、共同點[不同的思維和相互理解(6)]、常識和論證[為什么(7)]。
XAI -問題和挑戰
在ML和解釋的交集處仍然存在許多活躍的問題和挑戰。
從電腦開始還是從人開始(8). XAI系統應該針對特定的用戶進行解釋嗎?他們應該考慮用戶缺乏的知識嗎?我們如何利用解釋來幫助交互式和人在循環的學習,包括讓用戶與解釋交互以提供反饋和指導學習?
準確性與可解釋性。XAI解釋研究的一條主線是探索解釋的技術和局限性。可解釋性需要考慮準確性和保真度之間的權衡,并在準確性、可解釋性和可處理性之間取得平衡。
使用抽象來簡化解釋。高級模式是在大步驟中描述大計劃的基礎。對抽象的自動發現一直是一個挑戰,而理解學習和解釋中抽象的發現和共享是當前XAI研究的前沿。
解釋能力與解釋決策。有資格的專家精通的一個標志是他們能夠對新情況進行反思。有必要幫助終端用戶了解人工智能系統的能力,包括一個特定的人工智能系統有哪些能力,如何衡量這些能力,以及人工智能系統是否存在盲點;也就是說,有沒有一類解是永遠找不到的?
從以人為本的研究視角來看,對能力和知識的研究可以使XAI超越解釋特定XAI系統和幫助用戶確定適當信任的角色。未來,XAIs可能最終會扮演重要的社會角色。這些角色不僅包括向個人學習和解釋,而且還包括與其他代理進行協調以連接知識、發展跨學科見解和共同點、合作教授人員和其他代理,以及利用以前發現的知識來加速知識的進一步發現和應用。從這樣一個知識理解和生成的社會視角來看,XAI的未來才剛剛開始。
本期刊論文
Explainable robotics in science fiction
BY ROBIN R. MURPHY
SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS
我們會相信機器人嗎?科幻小說說沒有,但可解釋的機器人可能會找到方法。
A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
最適合促進信任的解釋方法不一定對應于那些有助于最佳任務性能的組件。
A formal methods approach to interpretable reinforcement learning for robotic planning
BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
形式化的強化學習方法能從形式化的語言中獲得回報,并保證了安全性。
An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
參考文獻:
Google Scholar
H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Gü?lütürk, U. Gü?lü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).
O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.
Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).
T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.
H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.
D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.
?
Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).
D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.
論文主題: Recent Advances in Deep Learning for Object Detection
論文摘要: 目標檢測是計算機視覺中的基本視覺識別問題,并且在過去的幾十年中已得到廣泛研究。目標檢測指的是在給定圖像中找到具有精確定位的特定目標,并為每個目標分配一個對應的類標簽。由于基于深度學習的圖像分類取得了巨大的成功,因此近年來已經積極研究了使用深度學習的對象檢測技術。在本文中,我們對深度學習中視覺對象檢測的最新進展進行了全面的調查。通過復習文獻中最近的大量相關工作,我們系統地分析了現有的目標檢測框架并將調查分為三個主要部分:(i)檢測組件,(ii)學習策略(iii)應用程序和基準。在調查中,我們詳細介紹了影響檢測性能的各種因素,例如檢測器體系結構,功能學習,建議生成,采樣策略等。最后,我們討論了一些未來的方向,以促進和刺激未來的視覺對象檢測研究。與深度學習。