題目: Towards Explainable Deep Neural Networks (xDNN)
簡介: 在本文中,我們提出了一種解決方案,該解決方案直接解決了傳統深度學習方法的瓶頸,并提供了一種清晰可解釋的內部架構,該架構可以勝過現有方法,只需要很少的計算資源(不需要GPU)并且訓練時間短(以秒為單位)。提出的方法xDNN原型,原型是實際的訓練數據樣本(圖像),是經驗數據分布的局部峰值(稱為典型性)以及數據密度。這種生成模型以封閉形式識別,但可以自動且完全從訓練數據中得出,而無需用戶或問題特定的閾值,參數或干預。xDNN提供了一種新的深度學習架構,該架構將推理和學習結合在一起。它是非迭代且非參數的,這從時間和計算資源上解釋了其效率。從用戶的角度來看,用戶顯然可以理解所提出的方法。我們在一些著名的基準數據集(例如iRoads和Caltech-256)上對其進行了測試。 xDNN在準確性,訓練時間方面優于其他方法,包括深度學習,并提供了一個清晰可解釋的分類器。
題目:
Con?dence-Aware Learning for Deep Neural Networks
簡介:
盡管深度神經網絡可以執行多種任務,但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題,但是大多數工作需要在訓練和/或推理階段增加計算成本,或者需要定制的體系結構來分別輸出置信估計。在本文中,我們提出了一種使用新的損失函數訓練深度神經網絡的方法,稱為正確排名損失,該方法將類別概率顯式規范化,以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現,并且無需進行任何修改即可應用于現有體系結構。而且,它的訓練計算成本幾乎與傳統的深度分類器相同,并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明,所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明,它對于與置信估計,分布外檢測和主動學習密切相關的任務十分有效。
題目: Explainable Classification of Brain Networks via Contrast Subgraphs
摘要:
挖掘人腦網絡以發現可用于區分健康個體和受某些神經障礙影響的患者的模式,是神經科學的一項基本任務。學習簡單的和可解釋的模型和精確的分類一樣重要。本文提出了一種基于對比子圖提取的腦網絡分類方法。一組頂點其導出子圖在一類圖中密集而在另一類圖中稀疏。我們正式地定義了這個問題,并提出了一個提取對比子圖的算法解決方案。然后,將方法應用到一個大腦網絡數據集上,這個數據集包括患有自閉癥譜系障礙的兒童和正常發育的兒童。我們的分析證實了所發現的模式的趣味性,這與神經科學文獻中的背景知識相吻合。對其它分類任務的進一步分析證實了該方法的簡單性、可靠性和高可解釋性,這也顯示出較復雜的先進方法優越的分類精度。
主題: Explainable Reinforcement Learning: A Survey
摘要: 可解釋的人工智能(XAI),即更透明和可解釋的AI模型的開發在過去幾年中獲得了越來越多的關注。這是由于這樣一個事實,即AI模型隨著其發展為功能強大且無處不在的工具而表現出一個有害的特征:性能與透明度之間的權衡。這說明了一個事實,即模型的內部工作越復雜,就越難以實現其預測或決策。但是,特別是考慮到系統像機器學習(ML)這樣的方法(強化學習(RL))在系統自動學習的情況下,顯然有必要了解其決策的根本原因。由于據我們所知,目前尚無人提供可解釋性強化學習(XRL)方法的概述的工作,因此本調查試圖解決這一差距。我們對問題進行了簡短的總結,重要術語的定義以及提議當前XRL方法的分類和評估。我們發現a)大多數XRL方法通過模仿和簡化一個復雜的模型而不是設計本質上簡單的模型來起作用,并且b)XRL(和XAI)方法通常忽略了方程的人為方面,而不考慮相關領域的研究像心理學或哲學。因此,需要跨學科的努力來使所生成的解釋適應(非專家)人類用戶,以便有效地在XRL和XAI領域中取得進步。
題目: Meta-Learning in Neural Networks: A Survey
簡介: 近年來,元學習領域的興趣急劇上升。與使用固定學習算法從頭解決給定任務的傳統AI方法相反,元學習旨在根據多次學習事件的經驗來改善學習算法本身。這種范例為解決深度學習的許多傳統挑戰提供了機會,包括數據和計算瓶頸以及泛化的基本問題。在本次調查中,我們描述了當代的元學習環境。我們首先討論元學習的定義,并將其相對于相關領域(例如轉移學習,多任務學習和超參數優化)進行定位。然后,我們提出了一種新的分類法,該分類法為當今的元學習方法提供了更為全面的細分。我們調查了元學習的有希望的應用程序和成功案例,包括,強化學習和架構搜索。最后,我們討論了未來研究的突出挑戰和有希望的領域。
題目
二值神經網絡綜述,Binary Neural Networks: A Survey
關鍵詞
二進制神經網絡,深度學習,模型壓縮,網絡量化,模型加速
簡介
二進制神經網絡在很大程度上節省了存儲和計算成本,是一種在資源有限的設備上部署深度模型的有前途的技術。 然而,二值化不可避免地導致嚴重的信息丟失,甚至更糟的是,其不連續性給深度網絡的優化帶來了困難。 為了解決這些問題,近年來提出了多種算法,并取得了令人滿意的進展。 在本文中,我們對這些算法進行了全面的概述,主要分為直接進行二值化的本機解決方案,以及使用使量化誤差最小化,改善網絡損耗函數和減小梯度誤差等技術進行優化的解決方案。 我們還將研究二進制神經網絡的其他實用方面,例如硬件友好的設計和訓練技巧。 然后,我們對不同的任務進行了評估和討論,包括圖像分類,對象檢測和語義分割。 最后,展望了未來研究可能面臨的挑戰。
作者
Haotong Qina , Ruihao Gonga , Xianglong Liu?a,b, Xiao Baie , Jingkuan Songc , Nicu Sebe
題目: Towards Hierarchical Importance Attribution:explaining compositional semantics for Neural Sequence Models
摘要:
深度神經網絡在處理復雜的自然語言語義方面取得了令人印象深刻的成績,但大多數情況下被當作黑匣子。為了解釋該模型如何處理單詞和短語的組合語義,我們研究了層次解釋問題。我們強調的關鍵挑戰是計算非附加和上下文無關的單個單詞和短語的重要性。我們展示了之前在層次解釋上的一些努力,例如上下文分解,在數學上不能滿足期望的屬性,導致不同模型的解釋質量不一致。在本文中,我們提出了一種形式化的方法來量化每個詞或短語的重要性,從而產生層次解釋。我們根據我們的公式修改了上下文分解算法,并提出了一個具有競爭性能的與模型無關的解釋算法。對LSTM模型和對多個數據集的微調BERT Transformer模型進行人工評估和自動度量評估表明,我們的算法在層次解釋方面明顯優于先前的工作。我們展示了我們的算法有助于解釋語義的組合性,提取分類規則,提高模型的人類可信度。
簡介: 神經網絡是許多表現最佳的AI系統的基礎,包括智能手機上的語音識別器或Google最新的自動翻譯器,這些應用程序的巨大成功激發了人們對將神經網絡應用于金融,經濟,運營,市場營銷,醫學等許多其他領域的興趣。在金融領域,研究人員已經在風險管理,資產定價和投資管理方面開發了一些有前途的應用程序。NN的成功很大程度上取決于其驚人的逼近特性,出色的預測性能以及可擴展性,然而,主要的問題是模型的可解釋性:NN被視為黑匣子,幾乎無法洞悉如何進行預測,本教程將對NN的可解釋性作出響應的回答。
嘉賓介紹: Kay Giesecke,是斯坦福大學管理科學與工程教授,也是工程學院的Paul Pigott系學者。他是高級金融技術實驗室的主任,也是數學和計算金融計劃的主任。他在風險數據分析聯盟的理事會和科學顧問委員會任職。Kay是一位金融工程師。他開發了隨機財務模型,設計了用于分析財務數據的統計方法,研究了模擬和其他數值算法來解決相關的計算問題,并進行了實證分析。
Images account for a significant part of user decisions in many application scenarios, such as product images in e-commerce, or user image posts in social networks. It is intuitive that user preferences on the visual patterns of image (e.g., hue, texture, color, etc) can be highly personalized, and this provides us with highly discriminative features to make personalized recommendations. Previous work that takes advantage of images for recommendation usually transforms the images into latent representation vectors, which are adopted by a recommendation component to assist personalized user/item profiling and recommendation. However, such vectors are hardly useful in terms of providing visual explanations to users about why a particular item is recommended, and thus weakens the explainability of recommendation systems. As a step towards explainable recommendation models, we propose visually explainable recommendation based on attentive neural networks to model the user attention on images, under the supervision of both implicit feedback and textual reviews. By this, we can not only provide recommendation results to the users, but also tell the users why an item is recommended by providing intuitive visual highlights in a personalized manner. Experimental results show that our models are not only able to improve the recommendation performance, but also can provide persuasive visual explanations for the users to take the recommendations.