深度神經網絡在計算機視覺、計算語言學和人工智能等領域的廣泛應用無疑帶來了巨大的成功。然而,DNNs成功的基本原理、DNNs的可信性和DNNs對抗攻擊的恢復能力仍然很大程度上缺乏。在可解釋人工智能的范圍內,對網絡預測解釋可信度的量化和DNN特征可信度的分析成為一個引人注目但又有爭議的話題。相關問題包括: (1)網絡特征可信度的量化; (2)DNNs解釋的客觀性、魯棒性、語義嚴謹性; (3)可解釋神經網絡解釋性的語義嚴謹性等。重新思考現有可解釋機器學習方法的可信性和公平性,對可解釋機器學習的進一步發展具有重要的價值。
本教程旨在將關注人工智能可解釋性、安全性和可靠性的研究人員、工程師以及行業從業人員聚集在一起。本教程介紹了一些關于上述問題的新發現,這些發現來自演講者最近的論文和一些經典研究。對當前可解釋人工智能算法的優點和局限性的批判性討論提供了新的前瞻性研究方向。本教程預計將對醫療診斷、金融和自動駕駛等關鍵工業應用產生深遠影響。
//ijcai20interpretability.github.io/
機器學習的巨大成功導致了AI應用的新浪潮(例如,交通、安全、醫療、金融、國防),這些應用提供了巨大的好處,但無法向人類用戶解釋它們的決定和行動。DARPA的可解釋人工智能(XAI)項目致力于創建人工智能系統,其學習的模型和決策可以被最終用戶理解并適當信任。實現這一目標需要學習更多可解釋的模型、設計有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發團隊正在通過創建ML技術和開發原理、策略和人機交互技術來解決前兩個挑戰,以生成有效的解釋。XAI的另一個團隊正在通過總結、擴展和應用心理解釋理論來解決第三個挑戰,以幫助XAI評估人員定義一個合適的評估框架,開發團隊將使用這個框架來測試他們的系統。XAI團隊于2018年5月完成了第一個為期4年的項目。在一系列正在進行的評估中,開發人員團隊正在評估他們的XAM系統的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務性能。
摘要: 深度學習作為人工智能技術的重要組成部分,被廣泛應用在計算機視覺、自然語言處理等領域。盡管深 度學習在圖像分類和目標檢測等方向上取得了較好性能,但研究表明,對抗攻擊的存在對深度學習模型的安全應 用造成了潛在威脅,進而影響模型的安全性。本文在簡述對抗樣本的概念及其產生原因的基礎上,分析對抗攻擊 的主要思路,研究具有代表性的經典對抗樣本生成方法。描述對抗樣本的檢測方法與防御方法,并從應用角度闡 述對抗樣本在不同領域的應用實例。通過對對抗樣本攻擊與防御方法的分析與總結,預測未來對抗攻擊與防御的 研究方向。
我們給出了一個關于調查透明度和可解釋性的前沿教程,因為它們與NLP有關。研究團體和業界都在開發新的技術,以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告,我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后,我們將討論NLP任務的可解釋性,并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究,該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。
自然語言處理中可解釋AI的現狀調研
近年來,最領先的模型在性能上取得了重要的進步,但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述,在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類,以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術,以作為社區中模型開發人員的資源。最后,我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。
深度學習在很多人工智能應用領域中取得成功的關鍵原因在于,通過復雜的深層網絡模型從海量數據中學習豐富的知識。然而,深度學習模型內部高度的復雜性常導致人們難以理解模型的決策結果,造成深度學習模型的不可解釋性,從而限制了模型的實際部署。因此,亟需提高深度學習模型的可解釋性,使模型透明化,以推動人工智能領域研究的發展。本文旨在對深度學習模型可解釋性的研究進展進行系統性的調研,從可解釋性原理的角度對現有方法進行分類,并且結合可解釋性方法在人工智能領域的實際應用,分析目前可解釋性研究存在的問題,以及深度學習模型可解釋性的發展趨勢。為全面掌握模型可解釋性的研究進展以及未來的研究方向提供新的思路。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告,講述了XAI概念、方法以及面臨的挑戰和經驗教訓。
人工智能在我們的日常生活中扮演著越來越重要的角色。此外,隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及,人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見,以及對模型透明性和可解釋性的需求。此外,模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。
因此,人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上,以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性,(ii) 為理解模型行為制定可解釋性任務,并為這些任務開發解決方案,最后 (iii)設計評估模型在可解釋性任務中的性能的措施。
在本教程中,我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后,我們將關注可解釋性技術在工業中的應用,在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針,以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究,涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后,根據我們在工業界的經驗,我們將確定數據挖掘/機器學習社區的開放問題和研究方向。
深度學習被廣泛應用于自然語言處理、計算機視覺和無人駕駛等領域,引領了新一輪的人工智能浪潮。然而,深度學習也被用于構建對國家安全、社會穩定和個人隱私等造成潛在威脅的技術,如近期在世界范圍內引起廣泛關注的深度偽造技術能夠生成逼真的虛假圖像及音視頻內容。本文介紹了深度偽造的背景及深度偽造內容生成原理,概述和分析了針對不同類型偽造內容(圖像、視頻、音頻等)的檢測方法和數據集,最后展望了深度偽造檢測和防御未來的研究方向和面臨的挑戰。