亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的幾年里，人工智能(AI)技術已經被應用到人類生活的幾乎所有垂直領域。然而，人工智能模型產生的結果往往滯后于可解釋性。AI模型經常出現在開發人員無法解釋或追溯特定決策背后的原因的黑箱中。可解釋AI (XAI)是一個快速發展的研究領域，它有助于提取信息，并以最佳的透明度將生成的結果可視化。本研究對XAI在網絡安全中的應用進行了廣泛的綜述。網絡安全能夠保護系統、網絡和程序免受不同類型的攻擊。XAI的使用在預測此類攻擊方面具有巨大的潛力。這篇論文簡要概述了網絡安全和各種形式的攻擊。然后，討論了傳統AI技術的使用及其相關挑戰，這打開了XAI在各種應用中的使用的大門。介紹了XAI在各研究項目和行業中的實施情況。最后，從這些應用中吸取的經驗教訓被強調為未來的研究范圍提供指導。

引言

網絡安全是程序、控制和技術的應用，以保護數據、程序、網絡和系統免受潛在的網絡攻擊。與網絡安全相關的各種工具和技術旨在對抗針對組織內部或外部環境中存在的網絡系統和應用程序的威脅。統計數據顯示，數據泄露造成的平均損失在全球范圍內為386萬美元，在美國上升到864萬美元[2]。這些成本不僅包括違約的直接影響，還包括后續調查，以確定違約的原因、相關的應對措施、收入損失、停機時間，以及最重要的聲譽品牌損害[3]。

考慮到這些成本，大多數組織都采用了基于主流最佳實踐的網絡安全策略。有效的網絡安全策略通常包括分層保護，對網絡攻擊提供防御，以保持網絡資產的機密性、完整性和可用性。這類戰略的實施還旨在防止對用戶或知名組織進行財務勒索，妨礙正常的商業運作。因此，在這方面部署明智、有效和高效的應對措施是絕對必要的。例如，美國國家標準與技術研究所(NIST)開發了一個網絡安全框架，幫助各組織保護它們的計算機系統、網絡和用于實現國家安全、公共衛生、安全和各種其他行政活動的各種其他資產。國際標準組織，即ISO27000系列資訊保安標準，旨在滿足類似的需要。盡管存在這樣的方法和標準，攻擊者仍然在安全框架中發現漏洞，這些漏洞可以繞過極其強大的防御措施。在大流行危機期間，當專業規范從辦公室變為在家工作時，網絡安全威脅還觀察到與遠程訪問工具、云服務和其他遠程工作工具相關的漏洞也發生了變化。[4]。這些不斷發展的威脅包括惡意軟件、勒索軟件、網絡釣魚、內部威脅、分布式拒絕服務(DDOS)威脅、高級持續威脅(APTs)、中間人攻擊和各種其他[5]。

網絡安全框架和相關最佳實踐能夠在不損害用戶隱私和客戶體驗的情況下保護機密信息，從而有效減少網絡漏洞。更具體地說，身份和訪問管理(IAM)，例如，框架用戶角色和訪問權限，建立標準，訪問權限可以被監控。IAM技術包括單點登錄功能，其中用戶訪問網絡時無需多次重新輸入證書。IAM還可以提供多因素認證和特權用戶帳戶，只提供對特定合法用戶的訪問，減少欺騙性訪問的可能性。這些工具增強了終端用戶設備中異常活動的可見性。此外，在出現安全漏洞的情況下，這些工具可確保加速調查、響應、隔離和遏制與安全漏洞相關的所有組件。

有各種綜合的數據安全平臺，包括分類、權限分析、行為分析和合規報告等功能。這些平臺的主要目標包括在混合云和多云環境中保護敏感信息。這些平臺提供自動、實時的可見性、入侵警報和對數據漏洞[6]的監控。例如，安全信息和事件管理(Security information and event management, SIEM)是安全信息管理(Security information management, SIM)和安全事件管理(Security event management, SEM)的結合，對應用程序和網絡硬件產生的安全告警進行自動化實時分析。這些產品包括智能和先進的檢測方法，用戶行為分析和人工智能/機器智能(AI/ML)，以檢測軟件產品和服務領域的異常[7]。

網絡安全風險管理有助于理解安全威脅的各種特征，以及個人和組織層面的相關內部互動。最低合理可行(ALARP)是一個類似的風險管理原則，強調網絡風險。這一原則確保通過將風險與解決相同問題所需的時間和資源進行比較來減少剩余風險。其理念是分析降低風險所涉及的成本，并確保其與所獲得的利益不成比例。網絡/信息安全的所有現代風險管理解決方案都著眼于降低風險影響，從而平衡減少或緩解風險影響的相關成本。

值得一提的是，ISO27000這類國際標準家族的范圍，強調了與網絡安全風險相關的信息安全管理系統文檔的創建和管理。該標準由14個組和35個控制類別的114個控制組成，涵蓋了組織網絡安全的所有方面。為了適用該標準，必須評估現有風險，確定適用的控制措施，評估這些控制措施帶來的緩解效果，評估應用這些控制措施的成本，還必須評估所引入的任何次級風險的緩解效果。控件將被應用于： (1)該風險經評估超過該組織的風險承受能力; (2)成本控制的應用被認為是可以接受的; (3)二次風險不排除應用。

人工智能如何幫助網絡安全

機器學習(ML)算法是在以往經驗的基礎上訓練的，以便做出類似人類行為的決定。此外，ML算法還被用于檢測與安全威脅和[8]漏洞相關的異常和威脅。此外，在過去幾年中，基于機器學習的自動化安全工具已經得到了發展，它們可以自動響應威脅，執行諸如聚類、分類和回歸[9]等任務。聚類是一種將數據根據其特征的相似性進行分組的過程。聚類中的數據對象彼此相似，但又不同于其他聚類中的數據對象。因此，聚類分析可以對沒有預定義類的數據進行無監督分類。另一方面，分類有助于預測給定數據點的類別。分類器使用訓練數據來理解輸入變量是否屬于一個特定的類別，使用無監督學習技術。回歸分析是一種統計技術，它建立因變量和獨立預測變量之間的關系與許多獨立變量之一。

AI和ML也被用于主動的漏洞管理。基于AI/機器學習的用戶和事件行為分析(UEBA)工具分析服務端點和服務器上的用戶交互，以檢測異常行為。這有助于在[10]漏洞報告或修補之前為組織提供提前保護。

反病毒檢測是人工智能技術發揮重要作用的一個領域。最主要的方法是啟發式技術、數據挖掘、代理技術和人工神經網絡[11]。例如，Cylance智能防病毒產品是為了滿足類似的目標，為家庭從合法數據中檢測惡意軟件提供企業級的基于人工智能的安全。該產品完全在執行點消除了威脅，而不需要任何人工干預[12]。有許多傳統的身份驗證系統使用用戶名或電子郵件和密碼作為一種身份驗證方法。人工智能的使用有助于檢測易受攻擊的密碼，并用于基于生物識別的認證系統，提供更強的保護層，黑客難以入侵。生物識別系統主要用于企業和政府組織的安全和訪問控制。生物識別系統可分為物理識別系統和行為識別系統。物理生物識別系統使用人體的物理、可測量和獨特的信息，如DNA、靜脈、指紋、虹膜等，并將這些信息轉換為人工智能系統可以理解的代碼。相反，行為識別系統捕捉獨特的行為特征，如聲音、個人打字節奏、與物體的交互方式，然后將這些編碼信息存儲在數據庫中。在身份驗證和驗證過程[13]期間對該信息進行數字戳記。

AI在網絡安全方面的局限性使XAI成為必要

人工智能在網絡安全領域的應用帶來了許多挑戰。特別是，人工智能應用引入了大量的反指示和次級風險，它們成為惡意行為者發起攻擊的載體。例如，攻擊者可能會成功地避開基于ML的檢測。更具體地說，攻擊者可能會操縱惡意軟件文件，使基于人工智能的檢測框架無法識別任何惡意或異常活動，這就是通常所說的規避攻擊。類似地，基于人工智能的網絡安全應用也存在各種威脅，如圖1所示，涉及通信攔截、服務失敗、事故、災難、法律問題、攻擊、停電和物理損害。

基于人工智能的系統的成功取決于數據的可用性。基于人工智能的系統引發了兩類次級風險。第一種類型包括產生假陰性結果導致不準確決策的風險。第二種包括產生假陽性結果的風險，其中存在不準確的通知或假警報的可能性。[14]。在這種情況下，迫切需要確保采取必要的緩解措施，確保更準確地處理違約或異常事件的情況，從而保持所作決定的可解釋性和合理性。

實時AI系統通常會消耗大量的計算能力、數據和原始內存資源需求。這些系統還需要更高水平的專業知識來構建和維護[16]，因此部署成本非常高。人工智能生物測量系統也面臨著類似的挑戰，與上述問題相關，這些系統也容易受到信息泄露風險的影響。網絡安全公司主要使用人工智能來開發魯棒和安全的系統。相反，這些系統經常被黑客出于不道德的目的而破壞，這些黑客訓練或變異惡意軟件，使其具有AI免疫力，其行為與傳統系統相比異常。人工智能的使用使黑客能夠挫敗安全算法，使數據操作不被發現，從而使組織極其難以糾正輸入基于人工智能的安全系統的數據。因此，當前基于人工智能的系統面臨的挑戰在于，與基于模型的傳統算法[17]相比，它們的決策缺乏合理性和合理性。如果系統不能理解并從網絡安全事件中吸取教訓，那么無論基于人工智能的系統多么強大和準確，網絡安全都將成為一個具有普遍二級風險的黑匣子。

人工智能威脅體系

在深度強化學習的情況下，被確定為某些反應的原因的顯著特征，通常仍然無法解釋。例如，可以考慮貝葉斯推斷的計算，其中產生的結果的準確性往往受到數據不足的問題的影響。這就需要統計AI算法來幫助量化這些不確定性。但是這種統計AI算法的結果往往難以解釋，因此，XAI通過為基于AI的統計模型產生的結果提供可解釋性來發揮其作用，為研究人員和專家提供理解因果推理和原始數據證據[18]的能力。同樣，在醫療保健領域，XAI的實施首先允許機器分析數據并得出結論。其次，它使醫生和其他醫療保健提供者能夠獲得解釋如何做出特定的決策。在制造業中，基于人工智能的自然語言處理(AI-based natural language processing, NLP)幫助分析與設備和維護標準相關的非結構化數據，這些數據與結構化數據相關聯，即工單、傳感器讀數等業務流程數據。這有助于技術人員在他們的工作流相關操作方面做出最佳決策。

XAI能提供什么幫助

人工智能模型已經成功地應用于許多日益復雜的領域，通過其基于復雜數據集的合成能力補充和增強人類的能力。計算能力的提高進一步擴大了通過人工智能提供解決方案的范圍，人工智能應用的增長呈可視化指數增長。因此，在關鍵任務設置中對此類AI應用的需求迅速增長，其中AI被嵌入到眾多硬件智能設備中，從而實現無監督或遠程控制使用。然而，人工智能的應用帶來了相關的重大問題。過擬合，是監督式ML中的一個基本問題，其中統計模型與訓練數據完美匹配，阻礙了其在數據未知情況下的準確分析能力。當它捕捉到數據中的噪聲和不準確的值時，模型的效率和精度會下降(Ying, 2019)。過度擬合模型的使用會導致AI性能下降，在關鍵任務設置中，可能會導致不準確的決策、經濟損失、身體傷害甚至死亡。

通過對模型的機制和推理的理解，可以在一定程度上減輕這些風險。不幸的是，傳統AI系統的黑箱特性成為瓶頸，即使是AI專家也無法提供合理的解決方案[19,20]。因此，透明度是必要的，它將使明智和合理的決策制定成為可能，并有助于為模型的行為提供準確的解釋。例如，在網絡安全系統的情況下，不合理和誤導性的預測可能會使系統非常容易受到攻擊，導致完全不安全的關鍵系統。隨著可解釋人工智能的實施，提供實用的、實時的基于人工智能的解決方案將變得更加容易，因為數據集中的偏見可以完全消除，從而導致公正的決策。解釋性結果使人工智能解決方案更加穩健和可信，確保有意義的變量推理和模型推理的基礎。傳統的基于深度神經網絡的模型(DNN)非常流行，但其可解釋性滯后。例如，對于id，網絡管理員很難理解入侵檢測背后的原因，并將其轉化為黑盒模型。在這種黑盒模型中，涉及決策制定的過程是具有挑戰性的，因為DNN在試錯過程中編輯特征，以生成理想的解決方案。盡管對基于ML的入侵檢測系統進行了大量的研究，但在得出與攻擊分類、異常流量行為識別和模型自動構建相關的結論時，很少對結果的基本推理或解釋進行探討。決策樹(DT)作為一個完美的模型來支持對結果預測的解釋。DT分析的結果不基于任何與數據分布相關的假設，并且有效地處理了特征共線性問題。因此，可解釋AI系統的實現使網絡管理員能夠分析、解釋和洞察IDS系統的安全策略[21,22]。在本文中，我們探討了網絡和人工智能風險的競爭本質，并探討了XAI作為人工智能風險的主要控制手段的潛力。關于XAI在網絡安全中的應用已經進行了大量的研究。本節將討論其中一些研究。[23]的研究提出了一種新穎的黑盒攻擊，該攻擊實現了XAI，損害了相關分類器的隱私和安全性。本研究采用反事實解釋(CF)生成方法實現基于梯度的優化。本研究中使用的CF方法包括潛在CF技術、多元反事實解釋(DiCE)技術和permute攻擊(對反病毒引擎執行端到端規避攻擊)。他們還執行成員推斷攻擊，這有助于鏈接用戶，并從泄露的數據集竊取他們的密碼，從而對同一數據集發起中毒和模型提取攻擊。該研究評估了與每種攻擊有關的安全威脅，并向用戶和攻擊者提供了能夠避免和減輕風險的范圍。[24]的研究提出了一種方法來解釋由面向數據的IDSs產生的不準確的分類。采用對抗性技術來識別輸入屬性中的最小修改，以準確分類錯誤分類的數據集樣本。在[22]中，提出了一個基于深度學習的入侵檢測框架。研究中可解釋的人工智能技術，有助于實現ML模型的每個層次的透明度。

該研究中使用的XAI方法包括SHAP和BRCG，能夠完全理解模型的行為。XAI的SHAP和CHEM技術有助于理解輸入的特征，從而將決策導出為輸出。考慮到分析師的視角，使用Protodash方法來識別訓練數據樣本之間的異同。[25]的作者提出了一種創新的方法來管理網絡安全系統報警系統中的超載問題。本研究考慮實施的系統包括安全資訊及事件管理系統(SIEM)及入侵偵測系統(IDS)。將零樣本學習技術與ML相結合，在框架內計算異常預測的解釋。該框架的獨特方法包括在沒有任何先驗知識的情況下識別攻擊，破譯導致分類的特征，然后使用XAI技術將攻擊分組到特定類別中。XAI的使用有助于識別、量化因素，并了解其對特定網絡攻擊預測的貢獻。[21]的研究提出了一種基于決策樹的XAI模型的IDS增強信任管理系統。研究中使用的決策樹算法幫助IDS在多個子選擇中分割選擇，從而為基準數據集生成規則。與傳統的支持向量機(SVM)系統相比，基于決策樹的XAI方法提高了精度。

雖然有各種綜述文章關注AI在網絡安全中的應用，但目前還沒有對可解釋AI在網絡安全中的應用進行全面的綜述，其中包括明確和廣泛的信息。因此，為了彌補這一差距**，本文著重對XAI在網絡安全領域的研究現狀、現有人工智能實施所面臨的挑戰、XAI的需求及其在各個領域的潛在應用范圍進行了全面的綜述**。表2重點分析了XAI和本論文的現有工作。從用戶的角度來看，使用XAI比使用AI的好處在圖3中得到了強調。

綜上所述，本研究的具體貢獻包括:

• 網絡安全和各種形式的攻擊的基本信息。
• 強調人工智能在網絡安全領域的各種應用，以及在解釋所產生的結果時存在的相關缺陷，是實施XAI的必要性
• 介紹了基于XAI的網絡安全框架在各個行業的應用

• 詳細討論了使用XAI實現網絡安全的各種研究項目和行業項目
• 從這些實施中獲得的經驗教訓將有助于確定該領域研究的未來范圍

可解釋性是構建可信人工智能系統的必要元素。來自普渡大學等幾位學者在SIGMOD2022《可解釋的人工智能》教程，130+PPT闡述XAI的基礎、應用、機會，非常值得關注！

算法決策系統被成功地應用于各種領域的不同任務。雖然算法決策的潛在好處很多，但信任這些系統的重要性直到最近才引起關注。人們越來越擔心這些系統復雜、不透明、不直觀，因此難以信任。最近，人們對可解釋人工智能(XAI)的興趣重新升溫。XAI旨在通過解釋模型的行為、預測或兩者兼有來減少模型的不透明性，從而使人類能夠仔細檢查并信任模型。近年來，針對模型的可解釋性和透明性問題，出現了一系列的技術進步和解釋方法。在本教程中，我們將介紹這些新穎的解釋方法，描述它們的優勢和局限性，將現有工作與數據庫(DB)社區聯系起來，并列舉在XAI環境下進行數據管理研究的機會。

引言

人工智能(AI)系統越來越多地用于關鍵領域的決策，如醫療保健、刑事司法和金融。然而，這些系統的不透明性和復雜性構成了新的威脅。越來越多的人擔心，這些系統的不透明可能會造成培訓數據[37]中反映的系統性偏見和歧視，從而損害分布在不同社會階層的利益攸關方。這些對透明度的呼吁重新激起了人們對可解釋人工智能(XAI -參見[50]最近的一項調查)的興趣，它旨在為算法決策系統的結果或過程提供人類可以理解的解釋。

XAI方法的發展受到技術、社會和倫理目標的推動[9,14,36,38,44]: (1)通過建立對決策結果的信任，提高社會對基于機器學習(ML)的決策算法的接受程度;(2)為用戶提供可操作的見解，以在未來改變算法的結果;(3)促進識別偏見和歧視等危害來源;(4)通過識別導致不利和意外行為的訓練數據中的錯誤或偏差，提供調試ML算法和模型的能力。政府法規要求企業使用自動化決策系統向最終用戶解釋其決策，進一步加劇了這一問題的緊迫性[1,16]。最近，人們提出了幾種方法來解釋ML模型的行為或預測。這些方法可以大致分為以下幾類:(a)可解釋性是通過設計(內在)還是通過事后系統分析(外在)實現的，(b)方法是否假設訪問系統內部(模型相關)或可以應用于任何黑箱算法系統(模型無關)，以及(c)方法生成的解釋是否迎合對單個實例的預測(局部)，解釋模型的整體行為(全局)或介于這兩個極端之間。

在本教程中，我們將詳細介紹當代XAI技術，并強調它們的優點和局限性。與現有的XAI教程相比，我們將在數據庫社區的背景下討論XAI的范圍，并概述一組利用XAI進展的數據管理研究的挑戰和機會，并為XAI研究的挑戰做出貢獻。本教程的學習結果如下。

• (1) 了解XAI技術的概況。
• (2) XAI技術與數據管理社區現有技術之間的聯系。
• (3) 暴露之前XAI提案的關鍵漏洞，以及數據管理技術如何在許多情況下提供幫助。
• (4) 接觸到一些新的機會，利用基于數據來源和因果推理的技術來解釋模型行為和調試AI管道。

涵蓋范圍

根據現有XAI技術[50]生成的結果，可以根據多個維度來解釋模型及其預測。目前有各種各樣的技術可以解決這些可解釋性的不同維度。例如，一些方法提供了代表用于訓練模型的數據的特征的全面總結，一些返回數據點以使模型可解釋，一些用固有的可解釋模型來近似模型，等等。本教程分為五個主題，涵蓋了這些不同維度的代表性技術。每個專題的內容總結如下。

2.1基于特征的解釋

解釋黑盒模型的一種常見方法是將模型輸出的責任歸因于它的輸入。這種方法類似于提供輸入特征的重要性。例如，在線性回歸的情況下，學習線性方程中的特征的系數可以作為特征重要性的指標。為訓練數據中的所有特征分配一個實數的最終目標可以通過多種方式實現。此外，該數字還可以表示該特征影響的程度和方向。我們將在本教程中介紹以下特征屬性方法。

2.2 基于規則的解釋

基于特征屬性的方法為每個特征值分配一個實值重要性分數。相反，基于規則的解釋生成一組規則作為對模型行為的解釋。輸出規則集滿足一個共同屬性，即只要遵守這些規則，模型就會提供一個特定的結果。理想情況下，這些規則應該簡明扼要，并適用于大量數據點。較長的規則(超過5個從句)是不可理解的，而非常具體的規則是不可概括的。錨[54]是一種試圖生成簡短且廣泛適用的規則的方法。它使用一種基于多武裝匪徒的算法來搜索這些規則。Lakkaraju等人使用可解釋的決策集來獲得一組if-then規則，這些規則可以用來解釋黑盒模型[43]。它們的目標函數旨在平衡和優化這些決策集的準確性和可解釋性。

2.3 基于訓練數據的解釋

與特征歸因方法相比，基于訓練數據的方法將ML算法的輸出歸為訓練數據集[10]的特定實例。基于數據的解釋的核心思想是，訓練數據影響模型，從而間接影響模型預測的結果。為了理解模型的預測，基于數據的解釋可以將模型參數和預測追溯到用于訓練模型的訓練數據。這些方法不是根據數據的特征(例如，年齡，性別等)，而是根據特定的數據點(例如，列舉20個數據點負責特定的模型輸出)來解釋模型的行為。基于數據的解釋有助于調試ML模型，理解和解釋模型行為和模型預測。在本教程中，我們將介紹以下基于訓練數據的方法。

2.4 對非結構化數據的解釋

深度學習已經非常成功，特別是在圖像分類和涉及圖像和文本的語言翻譯等任務中。盡管現有的XAI方法主要關注結構化數據，但在解釋ML模型預測優于非結構化數據方面已經取得了重大進展。例如，對圖像分類模型的解釋可以在各種名稱下找到，如敏感性地圖、顯著性地圖、像素屬性地圖、基于梯度的屬性方法、特征相關性、特征屬性和特征貢獻[50]。這些解釋通常會根據輸入像素對分類結果的重要性突出并排序。然而，單個像素可能對分類器的結果沒有很大的直接影響，但可以通過貢獻神經網絡從原始像素學習到的抽象特征和概念，間接影響其結果。已有研究表明，這些方法的計算成本很高，而且極易引起誤解、脆弱和不可靠[2,22,52]。類似地，可以將LIME[53]應用于文本數據，以識別解釋文本分類模型結果的特定單詞。計算機視覺中另一種流行的解釋類型是反事實解釋，這種解釋是通過改變圖像的最小區域產生的，從而導致分類結果的改變[72]。在本教程中，我們將關注結構化數據，因為它與DB社區更相關。

[1] 2016. Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation). (2016). [2] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian J. Goodfellow, Moritz Hardt, and Been Kim. 2018. Sanity Checks for Saliency Maps. In Advances in NeuralInformation Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada, Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kristen Grauman, Nicolò Cesa-Bianchi, and Roman Garnett (Eds.). 9525–9536. [3] Rakesh Agrawal, Tomasz Imieliński, and Arun Swami. 1993. Mining association rules between sets of items in large databases. In Proceedings of the 1993 ACM SIGMOD international conference on Management of data. 207–216. [4] Rakesh Agrawal, Ramakrishnan Srikant, et al. 1994. Fast algorithms for mining association rules. PVLDB.

在過去十年中，自動駕駛在研發方面取得了重大的里程碑。人們有興趣在道路上部署自行操作車輛，這預示著交通系統將更加安全和生態友好。隨著計算能力強大的人工智能（AI）技術的興起，自動駕駛車輛可以高精度地感知環境，做出安全的實時決策，在沒有人為干預的情況下運行更加可靠。

然而，在目前的技術水平下，自動駕駛汽車中的智能決策通常不為人類所理解，這種缺陷阻礙了這項技術被社會接受。因此，除了做出安全的實時決策外，自動駕駛汽車的AI系統還需要解釋這些決策是如何構建的，以便在多個政府管轄區內符合監管要求。

該研究為開發自動駕駛車輛的可解釋人工智能（XAI）方法提供了全面的信息。首先，全面概述了目前最先進的自動駕駛汽車行業在可解釋方面存在的差距。然后，展示該領域中可解釋和可解釋受眾的分類。第三，提出了一個端到端自動駕駛系統體系結構的框架，并論證了XAI在調試和調控此類系統中的作用。最后，作為未來的研究方向，提供自主駕駛XAI方法的實地指南，提高操作安全性和透明度，公開獲得監管機構、制造商和所有密切參與者的批準。

//www.zhuanzhi.ai/paper/9810a4af041ac0189ca8750d0a25958c

摘要

人工智能(AI)技術的發展使各種應用系統得以應用于現實世界，影響著人們的日常生活。然而，目前很多人工智能系統被發現容易受到無形的攻擊，對弱勢群體存在偏見，缺乏對用戶隱私的保護等，這不僅降低了用戶體驗，也侵蝕了社會對所有人工智能系統的信任。在這篇綜述中，我們努力為人工智能從業者提供一個全面的指南，以構建可信賴的人工智能系統。我們首先介紹了人工智能可信度的重要方面的理論框架，包括穩健性、泛化性、可解釋性、透明度、再現性、公平性、隱私保護、與人類價值觀的一致性和問責性。然后我們調研了行業中在這些方面的領先方法。為了統一目前零散的人工智能方法，我們提出了一種系統的方法，考慮人工智能系統的整個生命周期，從數據采集到模型開發，到開發和部署，最后到持續監測和治理。在這個框架中，我們向從業者和社會利益相關者(如研究人員和監管機構)提供具體的行動項目，以提高人工智能的可信度。最后，我們確定可信賴的人工智能系統未來發展的關鍵機遇和挑戰，我們確定需要向全面可信賴的人工智能系統轉變范式。

//www.zhuanzhi.ai/paper/00386996069b8168827d03f0c809a462

引言

人工智能(AI)的快速發展給人類社會帶來了巨大的經濟和社會前景。隨著人工智能在交通、金融、醫療、安全、娛樂等領域的廣泛應用，越來越多的社會意識到，我們需要這些系統是可信的。這是因為，考慮到這些人工智能系統的普遍性，違背利益相關者的信任可能會導致嚴重的社會后果。相比之下，人工智能從業者，包括研究人員、開發人員、決策者等，傳統上一直追求系統性能(也就是準確性)作為他們工作流程的主要指標。這一指標遠遠不足以反映對人工智能可信度的要求。除了系統性能外，人工智能系統的各個方面都應該被仔細考慮，以提高其可信度，包括但不限于健壯性、算法公平性、可解釋性、透明度等方面。

雖然最活躍的關于人工智能可信度的學術研究集中在模型的算法屬性上，但我們發現，單靠算法研究的發展不足以構建可信的人工智能產品。從行業角度看，人工智能產品的生命周期包括數據準備、算法設計、開發、部署、運營、監控、治理等多個階段。要在任何一個方面(如健壯性)獲得可信賴性，需要在系統生命周期的多個階段進行努力，如數據凈化、健壯算法、異常監控、風險審計等。另一方面，任何一個環節或任何一個方面的信任違約都可能破壞整個系統的可信賴性。因此，應該在人工智能系統的整個生命周期中建立和系統地評估人工智能的可信度。

除了通過在不同的可信賴性方面建立可信賴的要求來追求人工智能的可信賴性，這些方面之間的交互是現實世界值得信賴的人工智能系統中一個重要且有待探索的話題。例如，對數據隱私的需求可能會干擾詳細解釋系統輸出的愿望，而對算法公平性的追求可能會不利于某些群體體驗到的準確性和穩健性。因此，僅僅貪婪地追求這些不同的方面并不一定會產生通向更可靠的AI系統的最佳解決方案。值得信賴的人工智能應該通過權衡和聯合優化多個值得信賴的方面來建立。以上事實表明，有必要采取系統的方法來改變目前的人工智能范式，以獲得可信賴性。這需要多學科相關者的意識和合作，相關者在系統生命周期的不同可信方面和不同階段工作。為了幫助開發這種系統方法，我們以一種可訪問的方式組織多學科知識，讓人工智能從業者了解人工智能的可信賴性，并為構建可信賴的人工智能系統提供操作和系統的指導。我們的主要貢獻包括:

• 我們調研和擴大在最近討論關于AI可信賴性,建立值得信賴的AI系統的迫切需要得到我們的東西從工業的角度來看,包括魯棒性、泛化,可解釋性、透明度、復現性、公平、隱私保護、價值一致和責任(第2節)。

• 我們廣泛回顧了各種利益相關者為實現這些需求所做的努力，包括積極的學術研究、工業發展技術以及治理和管理機制。這種多樣化和全面的方法集合有助于提供人工智能可信度的整體圖景，并彌合來自不同背景的從業者之間的知識鴻溝(第3節)。

• 我們剖析了工業應用中人工智能系統的整個開發和部署生命周期，并討論了從數據到人工智能模型，從系統部署到操作的每個階段如何提高人工智能的可信度。我們提出了一個系統框架來組織值得信賴的人工智能的多學科和碎片化方法，并進一步提出將人工智能值得信賴作為一個連續的工作流，在人工智能系統生命周期的每個階段納入反饋。我們也分析了在實踐中不同可信度方面之間的關系(相互增強，有時是權衡)。因此，我們的目標是為研究人員、開發人員、操作人員和法律專家等人工智能從業者提供一個可訪問的、全面的指南，以快速理解通向人工智能可信度的方法(第4節)。

• 我們討論了值得信賴的人工智能的突出挑戰，在不久的將來，研究社區和行業從業者應該專注于解決這些挑戰。我們確定了幾個關鍵問題，包括需要對人工智能可信度的幾個方面(如健壯性、公平性和可解釋性)有更深層次的基礎理解，用戶意識的重要性，以及促進跨學科和國際合作(第5節)。

通過人工神經網絡等獲得的預測具有很高的準確性，但人類經常將這些模型視為黑盒子。對于人類來說，關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域，對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義，概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述，回顧過去和最近可解釋的SML方法，并根據介紹的定義對它們進行分類。最后，我們通過一個解釋性的案例研究來說明原則，并討論未來的重要方向。

//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的準確性是顯著的，但準確性并不是最重要的唯一方面。對于高風險的領域，對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出，醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域，深刻理解人工智能的應用是至關重要的，對可解釋人工智能(XAI)的需求是顯而易見的。

可解釋性在許多領域很重要，但不是在所有領域。我們已經提到了可解釋性很重要的領域，例如衛生保健。在其他領域，比如飛機碰撞避免，算法多年來一直在沒有人工交互的情況下運行，也沒有給出解釋。當存在某種程度的不完整時，需要可解釋性。可以肯定的是，不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面，不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如，刑事風險評估工具應該是公正的，它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域，它是主觀的，很難正式化。相比之下，飛機避免碰撞是一個很容易理解的問題，也可以被精確地描述。如果一個系統能夠很好地避免碰撞，就不用再擔心它了。不需要解釋。

本文詳細介紹了可解釋SML的定義，并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義，將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋，區分局部解釋和全局解釋。

綜上所述，本文的貢獻如下:

• 對五種不同的解釋方法進行形式化，并對整個解釋鏈的相應文獻(分類和回歸)進行回顧。
• 可解釋性的原因，審查重要領域和可解釋性的評估
• 這一章僅僅強調了圍繞數據和可解釋性主題的各個方面，比如數據質量和本體
• 支持理解不同解釋方法的連續用例
• 回顧重要的未來方向和討論

人工智能(AI)為改善私人和公共生活提供了很多機會，以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件，目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而，這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策，以便我們能夠信任它們?在這個報告中，我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中，可以特別理解本報告的目的。然而，隨著方法的日益普及和復雜性，業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地，數據科學從業者通常不知道來自學術文獻的方法，或者可能很難理解不同方法之間的差異，所以最終使用行業標準，比如SHAP。在這里，我們進行了一項調查，以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域，并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述，并討論她如何通過提出正確的問題來解釋模型。

//arxiv.org/abs/2009.11698

主題： Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey

摘要： 如今，深度神經網絡已廣泛應用于對醫療至關重要的任務關鍵型系統，例如醫療保健，自動駕駛汽車和軍事領域，這些系統對人類生活產生直接影響。然而，深層神經網絡的黑匣子性質挑戰了其在使用中的關鍵任務應用，引發了引起信任不足的道德和司法問題。可解釋的人工智能（XAI）是人工智能（AI）的一個領域，它促進了一系列工具，技術和算法的產生，這些工具，技術和算法可以生成對AI決策的高質量，可解釋，直觀，人類可理解的解釋。除了提供有關深度學習當前XAI格局的整體視圖之外，本文還提供了開創性工作的數學總結。我們首先提出分類法，然后根據它們的解釋范圍，算法背后的方法，解釋級別或用法對XAI技術進行分類，這有助于建立可信賴，可解釋且自解釋的深度學習模型。然后，我們描述了XAI研究中使用的主要原理，并介紹了2007年至2020年XAI界標研究的歷史時間表。在詳細解釋了每種算法和方法之后，我們評估了八種XAI算法對圖像數據生成的解釋圖，討論了其局限性方法，并提供潛在的未來方向來改進XAI評估。

深度學習方法對各種醫學診斷任務都非常有效，甚至在其中一些任務上擊敗了人類專家。然而，算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發，討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。