葡萄牙貝拉內大學最新《醫學診斷中可解釋深度學習方法》綜述，值得關注！

深度學習的顯著成功引發了人們對其在醫學診斷中的應用的興趣。即使最先進的深度學習模型在對不同類型的醫療數據進行分類時達到了人類水平的準確性，但這些模型在臨床工作流程中很難被采用，主要是因為它們缺乏可解釋性。深度學習模型的黑盒性提出了設計策略來解釋這些模型的決策過程的需要，這導致了可解釋人工智能(XAI)這個話題的產生。在此背景下，我們提供了XAI應用于醫療診斷的全面綜述，包括可視化、文本和基于示例的解釋方法。此外，這項工作回顧了現有的醫學成像數據集和現有的指標，以評估解釋的質量。作為對大多數現有綜述的補充，我們包含了一組基于報告生成方法之間的性能比較。最后，還討論了XAI在醫學影像應用中的主要挑戰。 //www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b

引言

人工智能(AI)領域在過去十年取得的進展，支持了大多數計算機視覺應用的準確性的顯著提高。醫學圖像分析是在對不同類型的醫學數據(如胸部X光片[80]、角膜圖像[147])進行分類時取得人類水平精確度的應用之一。然而，盡管有這些進展，自動化醫學成像在臨床實踐中很少被采用。Zachary Lipton[69]認為，對這一明顯的悖論的解釋很簡單，醫生在不了解決策過程的情況下，永遠不會相信算法的決策。這一事實提出了產生能夠解釋人工智能算法的決策過程的策略的必要性，隨后導致了一個新的研究主題的創建，稱為可解釋人工智能(XAI)。根據DARPA[41]的說法，XAI的目標是“在保持高水平的學習性能(預測精度)的同時，產生更多可解釋的模型;并使人類用戶能夠理解、適當、信任和有效地管理新一代人工智能伙伴”。盡管XAI具有普遍適用性，但它在高風險決策(如臨床工作流程)中尤其重要，在這種情況下，錯誤決策的后果可能導致人類死亡。這也得到了歐盟通用數據保護條例(GDPR)法律的證明，該法律要求解釋算法的決策過程，使其透明，然后才能用于患者護理[37]。

因此，在將深度學習方法應用于臨床實踐之前，投資研究新的策略以提高其可解釋性是至關重要的。近年來，對這一課題的研究主要集中在設計間接分析預建模型決策過程的方法。這些方法要么分析輸入圖像的特定區域對最終預測的影響(基于擾動的方法[77;101]和基于遮擋的方法[151])或檢查網絡激活(顯著性方法[112;153])。這些方法可以應用于任意網絡架構，而不需要對模型進行額外的定制，這一事實支持了它們在XAI早期的流行。然而，最近的研究表明，事后策略在解釋的重要性方面存在一些缺陷[2;105]。因此，研究人員將他們的注意力集中在能夠解釋其決策過程本身的模型/架構的設計上。現有的可解釋模型被認為在醫學成像中特別有用[105]，證明了最近集中于這一范式而不是傳統的后特殊策略的醫學成像作品數量的增長是合理的[53;144]。盡管近年來固有可解釋模型的流行，但現有的關于深度學習應用于醫學成像的可解釋性的研究并沒有全面回顧這一新的研究趨勢的進展。此外，專注于解釋應用于醫學成像的深度學習決策過程的著作數量顯著增加，因此有必要對最近一次關于該主題的綜述未涵蓋的最新方法進行更新調研。

**為了解決這些問題，我們全面回顧了可解釋深度學習應用于醫學診斷的最新進展。特別是，這項綜述提供了以下貢獻: **

回顧最近關于醫學成像中可解釋深度學習主題的調研，包括從每個工作中得出的主要結論，以及對我們調研的比較分析。 用于醫學成像的深度學習方法可解釋性研究中常用的數據集的詳盡列表。 全面調研最先進的可解釋醫學成像方法，包括事后模型和固有的可解釋模型。 對基準可解釋性方法常用的度量標準的完整描述，無論是可視化的還是文本的解釋。關于文本解釋質量的可解釋醫學成像方法的基準。 醫學影像中可解釋深度學習的未來研究方向

基于文獻綜述，XAI方法可以根據三個標準進行分類: (i) 模型無關性vs模型具體; （ii）全局可釋性與局部可釋性; (iii)事后對內在。圖1說明了XAI方法的分類法，

醫療診斷中的可解釋人工智能方法

正如前面提到的，深度學習模型在部署到現實場景時必須具有透明性和可信賴性。此外，這一要求在臨床實踐中尤其相關，在臨床實踐中，不知情的決定可能會將患者的生命置于危險之中。在綜述的文獻中，已經提出了幾種方法來賦予應用于醫學診斷的深度學習方法解釋性。以下部分總結和分類了應用于醫學診斷的可解釋模型范圍內最相關的工作。此外，我們特別關注內在可解釋的神經網絡及其在醫學成像中的適用性。我們根據解釋方式將這些方法分為:(i)特征歸因解釋，(ii)文本解釋，(iii)實例解釋，(iv)概念解釋，(v)其他解釋;受[86]提出的分類學啟發。根據所使用的算法、圖像形態和數據集分類的綜述方法列表見表4。

一、超越負責任的人工智能：實現可審計人工智能的 8 個步驟

在當今的訴訟環境中，人工智能驅動的商業決策必須不僅僅是可解釋的、合乎道德的和負責任的；我們需要可審計的人工智能。

您的 AI 能否通過監管機構？

隨著主流商業世界從人工智能的理論使用轉向生產規模的決策，可審計的人工智能是必不可少的，因為它包含的不僅僅是負責任的人工智能（強大、可解釋、合乎道德和高效的人工智能）的原則。可審計的 AI 還提供通過監管審查所需的文件和記錄，其中可能包括以下問題：

• 什么數據用于構建機器學習模型？數據是否代表生產環境？如果/當它們在開發階段被發現時，如何解決數據偏差？
• 模型中使用的派生變量是什么？他們有偏見嗎？治理團隊是否批準在模型中使用變量？
• 利用了哪些特定的機器學習算法？它們是否適合正在解決的數據和問題？
• 模型是否完全可解釋，具有解釋模型做出的自動決策的準確原因代碼，對模型用戶和受影響方都可解釋？
• 該模型是否設計為可解釋的？推動結果的潛在特征是什么？他們是否進行了偏見測試？
• 對模型進行了哪些穩定性測試，以了解和糾正生產數據的變化？
• 是否有特定的監控要求來確保監控數據漂移、性能漂移和倫理治療漂移？
• 當生產客戶數據從模型訓練的內容轉移時，有哪些不起眼的 AI權宜之計可以降級到更安全的模型？
• 模型如何感知對抗性 AI攻擊以及如何響應？

為什么可審計性很重要

需要注意的是，盡管“審計”一詞具有事后的含義，但可審計的 AI 強調在模型構建期間和模型投入生產之前制定（和使用）明確規定的工作記錄。

可審計人工智能通過在模型生產過程中創建公司記錄的開發治理標準的審計跟蹤，使負責任的人工智能成為現實。這可以避免在模型開發完成后進行隨意的事后探測。還有額外的好處；通過盡早準確地了解模型何時出偏差，以便快速補救，公司可為自己省去無盡的痛苦，避免當人工智能在數據科學實驗室之外出現問題時發生的聲譽損害和訴訟。

可審計的人工智能可以幫助防止法律挑戰

法律成本、聲譽受損和客戶不滿只是受到 AI 倡導團體審查的沉重成本中的一小部分，而可審計的 AI 可以幫助防止所有這些成本。采用可審計人工智能將通過在整個模型開發過程中記錄關鍵決策和結果來確保公司的人工智能標準得到遵循和執行。

盡管建立必須衡量、審查和批準的精確信息并非易事，但這樣做會給公司帶來兩個寶貴的優勢：

• 他們可以永久保存模型開發信息，以供以后審查和審計（由于數據科學人員流動性特別重要）。
• 使模型構建能夠自信地進行，因為它們遵守公司的書面標準和“護欄”，以防止出現偏差。

構建可審計人工智能的步驟

如果沒有嚴格的模型開發標準和指導方針，公司就很難出具始終如一地跟蹤合規性的審計報告，以及用于確保投入生產的模型公平、公正和安全的關鍵數據。

在某些情況下，模型治理的關鍵部分簡單而令人不安地沒有得到解決。從研究模式到生產模式的轉變需要數據科學家和公司有一個明確的標準。創新應該由 Highlander Principal 推動（“只能有一個”），因此您的組織在開發可審計的 AI 時需要提出以下問題：

• 當今的分析組織結構如何？是有一個領導者，還是有多個領導者矩陣？如果是后者，他們之間的協調程度如何，或者他們將如何相互協調？
• 現有的分析型領導者治理委員會是如何構成的？如何決定什么構成 AI 算法的可接受性以及公司圍繞使用 AI 的理念？標準將如何記錄？
• 負責任的人工智能是如何解決的？是否有積極的監測計劃？它是如何運作的？不可變的區塊鏈技術是否被用于保存每個模型如何滿足標準記錄系統，這個系統是否持續存在于個人數據科學家和組織變動之外？
• 數據道德計劃和數據使用政策的狀態如何？如何測試和使用合成數據？正在進行什么樣的穩定性測試以確保模型能夠在不斷變化的生產環境中有效運行？
• 人工智能開發標準是什么？提供了哪些工具和資產？哪些算法是允許的，哪些不是？從模型操作的角度來看，可審計 AI越來越需要標準工具和標準變量庫。這些選擇是如何做出和維持的？是否有通用代碼庫和日常回歸測試？如何提取和測試學習到的潛在特征的適用性、穩定性和偏差？
• 公司如何實現道德人工智能？組織中允許使用哪些 AI 技術，如何對其進行測試以確保其適合市場？今天是否對每個模型進行了監控，如果有，監控的是什么？理想情況下，這包括數據漂移、性能漂移和倫理治療漂移。什么是預設的閾值以指示何時不應再使用模型？
• 公司圍繞人工智能研究的理念是什么？公司是否努力證明其具有創造性，表明其對人工智能投資的更高風險的容忍度？還是該公司更保守，希望確保它使用的是受監管且易于監控的成熟技術？或者它會采取一種混合方法，一個團隊負責展示人工智能的潛在藝術，另一個團隊將其付諸實踐？
• 公司的 AI 是否符合道德規范？是否將一些高風險模型置于“負責任的人工智能”的保護下，而受到監管，而另一些根本不符合“負責任的人工智能”標準？這些分界線是如何設置的？在人工智能的發展過程中不負責可以嗎？如果是這樣，什么時候？

誠然，有無數問題需要回答，實現可審計 AI 似乎令人生畏。但是已經有可以很容易采用的最佳實踐框架和方法，提供關鍵的構建模塊。如今，大多數組織都在將 AI 部署到一個充滿風險的空白中，因此真正迫切需要實施可審計的 AI。人工智能的未來，以及我們所知道的商業世界，都取決于這種強大的技術以同樣強大的方式進行管理和監控。

二、德國聯邦信息安全局等十余個單位聯合發布《邁向可審計人工智能系統：現狀和未來方向》的白皮書

0 執行總結

人工智能 (AI) 系統作為決策和控制系統的一部分在各種應用中發揮著越來越大的作用，其中包括移動、生物識別和醫學等安全和安全關鍵應用領域。與傳統 IT 技術相比，深度神經網絡等 AI 技術的使用提供了新的機會，例如卓越的性能。同時，它們在 IT 安全性、魯棒性和可信賴性等方面提出了新的挑戰。為了應對這些挑戰，需要一個普遍認可的人工智能系統審計框架。這應該包括評估策略、工具和標準，但這些要么正在開發中，要么尚未準備好投入實際使用。

本白皮書首先總結了 AI 系統的機遇和挑戰，然后介紹了 AI 系統可審計性的最新技術，重點關注 AI 生命周期、在線學習和存在漂移、對抗，毒化攻擊、后門的模型維護等，和針對這些攻擊的防御、驗證、安全關鍵型 AI 系統可審計，黑盒 AI 模型可解釋和 AI 標準化。

盡管所有這些方面都取得了實質性進展，但一個首要的開放問題是（通常是多方面的）系統所需特性之間的權衡，例如一方面是魯棒性、安全性和可審計性，另一方面是 AI 模型、ML 算法、數據和進一步邊界條件的特征。這些權衡限制了當前 AI 系統的可擴展性和通用性。

為了最終以安全、可靠、穩健和可信賴的方式利用人工智能技術的機會，應結合兩種策略： 1. 考慮到上述權衡，應為給定任務選擇有利的邊界條件； 2. 應通過對研發的大量投資來推進現有技術，以最終在復雜的邊界條件下允許安全的人工智能系統，從而提高可擴展性和普遍性。第一步，應該關注選定的安全關鍵用例。應利用可用的標準、指南和工具，并進一步促進研究人員和行業之間的跨學科交流，以找到可用標準和工具的最佳組合，為每個特定用例實現可審計、安全和強大的人工智能系統。然后，在第二步中，應該使用來自這些用例的見解來概括結果并構建一個模塊化工具箱，該工具箱隨后可以應用于其他用例。在此基礎上，首先應制定技術指南和隨后的標準。在理想情況下，結果將是一套普遍適用的標準和工具，使人工智能系統具有足夠的可審計性、安全性和可靠性。

1 人工智能系統：機遇與挑戰

人工智能 (AI) 技術已經在許多應用中普遍存在，它正日益成為我們世界不可或缺的一部分，因為它是決策或控制系統無數應用的基礎（圖 1）。人工智能系統可能由多個子系統組成，每個子系統都可能使用不同的技術。技術可分為經典 IT (cIT)、符號 AI (sAI) 和連接主義 AI (cAI)。在這里，重點放在（深度）神經網絡和機器學習（ML）形式的 cAI 系統上，因為 cAI 系統在質量上表現出新的漏洞，并且到目前為止，還不能通過 cIT 的可用工具進行充分審計。

圖 1：人工智能系統已經成為各種應用中決策和控制系統的一部分，例如自動駕駛汽車、醫療保健和生物識別技術。 Connectionist AI（cAI，例如神經網絡）、符號 AI（sAI，例如決策樹）和經典 IT (cIT) 模塊通過傳感器和執行器相互交互并與環境交互，從而導致整體系統行為。在這里，我們只關注單個 cAI 模塊（粗體字）。

人工智能用于計算機游戲和語音助手系統等應用程序，以及駕駛員輔助系統、入侵檢測系統和醫療診斷等安全關鍵應用程序 [1-4]。后一個用例表明，責任和義務從人類轉移到了安全和安保關鍵系統中的人工智能系統。因此，出現故障的人工智能系統可能會導致嚴重后果，導致經濟損失甚至影響人類健康。在極端情況下，這可能包括因不適當或缺少醫療而導致車禍或嚴重醫療狀況的死亡。在許多應用中，當前的人工智能系統在性能、用戶體驗和成本方面都大大優于 cIT 技術。盡管人工智能技術提供了這些和其他巨大的機會，但它的應用也帶來了一些挑戰 [5-9]：例如，神經網絡 (NN) 的內部工作原理由于其高度互連的非線性而很難被人類解釋。處理元素及其巨大的輸入和狀態空間。此外，它們的性能高度依賴于數據的數量和質量，因為它們的參數必須通過 ML 算法進行訓練。 NN 訓練不遵循明確定義的設計流程，NN 具有質量上的新漏洞，用戶經常缺乏信任，并且 NN 可能被攻擊者用作攻擊工具。

因此，為了應對 AI 的這些安全和安保挑戰，必須深入了解 AI 系統的運作方式、為什么它們在某些情況下表現良好但在其他情況下失敗，以及它們如何受到攻擊和保護免受攻擊。為了獲得用戶的信任，必須在實際定義的邊界條件下保證人工智能系統的正常運行。對于“經典”技術，法律要求在飛機控制軟件等多個領域提供此類保證，并且需要定期進行審計。一個自然的問題是如何將傳統 IT 領域的概念和方法轉移到 AI 領域，在這還不夠的情況下，如何用新的 AI 特定概念和方法來補充它們。如果在 100% 的情況下無法保證正確操作，則應討論是否可以接受 AI 系統至少比最先進的非 AI 系統或人類執行得更好。因此，應采用基于風險的方法，量化系統故障的風險，即故障成本乘以故障概率。這在惡意攻擊的情況下也應該成立。更好的平均性能可能還不夠，因為人工智能系統的平均性能可能更好，但在亞組上更差（例如，黑人的皮膚癌檢測，[10; 11]）。如果 AI 系統出現故障，其失敗的原因必須是可以解釋的。由于目前尚無普遍接受的審計人工智能系統的標準、評估標準、方法和工具（但有關當前舉措，請參見第 2.7 節），因此出現以下問題：如何審計人工智能系統？哪些邊界條件是最優的，哪些是可以接受的？除了經典的 IT 系統審計或安全評估之外，還需要哪些方法、工具和其他資源？審計 AI 系統的限制是什么？工作量和審計質量之間的權衡是什么？應該如何在研發中最好地利用可用資源，以實現在各種條件下仍然有效的 AI 系統審計結果？

根據 2020 年 10 月 6 日在柏林/互聯網舉行的為期一天的研討會“審計 AI 系統：從基礎到應用”的演示和討論，我們試圖通過回顧當前的技術水平來回答這些問題，通過總結開放性問題并確定最迫切需要的未來工作和最有希望的方法來評估 AI 系統的可審計性。在此過程中，1. 將考慮 AI 系統的整個生命周期； 2. 將重點關注當前最重要的 AI 技術，即機器學習 (ML) 訓練的深度神經網絡 (DNN)，而 DNN 將在 IT 安全性和魯棒性方面予以考慮。在可能的情況下，將給出具體的用例作為示例。

2 人工智能系統的可審計性：最先進的技術

在本節中，首先給出廣義 cAI 生命周期的概述（圖 2A），然后總結 cAI 系統可審計性的一些最重要方面的最新技術，即通過 ML 訓練 AI 系統數據、攻擊和防御、驗證、確認、可解釋性和標準化。

研討會期間沒有深入討論其他方面，因此，僅就它們對 AI 安全的可能影響進行了簡短總結：

1.足夠的質量和數量的訓練和測試數據適用于AI性能和魯棒性，也適用于 AI 系統的安全性 [12]。

2.數據預處理（或特征選擇）一方面可以被視為 AI 系統模塊化的一步，由于每個 AI 模塊的功能減少，可能會導致更好的可解釋性，但另一方面，可以認為開辟了一個新的攻擊目標（參見例如[13; 14]）。因此，根據具體情況，它可能有利于提高安全性，也可能無益。

3.正則化，例如通過誤差函數對大權重進行懲罰，可能有助于防止過度擬合，并且可能在某些邊界條件下直接導致更高的魯棒性并間接提高安全性和保障性[15]。

2.1 生命周期

cAI 系統的復雜生命周期至少在很大程度上是其應用面臨新挑戰的原因，尤其是與 cIT 和 sAI 系統相比。因此，它將成為本白皮書的重點。在這里，它分為以下 5 個階段（參見圖 2A）：規劃、數據、訓練、評估和運營。在實踐中，這些階段不是按順序排列的，而是開發人員以高度迭代和敏捷的方式使用這些階段，例如在開發過程中經常使用評估。此外，運營階段還包括模型維護的挑戰，包括調整模型的必要性，以防已經使用的 cAI 系統出現新數據或要求。與生物神經網絡類似，cAI 系統通常由大量簡單但高度互連的處理元素（或神經元）組成，這些處理元素（或神經元）分層組織。最先進的 cAI 系統，例如深度神經網絡（DNN，深度 = 多層）由數百萬個處理元素和它們之間的突觸（= 連接）組成。假設一個固定的神經架構，這意味著 cAI 系統通常有超過 1 億個參數，即突觸權重和單位偏差值，必須適當調整。因此，幾乎在所有情況下都無法手動設置這些參數。相反，機器學習技術用于根據訓練數據、誤差函數和學習規則自動調整系統參數。與在訓練期間學習的 cAI 模型內部參數相比，影響學習過程和模型架構的外部參數稱為超參數，必須在訓練之前固定并在驗證集上進行調整。自動化訓練管道設置和訓練本身的方法稱為自動機器學習或 AutoML [16]。雖然許多 cIT 和 sAI 模型（例如決策樹或規則集）中的參數通常也由自動方法設置，但原則上，與大多數 cAI 模型相比，它們仍然可以直觀地檢查。

圖 2：A) 連接主義 AI (cAI) 系統的廣義生命周期示意圖，強調了對 AI 系統進行徹底審計時必須考慮許多方面。在這里，生命周期是從 IT 安全角度來看的，包括漏洞（紅色）、防御（藍色）和解釋（綠色 + “？”）。有監督的再訓練或在線學習可以選擇性地與運營并行，并在運營期間連續運行，從而導致評估應該何時以及多久進行一次評估的問題。評估、驗證、確認和標準化應考慮整個生命周期。 B) 一個 cAI 生命周期 (cAILC) 可以是例如嵌入到功能安全生命周期中（fSLC，參見例如 [17; 18]）。后者可能包含幾個與安全相關的系統，例如還包括 sAI 和 cIT 系統（參見圖 1），包括在開發階段和最終退役階段之前的廣泛分析階段。請注意，cAILC 和 fSLC 通常都是高度迭代的。

因此，開發人員的角色是通過使用神經網絡、訓練數據、機器學習算法和相關超參數初始化訓練過程來設置必要的邊界條件。隨后，開發人員監督訓練過程，調整超參數，測試中間結果，并在必要時重新開始訓練，直到達到 AI 系統的預期性能。這不是一個標準化的程序，而是開發人員的直覺和經驗決定了訓練過程。由于獲得足夠數量的高質量數據和從頭開始訓練 DNN 需要大量資源，開發人員經常走捷徑，利用預先訓練的模型和從各種來源獲得的外部數據。一旦滿足開發標準（例如性能、魯棒性），人工智能系統就可以投入運行：在嵌入特定的硬件和軟件環境后，神經網絡會收到預處理的輸入數據并輸出其決策。盡管缺乏明確定義的設計流程（見上文），但能夠訪問必要資源（數據、模型、計算能力）的經驗豐富的開發人員可以快速為許多明顯優于 cIT 系統的用例開發決策系統。

由于 DNN 通常具有巨大的參數和輸入空間以及它們在結構和功能之間的非直觀關系，人類幾乎不可能解釋它們的功能。允許這樣做的專業解釋方法是當前研究的主題（詳情參見第 2.6 節）。目前通過觀察一組選定測試的輸入輸出關系來測試人工智能系統。即使是測試所有可能輸入的一小部分，也需要大量資源，并且必須系統地進行處理（參見 [19]）。只有在非常有限的邊界條件下的特定情況下才能進行形式驗證，例如它不能擴展到大型網絡和任意輸入（參見第 2.4 節）。 cAI 系統的進一步缺點是它們在性質上的新漏洞，即在運行期間的對抗性攻擊（參見第 2.3.1 節）和信息竊取攻擊（參見第 2.3 節），以及在訓練期間的后門中毒和 DoS 攻擊（參見第 2.3.2 節） ，除了經典的社交攻擊、操作系統和硬件攻擊外，攻擊者還可能利用這些攻擊進行有針對性和無針對性的攻擊（詳見下文）。為了保護數據驅動的 AI 系統和機器學習免受此類攻擊，除了經典的 IT 安全措施外，還提出了許多解決方案：對抗性訓練、梯度掩蔽和特征壓縮（參見第 2.3.3 節了解更多詳細信息）。不幸的是，到目前為止，沒有一種單一的防御方法，也沒有多種防御方法的組合能夠可靠地防止自適應攻擊。此外，根據設置，改進的攻擊預防和魯棒性可能以降低準確性為代價 [20]。

在實際用例中，例如在自動駕駛汽車中，cAI 生命周期通常嵌入到更廣泛的生命周期中，包括多個 IT 和 AI 模塊的開發和交互。這描述了功能安全生命周期（圖 2B 中的 fSLC），其中 cAI 模塊只是可能的組件。對于這些 cAI 模塊，可以確定（汽車）安全完整性等級 ((A)SIL) [17; 18]。功能安全生命周期強調人工智能生命周期規劃階段之前的分析階段，目的是量化此類系統的故障概率，并通過包括風險分析在內的系統方法確定這些概率的可接受性。 fSLC 分析階段還包括概念化以及安全要求的推導和分配。作為分析的結果，出于安全的原因，甚至可能完全禁止在安全關鍵應用程序中使用人工智能技術。相比之下，人工智能可以很容易地在沒有發生嚴重后果的情況下使用，這必須得到風險分析的支持。在這種情況下，不需要在系統中實施 SIL 要求，也不需要進行安全評估。方法論和用例特定的標準、規范和技術指南應在適用于整個生命周期的任何地方使用。例如，功能安全生命周期存在一個廣泛的標準 [17]，但它不包括具有 cAI 特定漏洞和挑戰的 cAI 生命周期。在世界各地，多項舉措都在努力縮小這一差距（參見第 2.7 節）。

2.2 非平穩環境下的在線學習和模型維護

為了通過從數據中學習來解決問題，可以根據問題的復雜性和可用數據量使用不同的范式。例如，當有大量訓練數據可用時，深度學習技術通常用于解決復雜問題，而統計學中的經典方法只能解決不太復雜的問題，但需要的數據更少。獨立于范式，手頭問題的環境可能不會隨著時間的推移而保持不變。為了獲得魯棒的結果，必須考慮和解決此類環境變化。

對于大多數經典機器學習 (ML) 技術，可以在標準假設下從統計學習理論推導出強大的魯棒性保證 [21]。面對環境變化和有限的數據可用性，保持預測準確性的另一種方法是允許 ML 模型拒絕與已知數據點相距太遠且模型確定性較低的輸入 [22]。需要注意的是，識別此類輸入本身可能是一個難題。這種方法也可以用于在線學習[23]。

遷移學習是一種通用技術，允許將先前學習的父模型調整到新的但相關的任務 [24]。利用這兩個任務的相似性并基于父模型中包含的信息，可以使用比從頭開始訓練所需的更少的數據點來訓練新模型。遷移學習和更一般形式的小樣本學習是目前使用深度學習的標準方式。例如，特定圖像分類任務的模型建立在 VGG [25] 等預訓練模型之上。遷移學習可用于應對環境變化。然而，為了在不使用大量數據的情況下獲得模型準確性的理論保證，需要對可能發生的變化做出強有力的假設。這樣的假設在實際用例中可能是有效的，例如，使假肢的控制單元適應傳感器位置的輕微變化[26]。

另一種訓練 ML 模型的方法稱為在線學習。在這種范式中，模型不會從離散的數據批次中學習，而是使用數據流并不斷更新以將每個新數據點考慮在內。然后環境變化表現為數據漂移，這可能會影響真實模型本身或僅影響觀察到的數據分布。在這種情況下，挑戰在于確定哪些信息與在給定時間點和未來做出正確預測相關，哪些信息應該被丟棄。在這樣做時，還必須考慮數據中毒攻擊和丟失數據標簽。因此，模型面臨可塑性之間的兩難境地，即能夠整合新信息，又保持穩定性，保持以前的正確知識。已經證明，對于簡單模型，這兩個屬性可以有效地平衡，以在存在漂移的情況下實現高性能 [27-30]。這種模型的挑戰在于元參數成為模型參數，因為模型復雜性可能會發生變化。因此，非參數模型以及集成方法通常特別適合。然而，獲得數學保證需要非常強的假設。作為在實踐中處理漂移的一步，檢測和理解漂移的第一種技術提供了有趣的方法來判斷這種在線適應技術的效果[31,32]。

2.3 攻防

人工智能在設計上并不安全，過去幾年已經記錄了無數欺騙人工智能系統的例子（概述參見 [33]）。在本白皮書中，我們重點關注 AI 系統在信息安全目標完整性方面的兩個最重要漏洞，該漏洞致力于在整個 AI 生命周期中維護可信賴和一致的數據。在這種情況下，已經確定了對 cAI 系統的兩個主要和質量上的新威脅：操作階段的對抗性或逃避攻擊（參見第 2.3.1 節）和訓練階段的后門中毒攻擊（參見第 2.3.2 節）。這些攻擊和可用的防御將在以下部分中詳細討論。

其他兩個主要信息安全目標的機密性和可用性方面存在更多漏洞，但不在本白皮書的重點：機密性可能會通過探索性模型竊取 [34]、模型反轉 [35] 和成員推斷攻擊 [36] 受到損害，其中用于訓練的 AI 模型和數據可以從查詢到可操作的 AI 系統進行重構（在“模型和數據竊取攻擊”下總結在圖 2 中）。這些攻擊是在規避攻擊的上下文中提到的（見下文）。可用性可能會受到 DoS 中毒攻擊 [37]，與后門攻擊相比，它的目標是最小化模型的性能。

2.3.1對抗性機器學習

在規避攻擊中，攻擊者計劃通過對模型輸入的細微修改來改變人工智能系統在其推理（或運行）階段的決策。這些修改通常對人眼來說是不可疑的，也被稱為對抗性示例 [38; 39]。因此，標準的 cAI 系統非常脆弱，模型訓練數據不能很好地表示的輸入特別容易受到錯誤分類的影響。眾所周知的例子包括通過在交通標志上放置貼紙來攻擊交通標志分類系統 [40]，通過向惡意軟件 [41-43] 添加適當功能所不需要的代碼來攻擊惡意軟件檢測器，以及通過為人類配備特別印制的眼鏡架 [44] 或帽子上的補丁 [45]。如果攻擊者能夠控制人工智能系統的決策，則該攻擊稱為有針對性的攻擊，否則，如果攻擊者只是以任意方式更改決策，則該攻擊稱為無目標攻擊。

為了規避攻擊，可以將其形式化為一個優化問題，其目標是修改輸入，以使 AI 系統至少跨越一個決策邊界，例如。在惡意軟件檢測器中從良性區域到惡意區域 [38; 46]。在這樣做時，必須考慮幾個附帶條件，例如保持修改盡可能小或不明顯的要求。

如果攻擊者完全了解模型、特征和數據，這種攻擊稱為白盒攻擊。此外，如果輸出函數是可微的，這是大多數當前使用的學習算法的情況，那么可以計算梯度作為優化過程的先決條件。但是，在攻擊者對目標模型、特征和數據的了解有限的情況下，稱為灰盒或黑盒設置，攻擊者可能會通過替代模型繞過旁路來制造有效的攻擊。替代模型可以通過模型竊取攻擊或通過新訓練的模型，例如使用來自成員推理攻擊的數據，該攻擊模仿目標模型的功能。 cAI 系統具有這樣的特性，即為一個模型開發的攻擊在許多情況下可以毫不費力地轉移到不同的 cAI 模型（可轉移性），因此，這些攻擊也稱為黑盒轉移攻擊。根據邊界條件，即使是黑盒查詢攻擊也可以成功。它們不需要替代模型，而是使用對目標模型的查詢與無梯度優化方法（如遺傳算法或貝葉斯優化）相結合。由于這些黑盒攻擊，僅對網絡參數保密以有效保護人工智能系統免受對抗性攻擊是不夠的。

但是為什么 cAI 系統容易受到對抗性攻擊呢？ cAI 系統建立在訓練數據代表未來數據的假設之上，即輸入數據是獨立同分布 (IID)。除非任務空間非常有限，否則 IID 假設 [47] 遲早會被違反，這意味著模型缺乏魯棒性。因此，模型在隨機輸入數據損壞（含噪的輸入數據分布）和特制的對抗性示例方面缺乏魯棒性是同一潛在現象的兩種表現形式 [48]。模型越復雜，出現的漏洞就越多，攻擊者就越容易和更快地找到對抗樣本。直觀地說，這可以通過以下事實來解釋：系統的輸入和狀態空間維度越大，從合法輸入到惡意輸入區域的路徑越短，攻擊者可能會利用這些路徑。此外，為了使魯棒性訓練適用于復雜的 cAI 系統，它需要大量適當的訓練數據，即隨著 cAI 系統的大小，防御變得越來越資源密集。解決這個問題的一種策略是從風險角度考慮，對于每種類型的攻擊，它發生的可能性被認為是決定單獨應該分配多少資源來防御它。

2.3.2 DNNs后門攻擊

DNN 等 AI 模型需要大量數據進行訓練和測試，才能獲得良好的性能。出于這個原因，通常的做法是從多個來源收集數據而不執行高質量標準。事實上，從業者普遍認為，低質量的數據可能沒有什么價值，但不會顯著影響模型的性能。然而，大量研究結果表明，這種假設是不正確的。由于當前的 AI 模型本質上是純相關提取器，因此數據集的問題會導致它們以意想不到的方式表現。

后門投毒攻擊和 DoS 投毒攻擊 [49; 50] 有針對性地損壞部分訓練數據。一方面，DoS 中毒攻擊旨在通過插入錯誤的數據點來改變其決策邊界 [49]，從而降低模型的泛化能力。雖然這些攻擊在經典 ML 方法中構成了一個大問題，但它們不會以相同的規模影響 DNN，并且通常可以很容易地檢測到 [51]。另一方面，后門中毒攻擊只會降低某些輸入的模型準確性[50]。為此，攻擊者通過添加特殊的觸發模式小心地操縱部分訓練數據，使他們能夠在推理過程中完全控制這些輸入上的模型行為。就經典的 IT 安全目標而言，DoS 中毒攻擊影響模型的可用性，而后門中毒攻擊則針對其完整性。此類攻擊的基本思想在于植入虛假的相關性，然后模型將其用于決策。例如，這通常涉及在分類任務中更改標簽。然而，更微妙的、所謂的標簽似是而非的攻擊可以避免這些相當明顯的變化[52]。

之后很難檢測到對 DNN 的后門攻擊。這既是因為模型只做它們應該做的事情，即學習相關性，也因為它們表現出缺乏人類可解釋性。發現后門攻擊的方法依賴于對模型學習的異常值的檢測[53]。這不適用于數據集本身，而是必須使用內部模型表示 [50; 54; 55]，可能與 XAI 方法結合使用（參見第 2.6 節）。然而，現有的緩解技術并不完美，也可能沒有自動解決方案，因為可能需要人類先驗知識來正確區分損壞和良性數據點 [56]。

除了有針對性的攻擊之外，數據集可能包含虛假的相關性，這可能會以類似的方式影響模型，盡管針對性較低。這些相關性可能源于數據選擇以及預處理和訓練管道中的偏差。例如，在醫學圖像識別的各種任務中已經發現了這些問題 [57]。

解決這些問題需要消除訓練數據中的虛假相關性。 XAI 方法可能有助于做到這一點，以及在訓練期間隨機化管道偽影的技術。除了 AI 級別的技術措施外，還需要更通用的緩解技術來解決意外的虛假相關性，尤其是阻止后門攻擊。特別是，這包括在模型的整個生命周期內保護模型的完整性，并在訓練階段使用技術和組織措施來改變環境條件，例如對開發人員進行安全檢查以及限制對數據存儲和開發機器的訪問，使其攻擊者更難成功 [58]。

2.3.3 DNNs攻擊的檢測與防御

在最近，為了保護深度神經網絡免受攻擊[59]或檢測此類攻擊[60]，已經提出了大量的方法。然而，事實證明，檢測對抗性攻擊并可靠地防御它們是非常困難的，因為已經證明自適應攻擊者可以繞過大多數提出的防御，與僅應用最強防御的系統相比，即使是并行應用的多個防御也可能并不總能增加對抗性的魯棒性[61-63]。盡管如此，防御可以增加攻擊者發起成功攻擊的努力。此外，最近關于對抗性攻擊的可驗證檢測的工作很有希望，因為它保證了對某些自適應攻擊者的魯棒性[64]。

許多防御方法的一個重要缺點是它們會顯著影響模型在良性輸入上的性能。出于這個原因，評估防御方法的合適指標應該同時考慮模型對 a) 良性輸入和 b) 對抗性輸入的性能。

在防御對抗性攻擊時，總是需要考慮 AI 系統的環境條件。例如，如果攻擊者只能將攻擊應用于物理世界而不能應用于數字領域（例如，在攻擊計算機視覺系統時，攻擊需要在不同視角、旋轉或類似變換下具有魯棒性），成功的標準攻擊要高很多。此外，需要牢記的是，這樣一個系統的魯棒性不僅取決于其 AI 相關部分的魯棒性，還取決于其他組件，例如 cIT，這既可以增加也可以降低系統的魯棒性和也構成了額外的攻擊目標。例如，可以通過包含基于非 cAI 技術的冗余方法來提高系統的魯棒性，該方法充當完整性檢查，或者通過 cIT 查詢限制對 cAI 組件的限制來阻礙對抗性示例的制作。

對抗性攻擊最有希望的防御方法之一是對抗性訓練 [59]，其中對抗性示例被包含在訓練階段，以增加這種系統的對抗性魯棒性。這種方法的一個缺點是它會顯著影響訓練運行時間，尤其是在包含使用強攻擊構造的示例時。對抗性訓練只會賦予訓練期間出現的攻擊魯棒性，因此，如果出于性能原因只考慮弱攻擊，系統將仍然容易受到更強攻擊。因此，有必要提高對抗訓練的效率，特別是通過在訓練期間創建強大的對抗樣本的過程，如共享對抗訓練 [65] 和元對抗訓練 [66] 以及訓練策略的其他擴展是有希望的（參見例如 [67]）。

對抗性訓練的另一個缺點是它沒有對模型的魯棒性提供任何正式的保證。因此，不能正式證明不存在繞過這種防御的攻擊。這個問題可能會在威脅模型（例如對抗性補丁 [68]）中通過經過認證的防御（例如[69] 和 [70]，這可以證明補丁威脅模型對對抗性攻擊的魯棒性。然而，對于其他威脅模型，這種經過認證的防御將嚴重影響模型在良性輸入上的性能。此外，其中一些防御措施對模型的架構施加了限制。

針對對抗性攻擊的其他類別的防御通常容易被攻擊者規避，并且根據用例和邊界條件，可能會產生錯誤的安全感。這是例如梯度混淆[71]的情況，一種梯度掩蔽，應該使攻擊優化步驟更難。

在防御后門攻擊方面，主要問題源于 AI 模型沒有其目標領域的先驗知識，而是從（可能是惡意的）訓練數據中學習這些知識。防御此類攻擊的一種有前途的方法是通過查看使用該數據訓練的深度神經網絡的內部工作原理來檢測惡意數據 [54]，并識別網絡行為與同一類別的其他數據樣本不同的樣本。這可能表明與正常數據樣本相比，網絡使用不同的特征來進行預測。到目前為止，這種方法只適用于部分情況。為了解決模型缺失先驗的問題，可能有必要通過人類專家知識在也使用 XAI 方法的交互式過程中包含此先驗。

2.4 人工智能系統的驗證

人工智能系統的驗證領域涉及在存在一系列輸入擾動的情況下證明不存在意外的輸出行為，這可能是由于自然變化或攻擊者故意引起的。因此，驗證可用于推理 AI 系統的安全性。然而，嚴格的證明面臨著重大障礙。由于輸入空間很大，要考慮的擾動數量可能是無限的，這使得蠻力方法不可行。此外，用于檢查邏輯約束的標準求解器（例如 SMT，[72;73]）由于其非線性而不能很好地擴展到 DNN，盡管它們在某種程度上可能有用。

解決這些問題的一個突出方法是基于抽象解釋技術，該技術已廣泛用于自動推理多年 [74]。它的主要思想是以有界的、有限的方式表示可能無限數量的狀態，這允許將其存儲在內存中并執行符號計算。

更準確地說，抽象解釋可以通過符號約束對所有可能的輸入擾動進行編碼來應用于 DNN，例如產生多面體。隨后，可以計算網絡層對該多面體的抽象影響。生成的形狀對與輸入集對應的所有可能輸出進行編碼，并可用于檢查要驗證的保證。在實踐中，為了使計算可行，編碼輸入的符號約束是真實數據流形的近似值（凸松弛）。因此，在近似精度和計算復雜度之間存在權衡。

迄今為止開發的驗證技術有幾個缺點，因此需要提出以下改進建議：

1.驗證主要針對輸入向量的每個元素在給定范圍內的隨機變化進行，直到最近才有幾何擾動（例如旋轉、平移）研究。這個范圍需要擴展到更多的語義擾動。

2.使用的松弛需要改進，以在精度和復雜性之間取得更好的平衡。在擴展擾動和任務集時，可能需要自定義松弛。

3.這些技術主要應用于前饋神經網絡的分類任務，需要泛化以涵蓋其他模型類型（例如 RNN）和其他任務（例如分割）。

4.最大的問題是方法的可擴展性。如果一個目標是提供 100% 的確定性保證，那么這些技術僅適用于中小型網絡（就 ReLU 單元的數量而言），與實踐中使用的大規模網絡相去甚遠。

為了從這些技術的全部潛力中受益，它們還可以用于事后驗證。特別是，一種稱為可認證訓練的方法 [75] 將它們與訓練相結合，以獲得可認證的防御。這也有助于解決該技術的可擴展性問題，因為新的網絡架構可以通過認證。

還表明，對抗性訓練有助于驗證，對抗性訓練和可認證訓練可以相關，并且主要在它們用于提高模型穩健性的信息上有所不同。最近的研究提出了一種將這兩種方法結合起來的方法 [76; 77]。

2.5 審計安全關鍵型人工智能系統

安全關鍵型人工智能系統是其決策受人工智能子系統影響的系統，其故障可能導致以下結果：人員死亡或嚴重傷害、設備或財產損失或嚴重損壞以及環境危害。例如，安全關鍵系統可以在航空、核能、汽車和鐵路、醫療和自主系統領域找到。對于這些系統，有必要證明它們滿足所需的要求，例如某些可預測的魯棒性和可靠性，并且它們的保證通常依賴于基于標準的證明。不幸的是，對于基于 ML 的系統，這是一個嚴重的問題：缺乏針對此類新技術的經過驗證的標準、政策和指導，例如諸如 IEC 61508 [17] 等安全規范性軟件標準并不完全適用于 AI 系統。

與無法應用現有方法的其他系統一樣，基于論證的方法（使用正式的結構化論證來證明某些特定聲明的正當性）可用作 AI 系統保證的結構化方式 [78; 79]。基于論證的方法的主要優點是在如何證明安全聲明方面具有相當大的靈活性。在確定未知領域的差距和挑戰時，這種靈活的方法是必要的。其中一種方法是 CAE（聲明、論證、證據）框架，它基于應用的自然語言演繹方法。 CAE 框架由三個部分組成：

• 聲明是為獲得普遍接受而提出的聲明（例如，關于系統安全/安全的聲明）。

• 將證據與主張聯系起來的論點。

• 作為索賠理由的證據。例如，證據的來源可以包括開發過程、先前的經驗、測試和正式的方法。

使用 CAE 框架，可以使用經典的和 AI 特定的方法以結構化的方式檢查給定的聲明。例如，經典的軟件分析方法對于分析實現 AI 系統的軟件代碼是必要的。另一方面，當涉及到與人工智能相關的定性方面時，例如對抗性攻擊，經典方法無法應用。通過使用反訴和確認理論 [78]，CAE 可以進一步擴展到包括基于論證的方法的一個有希望的變體，可廢止推理 [80]。它通過提示評估人員反復詢問為什么某物可能不安全的問題而不是僅僅尋找支持證據來減少確認偏差的可能性。

對于某些 AI 系統關鍵屬性，例如系統的魯棒性，缺少明確的正式定義作為任何形式驗證的先決條件。 CAE 可能有助于澄清這個開放的研究問題并努力定義這些屬性。

可以以某種方式證明，人工智能系統最常見的形式屬性是逐點魯棒性。然而，這個屬性的一個主要限制源于它并不暗示系統魯棒性屬性：逐點魯棒性僅證明特定數據樣本的給定屬性，但為了顯示系統魯棒性，有必要證明這一點對于所有未來的輸入，這在大多數使用 AI 系統的實際應用中是不可行的 [72]。

因此，目前無法在形式驗證級別上對 AI 系統進行全面審計。然而，靜態分析工具可用于防止錯誤從訓練代碼傳播到 ML 算法中，并有助于為系統的安全性提供基線。現有的 AI 審計良好實踐包括 [81-84]。

2.6 解釋黑盒 AI 模型

復雜的 AI 模型，例如深度神經網絡 (DNN)，通過在大型數據集上進行訓練來學習功能（參見第 2.1 節）。這些模型的內部工作原理以數學方式對學習的函數進行編碼，通常不適合人類解釋[85]。然而，出于多種原因，能夠解釋AI 模型的決策可能很重要。這些原因包括發現模型（以及實施它的硬件/軟件平臺）的錯誤、弱點和限制，這可能有助于提高其性能和對攻擊的魯棒性，以及滿足透明度要求，例如由歐盟通用數據保護條例，并從科學和經濟中的大型數據集中獲得新的見解。因此，需要新的方法來解釋復雜的人工智能模型，如神經網絡。相應的研究領域稱為 XAI（可解釋 AI）[86; 87]。

文獻中提出了各種解釋方法，以提供對 AI 模型不同方面的見解。一類方法旨在對模型進行全局解釋，例如，通過構建最大激活輸入 [88] 或通過研究單個神經元在深度神經網絡中的作用來分析編碼函數的極值點 [89]。雖然這些解釋確實提供了關于模型及其學習表示的有價值的信息，但它們對于理解個體預測幾乎沒有用處，即識別對模型決策產生積極或消極影響的輸入特征。本地 XAI 方法通過將相關性分數歸因于輸入特征來填補這一空白。存在不同的方法，大致可分為三類：

1.基于擾動的方法在對輸入數據應用擾動后評估模型輸出，并從發生的變化中得出解釋。這些擾動可以是無窮小的（例如，梯度）或相當粗糙的[90]，此外，它們可以表示為優化問題[91]。盡管應用起來很簡單，但這些方法有幾個缺點，例如在計算方面的要求很高（梯度不是這種情況），因為必須對模型輸出進行大量評估，并且可靠性有限，因為結果是對應用的擾動高度敏感（例如，擾動輸入可能不在輸入流形或梯度破碎問題上[92]）。

2.基于智能體的方法（例如 LIME，[93]）查詢相關模型以獲取大量輸入，并通過本質上可解釋的更簡單模型對其進行近似。然后可以推斷出對原始模型行為的解釋。這種方法帶來的問題是，一方面，解釋對輸入查詢的采樣方式和更簡單模型的擬合方式的依賴性，另一方面，查詢原始模型的計算工作量次數。

3.基于結構的方法（例如 LRP，[94]）使用網絡的內部結構來傳播從輸出到輸入數據的網絡層之間相關性的信息。這些方法的主要特定缺點是它們需要訪問模型的內部結構，因此與模型無關。然而，它們的計算強度遠低于其他方法，并且它們提供的解釋在一系列標準下得分更高（參見 [95]）。

為了更全面地了解模型實施的預測策略，可以聚合或聚類多個局部解釋[96]。其他方法作用于潛在空間而不是輸入特征，從而提供更高級概念的解釋，例如顏色、形狀和物體部分 [97]。

其中一些解釋方法，例如LRP 已被用于發現大型圖像數據集中的意外偏差。例如，他們揭開了所謂的 Clever Hans 分類器 [98] 的面紗，即（看似）做出正確決策但出于錯誤原因的模型，基于版權標簽識別馬匹或基于存在的肺炎 X 射線“便攜”標簽。在更一般的情況下，這種方法可用于檢測數據中的偏差并提高模型的泛化能力。

最近，XAI 方法已應用于 DNN 之外的其他模型結構，也用于可視化之外的目的（例如網絡修剪）。然而，要充分利用 XAI 的全部潛力來幫助研究人員獲得魯棒且值得信賴的模型，仍然存在許多挑戰。限制 XAI 在許多應用程序中的優勢的一個因素是，如果輸入特征本身不容易被人類解釋，則會出現解釋差距。上述解釋方法的另一個懸而未決的問題是，它們并非專門設計用于揭示多個輸入區域之間可能存在的相互作用，例如回答圖像中多個區域中的哪些像素組合有助于特定決策。最后，還不清楚如何在沒有人工干預的情況下將 XAI 最佳地集成到模型訓練中（例如，集成到損失函數中）以改進模型。

2.7 全球人工智能標準化活動概況

標準是描述人工智能系統統一技術要求和支持法律框架實施的一種行之有效的方法。它們還促進了人工智能創新的市場準入，并為人工智能系統營銷人員提供了一個用于人工智能系統開發和運營的清晰框架。例如，在德國，DIN 和 DKE 是主要的標準化機構，在 CEN、CENELEC 和 ETSI 等標準化組織中代表歐盟層面的國家利益，在 ISO、IEC 和 ITU 等組織中代表國際層面的國家利益。

關于本白皮書中討論的測試和審計人工智能系統的主題，出現了哪些人工智能質量標準需要獨立測試以及需要為此類測試程序本身開發哪些標準的問題。為了解決這種缺乏標準的問題，例如，在德國，以“Normungsroadmap KI”[99] 的形式提出了對人工智能領域現狀以及對標準和規范的需求的綜合分析。應該通過標準化解決的最重要的質量維度如圖 3 所示。

圖 3：將 AI 質量標準的類別分類到合規性測試中

表 1：本白皮書涵蓋的選定主題的人工智能領域的新興標準。有關更完整的概述，請參閱[99] 和 [117]。

然而，很明顯，技術測試（“產品測試”）領域仍有相當大的發展需求，特別是在神經網絡的驗證、安全關鍵系統的可靠安全論據以及進行這些測試的工具。因此，廣泛的標準化活動將在未來幾年繼續進行。德國項目“KI-Absicherung”[118]代表了如何解決自動駕駛主題的這種需求的一個突出例子。它由一個由研究機構、汽車制造商、供應商、標準化組織和相關公共機構（如德國 BSI）組成的聯盟管理，并正在就高度自動化的基于 AI 模塊的安全性驗證策略制定行業共識。

預計未來一段時間內將通過更多類似的燈塔項目和試點，出現更多的技術測試程序，并解決相應的標準化需求。

3 未解決的問題和有希望的方法

至少對于與安全相關的 cAI 應用程序，需要實現足夠水平的穩魯棒、安全性和可審計性，并且需要制定相應的技術指南和標準。當回顧該領域的最新技術時（參見白皮書的前幾節），很明顯，一方面，許多懸而未決的問題仍然存在，但另一方面，存在許多有希望的方案和方法解決或減少這些問題的影響。此后，將根據對 cAI 生命周期的修改描述來總結未解決的問題和有希望的方法（參見圖 4）：

圖 4：cAI 生命周期（參見圖 2），重點關注可審計性、IT 安全性背景下的開放性問題。

cAI 生命周期通常嵌入在整個系統生命周期中，根據具體的用例，包括多個 cIT 和 sAI 系統以及硬件設備，例如傳感器和執行器。從這個角度來看，在復雜且不斷變化的環境（漂移）中自主運行的機器永遠不會完全和最終確定，因此，不確定性和錯誤風險仍然存在。處理嵌入式 cAI 生命周期風險評估的第一種方法來自功能安全領域（[119; 120]，參見第 2.1 和 2.7 節）。為了定義分析、驗證人工智能系統的合適方法，首先有必要識別和理解它們的預期用途、任務和它們運行的??環境。每個特定用例都具有許多基本屬性，這些屬性用戶或監管機構期望作為系統的基本特征來實施，例如：魯棒性、安全性。在大多數情況下，任務和環境的正式定義和相關指標缺失或不完整。這有幾個不良后果，例如可接受的風險必須考慮受影響用戶的看法和意見。反過來，用戶和開發人員需要在相互之間的教育、培訓和溝通方面擁有堅實的基礎，以便在使用特定AI模型、ML算法、數據集和分析方法以及針對特定用例的進一步邊界條件方面做出明智的決定。

一個首要的開放問題是（通常是多方面的）系統所需特性之間的權衡，例如魯棒性、安全性和可審計性，一方面是人工智能模型、機器學習算法、數據和邊界條件的特征，例如模型復雜性、任務空間、可塑性、成本和性能。這些權衡限制了當前 AI 系統的可擴展性和通用性。舉個例子：1.增加模型復雜性，例如可能會對可解釋性和防御產生負面影響； 2. 增加任務空間大小會導致需要更大的訓練和測試數據集，這將使驗證變得復雜，并且更難滿足 IID 要求，而 IID 要求是訓練魯棒 AI 系統的重要先決條件； 3.加強防御往往會導致性能下降； 4. 在存在漂移的情況下保持 AI 系統的不變特性需要頻繁的重新訓練和測試，因此會增加成本； 5. 白盒模型和生命周期訪問以提高可審計性與知識產權利益的沖突； 6. 使用外部數據集和預訓練模型降低了成本，但會帶來新的漏洞，特別是對于難以檢測的后門攻擊。

研究已經提出了許多有前途的方法來解決多個層面的開放問題，例如。 1. 通過使用遷移和少樣本學習，重新訓練更加高效的系統，并且通過使用非參數和集成方法，考慮到調整元參數的需要。因此，至少對于低復雜度的模型，可塑性和穩定性可以很好地平衡； 2. 針對考慮自然和對抗性輸入性能的適當指標優化防御方法，有助于減少采用強防御方法時通常的性能下降； 3. 共享和元對抗訓練降低了處理普遍擾動的成本； 4. 盡管任務空間很大，但系統地使用合成和/或增強數據和模擬可以識別故障模式并強化人工智能系統； 5.在一定程度上抽象解釋和可證明訓練允許驗證具有更大任務空間的人工智能系統； 6. CAE 和可廢止推理等基于論證的方法允許在現有方法無法應用的情況下審計 AI 系統； 7. 利用人類先驗可以提高人工智能系統的可解釋性，并通過混合模型使人工智能系統更加健壯； 8. 通過使用解釋方法檢測數據集中的異常值、拒絕訓練期間的負面影響和相關方法（RONI，[121]）或使用 bagging 集成 [122]，通過數據清理來防御后門攻擊； 9. 如果白盒訪問不可行，替代模型和替代數據集至少在某些情況下可用于提高審計質量，例如產生高質量的攻擊情況下； 10. 加密方法和信任鏈可用于確保供應鏈中數據和模型的完整性。此外，可以使用這些方法的組合。

盡管有所有這些和其他有前途的方法，但必須牢記，未來任務、模型和數據集的復雜性很可能會增加，需要更強大的方法。

4 確定可審計人工智能系統的工作重點

迄今為止，還沒有一套普遍適用的標準和工具可用于保護 AI 系統，從而可以通過嚴格的方式證明足夠低的錯誤概率。本白皮書認為，存在兩種通用策略來獲得可審計、安全和安全的 AI 系統（參見圖 5）：

圖 5：在嘗試達到可接受的 IT 安全性、審計質量、魯棒性和可驗證性水平時必須考慮的多方面權衡。可實現的水平取決于多個邊界條件，例如任務復雜性和模型復雜性。對于給定的邊界條件，通過研發的技術進步可能允許例如實現更高的 IT 安全級別和/或改進的可審計性，但到目前為止，這僅在有限的范圍內起作用。

1.為給定任務創建有利的邊界條件：對開發人員和用戶進行適當的培訓以及雙方之間充分的信息交流，可以明確定義任務和可接受的邊界條件。如果將 AI 系統嵌入更大的 IT 和/或機器人系統，這構成了在 AI 系統的開發過程以及部署和操運行期間進行明智選擇的基礎。在極端情況下，開發人員或用戶可能會得出結論，必須針對特定用例完全禁止使用 AI 技術，例如：出于安全考慮。否則，根據用例，限制任務空間和限制 AI 模型的復雜性可能會帶來更好的可審計性和更安全的 AI 系統 [123]。此外，多種技術和組織措施的結合，以及根據知識產權考慮，在整個生命周期內對 cAI 模型和數據進行白盒訪問以進行評估，很可能會提高可審計性并有助于安全性。

2.投資研發以推進可用技術，最終在復雜的邊界條件下實現安全可靠的人工智能系統，從而提高可擴展性和通用性。示例包括：a) 在 AI 系統的所有安全相關方面制定適當的指標。它們有助于最大限度地減少權衡的影響，例如性能和防御強度之間的權衡； b) 結合魯棒的模型和檢測算法，在保持高性能的同時拒絕可能的惡意輸入； c）通過例如包含人類先驗混合模型以提高可解釋性； d) 高效生成大量高質量攻擊，作為開發對抗性訓練等有效防御方法的基礎； e) 生成大量高質量的真實合成數據，為 IID 數據集做出貢獻，作為訓練魯棒 AI 系統的基礎； f) 真實模擬與真實世界評估的結合，以及 g) 使用多個冗余但質量不同的系統，例如cAI、cIT 和 sAI 系統的組合。

應高度重視這兩種策略，同時在第一步中，重點關注選定的安全關鍵用例。應利用可用的標準、指南和工具（參見本白皮書的其余部分），并應進一步促進研究人員和行業之間的跨學科交流 [124] 以找到可用標準和工具的最佳組合，以實現可審計、安全和針對特定用例的強大人工智能系統。必須根據它們在各自用例中的實際利益和可行性來評估這些標準和工具。然后，在第二步中，應該使用來自這些用例的見解來概括結果并構建一個模塊化工具箱，該工具箱隨后可以應用于其他用例。在此基礎上，首先應制定技術指南和隨后的標準。在理想情況下，結果將是一套普遍適用的標準和工具，使人工智能系統具有足夠的可審計性、安全性和可靠性。

致謝

我們要感謝 Aleksander M?dry（麻省理工學院）的精彩演講以及整個研討會期間的重要評論和推動。我們還要感謝在研討會之前、期間和之后為討論做出貢獻的所有研討會參與者。我們還要感謝 VdTüV 的 Maria Sürig 和弗勞恩霍夫 HHI CINQ 中心的 Jennifer Chyla 為研討會的組織做出的重要貢獻。

圖機器學習在學術界和工業界都得到了廣泛的研究。然而，隨著圖學習相關文獻的不斷涌現，涌現出大量的方法和技術，手工設計出針對不同圖相關任務的最優機器學習算法變得越來越困難。為了解決這一問題，自動圖機器學習(automated graph machine learning)正受到越來越多的研究領域的關注，它旨在為不同的圖任務/數據在沒有人工設計的情況下發現最佳的超參數和神經結構配置。在本文中，我們廣泛地討論了自動化圖機器方法，包括超參數優化(HPO)和神經結構搜索(NAS)的圖機器學習。我們將分別簡要介紹現有的用于圖機器學習和自動機器學習的庫，并進一步深入介紹AutoGL，這是我們專門的、也是世界上第一個用于自動圖機器學習的開源庫。最后，我們分享了對自動圖機器學習未來研究方向的見解。這篇論文是第一個系統和全面的討論的方法，庫以及自動化圖機器學習的方向。

//www.zhuanzhi.ai/paper/40c22aa30f77abb145fb4ccdd5e0424d

圖數據在我們的日常生活中無處不在。我們可以使用圖表來模擬實體之間的復雜關系和依賴關系，從物理模擬中的蛋白質和粒子中的小分子到全國性的大型電網和全球航空公司。因此，圖機器學習，即圖上的機器學習，一直是學術界和業界[1]的重要研究方向。其中，網絡嵌入[2]、[3]、[4]、[5]和圖神經網絡(GNN)[6]、[7]、[8]在近十年來受到越來越多的關注。它們已成功應用于推薦系統[9]、[10]、欺詐檢測[11]、生物信息學[12]、[13]、物理模擬[14]、交通預測[15]、[16]、知識表示[17]、藥物再利用[18]、[19]和Covid-19大流行預測[20]。

盡管圖機學習算法非常流行，但現有文獻中大量使用人工超參數或架構設計來獲得最佳性能，導致在各種圖任務中出現大量模型時耗費大量人力。以GNN為例，僅在2021年的頂級機器學習和數據挖掘會議上，就至少有100個新的通用架構被發表，更不用說針對特定任務的設計的跨學科研究了。如果我們在設計目標任務的最優算法時堅持手工嘗試和錯誤的范式，就不可避免地需要更多的人力。

另一方面，自動機器學習(AutoML)已被廣泛研究，以減少開發和部署機器學習模型[21]，[22]的人力。完整的AutoML管道有潛力實現機器學習的每一步自動化，包括自動數據收集和清洗、自動特征工程、自動模型選擇和優化等。由于深度學習模型的普及，超參數優化(HPO)[23]、[24]、[25]、[26]和神經結構搜索(NAS)[27]、[28]研究最為廣泛。AutoML在計算機視覺[32]，[33]等領域幾乎沒有人的指導，但它的性能已經達到或超過了人類水平[29]，[30]，[31]。

自動圖機器學習結合AutoML和圖機器學習的優點，自然成為進一步提高模型性能的一個很有前途的研究方向，引起了社會各界越來越多的興趣。在本文中，我們系統地概述了自動化圖機器學習的方法，介紹了相關的公共庫以及世界上第一個用于自動化圖機器學習的開源庫AutoGL，并分享了我們對挑戰和未來研究方向的見解。

我們特別關注兩個主要課題: 圖機器學習的HPO和NAS。對于HPO，我們關注的是如何開發可擴展的方法。對于NAS，我們遵循文獻，從搜索空間、搜索策略和性能評估策略等方面比較不同的方法。簡要介紹了近年來自動化圖學習在架構池化、結構學習、加速器和關節軟硬件設計等方面所取得的成果。此外，還討論了如何用不同的方法解決AutoML在圖上的挑戰。然后，我們回顧了與自動圖機器學習相關的庫，并討論了第一個用于自動圖機器學習的專用框架和開源庫AutoGL。重點介紹了AutoGL的設計原則，并簡要介紹了它的使用方法，這些方法都是專門為圖上的AutoML而設計的。最后，我們指出了圖HPO和圖NAS的潛在研究方向，包括但不限于可擴展性、可解釋性、分布外泛化、魯棒性和硬件感知設計等。我們相信本文將極大地促進和進一步促進自動圖機器學習在學術界和工業界的研究和應用。

本文的其余部分組織如下。在第二節中，我們通過簡要介紹圖機器學習和AutoML的基本公式來介紹自動圖機器學習的基礎和初步。我們在第3節全面討論了基于HPO的圖機器學習方法，在第4節全面討論了基于NAS的圖機器學習方法。然后，在5.1節中，我們概述了與圖機器學習和自動機器學習相關的庫，并深入介紹了AutoGL，這是我們專門為自動圖機器學習定制的開源庫，也是世界上第一個。最后但并非最不重要的是，我們在第6節概述了未來的研究機會，并在第7節總結了整個論文。

圖自動機器學習

自動圖機器學習是AutoML和圖機器學習的有力結合，它面臨著以下挑戰:

• 圖機器學習的獨特性: 與具有網格結構的音頻、圖像或文本不同，圖數據位于非歐氏空間[35]。因此，圖機器學習通常具有獨特的架構和設計。例如，典型的NAS方法專注于卷積和循環操作的搜索空間，這與GNNs[36]的構建塊不同。

• 圖任務的復雜性和多樣性: 如上所述，圖任務本身是復雜和多樣化的，從節點級到圖級問題，具有不同的設置、目標和約束[37]。如何將恰當的歸納偏誤和領域知識集成到圖的AutoML方法中是必不可少的。

• 可擴展性: 許多真實的圖，如社交網絡或Web，都具有令人難以置信的規模，具有數十億個節點和邊[38]。另外，圖中的節點是相互連通的，不能作為獨立的樣本。為圖設計可擴展的AutoML算法提出了重大的挑戰，因為圖機器學習和AutoML都因計算密集而備受詬病。

在后面的章節中，我們將回顧使用HPO或NAS來進行圖機器學習的方法，其目標是處理這三個挑戰中的至少一個。因此，我們將從兩個方面討論自動圖機器學習的方法: i)用于圖機器學習的HPO和 ii)用于圖機器學習的NAS。

未來方向

我們已經討論了現有的關于自動圖機器學習方法和庫的文獻。我們詳細討論了HPO和NAS如何應用于圖機器學習，以處理自動圖機器學習中的問題。我們還介紹了AutoGL，一個用于自動圖形機器學習的專用框架和庫。在本節中，我們將提出未來值得學術界和工業界進一步研究的方向。這里存在著許多值得未來探索的挑戰和機遇。

• 可擴展性: AutoML已經成功地應用于各種圖的場景，但在大規模圖的可擴展性方面仍有許多值得進一步研究的方向。一方面，雖然文獻[39]對大規模圖機學習的HPO進行了初步探索，但模型中使用的貝葉斯優化算法效率有限。因此，如何降低計算成本，實現快速超參數優化將是一個有趣且具有挑戰性的課題。另一方面，盡管大規模圖的應用在現實世界中非常普遍，但NAS用于圖機器學習的可擴展性卻很少受到研究者的關注，這為進一步的探索留下了很大的空間。

• 可解釋性: 現有的自動圖機器學習方法主要基于黑盒優化。例如，目前還不清楚為什么某些NAS模型比其他模型表現得更好，NAS算法的可解釋性還缺乏系統的研究。對于圖機器學習的可解釋性[135]，以及通過超參數重要性去相關的可解釋性圖超參數優化[40]，已有一些初步的研究。然而，進一步深入研究自動圖機器學習的可解釋性仍具有重要意義。

• 分布外泛化: 當應用到新的圖數據集和任務時，仍然需要大量的人力來構建特定于任務的圖HPO配置和圖NAS框架，例如空間和算法。當前的圖HPO配置和NAS框架的泛化是有限的，特別是訓練和測試數據來自不同的分布[136]。研究能夠處理連續快速變化任務的圖HPO算法和圖NAS算法的非分布泛化能力將是一個很有前途的方向。

• 魯棒性: 由于AutoML在圖上的許多應用是風險敏感的，例如金融和醫療保健，模型的健壯性對于實際使用是必不可少的。雖然對圖機器學習的魯棒性有一些初步的研究[137]，但如何將這些技術推廣到自動圖機器學習中還沒有進行探討。

• AutoML的圖模型: 在本文中，我們主要關注如何將AutoML方法擴展到圖。另一個方向，即使用圖形來幫助AutoML，也是可行的和有前途的。例如，我們可以將神經網絡建模為有向無環圖(DAG)來分析其結構[138]、[93]，或者采用gnn來促進NAS[90]、[139]、[140]、[141]。最終，我們期望圖和AutoML形成更緊密的連接，并進一步相互促進。

• 硬件感知模型: 為了進一步提高自動圖機器學習的可擴展性，硬件感知模型可能是一個關鍵步驟，特別是在真實的工業環境中。硬件感知的圖模型[142]和硬件感知的AutoML模型[143]、[144]、[145]都已經進行了研究，但這些技術的集成仍處于早期階段，面臨著巨大的挑戰。

• 綜合評價協議: 目前，大多數AutoML在圖上是在小型的傳統基準上進行測試的，如三個引文圖，即Cora、CiteSeer和PubMed[119]。然而，這些基準被認為不足以比較不同的圖機器學習模型[146]，更不用說圖上的AutoML了。需要更全面的評估協議，例如，最近提出的圖機器學習基準[37]，[147]，或新的專用圖AutoML基準類似于NAS-bench系列[148]。

在過去十年中，自動駕駛在研發方面取得了重大的里程碑。人們有興趣在道路上部署自行操作車輛，這預示著交通系統將更加安全和生態友好。隨著計算能力強大的人工智能（AI）技術的興起，自動駕駛車輛可以高精度地感知環境，做出安全的實時決策，在沒有人為干預的情況下運行更加可靠。

然而，在目前的技術水平下，自動駕駛汽車中的智能決策通常不為人類所理解，這種缺陷阻礙了這項技術被社會接受。因此，除了做出安全的實時決策外，自動駕駛汽車的AI系統還需要解釋這些決策是如何構建的，以便在多個政府管轄區內符合監管要求。

該研究為開發自動駕駛車輛的可解釋人工智能（XAI）方法提供了全面的信息。首先，全面概述了目前最先進的自動駕駛汽車行業在可解釋方面存在的差距。然后，展示該領域中可解釋和可解釋受眾的分類。第三，提出了一個端到端自動駕駛系統體系結構的框架，并論證了XAI在調試和調控此類系統中的作用。最后，作為未來的研究方向，提供自主駕駛XAI方法的實地指南，提高操作安全性和透明度，公開獲得監管機構、制造商和所有密切參與者的批準。

//www.zhuanzhi.ai/paper/9810a4af041ac0189ca8750d0a25958c

本文回顧了機器學習中的隱私挑戰，并提供了相關研究文獻的關鍵概述。討論了可能的對抗性模型，討論了與敏感信息泄漏相關的廣泛攻擊，并突出了幾個開放的問題。

//ieeexplore.ieee.org/document/9433648

引言

像谷歌、微軟和亞馬遜這樣的供應商為客戶提供軟件接口，方便地將機器學習(ML)任務嵌入他們的應用程序。總的來說，機構可以使用ML-as-a-service (MLaaS)引擎來處理復雜的任務，例如訓練分類器、執行預測等。他們還可以讓其他人查詢根據他們的數據訓練的模型。當然，這種方法也可以用于其他環境，包括政府協作、公民科學項目和企業對企業的伙伴關系。不幸的是，如果惡意用戶恢復用于訓練這些模型的數據，由此產生的信息泄漏將產生嚴重的問題。同樣地，如果模型的參數是秘密的或被認為是專有的信息，那么對模型的訪問不應該讓對手知道這些參數。在這篇文章中，我們研究了這一領域的隱私挑戰，并對相關的研究文獻進行了系統的回顧。

我們討論的是可能的對抗性模型和設置，其中涵蓋了與私人和/或敏感信息泄漏相關的廣泛攻擊，并簡要調研了最近的結果，試圖防止此類攻擊。最后，我們提出了一個需要更多工作的開放式問題列表，包括需要更好的評估、有針對性的防御，以及研究與策略和數據保護工作的關系。

機器學習隱私

任何系統的安全性都是根據其設計用來防御的敵對目標和能力來衡量的;為此目的，現在討論了不同的威脅模型。然后，本文試圖在ML中提供隱私的定義，重點討論在“攻擊”一節中詳細討論的不同類型的攻擊。

總的來說，我們關注的是模型的隱私。(注意，對抗樣例和整體魯棒性問題超出了本文的范圍。)在本節中，將討論與提取有關模型或訓練數據的信息相關的對抗目標。

當模型本身代表知識產權時，例如在金融市場系統中，模型及其參數應保持私有。在其他情況下，必須保存訓練數據的隱私，例如在醫療應用中。無論目標是什么，攻擊和防御都與暴露或防止暴露模型和訓練數據有關。

攻擊者可能擁有的訪問類型可以是： ■ 白盒，其中對手有關于模型或其原始訓練數據的一些信息，如ML算法、模型參數或網絡結構;或者總結、部分或全部的培訓數據。 ■ 黑盒，對手對模型一無所知。相反，他/她可以通過提供一系列精心設計的輸入和觀察輸出來探索一個模型。

一個需要考慮的變量是攻擊可能發生的時候:

■ 訓練階段: 在這個階段，對手試圖學習模型，例如，訪問摘要、部分或全部訓練數據。他/她可能會創建一個替代模型(也稱為輔助模型)來對受害者的系統進行攻擊。

■ 推理階段: 在這個階段，對手通過觀察模型的推理來收集關于模型特征的證據。

最后，我們可以區分被動攻擊和主動攻擊:

■ 被動攻擊: 在這種類型的攻擊中，對手被動地觀察更新并執行推理，例如，不改變訓練過程中的任何東西。

■ 主動攻擊: 在這種類型的攻擊中，對手主動改變他/她的操作方式，例如，在聯邦學習的情況下，通過使用連接到最后一層的增強屬性分類器擴展他們的協作訓練模型的本地副本。

目前，深度神經網絡廣泛應用于醫療、自動駕駛汽車、軍事等直接影響人類生活的關鍵任務系統。然而，深度神經網絡的黑箱特性對其在關鍵任務應用中的應用提出了挑戰，引發了道德和司法方面的擔憂，導致信任缺失。可解釋人工智能(XAI)是人工智能(AI)的一個領域，它促進了一套工具、技術和算法，可以生成高質量的可解釋的、直觀的、人類可以理解的人工智能決策解釋。除了在深度學習中提供當前XAI景觀的整體視圖外，本文還提供了開創性工作的數學總結。首先，我們根據XAI技術的解釋范圍、算法背后的方法論以及有助于構建可信、可解釋和自解釋的深度學習模型的解釋級別或用法，提出了一種分類和分類方法。然后，我們描述了在XAI研究中使用的主要原則，并給出了2007年至2020年XAI里程碑式研究的歷史時間表。在詳細解釋了每一類算法和方法之后，我們對8種XAI算法在圖像數據上生成的解釋圖進行了評估，討論了該方法的局限性，并為進一步改進XAI評估提供了潛在的方向。

基于人工智能(AI)的算法，尤其是使用深度神經網絡的算法，正在改變人類完成現實任務的方式。近年來，機器學習(ML)算法在科學、商業和社會工作流的各個方面的自動化應用出現了激增。這種激增的部分原因是ML領域(被稱為深度學習(DL))研究的增加，在深度學習中，數千(甚至數十億)個神經元參數被訓練用于泛化執行特定任務。成功使用DL算法在醫療(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],發育障礙(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主機器人和車輛(You2019、Grigorescu2019 Feng2020],在圖像處理的分類和檢測[Sahba2018 Bendre2020Human], 在語音和音頻處理(Boles2017, Panwar2017),網絡安全(Parra2020Detecting, Chacon2019Deep), 還有更多DL算法在我們日常生活中被成功應用。

深度神經網絡中大量的參數使其理解復雜，不可否認地更難解釋。不管交叉驗證的準確性或其他可能表明良好學習性能的評估參數如何，深度學習(DL)模型可能天生就能從人們認為重要的數據中學習表示，也可能無法從這些數據中學習表示。解釋DNNs所做的決策需要了解DNNs的內部運作，而非人工智能專家和更專注于獲得準確解決方案的最終用戶則缺乏這些知識。因此，解釋人工智能決策的能力往往被認為是次要的，以達到最先進的結果或超越人類水平的準確性。

對XAI的興趣，甚至來自各國政府，特別是歐洲通用數據保護條例(GDPR) [AIHLEG2019]的規定，顯示出AI的倫理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics]， trust [Weld2019, Lui2018, Hengstler2016]， bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要實現，以及對抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺騙分類器決策方面的影響。在[Miller2019]， Miller等人描述了好奇心是人們要求解釋具體決策的主要原因之一。另一個原因可能是為了促進更好的學習——重塑模型設計并產生更好的結果。每種解釋都應該在相似的數據點上保持一致，并且隨著時間的推移對同一數據點產生穩定或相似的解釋[Sokol2020]。解釋應該使人工智能算法表達，以提高人類的理解能力，提高決策的信心，并促進公正和公正的決策。因此，為了在ML決策過程中保持透明度、信任和公平性，ML系統需要一個解釋或可解釋的解決方案。

解釋是一種驗證人工智能代理或算法的輸出決策的方法。對于一個使用顯微圖像的癌癥檢測模型，解釋可能意味著一個輸入像素的地圖，這有助于模型輸出。對于語音識別模型，解釋可能是特定時間內的功率譜信息對當前輸出決策的貢獻較大。解釋也可以基于參數或激活的訓練模型解釋或使用代理，如決策樹或使用梯度或其他方法。在強化學習算法的背景下，一個解釋可能會給出為什么一個代理做了一個特定的決定。然而，可解釋和可解釋的人工智能的定義通常是通用的，可能會引起誤解[Rudin2019]，應該整合某種形式的推理[Doran2018]。

AI模型的集合，比如決策樹和基于規則的模型，本質上是可解釋的。但是，與深度學習模型相比，存在可解釋性與準確性權衡的缺點。本文討論了研究人員解決深度學習算法可解釋性問題的不同方法和觀點。如果模型參數和體系結構是已知的，方法可以被有效地使用。然而，現代基于api的人工智能服務帶來了更多的挑戰，因為該問題的相對“黑箱”(Castelvecchi2016)性質，即終端用戶只掌握提供給深度學習模型的輸入信息，而不是模型本身。

在這個綜述中，我們提供了一個可解釋算法的全面概述，并將重要事件的時間軸和研究出版物劃分為三個定義完好的分類，如圖1所示。不像許多其他的綜述，只分類和總結在一個高水平上發表的研究，我們提供額外的數學概述和算法的重大工作在XAI領域。調查中提出的算法被分成三個定義明確的類別，下面將詳細描述。文獻中提出的各種評價XAI的技術也進行了討論，并討論了這些方法的局限性和未來的發展方向。

我們的貢獻可以概括如下:

• 為了系統地分析深度學習中可解釋和可解釋的算法，我們將XAI分類為三個定義明確的類別，以提高方法的清晰度和可訪問性。

• 我們審查，總結和分類的核心數學模型和算法，最近XAI研究提出的分類，并討論重要工作的時間。

• 我們生成并比較了八種不同XAI算法的解釋圖，概述了這種方法的局限性，并討論了使用深度神經網絡解釋來提高信任、透明度、偏差和公平的未來可能的方向。

基于協同過濾(CF)的潛在因素模型(LFM)，如矩陣分解(MF)和深度CF方法，由于其良好的性能和推薦精度，在現代推薦系統(RS)中得到了廣泛的應用。盡管近年來取得了巨大的成功，但事實表明，這些方法易受對抗性例子的影響，即，這是一種微妙但非隨機的擾動，旨在迫使推薦模型產生錯誤的輸出。這種行為的主要原因是，用于LFM訓練的用戶交互數據可能會受到惡意活動或用戶誤操作的污染，從而導致不可預測的自然噪聲和危害推薦結果。另一方面，研究表明，這些最初設想用于攻擊機器學習應用程序的系統可以成功地用于增強它們對攻擊的魯棒性，以及訓練更精確的推薦引擎。在這方面，本調查的目標有兩方面:(i)介紹關于AML-RS的最新進展，以保障AML-RS的安全性。(ii)展示了AML在生成對抗網絡(GANs)中的另一個成功應用，生成對抗網絡(GANs)使用了AML學習的核心概念(即用于生成應用程序。在這項綜述中，我們提供了一個詳盡的文獻回顧60篇文章發表在主要的RS和ML雜志和會議。這篇綜述為RS社區提供了參考，研究RS和推薦模型的安全性，利用生成模型來提高它們的質量。