一、超越負責任的人工智能：實現可審計人工智能的 8 個步驟

在當今的訴訟環境中，人工智能驅動的商業決策必須不僅僅是可解釋的、合乎道德的和負責任的；我們需要可審計的人工智能。

您的 AI 能否通過監管機構？

隨著主流商業世界從人工智能的理論使用轉向生產規模的決策，可審計的人工智能是必不可少的，因為它包含的不僅僅是負責任的人工智能（強大、可解釋、合乎道德和高效的人工智能）的原則。可審計的 AI 還提供通過監管審查所需的文件和記錄，其中可能包括以下問題：

• 什么數據用于構建機器學習模型？數據是否代表生產環境？如果/當它們在開發階段被發現時，如何解決數據偏差？
• 模型中使用的派生變量是什么？他們有偏見嗎？治理團隊是否批準在模型中使用變量？
• 利用了哪些特定的機器學習算法？它們是否適合正在解決的數據和問題？
• 模型是否完全可解釋，具有解釋模型做出的自動決策的準確原因代碼，對模型用戶和受影響方都可解釋？
• 該模型是否設計為可解釋的？推動結果的潛在特征是什么？他們是否進行了偏見測試？
• 對模型進行了哪些穩定性測試，以了解和糾正生產數據的變化？
• 是否有特定的監控要求來確保監控數據漂移、性能漂移和倫理治療漂移？
• 當生產客戶數據從模型訓練的內容轉移時，有哪些不起眼的 AI權宜之計可以降級到更安全的模型？
• 模型如何感知對抗性 AI攻擊以及如何響應？

為什么可審計性很重要

需要注意的是，盡管“審計”一詞具有事后的含義，但可審計的 AI 強調在模型構建期間和模型投入生產之前制定（和使用）明確規定的工作記錄。

可審計人工智能通過在模型生產過程中創建公司記錄的開發治理標準的審計跟蹤，使負責任的人工智能成為現實。這可以避免在模型開發完成后進行隨意的事后探測。還有額外的好處；通過盡早準確地了解模型何時出偏差，以便快速補救，公司可為自己省去無盡的痛苦，避免當人工智能在數據科學實驗室之外出現問題時發生的聲譽損害和訴訟。

可審計的人工智能可以幫助防止法律挑戰

法律成本、聲譽受損和客戶不滿只是受到 AI 倡導團體審查的沉重成本中的一小部分，而可審計的 AI 可以幫助防止所有這些成本。采用可審計人工智能將通過在整個模型開發過程中記錄關鍵決策和結果來確保公司的人工智能標準得到遵循和執行。

盡管建立必須衡量、審查和批準的精確信息并非易事，但這樣做會給公司帶來兩個寶貴的優勢：

• 他們可以永久保存模型開發信息，以供以后審查和審計（由于數據科學人員流動性特別重要）。
• 使模型構建能夠自信地進行，因為它們遵守公司的書面標準和“護欄”，以防止出現偏差。

構建可審計人工智能的步驟

如果沒有嚴格的模型開發標準和指導方針，公司就很難出具始終如一地跟蹤合規性的審計報告，以及用于確保投入生產的模型公平、公正和安全的關鍵數據。

在某些情況下，模型治理的關鍵部分簡單而令人不安地沒有得到解決。從研究模式到生產模式的轉變需要數據科學家和公司有一個明確的標準。創新應該由 Highlander Principal 推動（“只能有一個”），因此您的組織在開發可審計的 AI 時需要提出以下問題：

• 當今的分析組織結構如何？是有一個領導者，還是有多個領導者矩陣？如果是后者，他們之間的協調程度如何，或者他們將如何相互協調？
• 現有的分析型領導者治理委員會是如何構成的？如何決定什么構成 AI 算法的可接受性以及公司圍繞使用 AI 的理念？標準將如何記錄？
• 負責任的人工智能是如何解決的？是否有積極的監測計劃？它是如何運作的？不可變的區塊鏈技術是否被用于保存每個模型如何滿足標準記錄系統，這個系統是否持續存在于個人數據科學家和組織變動之外？
• 數據道德計劃和數據使用政策的狀態如何？如何測試和使用合成數據？正在進行什么樣的穩定性測試以確保模型能夠在不斷變化的生產環境中有效運行？
• 人工智能開發標準是什么？提供了哪些工具和資產？哪些算法是允許的，哪些不是？從模型操作的角度來看，可審計 AI越來越需要標準工具和標準變量庫。這些選擇是如何做出和維持的？是否有通用代碼庫和日常回歸測試？如何提取和測試學習到的潛在特征的適用性、穩定性和偏差？
• 公司如何實現道德人工智能？組織中允許使用哪些 AI 技術，如何對其進行測試以確保其適合市場？今天是否對每個模型進行了監控，如果有，監控的是什么？理想情況下，這包括數據漂移、性能漂移和倫理治療漂移。什么是預設的閾值以指示何時不應再使用模型？
• 公司圍繞人工智能研究的理念是什么？公司是否努力證明其具有創造性，表明其對人工智能投資的更高風險的容忍度？還是該公司更保守，希望確保它使用的是受監管且易于監控的成熟技術？或者它會采取一種混合方法，一個團隊負責展示人工智能的潛在藝術，另一個團隊將其付諸實踐？
• 公司的 AI 是否符合道德規范？是否將一些高風險模型置于“負責任的人工智能”的保護下，而受到監管，而另一些根本不符合“負責任的人工智能”標準？這些分界線是如何設置的？在人工智能的發展過程中不負責可以嗎？如果是這樣，什么時候？

誠然，有無數問題需要回答，實現可審計 AI 似乎令人生畏。但是已經有可以很容易采用的最佳實踐框架和方法，提供關鍵的構建模塊。如今，大多數組織都在將 AI 部署到一個充滿風險的空白中，因此真正迫切需要實施可審計的 AI。人工智能的未來，以及我們所知道的商業世界，都取決于這種強大的技術以同樣強大的方式進行管理和監控。

二、德國聯邦信息安全局等十余個單位聯合發布《邁向可審計人工智能系統：現狀和未來方向》的白皮書

0 執行總結

人工智能 (AI) 系統作為決策和控制系統的一部分在各種應用中發揮著越來越大的作用，其中包括移動、生物識別和醫學等安全和安全關鍵應用領域。與傳統 IT 技術相比，深度神經網絡等 AI 技術的使用提供了新的機會，例如卓越的性能。同時，它們在 IT 安全性、魯棒性和可信賴性等方面提出了新的挑戰。為了應對這些挑戰，需要一個普遍認可的人工智能系統審計框架。這應該包括評估策略、工具和標準，但這些要么正在開發中，要么尚未準備好投入實際使用。

本白皮書首先總結了 AI 系統的機遇和挑戰，然后介紹了 AI 系統可審計性的最新技術，重點關注 AI 生命周期、在線學習和存在漂移、對抗，毒化攻擊、后門的模型維護等，和針對這些攻擊的防御、驗證、安全關鍵型 AI 系統可審計，黑盒 AI 模型可解釋和 AI 標準化。

盡管所有這些方面都取得了實質性進展，但一個首要的開放問題是（通常是多方面的）系統所需特性之間的權衡，例如一方面是魯棒性、安全性和可審計性，另一方面是 AI 模型、ML 算法、數據和進一步邊界條件的特征。這些權衡限制了當前 AI 系統的可擴展性和通用性。

為了最終以安全、可靠、穩健和可信賴的方式利用人工智能技術的機會，應結合兩種策略： 1. 考慮到上述權衡，應為給定任務選擇有利的邊界條件； 2. 應通過對研發的大量投資來推進現有技術，以最終在復雜的邊界條件下允許安全的人工智能系統，從而提高可擴展性和普遍性。第一步，應該關注選定的安全關鍵用例。應利用可用的標準、指南和工具，并進一步促進研究人員和行業之間的跨學科交流，以找到可用標準和工具的最佳組合，為每個特定用例實現可審計、安全和強大的人工智能系統。然后，在第二步中，應該使用來自這些用例的見解來概括結果并構建一個模塊化工具箱，該工具箱隨后可以應用于其他用例。在此基礎上，首先應制定技術指南和隨后的標準。在理想情況下，結果將是一套普遍適用的標準和工具，使人工智能系統具有足夠的可審計性、安全性和可靠性。

1 人工智能系統：機遇與挑戰

人工智能 (AI) 技術已經在許多應用中普遍存在，它正日益成為我們世界不可或缺的一部分，因為它是決策或控制系統無數應用的基礎（圖 1）。人工智能系統可能由多個子系統組成，每個子系統都可能使用不同的技術。技術可分為經典 IT (cIT)、符號 AI (sAI) 和連接主義 AI (cAI)。在這里，重點放在（深度）神經網絡和機器學習（ML）形式的 cAI 系統上，因為 cAI 系統在質量上表現出新的漏洞，并且到目前為止，還不能通過 cIT 的可用工具進行充分審計。

圖 1：人工智能系統已經成為各種應用中決策和控制系統的一部分，例如自動駕駛汽車、醫療保健和生物識別技術。 Connectionist AI（cAI，例如神經網絡）、符號 AI（sAI，例如決策樹）和經典 IT (cIT) 模塊通過傳感器和執行器相互交互并與環境交互，從而導致整體系統行為。在這里，我們只關注單個 cAI 模塊（粗體字）。

人工智能用于計算機游戲和語音助手系統等應用程序，以及駕駛員輔助系統、入侵檢測系統和醫療診斷等安全關鍵應用程序 [1-4]。后一個用例表明，責任和義務從人類轉移到了安全和安保關鍵系統中的人工智能系統。因此，出現故障的人工智能系統可能會導致嚴重后果，導致經濟損失甚至影響人類健康。在極端情況下，這可能包括因不適當或缺少醫療而導致車禍或嚴重醫療狀況的死亡。在許多應用中，當前的人工智能系統在性能、用戶體驗和成本方面都大大優于 cIT 技術。盡管人工智能技術提供了這些和其他巨大的機會，但它的應用也帶來了一些挑戰 [5-9]：例如，神經網絡 (NN) 的內部工作原理由于其高度互連的非線性而很難被人類解釋。處理元素及其巨大的輸入和狀態空間。此外，它們的性能高度依賴于數據的數量和質量，因為它們的參數必須通過 ML 算法進行訓練。 NN 訓練不遵循明確定義的設計流程，NN 具有質量上的新漏洞，用戶經常缺乏信任，并且 NN 可能被攻擊者用作攻擊工具。

因此，為了應對 AI 的這些安全和安保挑戰，必須深入了解 AI 系統的運作方式、為什么它們在某些情況下表現良好但在其他情況下失敗，以及它們如何受到攻擊和保護免受攻擊。為了獲得用戶的信任，必須在實際定義的邊界條件下保證人工智能系統的正常運行。對于“經典”技術，法律要求在飛機控制軟件等多個領域提供此類保證，并且需要定期進行審計。一個自然的問題是如何將傳統 IT 領域的概念和方法轉移到 AI 領域，在這還不夠的情況下，如何用新的 AI 特定概念和方法來補充它們。如果在 100% 的情況下無法保證正確操作，則應討論是否可以接受 AI 系統至少比最先進的非 AI 系統或人類執行得更好。因此，應采用基于風險的方法，量化系統故障的風險，即故障成本乘以故障概率。這在惡意攻擊的情況下也應該成立。更好的平均性能可能還不夠，因為人工智能系統的平均性能可能更好，但在亞組上更差（例如，黑人的皮膚癌檢測，[10; 11]）。如果 AI 系統出現故障，其失敗的原因必須是可以解釋的。由于目前尚無普遍接受的審計人工智能系統的標準、評估標準、方法和工具（但有關當前舉措，請參見第 2.7 節），因此出現以下問題：如何審計人工智能系統？哪些邊界條件是最優的，哪些是可以接受的？除了經典的 IT 系統審計或安全評估之外，還需要哪些方法、工具和其他資源？審計 AI 系統的限制是什么？工作量和審計質量之間的權衡是什么？應該如何在研發中最好地利用可用資源，以實現在各種條件下仍然有效的 AI 系統審計結果？

根據 2020 年 10 月 6 日在柏林/互聯網舉行的為期一天的研討會“審計 AI 系統：從基礎到應用”的演示和討論，我們試圖通過回顧當前的技術水平來回答這些問題，通過總結開放性問題并確定最迫切需要的未來工作和最有希望的方法來評估 AI 系統的可審計性。在此過程中，1. 將考慮 AI 系統的整個生命周期； 2. 將重點關注當前最重要的 AI 技術，即機器學習 (ML) 訓練的深度神經網絡 (DNN)，而 DNN 將在 IT 安全性和魯棒性方面予以考慮。在可能的情況下，將給出具體的用例作為示例。

2 人工智能系統的可審計性：最先進的技術

在本節中，首先給出廣義 cAI 生命周期的概述（圖 2A），然后總結 cAI 系統可審計性的一些最重要方面的最新技術，即通過 ML 訓練 AI 系統數據、攻擊和防御、驗證、確認、可解釋性和標準化。

研討會期間沒有深入討論其他方面，因此，僅就它們對 AI 安全的可能影響進行了簡短總結：

1.足夠的質量和數量的訓練和測試數據適用于AI性能和魯棒性，也適用于 AI 系統的安全性 [12]。

2.數據預處理（或特征選擇）一方面可以被視為 AI 系統模塊化的一步，由于每個 AI 模塊的功能減少，可能會導致更好的可解釋性，但另一方面，可以認為開辟了一個新的攻擊目標（參見例如[13; 14]）。因此，根據具體情況，它可能有利于提高安全性，也可能無益。

3.正則化，例如通過誤差函數對大權重進行懲罰，可能有助于防止過度擬合，并且可能在某些邊界條件下直接導致更高的魯棒性并間接提高安全性和保障性[15]。

2.1 生命周期

cAI 系統的復雜生命周期至少在很大程度上是其應用面臨新挑戰的原因，尤其是與 cIT 和 sAI 系統相比。因此，它將成為本白皮書的重點。在這里，它分為以下 5 個階段（參見圖 2A）：規劃、數據、訓練、評估和運營。在實踐中，這些階段不是按順序排列的，而是開發人員以高度迭代和敏捷的方式使用這些階段，例如在開發過程中經常使用評估。此外，運營階段還包括模型維護的挑戰，包括調整模型的必要性，以防已經使用的 cAI 系統出現新數據或要求。與生物神經網絡類似，cAI 系統通常由大量簡單但高度互連的處理元素（或神經元）組成，這些處理元素（或神經元）分層組織。最先進的 cAI 系統，例如深度神經網絡（DNN，深度 = 多層）由數百萬個處理元素和它們之間的突觸（= 連接）組成。假設一個固定的神經架構，這意味著 cAI 系統通常有超過 1 億個參數，即突觸權重和單位偏差值，必須適當調整。因此，幾乎在所有情況下都無法手動設置這些參數。相反，機器學習技術用于根據訓練數據、誤差函數和學習規則自動調整系統參數。與在訓練期間學習的 cAI 模型內部參數相比，影響學習過程和模型架構的外部參數稱為超參數，必須在訓練之前固定并在驗證集上進行調整。自動化訓練管道設置和訓練本身的方法稱為自動機器學習或 AutoML [16]。雖然許多 cIT 和 sAI 模型（例如決策樹或規則集）中的參數通常也由自動方法設置，但原則上，與大多數 cAI 模型相比，它們仍然可以直觀地檢查。

圖 2：A) 連接主義 AI (cAI) 系統的廣義生命周期示意圖，強調了對 AI 系統進行徹底審計時必須考慮許多方面。在這里，生命周期是從 IT 安全角度來看的，包括漏洞（紅色）、防御（藍色）和解釋（綠色 + “？”）。有監督的再訓練或在線學習可以選擇性地與運營并行，并在運營期間連續運行，從而導致評估應該何時以及多久進行一次評估的問題。評估、驗證、確認和標準化應考慮整個生命周期。 B) 一個 cAI 生命周期 (cAILC) 可以是例如嵌入到功能安全生命周期中（fSLC，參見例如 [17; 18]）。后者可能包含幾個與安全相關的系統，例如還包括 sAI 和 cIT 系統（參見圖 1），包括在開發階段和最終退役階段之前的廣泛分析階段。請注意，cAILC 和 fSLC 通常都是高度迭代的。

因此，開發人員的角色是通過使用神經網絡、訓練數據、機器學習算法和相關超參數初始化訓練過程來設置必要的邊界條件。隨后，開發人員監督訓練過程，調整超參數，測試中間結果，并在必要時重新開始訓練，直到達到 AI 系統的預期性能。這不是一個標準化的程序，而是開發人員的直覺和經驗決定了訓練過程。由于獲得足夠數量的高質量數據和從頭開始訓練 DNN 需要大量資源，開發人員經常走捷徑，利用預先訓練的模型和從各種來源獲得的外部數據。一旦滿足開發標準（例如性能、魯棒性），人工智能系統就可以投入運行：在嵌入特定的硬件和軟件環境后，神經網絡會收到預處理的輸入數據并輸出其決策。盡管缺乏明確定義的設計流程（見上文），但能夠訪問必要資源（數據、模型、計算能力）的經驗豐富的開發人員可以快速為許多明顯優于 cIT 系統的用例開發決策系統。

由于 DNN 通常具有巨大的參數和輸入空間以及它們在結構和功能之間的非直觀關系，人類幾乎不可能解釋它們的功能。允許這樣做的專業解釋方法是當前研究的主題（詳情參見第 2.6 節）。目前通過觀察一組選定測試的輸入輸出關系來測試人工智能系統。即使是測試所有可能輸入的一小部分，也需要大量資源，并且必須系統地進行處理（參見 [19]）。只有在非常有限的邊界條件下的特定情況下才能進行形式驗證，例如它不能擴展到大型網絡和任意輸入（參見第 2.4 節）。 cAI 系統的進一步缺點是它們在性質上的新漏洞，即在運行期間的對抗性攻擊（參見第 2.3.1 節）和信息竊取攻擊（參見第 2.3 節），以及在訓練期間的后門中毒和 DoS 攻擊（參見第 2.3.2 節） ，除了經典的社交攻擊、操作系統和硬件攻擊外，攻擊者還可能利用這些攻擊進行有針對性和無針對性的攻擊（詳見下文）。為了保護數據驅動的 AI 系統和機器學習免受此類攻擊，除了經典的 IT 安全措施外，還提出了許多解決方案：對抗性訓練、梯度掩蔽和特征壓縮（參見第 2.3.3 節了解更多詳細信息）。不幸的是，到目前為止，沒有一種單一的防御方法，也沒有多種防御方法的組合能夠可靠地防止自適應攻擊。此外，根據設置，改進的攻擊預防和魯棒性可能以降低準確性為代價 [20]。

在實際用例中，例如在自動駕駛汽車中，cAI 生命周期通常嵌入到更廣泛的生命周期中，包括多個 IT 和 AI 模塊的開發和交互。這描述了功能安全生命周期（圖 2B 中的 fSLC），其中 cAI 模塊只是可能的組件。對于這些 cAI 模塊，可以確定（汽車）安全完整性等級 ((A)SIL) [17; 18]。功能安全生命周期強調人工智能生命周期規劃階段之前的分析階段，目的是量化此類系統的故障概率，并通過包括風險分析在內的系統方法確定這些概率的可接受性。 fSLC 分析階段還包括概念化以及安全要求的推導和分配。作為分析的結果，出于安全的原因，甚至可能完全禁止在安全關鍵應用程序中使用人工智能技術。相比之下，人工智能可以很容易地在沒有發生嚴重后果的情況下使用，這必須得到風險分析的支持。在這種情況下，不需要在系統中實施 SIL 要求，也不需要進行安全評估。方法論和用例特定的標準、規范和技術指南應在適用于整個生命周期的任何地方使用。例如，功能安全生命周期存在一個廣泛的標準 [17]，但它不包括具有 cAI 特定漏洞和挑戰的 cAI 生命周期。在世界各地，多項舉措都在努力縮小這一差距（參見第 2.7 節）。

2.2 非平穩環境下的在線學習和模型維護

為了通過從數據中學習來解決問題，可以根據問題的復雜性和可用數據量使用不同的范式。例如，當有大量訓練數據可用時，深度學習技術通常用于解決復雜問題，而統計學中的經典方法只能解決不太復雜的問題，但需要的數據更少。獨立于范式，手頭問題的環境可能不會隨著時間的推移而保持不變。為了獲得魯棒的結果，必須考慮和解決此類環境變化。

對于大多數經典機器學習 (ML) 技術，可以在標準假設下從統計學習理論推導出強大的魯棒性保證 [21]。面對環境變化和有限的數據可用性，保持預測準確性的另一種方法是允許 ML 模型拒絕與已知數據點相距太遠且模型確定性較低的輸入 [22]。需要注意的是，識別此類輸入本身可能是一個難題。這種方法也可以用于在線學習[23]。

遷移學習是一種通用技術，允許將先前學習的父模型調整到新的但相關的任務 [24]。利用這兩個任務的相似性并基于父模型中包含的信息，可以使用比從頭開始訓練所需的更少的數據點來訓練新模型。遷移學習和更一般形式的小樣本學習是目前使用深度學習的標準方式。例如，特定圖像分類任務的模型建立在 VGG [25] 等預訓練模型之上。遷移學習可用于應對環境變化。然而，為了在不使用大量數據的情況下獲得模型準確性的理論保證，需要對可能發生的變化做出強有力的假設。這樣的假設在實際用例中可能是有效的，例如，使假肢的控制單元適應傳感器位置的輕微變化[26]。

另一種訓練 ML 模型的方法稱為在線學習。在這種范式中，模型不會從離散的數據批次中學習，而是使用數據流并不斷更新以將每個新數據點考慮在內。然后環境變化表現為數據漂移，這可能會影響真實模型本身或僅影響觀察到的數據分布。在這種情況下，挑戰在于確定哪些信息與在給定時間點和未來做出正確預測相關，哪些信息應該被丟棄。在這樣做時，還必須考慮數據中毒攻擊和丟失數據標簽。因此，模型面臨可塑性之間的兩難境地，即能夠整合新信息，又保持穩定性，保持以前的正確知識。已經證明，對于簡單模型，這兩個屬性可以有效地平衡，以在存在漂移的情況下實現高性能 [27-30]。這種模型的挑戰在于元參數成為模型參數，因為模型復雜性可能會發生變化。因此，非參數模型以及集成方法通常特別適合。然而，獲得數學保證需要非常強的假設。作為在實踐中處理漂移的一步，檢測和理解漂移的第一種技術提供了有趣的方法來判斷這種在線適應技術的效果[31,32]。

2.3 攻防

人工智能在設計上并不安全，過去幾年已經記錄了無數欺騙人工智能系統的例子（概述參見 [33]）。在本白皮書中，我們重點關注 AI 系統在信息安全目標完整性方面的兩個最重要漏洞，該漏洞致力于在整個 AI 生命周期中維護可信賴和一致的數據。在這種情況下，已經確定了對 cAI 系統的兩個主要和質量上的新威脅：操作階段的對抗性或逃避攻擊（參見第 2.3.1 節）和訓練階段的后門中毒攻擊（參見第 2.3.2 節）。這些攻擊和可用的防御將在以下部分中詳細討論。

其他兩個主要信息安全目標的機密性和可用性方面存在更多漏洞，但不在本白皮書的重點：機密性可能會通過探索性模型竊取 [34]、模型反轉 [35] 和成員推斷攻擊 [36] 受到損害，其中用于訓練的 AI 模型和數據可以從查詢到可操作的 AI 系統進行重構（在“模型和數據竊取攻擊”下總結在圖 2 中）。這些攻擊是在規避攻擊的上下文中提到的（見下文）。可用性可能會受到 DoS 中毒攻擊 [37]，與后門攻擊相比，它的目標是最小化模型的性能。

2.3.1對抗性機器學習

在規避攻擊中，攻擊者計劃通過對模型輸入的細微修改來改變人工智能系統在其推理（或運行）階段的決策。這些修改通常對人眼來說是不可疑的，也被稱為對抗性示例 [38; 39]。因此，標準的 cAI 系統非常脆弱，模型訓練數據不能很好地表示的輸入特別容易受到錯誤分類的影響。眾所周知的例子包括通過在交通標志上放置貼紙來攻擊交通標志分類系統 [40]，通過向惡意軟件 [41-43] 添加適當功能所不需要的代碼來攻擊惡意軟件檢測器，以及通過為人類配備特別印制的眼鏡架 [44] 或帽子上的補丁 [45]。如果攻擊者能夠控制人工智能系統的決策，則該攻擊稱為有針對性的攻擊，否則，如果攻擊者只是以任意方式更改決策，則該攻擊稱為無目標攻擊。

為了規避攻擊，可以將其形式化為一個優化問題，其目標是修改輸入，以使 AI 系統至少跨越一個決策邊界，例如。在惡意軟件檢測器中從良性區域到惡意區域 [38; 46]。在這樣做時，必須考慮幾個附帶條件，例如保持修改盡可能小或不明顯的要求。

如果攻擊者完全了解模型、特征和數據，這種攻擊稱為白盒攻擊。此外，如果輸出函數是可微的，這是大多數當前使用的學習算法的情況，那么可以計算梯度作為優化過程的先決條件。但是，在攻擊者對目標模型、特征和數據的了解有限的情況下，稱為灰盒或黑盒設置，攻擊者可能會通過替代模型繞過旁路來制造有效的攻擊。替代模型可以通過模型竊取攻擊或通過新訓練的模型，例如使用來自成員推理攻擊的數據，該攻擊模仿目標模型的功能。 cAI 系統具有這樣的特性，即為一個模型開發的攻擊在許多情況下可以毫不費力地轉移到不同的 cAI 模型（可轉移性），因此，這些攻擊也稱為黑盒轉移攻擊。根據邊界條件，即使是黑盒查詢攻擊也可以成功。它們不需要替代模型，而是使用對目標模型的查詢與無梯度優化方法（如遺傳算法或貝葉斯優化）相結合。由于這些黑盒攻擊，僅對網絡參數保密以有效保護人工智能系統免受對抗性攻擊是不夠的。

但是為什么 cAI 系統容易受到對抗性攻擊呢？ cAI 系統建立在訓練數據代表未來數據的假設之上，即輸入數據是獨立同分布 (IID)。除非任務空間非常有限，否則 IID 假設 [47] 遲早會被違反，這意味著模型缺乏魯棒性。因此，模型在隨機輸入數據損壞（含噪的輸入數據分布）和特制的對抗性示例方面缺乏魯棒性是同一潛在現象的兩種表現形式 [48]。模型越復雜，出現的漏洞就越多，攻擊者就越容易和更快地找到對抗樣本。直觀地說，這可以通過以下事實來解釋：系統的輸入和狀態空間維度越大，從合法輸入到惡意輸入區域的路徑越短，攻擊者可能會利用這些路徑。此外，為了使魯棒性訓練適用于復雜的 cAI 系統，它需要大量適當的訓練數據，即隨著 cAI 系統的大小，防御變得越來越資源密集。解決這個問題的一種策略是從風險角度考慮，對于每種類型的攻擊，它發生的可能性被認為是決定單獨應該分配多少資源來防御它。

2.3.2 DNNs后門攻擊

DNN 等 AI 模型需要大量數據進行訓練和測試，才能獲得良好的性能。出于這個原因，通常的做法是從多個來源收集數據而不執行高質量標準。事實上，從業者普遍認為，低質量的數據可能沒有什么價值，但不會顯著影響模型的性能。然而，大量研究結果表明，這種假設是不正確的。由于當前的 AI 模型本質上是純相關提取器，因此數據集的問題會導致它們以意想不到的方式表現。

后門投毒攻擊和 DoS 投毒攻擊 [49; 50] 有針對性地損壞部分訓練數據。一方面，DoS 中毒攻擊旨在通過插入錯誤的數據點來改變其決策邊界 [49]，從而降低模型的泛化能力。雖然這些攻擊在經典 ML 方法中構成了一個大問題，但它們不會以相同的規模影響 DNN，并且通常可以很容易地檢測到 [51]。另一方面，后門中毒攻擊只會降低某些輸入的模型準確性[50]。為此，攻擊者通過添加特殊的觸發模式小心地操縱部分訓練數據，使他們能夠在推理過程中完全控制這些輸入上的模型行為。就經典的 IT 安全目標而言，DoS 中毒攻擊影響模型的可用性，而后門中毒攻擊則針對其完整性。此類攻擊的基本思想在于植入虛假的相關性，然后模型將其用于決策。例如，這通常涉及在分類任務中更改標簽。然而，更微妙的、所謂的標簽似是而非的攻擊可以避免這些相當明顯的變化[52]。

之后很難檢測到對 DNN 的后門攻擊。這既是因為模型只做它們應該做的事情，即學習相關性，也因為它們表現出缺乏人類可解釋性。發現后門攻擊的方法依賴于對模型學習的異常值的檢測[53]。這不適用于數據集本身，而是必須使用內部模型表示 [50; 54; 55]，可能與 XAI 方法結合使用（參見第 2.6 節）。然而，現有的緩解技術并不完美，也可能沒有自動解決方案，因為可能需要人類先驗知識來正確區分損壞和良性數據點 [56]。

除了有針對性的攻擊之外，數據集可能包含虛假的相關性，這可能會以類似的方式影響模型，盡管針對性較低。這些相關性可能源于數據選擇以及預處理和訓練管道中的偏差。例如，在醫學圖像識別的各種任務中已經發現了這些問題 [57]。

解決這些問題需要消除訓練數據中的虛假相關性。 XAI 方法可能有助于做到這一點，以及在訓練期間隨機化管道偽影的技術。除了 AI 級別的技術措施外，還需要更通用的緩解技術來解決意外的虛假相關性，尤其是阻止后門攻擊。特別是，這包括在模型的整個生命周期內保護模型的完整性，并在訓練階段使用技術和組織措施來改變環境條件，例如對開發人員進行安全檢查以及限制對數據存儲和開發機器的訪問，使其攻擊者更難成功 [58]。

2.3.3 DNNs攻擊的檢測與防御

在最近，為了保護深度神經網絡免受攻擊[59]或檢測此類攻擊[60]，已經提出了大量的方法。然而，事實證明，檢測對抗性攻擊并可靠地防御它們是非常困難的，因為已經證明自適應攻擊者可以繞過大多數提出的防御，與僅應用最強防御的系統相比，即使是并行應用的多個防御也可能并不總能增加對抗性的魯棒性[61-63]。盡管如此，防御可以增加攻擊者發起成功攻擊的努力。此外，最近關于對抗性攻擊的可驗證檢測的工作很有希望，因為它保證了對某些自適應攻擊者的魯棒性[64]。

許多防御方法的一個重要缺點是它們會顯著影響模型在良性輸入上的性能。出于這個原因，評估防御方法的合適指標應該同時考慮模型對 a) 良性輸入和 b) 對抗性輸入的性能。

在防御對抗性攻擊時，總是需要考慮 AI 系統的環境條件。例如，如果攻擊者只能將攻擊應用于物理世界而不能應用于數字領域（例如，在攻擊計算機視覺系統時，攻擊需要在不同視角、旋轉或類似變換下具有魯棒性），成功的標準攻擊要高很多。此外，需要牢記的是，這樣一個系統的魯棒性不僅取決于其 AI 相關部分的魯棒性，還取決于其他組件，例如 cIT，這既可以增加也可以降低系統的魯棒性和也構成了額外的攻擊目標。例如，可以通過包含基于非 cAI 技術的冗余方法來提高系統的魯棒性，該方法充當完整性檢查，或者通過 cIT 查詢限制對 cAI 組件的限制來阻礙對抗性示例的制作。

對抗性攻擊最有希望的防御方法之一是對抗性訓練 [59]，其中對抗性示例被包含在訓練階段，以增加這種系統的對抗性魯棒性。這種方法的一個缺點是它會顯著影響訓練運行時間，尤其是在包含使用強攻擊構造的示例時。對抗性訓練只會賦予訓練期間出現的攻擊魯棒性，因此，如果出于性能原因只考慮弱攻擊，系統將仍然容易受到更強攻擊。因此，有必要提高對抗訓練的效率，特別是通過在訓練期間創建強大的對抗樣本的過程，如共享對抗訓練 [65] 和元對抗訓練 [66] 以及訓練策略的其他擴展是有希望的（參見例如 [67]）。

對抗性訓練的另一個缺點是它沒有對模型的魯棒性提供任何正式的保證。因此，不能正式證明不存在繞過這種防御的攻擊。這個問題可能會在威脅模型（例如對抗性補丁 [68]）中通過經過認證的防御（例如[69] 和 [70]，這可以證明補丁威脅模型對對抗性攻擊的魯棒性。然而，對于其他威脅模型，這種經過認證的防御將嚴重影響模型在良性輸入上的性能。此外，其中一些防御措施對模型的架構施加了限制。

針對對抗性攻擊的其他類別的防御通常容易被攻擊者規避，并且根據用例和邊界條件，可能會產生錯誤的安全感。這是例如梯度混淆[71]的情況，一種梯度掩蔽，應該使攻擊優化步驟更難。

在防御后門攻擊方面，主要問題源于 AI 模型沒有其目標領域的先驗知識，而是從（可能是惡意的）訓練數據中學習這些知識。防御此類攻擊的一種有前途的方法是通過查看使用該數據訓練的深度神經網絡的內部工作原理來檢測惡意數據 [54]，并識別網絡行為與同一類別的其他數據樣本不同的樣本。這可能表明與正常數據樣本相比，網絡使用不同的特征來進行預測。到目前為止，這種方法只適用于部分情況。為了解決模型缺失先驗的問題，可能有必要通過人類專家知識在也使用 XAI 方法的交互式過程中包含此先驗。

2.4 人工智能系統的驗證

人工智能系統的驗證領域涉及在存在一系列輸入擾動的情況下證明不存在意外的輸出行為，這可能是由于自然變化或攻擊者故意引起的。因此，驗證可用于推理 AI 系統的安全性。然而，嚴格的證明面臨著重大障礙。由于輸入空間很大，要考慮的擾動數量可能是無限的，這使得蠻力方法不可行。此外，用于檢查邏輯約束的標準求解器（例如 SMT，[72;73]）由于其非線性而不能很好地擴展到 DNN，盡管它們在某種程度上可能有用。

解決這些問題的一個突出方法是基于抽象解釋技術，該技術已廣泛用于自動推理多年 [74]。它的主要思想是以有界的、有限的方式表示可能無限數量的狀態，這允許將其存儲在內存中并執行符號計算。

更準確地說，抽象解釋可以通過符號約束對所有可能的輸入擾動進行編碼來應用于 DNN，例如產生多面體。隨后，可以計算網絡層對該多面體的抽象影響。生成的形狀對與輸入集對應的所有可能輸出進行編碼，并可用于檢查要驗證的保證。在實踐中，為了使計算可行，編碼輸入的符號約束是真實數據流形的近似值（凸松弛）。因此，在近似精度和計算復雜度之間存在權衡。

迄今為止開發的驗證技術有幾個缺點，因此需要提出以下改進建議：

1.驗證主要針對輸入向量的每個元素在給定范圍內的隨機變化進行，直到最近才有幾何擾動（例如旋轉、平移）研究。這個范圍需要擴展到更多的語義擾動。

2.使用的松弛需要改進，以在精度和復雜性之間取得更好的平衡。在擴展擾動和任務集時，可能需要自定義松弛。

3.這些技術主要應用于前饋神經網絡的分類任務，需要泛化以涵蓋其他模型類型（例如 RNN）和其他任務（例如分割）。

4.最大的問題是方法的可擴展性。如果一個目標是提供 100% 的確定性保證，那么這些技術僅適用于中小型網絡（就 ReLU 單元的數量而言），與實踐中使用的大規模網絡相去甚遠。

為了從這些技術的全部潛力中受益，它們還可以用于事后驗證。特別是，一種稱為可認證訓練的方法 [75] 將它們與訓練相結合，以獲得可認證的防御。這也有助于解決該技術的可擴展性問題，因為新的網絡架構可以通過認證。

還表明，對抗性訓練有助于驗證，對抗性訓練和可認證訓練可以相關，并且主要在它們用于提高模型穩健性的信息上有所不同。最近的研究提出了一種將這兩種方法結合起來的方法 [76; 77]。

2.5 審計安全關鍵型人工智能系統

安全關鍵型人工智能系統是其決策受人工智能子系統影響的系統，其故障可能導致以下結果：人員死亡或嚴重傷害、設備或財產損失或嚴重損壞以及環境危害。例如，安全關鍵系統可以在航空、核能、汽車和鐵路、醫療和自主系統領域找到。對于這些系統，有必要證明它們滿足所需的要求，例如某些可預測的魯棒性和可靠性，并且它們的保證通常依賴于基于標準的證明。不幸的是，對于基于 ML 的系統，這是一個嚴重的問題：缺乏針對此類新技術的經過驗證的標準、政策和指導，例如諸如 IEC 61508 [17] 等安全規范性軟件標準并不完全適用于 AI 系統。

與無法應用現有方法的其他系統一樣，基于論證的方法（使用正式的結構化論證來證明某些特定聲明的正當性）可用作 AI 系統保證的結構化方式 [78; 79]。基于論證的方法的主要優點是在如何證明安全聲明方面具有相當大的靈活性。在確定未知領域的差距和挑戰時，這種靈活的方法是必要的。其中一種方法是 CAE（聲明、論證、證據）框架，它基于應用的自然語言演繹方法。 CAE 框架由三個部分組成：

• 聲明是為獲得普遍接受而提出的聲明（例如，關于系統安全/安全的聲明）。

• 將證據與主張聯系起來的論點。

• 作為索賠理由的證據。例如，證據的來源可以包括開發過程、先前的經驗、測試和正式的方法。

使用 CAE 框架，可以使用經典的和 AI 特定的方法以結構化的方式檢查給定的聲明。例如，經典的軟件分析方法對于分析實現 AI 系統的軟件代碼是必要的。另一方面，當涉及到與人工智能相關的定性方面時，例如對抗性攻擊，經典方法無法應用。通過使用反訴和確認理論 [78]，CAE 可以進一步擴展到包括基于論證的方法的一個有希望的變體，可廢止推理 [80]。它通過提示評估人員反復詢問為什么某物可能不安全的問題而不是僅僅尋找支持證據來減少確認偏差的可能性。

對于某些 AI 系統關鍵屬性，例如系統的魯棒性，缺少明確的正式定義作為任何形式驗證的先決條件。 CAE 可能有助于澄清這個開放的研究問題并努力定義這些屬性。

可以以某種方式證明，人工智能系統最常見的形式屬性是逐點魯棒性。然而，這個屬性的一個主要限制源于它并不暗示系統魯棒性屬性：逐點魯棒性僅證明特定數據樣本的給定屬性，但為了顯示系統魯棒性，有必要證明這一點對于所有未來的輸入，這在大多數使用 AI 系統的實際應用中是不可行的 [72]。

因此，目前無法在形式驗證級別上對 AI 系統進行全面審計。然而，靜態分析工具可用于防止錯誤從訓練代碼傳播到 ML 算法中，并有助于為系統的安全性提供基線。現有的 AI 審計良好實踐包括 [81-84]。

2.6 解釋黑盒 AI 模型

復雜的 AI 模型，例如深度神經網絡 (DNN)，通過在大型數據集上進行訓練來學習功能（參見第 2.1 節）。這些模型的內部工作原理以數學方式對學習的函數進行編碼，通常不適合人類解釋[85]。然而，出于多種原因，能夠解釋AI 模型的決策可能很重要。這些原因包括發現模型（以及實施它的硬件/軟件平臺）的錯誤、弱點和限制，這可能有助于提高其性能和對攻擊的魯棒性，以及滿足透明度要求，例如由歐盟通用數據保護條例，并從科學和經濟中的大型數據集中獲得新的見解。因此，需要新的方法來解釋復雜的人工智能模型，如神經網絡。相應的研究領域稱為 XAI（可解釋 AI）[86; 87]。

文獻中提出了各種解釋方法，以提供對 AI 模型不同方面的見解。一類方法旨在對模型進行全局解釋，例如，通過構建最大激活輸入 [88] 或通過研究單個神經元在深度神經網絡中的作用來分析編碼函數的極值點 [89]。雖然這些解釋確實提供了關于模型及其學習表示的有價值的信息，但它們對于理解個體預測幾乎沒有用處，即識別對模型決策產生積極或消極影響的輸入特征。本地 XAI 方法通過將相關性分數歸因于輸入特征來填補這一空白。存在不同的方法，大致可分為三類：

1.基于擾動的方法在對輸入數據應用擾動后評估模型輸出，并從發生的變化中得出解釋。這些擾動可以是無窮小的（例如，梯度）或相當粗糙的[90]，此外，它們可以表示為優化問題[91]。盡管應用起來很簡單，但這些方法有幾個缺點，例如在計算方面的要求很高（梯度不是這種情況），因為必須對模型輸出進行大量評估，并且可靠性有限，因為結果是對應用的擾動高度敏感（例如，擾動輸入可能不在輸入流形或梯度破碎問題上[92]）。

2.基于智能體的方法（例如 LIME，[93]）查詢相關模型以獲取大量輸入，并通過本質上可解釋的更簡單模型對其進行近似。然后可以推斷出對原始模型行為的解釋。這種方法帶來的問題是，一方面，解釋對輸入查詢的采樣方式和更簡單模型的擬合方式的依賴性，另一方面，查詢原始模型的計算工作量次數。

3.基于結構的方法（例如 LRP，[94]）使用網絡的內部結構來傳播從輸出到輸入數據的網絡層之間相關性的信息。這些方法的主要特定缺點是它們需要訪問模型的內部結構，因此與模型無關。然而，它們的計算強度遠低于其他方法，并且它們提供的解釋在一系列標準下得分更高（參見 [95]）。

為了更全面地了解模型實施的預測策略，可以聚合或聚類多個局部解釋[96]。其他方法作用于潛在空間而不是輸入特征，從而提供更高級概念的解釋，例如顏色、形狀和物體部分 [97]。

其中一些解釋方法，例如LRP 已被用于發現大型圖像數據集中的意外偏差。例如，他們揭開了所謂的 Clever Hans 分類器 [98] 的面紗，即（看似）做出正確決策但出于錯誤原因的模型，基于版權標簽識別馬匹或基于存在的肺炎 X 射線“便攜”標簽。在更一般的情況下，這種方法可用于檢測數據中的偏差并提高模型的泛化能力。

最近，XAI 方法已應用于 DNN 之外的其他模型結構，也用于可視化之外的目的（例如網絡修剪）。然而，要充分利用 XAI 的全部潛力來幫助研究人員獲得魯棒且值得信賴的模型，仍然存在許多挑戰。限制 XAI 在許多應用程序中的優勢的一個因素是，如果輸入特征本身不容易被人類解釋，則會出現解釋差距。上述解釋方法的另一個懸而未決的問題是，它們并非專門設計用于揭示多個輸入區域之間可能存在的相互作用，例如回答圖像中多個區域中的哪些像素組合有助于特定決策。最后，還不清楚如何在沒有人工干預的情況下將 XAI 最佳地集成到模型訓練中（例如，集成到損失函數中）以改進模型。

2.7 全球人工智能標準化活動概況

標準是描述人工智能系統統一技術要求和支持法律框架實施的一種行之有效的方法。它們還促進了人工智能創新的市場準入，并為人工智能系統營銷人員提供了一個用于人工智能系統開發和運營的清晰框架。例如，在德國，DIN 和 DKE 是主要的標準化機構，在 CEN、CENELEC 和 ETSI 等標準化組織中代表歐盟層面的國家利益，在 ISO、IEC 和 ITU 等組織中代表國際層面的國家利益。

關于本白皮書中討論的測試和審計人工智能系統的主題，出現了哪些人工智能質量標準需要獨立測試以及需要為此類測試程序本身開發哪些標準的問題。為了解決這種缺乏標準的問題，例如，在德國，以“Normungsroadmap KI”[99] 的形式提出了對人工智能領域現狀以及對標準和規范的需求的綜合分析。應該通過標準化解決的最重要的質量維度如圖 3 所示。

圖 3：將 AI 質量標準的類別分類到合規性測試中

表 1：本白皮書涵蓋的選定主題的人工智能領域的新興標準。有關更完整的概述，請參閱[99] 和 [117]。

然而，很明顯，技術測試（“產品測試”）領域仍有相當大的發展需求，特別是在神經網絡的驗證、安全關鍵系統的可靠安全論據以及進行這些測試的工具。因此，廣泛的標準化活動將在未來幾年繼續進行。德國項目“KI-Absicherung”[118]代表了如何解決自動駕駛主題的這種需求的一個突出例子。它由一個由研究機構、汽車制造商、供應商、標準化組織和相關公共機構（如德國 BSI）組成的聯盟管理，并正在就高度自動化的基于 AI 模塊的安全性驗證策略制定行業共識。

預計未來一段時間內將通過更多類似的燈塔項目和試點，出現更多的技術測試程序，并解決相應的標準化需求。

3 未解決的問題和有希望的方法

至少對于與安全相關的 cAI 應用程序，需要實現足夠水平的穩魯棒、安全性和可審計性，并且需要制定相應的技術指南和標準。當回顧該領域的最新技術時（參見白皮書的前幾節），很明顯，一方面，許多懸而未決的問題仍然存在，但另一方面，存在許多有希望的方案和方法解決或減少這些問題的影響。此后，將根據對 cAI 生命周期的修改描述來總結未解決的問題和有希望的方法（參見圖 4）：

圖 4：cAI 生命周期（參見圖 2），重點關注可審計性、IT 安全性背景下的開放性問題。

cAI 生命周期通常嵌入在整個系統生命周期中，根據具體的用例，包括多個 cIT 和 sAI 系統以及硬件設備，例如傳感器和執行器。從這個角度來看，在復雜且不斷變化的環境（漂移）中自主運行的機器永遠不會完全和最終確定，因此，不確定性和錯誤風險仍然存在。處理嵌入式 cAI 生命周期風險評估的第一種方法來自功能安全領域（[119; 120]，參見第 2.1 和 2.7 節）。為了定義分析、驗證人工智能系統的合適方法，首先有必要識別和理解它們的預期用途、任務和它們運行的??環境。每個特定用例都具有許多基本屬性，這些屬性用戶或監管機構期望作為系統的基本特征來實施，例如：魯棒性、安全性。在大多數情況下，任務和環境的正式定義和相關指標缺失或不完整。這有幾個不良后果，例如可接受的風險必須考慮受影響用戶的看法和意見。反過來，用戶和開發人員需要在相互之間的教育、培訓和溝通方面擁有堅實的基礎，以便在使用特定AI模型、ML算法、數據集和分析方法以及針對特定用例的進一步邊界條件方面做出明智的決定。

一個首要的開放問題是（通常是多方面的）系統所需特性之間的權衡，例如魯棒性、安全性和可審計性，一方面是人工智能模型、機器學習算法、數據和邊界條件的特征，例如模型復雜性、任務空間、可塑性、成本和性能。這些權衡限制了當前 AI 系統的可擴展性和通用性。舉個例子：1.增加模型復雜性，例如可能會對可解釋性和防御產生負面影響； 2. 增加任務空間大小會導致需要更大的訓練和測試數據集，這將使驗證變得復雜，并且更難滿足 IID 要求，而 IID 要求是訓練魯棒 AI 系統的重要先決條件； 3.加強防御往往會導致性能下降； 4. 在存在漂移的情況下保持 AI 系統的不變特性需要頻繁的重新訓練和測試，因此會增加成本； 5. 白盒模型和生命周期訪問以提高可審計性與知識產權利益的沖突； 6. 使用外部數據集和預訓練模型降低了成本，但會帶來新的漏洞，特別是對于難以檢測的后門攻擊。

研究已經提出了許多有前途的方法來解決多個層面的開放問題，例如。 1. 通過使用遷移和少樣本學習，重新訓練更加高效的系統，并且通過使用非參數和集成方法，考慮到調整元參數的需要。因此，至少對于低復雜度的模型，可塑性和穩定性可以很好地平衡； 2. 針對考慮自然和對抗性輸入性能的適當指標優化防御方法，有助于減少采用強防御方法時通常的性能下降； 3. 共享和元對抗訓練降低了處理普遍擾動的成本； 4. 盡管任務空間很大，但系統地使用合成和/或增強數據和模擬可以識別故障模式并強化人工智能系統； 5.在一定程度上抽象解釋和可證明訓練允許驗證具有更大任務空間的人工智能系統； 6. CAE 和可廢止推理等基于論證的方法允許在現有方法無法應用的情況下審計 AI 系統； 7. 利用人類先驗可以提高人工智能系統的可解釋性，并通過混合模型使人工智能系統更加健壯； 8. 通過使用解釋方法檢測數據集中的異常值、拒絕訓練期間的負面影響和相關方法（RONI，[121]）或使用 bagging 集成 [122]，通過數據清理來防御后門攻擊； 9. 如果白盒訪問不可行，替代模型和替代數據集至少在某些情況下可用于提高審計質量，例如產生高質量的攻擊情況下； 10. 加密方法和信任鏈可用于確保供應鏈中數據和模型的完整性。此外，可以使用這些方法的組合。

盡管有所有這些和其他有前途的方法，但必須牢記，未來任務、模型和數據集的復雜性很可能會增加，需要更強大的方法。

4 確定可審計人工智能系統的工作重點

迄今為止，還沒有一套普遍適用的標準和工具可用于保護 AI 系統，從而可以通過嚴格的方式證明足夠低的錯誤概率。本白皮書認為，存在兩種通用策略來獲得可審計、安全和安全的 AI 系統（參見圖 5）：

圖 5：在嘗試達到可接受的 IT 安全性、審計質量、魯棒性和可驗證性水平時必須考慮的多方面權衡。可實現的水平取決于多個邊界條件，例如任務復雜性和模型復雜性。對于給定的邊界條件，通過研發的技術進步可能允許例如實現更高的 IT 安全級別和/或改進的可審計性，但到目前為止，這僅在有限的范圍內起作用。

1.為給定任務創建有利的邊界條件：對開發人員和用戶進行適當的培訓以及雙方之間充分的信息交流，可以明確定義任務和可接受的邊界條件。如果將 AI 系統嵌入更大的 IT 和/或機器人系統，這構成了在 AI 系統的開發過程以及部署和操運行期間進行明智選擇的基礎。在極端情況下，開發人員或用戶可能會得出結論，必須針對特定用例完全禁止使用 AI 技術，例如：出于安全考慮。否則，根據用例，限制任務空間和限制 AI 模型的復雜性可能會帶來更好的可審計性和更安全的 AI 系統 [123]。此外，多種技術和組織措施的結合，以及根據知識產權考慮，在整個生命周期內對 cAI 模型和數據進行白盒訪問以進行評估，很可能會提高可審計性并有助于安全性。

2.投資研發以推進可用技術，最終在復雜的邊界條件下實現安全可靠的人工智能系統，從而提高可擴展性和通用性。示例包括：a) 在 AI 系統的所有安全相關方面制定適當的指標。它們有助于最大限度地減少權衡的影響，例如性能和防御強度之間的權衡； b) 結合魯棒的模型和檢測算法，在保持高性能的同時拒絕可能的惡意輸入； c）通過例如包含人類先驗混合模型以提高可解釋性； d) 高效生成大量高質量攻擊，作為開發對抗性訓練等有效防御方法的基礎； e) 生成大量高質量的真實合成數據，為 IID 數據集做出貢獻，作為訓練魯棒 AI 系統的基礎； f) 真實模擬與真實世界評估的結合，以及 g) 使用多個冗余但質量不同的系統，例如cAI、cIT 和 sAI 系統的組合。

應高度重視這兩種策略，同時在第一步中，重點關注選定的安全關鍵用例。應利用可用的標準、指南和工具（參見本白皮書的其余部分），并應進一步促進研究人員和行業之間的跨學科交流 [124] 以找到可用標準和工具的最佳組合，以實現可審計、安全和針對特定用例的強大人工智能系統。必須根據它們在各自用例中的實際利益和可行性來評估這些標準和工具。然后，在第二步中，應該使用來自這些用例的見解來概括結果并構建一個模塊化工具箱，該工具箱隨后可以應用于其他用例。在此基礎上，首先應制定技術指南和隨后的標準。在理想情況下，結果將是一套普遍適用的標準和工具，使人工智能系統具有足夠的可審計性、安全性和可靠性。

致謝

我們要感謝 Aleksander M?dry（麻省理工學院）的精彩演講以及整個研討會期間的重要評論和推動。我們還要感謝在研討會之前、期間和之后為討論做出貢獻的所有研討會參與者。我們還要感謝 VdTüV 的 Maria Sürig 和弗勞恩霍夫 HHI CINQ 中心的 Jennifer Chyla 為研討會的組織做出的重要貢獻。