2022年6月美國防部副部長凱瑟琳-希克斯簽署了國防部負責任的人工智能戰略和實施途徑（RAI S&I Pathway），該途徑指導國防部（DoD）實現其可信人工智能（AI）生態系統的目標。美國防部必須將自己轉變為一個為人工智能做好準備的組織，將負責任的人工智能（RAI）作為一個突出的特征，以保持其競爭優勢。

負責任的人工智能方法意味著什么？

RAI是一個信任之旅。它是一種設計、開發、部署和使用的方法，可以確保我們系統的安全，并合乎道德的使用RAI。RAI體現在道德準則、測試標準、問責檢查、使用指導、人類系統整合和安全考慮上。

正如美國防部長奧斯汀所說："負責任的人工智能是尖端科技與永恒價值的結合點。我們不相信我們需要在它們之間做出選擇，我們也不相信這樣做會成功。我們對人工智能的使用必須加強我們的民主價值觀，保護我們的權利，確保我們的安全，并捍衛我們的隱私。"

RAI S&I路徑是DoD為確保建設一個可信人工智能生態系統，以發展和加速人工智能而采取的前進方向。國防部的人工智能任務是建立強大的、有彈性的和可靠的人工智能系統，同時在人工智能道德的全球對話中成為領導者和倡導者。該指南通過RAI管理、作戰人員信任、人工智能產品和采購生命周期、需求驗證和人工智能勞動力等RAI實施宗旨，灌輸并實施國防部人工智能道德原則。這種整體方法詳細說明了目標、關鍵的努力方向，以及加強每個領域的一套初步工具。

這一旅程始于2018年，美國防戰略呼吁 "以合法和道德的方式使用人工智能，以促進我們的價值觀"，同時國會授權 "為該部制定適當的道德、法律和其他政策，管理人工智能的發展和使用"。國防部于2020年2月正式通過了《國防部人工智能倫理原則》--世界上第一個這樣做的軍隊。為了幫助將人工智能植入整個部門，聯合人工智能中心（JAIC）于2020年9月發布了國防部人工智能教育戰略。從那時起，RAI已經向國防部各級人員進行了教育和培訓。2021年5月26日，國防部重申了國防部對RAI的承諾，并指示根據其RAI實施宗旨，"國防部對RAI采取整體的、綜合的、有紀律的方法 "進行實施，而S&I路徑正是建立在這些宗旨之上的。

RAI S&I途徑促進了國防部在追求人工智能加速的過程中對負責任的行為、過程和結果的承諾。最終，它提供了國防部推進人工智能的戰略方法，同時促進了操作的靈活性，保障了能力部署，并支持可擴展性。鑒于這一成就和其他成就，國防部已經準備好穿越軍事現代化的漫長道路，同時確保美國公民和全球合作伙伴的信心。

RAI實施宗旨包括：（1）調整管理結構和流程，持續監督國防部人工智能使用；（2）系統操作員需達到標準水平的技術熟練程度，以創建可信的人工智能系統和人工智能賦能系統；（3）考慮人工智能采辦風險，并使人工智能開發速度滿足國防部需求；（4）使用需求驗證程序，確保人工智能能力與作戰需求保持一致，同時解決相關的人工智能風險；（5）通過國內和國際合作促進對設計、開發、部署和使用負責任人工智能的共同理解；（6）確保所有美國防部人工智能人員理解實施人工智能的技術、開發過程和操作方法。

報告前言

雖然人工智能（AI）并不新鮮，但過去十年的技術突破已經大大改變了國家安全格局。我們的對手和競爭者正在大量投資于人工智能和人工智能支持的能力，威脅到全球安全、和平和穩定。為了在一個數字競爭的世界中保持軍事優勢，美國國防部（DoD）必須接受人工智能技術，以跟上這些不斷變化的威脅。以合法、合乎道德、負責任的方式利用新技術是我們的核心精神。

為了確保我們的公民、作戰人員和領導人能夠信任美國防部人工智能能力的產出，國防部必須申明，在設計、開發、測試、采購、部署和使用人工智能時，我們的軍隊對合法和道德行為的堅定承諾。負責任的人工智能（RAI）戰略和實施（S&I）途徑通過定義和溝通我們利用人工智能的框架，照亮了我們的前進道路。它有助于消除不確定性和猶豫不決--并使我們能夠更快地前進。在我們與盟友和聯盟伙伴并肩工作以促進民主規范和國際標準的過程中，從立場上整合道德規范也使國防部有能力保持盟友和聯盟伙伴的信任。

RAI S&I路徑使我們的RAI政策易于實施。它指導了DoD實施道德原則的戰略方法，以及更廣泛地推進RAI--同時確保操作的靈活性，保持能力部署的速度，提供可擴展性，并優先考慮資源的有效分配。這份文件是我們在加速RAI的過程中邁出的關鍵一步，并進一步推動了國防部在追求人工智能技術過程中對負責任的行為、過程和結果的承諾。

美國防部常務副部長希克斯（Kathleen I I. llicks ）

目錄

• 1 執行總結
• 2 RAI戰略
  • 2.1 背景
  • 2.2 國防中的RAI
  • 2.3 預期的最終狀態
  • 2.4 DoD關于RAI的基本原則
• 3 RAI實施路徑
  • 3.1 概述
  • 3.2 實施方法
  • 3.3 實施路線
    • 原則1：RAI管理
    • 原則2: 作戰人員信任
    • 原則3: 人工智能產品和采購生命周期
    • 原則4：需求驗證
    • 原則5：負責任的人工智能生態系統
    • 原則6：人工智能勞動力
• 4 結論
• 5 附加資源

報告執行總結

人工智能的進步已經證明有能力改變現代社會的每個行業。這些影響擴展到商業、金融、生產和社會行為。美國防部對人工智能的投入，專注于采用符合美國的價值觀、共同的民主理想和軍隊對合法和道德行為的堅定承諾的方式利用這一技術。

2021年5月，美國防部副部長發布了一份備忘錄（"RAI備忘錄"），確立并指導該部對RAI開發采取整體、綜合和有紀律的方法。這份RAI備忘錄提出了以下基本原則，作為指導整個部門實施RAI的優先領域：RAI管理、作戰人員信任、AI產品和采購生命周期、需求驗證、負責任的AI生態系統和勞動力。

由此產生的美國防部RAI S&I途徑是圍繞六個原則組織的，并確定了努力的方向：

• 調整管理結構和流程，持續監督國防部人工智能使用，同時考慮到技術的使用環境。

• 系統操作員需達到標準水平的技術熟練程度，以創建可信的人工智能系統和人工智能賦能系統。

• 在人工智能產品和采購生命周期中保持適當的謹慎，以確保從人工智能項目一開始就考慮到潛在的人工智能風險，并努力減輕或改善這種風險，減少意外后果，同時以美國防部所需的速度扶持人工智能發展，以滿足國防戰略。

• 利用需求驗證過程，確保利用人工智能的能力與業務需求相一致，同時解決相關的人工智能風險。

• 通過國內和國際參與，促進對RAI設計、開發、部署和使用的共同理解。

• 確保所有美國防部人工智能工作人員對技術、其開發過程和適用于實施人工智能的操作方法有適當的了解，與他們在2020年美國防部教育戰略中概述的原型角色的職責相稱。

通過在軍事道德和人工智能安全方面的領導，美國防部將贏得我們的服務成員、文職人員和公民的信任。我們也鼓勵RAI在全球范圍內的發展和使用，并加強我們與世界各地的盟友和合作伙伴解決現代國防挑戰。

專家系統是最早的人工智能系統。在早期的智能系統研究中，人們希望用專家系統 來模擬和代替某些領域的人類專家。通過將領域知識組織成形式化的知識庫模型，專家 系統能夠利用基本的邏輯推導規則，對知識庫中的知識進行推理，形成新的知識，從而 模擬人類專家推理和決策的過程。專家系統的推理機制具有很好的可解釋性，在很長段時間里是智能系統的主流形式，給后續的智能模型和系統帶來了很多啟示。

但是，專家系統并不是基于統計理論從經驗數據中進行學習的機器學習方法。實際 上，在構建專家系統的過程中，提取知識是需要工程人員和領域專家人工介入的，知識 庫則是人工制定的規則系統。因此，專家系統可以說是種“人工”學習方法，恰好處 于機器學習的對立面。然而，從專家系統中我們可以看到人們如何從人工制定的規則系 統開始，轉向了基于統計的機器學習方法。

一、超越負責任的人工智能：實現可審計人工智能的 8 個步驟

在當今的訴訟環境中，人工智能驅動的商業決策必須不僅僅是可解釋的、合乎道德的和負責任的；我們需要可審計的人工智能。

您的 AI 能否通過監管機構？

隨著主流商業世界從人工智能的理論使用轉向生產規模的決策，可審計的人工智能是必不可少的，因為它包含的不僅僅是負責任的人工智能（強大、可解釋、合乎道德和高效的人工智能）的原則。可審計的 AI 還提供通過監管審查所需的文件和記錄，其中可能包括以下問題：

• 什么數據用于構建機器學習模型？數據是否代表生產環境？如果/當它們在開發階段被發現時，如何解決數據偏差？
• 模型中使用的派生變量是什么？他們有偏見嗎？治理團隊是否批準在模型中使用變量？
• 利用了哪些特定的機器學習算法？它們是否適合正在解決的數據和問題？
• 模型是否完全可解釋，具有解釋模型做出的自動決策的準確原因代碼，對模型用戶和受影響方都可解釋？
• 該模型是否設計為可解釋的？推動結果的潛在特征是什么？他們是否進行了偏見測試？
• 對模型進行了哪些穩定性測試，以了解和糾正生產數據的變化？
• 是否有特定的監控要求來確保監控數據漂移、性能漂移和倫理治療漂移？
• 當生產客戶數據從模型訓練的內容轉移時，有哪些不起眼的 AI權宜之計可以降級到更安全的模型？
• 模型如何感知對抗性 AI攻擊以及如何響應？

為什么可審計性很重要

需要注意的是，盡管“審計”一詞具有事后的含義，但可審計的 AI 強調在模型構建期間和模型投入生產之前制定（和使用）明確規定的工作記錄。

可審計人工智能通過在模型生產過程中創建公司記錄的開發治理標準的審計跟蹤，使負責任的人工智能成為現實。這可以避免在模型開發完成后進行隨意的事后探測。還有額外的好處；通過盡早準確地了解模型何時出偏差，以便快速補救，公司可為自己省去無盡的痛苦，避免當人工智能在數據科學實驗室之外出現問題時發生的聲譽損害和訴訟。

可審計的人工智能可以幫助防止法律挑戰

法律成本、聲譽受損和客戶不滿只是受到 AI 倡導團體審查的沉重成本中的一小部分，而可審計的 AI 可以幫助防止所有這些成本。采用可審計人工智能將通過在整個模型開發過程中記錄關鍵決策和結果來確保公司的人工智能標準得到遵循和執行。

盡管建立必須衡量、審查和批準的精確信息并非易事，但這樣做會給公司帶來兩個寶貴的優勢：

• 他們可以永久保存模型開發信息，以供以后審查和審計（由于數據科學人員流動性特別重要）。
• 使模型構建能夠自信地進行，因為它們遵守公司的書面標準和“護欄”，以防止出現偏差。

構建可審計人工智能的步驟

如果沒有嚴格的模型開發標準和指導方針，公司就很難出具始終如一地跟蹤合規性的審計報告，以及用于確保投入生產的模型公平、公正和安全的關鍵數據。

在某些情況下，模型治理的關鍵部分簡單而令人不安地沒有得到解決。從研究模式到生產模式的轉變需要數據科學家和公司有一個明確的標準。創新應該由 Highlander Principal 推動（“只能有一個”），因此您的組織在開發可審計的 AI 時需要提出以下問題：

• 當今的分析組織結構如何？是有一個領導者，還是有多個領導者矩陣？如果是后者，他們之間的協調程度如何，或者他們將如何相互協調？
• 現有的分析型領導者治理委員會是如何構成的？如何決定什么構成 AI 算法的可接受性以及公司圍繞使用 AI 的理念？標準將如何記錄？
• 負責任的人工智能是如何解決的？是否有積極的監測計劃？它是如何運作的？不可變的區塊鏈技術是否被用于保存每個模型如何滿足標準記錄系統，這個系統是否持續存在于個人數據科學家和組織變動之外？
• 數據道德計劃和數據使用政策的狀態如何？如何測試和使用合成數據？正在進行什么樣的穩定性測試以確保模型能夠在不斷變化的生產環境中有效運行？
• 人工智能開發標準是什么？提供了哪些工具和資產？哪些算法是允許的，哪些不是？從模型操作的角度來看，可審計 AI越來越需要標準工具和標準變量庫。這些選擇是如何做出和維持的？是否有通用代碼庫和日常回歸測試？如何提取和測試學習到的潛在特征的適用性、穩定性和偏差？
• 公司如何實現道德人工智能？組織中允許使用哪些 AI 技術，如何對其進行測試以確保其適合市場？今天是否對每個模型進行了監控，如果有，監控的是什么？理想情況下，這包括數據漂移、性能漂移和倫理治療漂移。什么是預設的閾值以指示何時不應再使用模型？
• 公司圍繞人工智能研究的理念是什么？公司是否努力證明其具有創造性，表明其對人工智能投資的更高風險的容忍度？還是該公司更保守，希望確保它使用的是受監管且易于監控的成熟技術？或者它會采取一種混合方法，一個團隊負責展示人工智能的潛在藝術，另一個團隊將其付諸實踐？
• 公司的 AI 是否符合道德規范？是否將一些高風險模型置于“負責任的人工智能”的保護下，而受到監管，而另一些根本不符合“負責任的人工智能”標準？這些分界線是如何設置的？在人工智能的發展過程中不負責可以嗎？如果是這樣，什么時候？

誠然，有無數問題需要回答，實現可審計 AI 似乎令人生畏。但是已經有可以很容易采用的最佳實踐框架和方法，提供關鍵的構建模塊。如今，大多數組織都在將 AI 部署到一個充滿風險的空白中，因此真正迫切需要實施可審計的 AI。人工智能的未來，以及我們所知道的商業世界，都取決于這種強大的技術以同樣強大的方式進行管理和監控。

二、德國聯邦信息安全局等十余個單位聯合發布《邁向可審計人工智能系統：現狀和未來方向》的白皮書

0 執行總結

人工智能 (AI) 系統作為決策和控制系統的一部分在各種應用中發揮著越來越大的作用，其中包括移動、生物識別和醫學等安全和安全關鍵應用領域。與傳統 IT 技術相比，深度神經網絡等 AI 技術的使用提供了新的機會，例如卓越的性能。同時，它們在 IT 安全性、魯棒性和可信賴性等方面提出了新的挑戰。為了應對這些挑戰，需要一個普遍認可的人工智能系統審計框架。這應該包括評估策略、工具和標準，但這些要么正在開發中，要么尚未準備好投入實際使用。

本白皮書首先總結了 AI 系統的機遇和挑戰，然后介紹了 AI 系統可審計性的最新技術，重點關注 AI 生命周期、在線學習和存在漂移、對抗，毒化攻擊、后門的模型維護等，和針對這些攻擊的防御、驗證、安全關鍵型 AI 系統可審計，黑盒 AI 模型可解釋和 AI 標準化。

盡管所有這些方面都取得了實質性進展，但一個首要的開放問題是（通常是多方面的）系統所需特性之間的權衡，例如一方面是魯棒性、安全性和可審計性，另一方面是 AI 模型、ML 算法、數據和進一步邊界條件的特征。這些權衡限制了當前 AI 系統的可擴展性和通用性。

為了最終以安全、可靠、穩健和可信賴的方式利用人工智能技術的機會，應結合兩種策略： 1. 考慮到上述權衡，應為給定任務選擇有利的邊界條件； 2. 應通過對研發的大量投資來推進現有技術，以最終在復雜的邊界條件下允許安全的人工智能系統，從而提高可擴展性和普遍性。第一步，應該關注選定的安全關鍵用例。應利用可用的標準、指南和工具，并進一步促進研究人員和行業之間的跨學科交流，以找到可用標準和工具的最佳組合，為每個特定用例實現可審計、安全和強大的人工智能系統。然后，在第二步中，應該使用來自這些用例的見解來概括結果并構建一個模塊化工具箱，該工具箱隨后可以應用于其他用例。在此基礎上，首先應制定技術指南和隨后的標準。在理想情況下，結果將是一套普遍適用的標準和工具，使人工智能系統具有足夠的可審計性、安全性和可靠性。

1 人工智能系統：機遇與挑戰

人工智能 (AI) 技術已經在許多應用中普遍存在，它正日益成為我們世界不可或缺的一部分，因為它是決策或控制系統無數應用的基礎（圖 1）。人工智能系統可能由多個子系統組成，每個子系統都可能使用不同的技術。技術可分為經典 IT (cIT)、符號 AI (sAI) 和連接主義 AI (cAI)。在這里，重點放在（深度）神經網絡和機器學習（ML）形式的 cAI 系統上，因為 cAI 系統在質量上表現出新的漏洞，并且到目前為止，還不能通過 cIT 的可用工具進行充分審計。

圖 1：人工智能系統已經成為各種應用中決策和控制系統的一部分，例如自動駕駛汽車、醫療保健和生物識別技術。 Connectionist AI（cAI，例如神經網絡）、符號 AI（sAI，例如決策樹）和經典 IT (cIT) 模塊通過傳感器和執行器相互交互并與環境交互，從而導致整體系統行為。在這里，我們只關注單個 cAI 模塊（粗體字）。

人工智能用于計算機游戲和語音助手系統等應用程序，以及駕駛員輔助系統、入侵檢測系統和醫療診斷等安全關鍵應用程序 [1-4]。后一個用例表明，責任和義務從人類轉移到了安全和安保關鍵系統中的人工智能系統。因此，出現故障的人工智能系統可能會導致嚴重后果，導致經濟損失甚至影響人類健康。在極端情況下，這可能包括因不適當或缺少醫療而導致車禍或嚴重醫療狀況的死亡。在許多應用中，當前的人工智能系統在性能、用戶體驗和成本方面都大大優于 cIT 技術。盡管人工智能技術提供了這些和其他巨大的機會，但它的應用也帶來了一些挑戰 [5-9]：例如，神經網絡 (NN) 的內部工作原理由于其高度互連的非線性而很難被人類解釋。處理元素及其巨大的輸入和狀態空間。此外，它們的性能高度依賴于數據的數量和質量，因為它們的參數必須通過 ML 算法進行訓練。 NN 訓練不遵循明確定義的設計流程，NN 具有質量上的新漏洞，用戶經常缺乏信任，并且 NN 可能被攻擊者用作攻擊工具。

因此，為了應對 AI 的這些安全和安保挑戰，必須深入了解 AI 系統的運作方式、為什么它們在某些情況下表現良好但在其他情況下失敗，以及它們如何受到攻擊和保護免受攻擊。為了獲得用戶的信任，必須在實際定義的邊界條件下保證人工智能系統的正常運行。對于“經典”技術，法律要求在飛機控制軟件等多個領域提供此類保證，并且需要定期進行審計。一個自然的問題是如何將傳統 IT 領域的概念和方法轉移到 AI 領域，在這還不夠的情況下，如何用新的 AI 特定概念和方法來補充它們。如果在 100% 的情況下無法保證正確操作，則應討論是否可以接受 AI 系統至少比最先進的非 AI 系統或人類執行得更好。因此，應采用基于風險的方法，量化系統故障的風險，即故障成本乘以故障概率。這在惡意攻擊的情況下也應該成立。更好的平均性能可能還不夠，因為人工智能系統的平均性能可能更好，但在亞組上更差（例如，黑人的皮膚癌檢測，[10; 11]）。如果 AI 系統出現故障，其失敗的原因必須是可以解釋的。由于目前尚無普遍接受的審計人工智能系統的標準、評估標準、方法和工具（但有關當前舉措，請參見第 2.7 節），因此出現以下問題：如何審計人工智能系統？哪些邊界條件是最優的，哪些是可以接受的？除了經典的 IT 系統審計或安全評估之外，還需要哪些方法、工具和其他資源？審計 AI 系統的限制是什么？工作量和審計質量之間的權衡是什么？應該如何在研發中最好地利用可用資源，以實現在各種條件下仍然有效的 AI 系統審計結果？

根據 2020 年 10 月 6 日在柏林/互聯網舉行的為期一天的研討會“審計 AI 系統：從基礎到應用”的演示和討論，我們試圖通過回顧當前的技術水平來回答這些問題，通過總結開放性問題并確定最迫切需要的未來工作和最有希望的方法來評估 AI 系統的可審計性。在此過程中，1. 將考慮 AI 系統的整個生命周期； 2. 將重點關注當前最重要的 AI 技術，即機器學習 (ML) 訓練的深度神經網絡 (DNN)，而 DNN 將在 IT 安全性和魯棒性方面予以考慮。在可能的情況下，將給出具體的用例作為示例。

2 人工智能系統的可審計性：最先進的技術

在本節中，首先給出廣義 cAI 生命周期的概述（圖 2A），然后總結 cAI 系統可審計性的一些最重要方面的最新技術，即通過 ML 訓練 AI 系統數據、攻擊和防御、驗證、確認、可解釋性和標準化。

研討會期間沒有深入討論其他方面，因此，僅就它們對 AI 安全的可能影響進行了簡短總結：

1.足夠的質量和數量的訓練和測試數據適用于AI性能和魯棒性，也適用于 AI 系統的安全性 [12]。

2.數據預處理（或特征選擇）一方面可以被視為 AI 系統模塊化的一步，由于每個 AI 模塊的功能減少，可能會導致更好的可解釋性，但另一方面，可以認為開辟了一個新的攻擊目標（參見例如[13; 14]）。因此，根據具體情況，它可能有利于提高安全性，也可能無益。

3.正則化，例如通過誤差函數對大權重進行懲罰，可能有助于防止過度擬合，并且可能在某些邊界條件下直接導致更高的魯棒性并間接提高安全性和保障性[15]。

2.1 生命周期

cAI 系統的復雜生命周期至少在很大程度上是其應用面臨新挑戰的原因，尤其是與 cIT 和 sAI 系統相比。因此，它將成為本白皮書的重點。在這里，它分為以下 5 個階段（參見圖 2A）：規劃、數據、訓練、評估和運營。在實踐中，這些階段不是按順序排列的，而是開發人員以高度迭代和敏捷的方式使用這些階段，例如在開發過程中經常使用評估。此外，運營階段還包括模型維護的挑戰，包括調整模型的必要性，以防已經使用的 cAI 系統出現新數據或要求。與生物神經網絡類似，cAI 系統通常由大量簡單但高度互連的處理元素（或神經元）組成，這些處理元素（或神經元）分層組織。最先進的 cAI 系統，例如深度神經網絡（DNN，深度 = 多層）由數百萬個處理元素和它們之間的突觸（= 連接）組成。假設一個固定的神經架構，這意味著 cAI 系統通常有超過 1 億個參數，即突觸權重和單位偏差值，必須適當調整。因此，幾乎在所有情況下都無法手動設置這些參數。相反，機器學習技術用于根據訓練數據、誤差函數和學習規則自動調整系統參數。與在訓練期間學習的 cAI 模型內部參數相比，影響學習過程和模型架構的外部參數稱為超參數，必須在訓練之前固定并在驗證集上進行調整。自動化訓練管道設置和訓練本身的方法稱為自動機器學習或 AutoML [16]。雖然許多 cIT 和 sAI 模型（例如決策樹或規則集）中的參數通常也由自動方法設置，但原則上，與大多數 cAI 模型相比，它們仍然可以直觀地檢查。

圖 2：A) 連接主義 AI (cAI) 系統的廣義生命周期示意圖，強調了對 AI 系統進行徹底審計時必須考慮許多方面。在這里，生命周期是從 IT 安全角度來看的，包括漏洞（紅色）、防御（藍色）和解釋（綠色 + “？”）。有監督的再訓練或在線學習可以選擇性地與運營并行，并在運營期間連續運行，從而導致評估應該何時以及多久進行一次評估的問題。評估、驗證、確認和標準化應考慮整個生命周期。 B) 一個 cAI 生命周期 (cAILC) 可以是例如嵌入到功能安全生命周期中（fSLC，參見例如 [17; 18]）。后者可能包含幾個與安全相關的系統，例如還包括 sAI 和 cIT 系統（參見圖 1），包括在開發階段和最終退役階段之前的廣泛分析階段。請注意，cAILC 和 fSLC 通常都是高度迭代的。

因此，開發人員的角色是通過使用神經網絡、訓練數據、機器學習算法和相關超參數初始化訓練過程來設置必要的邊界條件。隨后，開發人員監督訓練過程，調整超參數，測試中間結果，并在必要時重新開始訓練，直到達到 AI 系統的預期性能。這不是一個標準化的程序，而是開發人員的直覺和經驗決定了訓練過程。由于獲得足夠數量的高質量數據和從頭開始訓練 DNN 需要大量資源，開發人員經常走捷徑，利用預先訓練的模型和從各種來源獲得的外部數據。一旦滿足開發標準（例如性能、魯棒性），人工智能系統就可以投入運行：在嵌入特定的硬件和軟件環境后，神經網絡會收到預處理的輸入數據并輸出其決策。盡管缺乏明確定義的設計流程（見上文），但能夠訪問必要資源（數據、模型、計算能力）的經驗豐富的開發人員可以快速為許多明顯優于 cIT 系統的用例開發決策系統。

由于 DNN 通常具有巨大的參數和輸入空間以及它們在結構和功能之間的非直觀關系，人類幾乎不可能解釋它們的功能。允許這樣做的專業解釋方法是當前研究的主題（詳情參見第 2.6 節）。目前通過觀察一組選定測試的輸入輸出關系來測試人工智能系統。即使是測試所有可能輸入的一小部分，也需要大量資源，并且必須系統地進行處理（參見 [19]）。只有在非常有限的邊界條件下的特定情況下才能進行形式驗證，例如它不能擴展到大型網絡和任意輸入（參見第 2.4 節）。 cAI 系統的進一步缺點是它們在性質上的新漏洞，即在運行期間的對抗性攻擊（參見第 2.3.1 節）和信息竊取攻擊（參見第 2.3 節），以及在訓練期間的后門中毒和 DoS 攻擊（參見第 2.3.2 節） ，除了經典的社交攻擊、操作系統和硬件攻擊外，攻擊者還可能利用這些攻擊進行有針對性和無針對性的攻擊（詳見下文）。為了保護數據驅動的 AI 系統和機器學習免受此類攻擊，除了經典的 IT 安全措施外，還提出了許多解決方案：對抗性訓練、梯度掩蔽和特征壓縮（參見第 2.3.3 節了解更多詳細信息）。不幸的是，到目前為止，沒有一種單一的防御方法，也沒有多種防御方法的組合能夠可靠地防止自適應攻擊。此外，根據設置，改進的攻擊預防和魯棒性可能以降低準確性為代價 [20]。

在實際用例中，例如在自動駕駛汽車中，cAI 生命周期通常嵌入到更廣泛的生命周期中，包括多個 IT 和 AI 模塊的開發和交互。這描述了功能安全生命周期（圖 2B 中的 fSLC），其中 cAI 模塊只是可能的組件。對于這些 cAI 模塊，可以確定（汽車）安全完整性等級 ((A)SIL) [17; 18]。功能安全生命周期強調人工智能生命周期規劃階段之前的分析階段，目的是量化此類系統的故障概率，并通過包括風險分析在內的系統方法確定這些概率的可接受性。 fSLC 分析階段還包括概念化以及安全要求的推導和分配。作為分析的結果，出于安全的原因，甚至可能完全禁止在安全關鍵應用程序中使用人工智能技術。相比之下，人工智能可以很容易地在沒有發生嚴重后果的情況下使用，這必須得到風險分析的支持。在這種情況下，不需要在系統中實施 SIL 要求，也不需要進行安全評估。方法論和用例特定的標準、規范和技術指南應在適用于整個生命周期的任何地方使用。例如，功能安全生命周期存在一個廣泛的標準 [17]，但它不包括具有 cAI 特定漏洞和挑戰的 cAI 生命周期。在世界各地，多項舉措都在努力縮小這一差距（參見第 2.7 節）。

2.2 非平穩環境下的在線學習和模型維護

為了通過從數據中學習來解決問題，可以根據問題的復雜性和可用數據量使用不同的范式。例如，當有大量訓練數據可用時，深度學習技術通常用于解決復雜問題，而統計學中的經典方法只能解決不太復雜的問題，但需要的數據更少。獨立于范式，手頭問題的環境可能不會隨著時間的推移而保持不變。為了獲得魯棒的結果，必須考慮和解決此類環境變化。

對于大多數經典機器學習 (ML) 技術，可以在標準假設下從統計學習理論推導出強大的魯棒性保證 [21]。面對環境變化和有限的數據可用性，保持預測準確性的另一種方法是允許 ML 模型拒絕與已知數據點相距太遠且模型確定性較低的輸入 [22]。需要注意的是，識別此類輸入本身可能是一個難題。這種方法也可以用于在線學習[23]。

遷移學習是一種通用技術，允許將先前學習的父模型調整到新的但相關的任務 [24]。利用這兩個任務的相似性并基于父模型中包含的信息，可以使用比從頭開始訓練所需的更少的數據點來訓練新模型。遷移學習和更一般形式的小樣本學習是目前使用深度學習的標準方式。例如，特定圖像分類任務的模型建立在 VGG [25] 等預訓練模型之上。遷移學習可用于應對環境變化。然而，為了在不使用大量數據的情況下獲得模型準確性的理論保證，需要對可能發生的變化做出強有力的假設。這樣的假設在實際用例中可能是有效的，例如，使假肢的控制單元適應傳感器位置的輕微變化[26]。

另一種訓練 ML 模型的方法稱為在線學習。在這種范式中，模型不會從離散的數據批次中學習，而是使用數據流并不斷更新以將每個新數據點考慮在內。然后環境變化表現為數據漂移，這可能會影響真實模型本身或僅影響觀察到的數據分布。在這種情況下，挑戰在于確定哪些信息與在給定時間點和未來做出正確預測相關，哪些信息應該被丟棄。在這樣做時，還必須考慮數據中毒攻擊和丟失數據標簽。因此，模型面臨可塑性之間的兩難境地，即能夠整合新信息，又保持穩定性，保持以前的正確知識。已經證明，對于簡單模型，這兩個屬性可以有效地平衡，以在存在漂移的情況下實現高性能 [27-30]。這種模型的挑戰在于元參數成為模型參數，因為模型復雜性可能會發生變化。因此，非參數模型以及集成方法通常特別適合。然而，獲得數學保證需要非常強的假設。作為在實踐中處理漂移的一步，檢測和理解漂移的第一種技術提供了有趣的方法來判斷這種在線適應技術的效果[31,32]。

2.3 攻防

人工智能在設計上并不安全，過去幾年已經記錄了無數欺騙人工智能系統的例子（概述參見 [33]）。在本白皮書中，我們重點關注 AI 系統在信息安全目標完整性方面的兩個最重要漏洞，該漏洞致力于在整個 AI 生命周期中維護可信賴和一致的數據。在這種情況下，已經確定了對 cAI 系統的兩個主要和質量上的新威脅：操作階段的對抗性或逃避攻擊（參見第 2.3.1 節）和訓練階段的后門中毒攻擊（參見第 2.3.2 節）。這些攻擊和可用的防御將在以下部分中詳細討論。

其他兩個主要信息安全目標的機密性和可用性方面存在更多漏洞，但不在本白皮書的重點：機密性可能會通過探索性模型竊取 [34]、模型反轉 [35] 和成員推斷攻擊 [36] 受到損害，其中用于訓練的 AI 模型和數據可以從查詢到可操作的 AI 系統進行重構（在“模型和數據竊取攻擊”下總結在圖 2 中）。這些攻擊是在規避攻擊的上下文中提到的（見下文）。可用性可能會受到 DoS 中毒攻擊 [37]，與后門攻擊相比，它的目標是最小化模型的性能。

2.3.1對抗性機器學習

在規避攻擊中，攻擊者計劃通過對模型輸入的細微修改來改變人工智能系統在其推理（或運行）階段的決策。這些修改通常對人眼來說是不可疑的，也被稱為對抗性示例 [38; 39]。因此，標準的 cAI 系統非常脆弱，模型訓練數據不能很好地表示的輸入特別容易受到錯誤分類的影響。眾所周知的例子包括通過在交通標志上放置貼紙來攻擊交通標志分類系統 [40]，通過向惡意軟件 [41-43] 添加適當功能所不需要的代碼來攻擊惡意軟件檢測器，以及通過為人類配備特別印制的眼鏡架 [44] 或帽子上的補丁 [45]。如果攻擊者能夠控制人工智能系統的決策，則該攻擊稱為有針對性的攻擊，否則，如果攻擊者只是以任意方式更改決策，則該攻擊稱為無目標攻擊。

為了規避攻擊，可以將其形式化為一個優化問題，其目標是修改輸入，以使 AI 系統至少跨越一個決策邊界，例如。在惡意軟件檢測器中從良性區域到惡意區域 [38; 46]。在這樣做時，必須考慮幾個附帶條件，例如保持修改盡可能小或不明顯的要求。

如果攻擊者完全了解模型、特征和數據，這種攻擊稱為白盒攻擊。此外，如果輸出函數是可微的，這是大多數當前使用的學習算法的情況，那么可以計算梯度作為優化過程的先決條件。但是，在攻擊者對目標模型、特征和數據的了解有限的情況下，稱為灰盒或黑盒設置，攻擊者可能會通過替代模型繞過旁路來制造有效的攻擊。替代模型可以通過模型竊取攻擊或通過新訓練的模型，例如使用來自成員推理攻擊的數據，該攻擊模仿目標模型的功能。 cAI 系統具有這樣的特性，即為一個模型開發的攻擊在許多情況下可以毫不費力地轉移到不同的 cAI 模型（可轉移性），因此，這些攻擊也稱為黑盒轉移攻擊。根據邊界條件，即使是黑盒查詢攻擊也可以成功。它們不需要替代模型，而是使用對目標模型的查詢與無梯度優化方法（如遺傳算法或貝葉斯優化）相結合。由于這些黑盒攻擊，僅對網絡參數保密以有效保護人工智能系統免受對抗性攻擊是不夠的。

但是為什么 cAI 系統容易受到對抗性攻擊呢？ cAI 系統建立在訓練數據代表未來數據的假設之上，即輸入數據是獨立同分布 (IID)。除非任務空間非常有限，否則 IID 假設 [47] 遲早會被違反，這意味著模型缺乏魯棒性。因此，模型在隨機輸入數據損壞（含噪的輸入數據分布）和特制的對抗性示例方面缺乏魯棒性是同一潛在現象的兩種表現形式 [48]。模型越復雜，出現的漏洞就越多，攻擊者就越容易和更快地找到對抗樣本。直觀地說，這可以通過以下事實來解釋：系統的輸入和狀態空間維度越大，從合法輸入到惡意輸入區域的路徑越短，攻擊者可能會利用這些路徑。此外，為了使魯棒性訓練適用于復雜的 cAI 系統，它需要大量適當的訓練數據，即隨著 cAI 系統的大小，防御變得越來越資源密集。解決這個問題的一種策略是從風險角度考慮，對于每種類型的攻擊，它發生的可能性被認為是決定單獨應該分配多少資源來防御它。

2.3.2 DNNs后門攻擊

DNN 等 AI 模型需要大量數據進行訓練和測試，才能獲得良好的性能。出于這個原因，通常的做法是從多個來源收集數據而不執行高質量標準。事實上，從業者普遍認為，低質量的數據可能沒有什么價值，但不會顯著影響模型的性能。然而，大量研究結果表明，這種假設是不正確的。由于當前的 AI 模型本質上是純相關提取器，因此數據集的問題會導致它們以意想不到的方式表現。

后門投毒攻擊和 DoS 投毒攻擊 [49; 50] 有針對性地損壞部分訓練數據。一方面，DoS 中毒攻擊旨在通過插入錯誤的數據點來改變其決策邊界 [49]，從而降低模型的泛化能力。雖然這些攻擊在經典 ML 方法中構成了一個大問題，但它們不會以相同的規模影響 DNN，并且通常可以很容易地檢測到 [51]。另一方面，后門中毒攻擊只會降低某些輸入的模型準確性[50]。為此，攻擊者通過添加特殊的觸發模式小心地操縱部分訓練數據，使他們能夠在推理過程中完全控制這些輸入上的模型行為。就經典的 IT 安全目標而言，DoS 中毒攻擊影響模型的可用性，而后門中毒攻擊則針對其完整性。此類攻擊的基本思想在于植入虛假的相關性，然后模型將其用于決策。例如，這通常涉及在分類任務中更改標簽。然而，更微妙的、所謂的標簽似是而非的攻擊可以避免這些相當明顯的變化[52]。

之后很難檢測到對 DNN 的后門攻擊。這既是因為模型只做它們應該做的事情，即學習相關性，也因為它們表現出缺乏人類可解釋性。發現后門攻擊的方法依賴于對模型學習的異常值的檢測[53]。這不適用于數據集本身，而是必須使用內部模型表示 [50; 54; 55]，可能與 XAI 方法結合使用（參見第 2.6 節）。然而，現有的緩解技術并不完美，也可能沒有自動解決方案，因為可能需要人類先驗知識來正確區分損壞和良性數據點 [56]。

除了有針對性的攻擊之外，數據集可能包含虛假的相關性，這可能會以類似的方式影響模型，盡管針對性較低。這些相關性可能源于數據選擇以及預處理和訓練管道中的偏差。例如，在醫學圖像識別的各種任務中已經發現了這些問題 [57]。

解決這些問題需要消除訓練數據中的虛假相關性。 XAI 方法可能有助于做到這一點，以及在訓練期間隨機化管道偽影的技術。除了 AI 級別的技術措施外，還需要更通用的緩解技術來解決意外的虛假相關性，尤其是阻止后門攻擊。特別是，這包括在模型的整個生命周期內保護模型的完整性，并在訓練階段使用技術和組織措施來改變環境條件，例如對開發人員進行安全檢查以及限制對數據存儲和開發機器的訪問，使其攻擊者更難成功 [58]。

2.3.3 DNNs攻擊的檢測與防御

在最近，為了保護深度神經網絡免受攻擊[59]或檢測此類攻擊[60]，已經提出了大量的方法。然而，事實證明，檢測對抗性攻擊并可靠地防御它們是非常困難的，因為已經證明自適應攻擊者可以繞過大多數提出的防御，與僅應用最強防御的系統相比，即使是并行應用的多個防御也可能并不總能增加對抗性的魯棒性[61-63]。盡管如此，防御可以增加攻擊者發起成功攻擊的努力。此外，最近關于對抗性攻擊的可驗證檢測的工作很有希望，因為它保證了對某些自適應攻擊者的魯棒性[64]。

許多防御方法的一個重要缺點是它們會顯著影響模型在良性輸入上的性能。出于這個原因，評估防御方法的合適指標應該同時考慮模型對 a) 良性輸入和 b) 對抗性輸入的性能。

在防御對抗性攻擊時，總是需要考慮 AI 系統的環境條件。例如，如果攻擊者只能將攻擊應用于物理世界而不能應用于數字領域（例如，在攻擊計算機視覺系統時，攻擊需要在不同視角、旋轉或類似變換下具有魯棒性），成功的標準攻擊要高很多。此外，需要牢記的是，這樣一個系統的魯棒性不僅取決于其 AI 相關部分的魯棒性，還取決于其他組件，例如 cIT，這既可以增加也可以降低系統的魯棒性和也構成了額外的攻擊目標。例如，可以通過包含基于非 cAI 技術的冗余方法來提高系統的魯棒性，該方法充當完整性檢查，或者通過 cIT 查詢限制對 cAI 組件的限制來阻礙對抗性示例的制作。

對抗性攻擊最有希望的防御方法之一是對抗性訓練 [59]，其中對抗性示例被包含在訓練階段，以增加這種系統的對抗性魯棒性。這種方法的一個缺點是它會顯著影響訓練運行時間，尤其是在包含使用強攻擊構造的示例時。對抗性訓練只會賦予訓練期間出現的攻擊魯棒性，因此，如果出于性能原因只考慮弱攻擊，系統將仍然容易受到更強攻擊。因此，有必要提高對抗訓練的效率，特別是通過在訓練期間創建強大的對抗樣本的過程，如共享對抗訓練 [65] 和元對抗訓練 [66] 以及訓練策略的其他擴展是有希望的（參見例如 [67]）。

對抗性訓練的另一個缺點是它沒有對模型的魯棒性提供任何正式的保證。因此，不能正式證明不存在繞過這種防御的攻擊。這個問題可能會在威脅模型（例如對抗性補丁 [68]）中通過經過認證的防御（例如[69] 和 [70]，這可以證明補丁威脅模型對對抗性攻擊的魯棒性。然而，對于其他威脅模型，這種經過認證的防御將嚴重影響模型在良性輸入上的性能。此外，其中一些防御措施對模型的架構施加了限制。

針對對抗性攻擊的其他類別的防御通常容易被攻擊者規避，并且根據用例和邊界條件，可能會產生錯誤的安全感。這是例如梯度混淆[71]的情況，一種梯度掩蔽，應該使攻擊優化步驟更難。

在防御后門攻擊方面，主要問題源于 AI 模型沒有其目標領域的先驗知識，而是從（可能是惡意的）訓練數據中學習這些知識。防御此類攻擊的一種有前途的方法是通過查看使用該數據訓練的深度神經網絡的內部工作原理來檢測惡意數據 [54]，并識別網絡行為與同一類別的其他數據樣本不同的樣本。這可能表明與正常數據樣本相比，網絡使用不同的特征來進行預測。到目前為止，這種方法只適用于部分情況。為了解決模型缺失先驗的問題，可能有必要通過人類專家知識在也使用 XAI 方法的交互式過程中包含此先驗。

2.4 人工智能系統的驗證

人工智能系統的驗證領域涉及在存在一系列輸入擾動的情況下證明不存在意外的輸出行為，這可能是由于自然變化或攻擊者故意引起的。因此，驗證可用于推理 AI 系統的安全性。然而，嚴格的證明面臨著重大障礙。由于輸入空間很大，要考慮的擾動數量可能是無限的，這使得蠻力方法不可行。此外，用于檢查邏輯約束的標準求解器（例如 SMT，[72;73]）由于其非線性而不能很好地擴展到 DNN，盡管它們在某種程度上可能有用。

解決這些問題的一個突出方法是基于抽象解釋技術，該技術已廣泛用于自動推理多年 [74]。它的主要思想是以有界的、有限的方式表示可能無限數量的狀態，這允許將其存儲在內存中并執行符號計算。

更準確地說，抽象解釋可以通過符號約束對所有可能的輸入擾動進行編碼來應用于 DNN，例如產生多面體。隨后，可以計算網絡層對該多面體的抽象影響。生成的形狀對與輸入集對應的所有可能輸出進行編碼，并可用于檢查要驗證的保證。在實踐中，為了使計算可行，編碼輸入的符號約束是真實數據流形的近似值（凸松弛）。因此，在近似精度和計算復雜度之間存在權衡。

迄今為止開發的驗證技術有幾個缺點，因此需要提出以下改進建議：

1.驗證主要針對輸入向量的每個元素在給定范圍內的隨機變化進行，直到最近才有幾何擾動（例如旋轉、平移）研究。這個范圍需要擴展到更多的語義擾動。

2.使用的松弛需要改進，以在精度和復雜性之間取得更好的平衡。在擴展擾動和任務集時，可能需要自定義松弛。

3.這些技術主要應用于前饋神經網絡的分類任務，需要泛化以涵蓋其他模型類型（例如 RNN）和其他任務（例如分割）。

4.最大的問題是方法的可擴展性。如果一個目標是提供 100% 的確定性保證，那么這些技術僅適用于中小型網絡（就 ReLU 單元的數量而言），與實踐中使用的大規模網絡相去甚遠。

為了從這些技術的全部潛力中受益，它們還可以用于事后驗證。特別是，一種稱為可認證訓練的方法 [75] 將它們與訓練相結合，以獲得可認證的防御。這也有助于解決該技術的可擴展性問題，因為新的網絡架構可以通過認證。

還表明，對抗性訓練有助于驗證，對抗性訓練和可認證訓練可以相關，并且主要在它們用于提高模型穩健性的信息上有所不同。最近的研究提出了一種將這兩種方法結合起來的方法 [76; 77]。

2.5 審計安全關鍵型人工智能系統

安全關鍵型人工智能系統是其決策受人工智能子系統影響的系統，其故障可能導致以下結果：人員死亡或嚴重傷害、設備或財產損失或嚴重損壞以及環境危害。例如，安全關鍵系統可以在航空、核能、汽車和鐵路、醫療和自主系統領域找到。對于這些系統，有必要證明它們滿足所需的要求，例如某些可預測的魯棒性和可靠性，并且它們的保證通常依賴于基于標準的證明。不幸的是，對于基于 ML 的系統，這是一個嚴重的問題：缺乏針對此類新技術的經過驗證的標準、政策和指導，例如諸如 IEC 61508 [17] 等安全規范性軟件標準并不完全適用于 AI 系統。

與無法應用現有方法的其他系統一樣，基于論證的方法（使用正式的結構化論證來證明某些特定聲明的正當性）可用作 AI 系統保證的結構化方式 [78; 79]。基于論證的方法的主要優點是在如何證明安全聲明方面具有相當大的靈活性。在確定未知領域的差距和挑戰時，這種靈活的方法是必要的。其中一種方法是 CAE（聲明、論證、證據）框架，它基于應用的自然語言演繹方法。 CAE 框架由三個部分組成：

• 聲明是為獲得普遍接受而提出的聲明（例如，關于系統安全/安全的聲明）。

• 將證據與主張聯系起來的論點。

• 作為索賠理由的證據。例如，證據的來源可以包括開發過程、先前的經驗、測試和正式的方法。

使用 CAE 框架，可以使用經典的和 AI 特定的方法以結構化的方式檢查給定的聲明。例如，經典的軟件分析方法對于分析實現 AI 系統的軟件代碼是必要的。另一方面，當涉及到與人工智能相關的定性方面時，例如對抗性攻擊，經典方法無法應用。通過使用反訴和確認理論 [78]，CAE 可以進一步擴展到包括基于論證的方法的一個有希望的變體，可廢止推理 [80]。它通過提示評估人員反復詢問為什么某物可能不安全的問題而不是僅僅尋找支持證據來減少確認偏差的可能性。

對于某些 AI 系統關鍵屬性，例如系統的魯棒性，缺少明確的正式定義作為任何形式驗證的先決條件。 CAE 可能有助于澄清這個開放的研究問題并努力定義這些屬性。

可以以某種方式證明，人工智能系統最常見的形式屬性是逐點魯棒性。然而，這個屬性的一個主要限制源于它并不暗示系統魯棒性屬性：逐點魯棒性僅證明特定數據樣本的給定屬性，但為了顯示系統魯棒性，有必要證明這一點對于所有未來的輸入，這在大多數使用 AI 系統的實際應用中是不可行的 [72]。

因此，目前無法在形式驗證級別上對 AI 系統進行全面審計。然而，靜態分析工具可用于防止錯誤從訓練代碼傳播到 ML 算法中，并有助于為系統的安全性提供基線。現有的 AI 審計良好實踐包括 [81-84]。

2.6 解釋黑盒 AI 模型

復雜的 AI 模型，例如深度神經網絡 (DNN)，通過在大型數據集上進行訓練來學習功能（參見第 2.1 節）。這些模型的內部工作原理以數學方式對學習的函數進行編碼，通常不適合人類解釋[85]。然而，出于多種原因，能夠解釋AI 模型的決策可能很重要。這些原因包括發現模型（以及實施它的硬件/軟件平臺）的錯誤、弱點和限制，這可能有助于提高其性能和對攻擊的魯棒性，以及滿足透明度要求，例如由歐盟通用數據保護條例，并從科學和經濟中的大型數據集中獲得新的見解。因此，需要新的方法來解釋復雜的人工智能模型，如神經網絡。相應的研究領域稱為 XAI（可解釋 AI）[86; 87]。

文獻中提出了各種解釋方法，以提供對 AI 模型不同方面的見解。一類方法旨在對模型進行全局解釋，例如，通過構建最大激活輸入 [88] 或通過研究單個神經元在深度神經網絡中的作用來分析編碼函數的極值點 [89]。雖然這些解釋確實提供了關于模型及其學習表示的有價值的信息，但它們對于理解個體預測幾乎沒有用處，即識別對模型決策產生積極或消極影響的輸入特征。本地 XAI 方法通過將相關性分數歸因于輸入特征來填補這一空白。存在不同的方法，大致可分為三類：

1.基于擾動的方法在對輸入數據應用擾動后評估模型輸出，并從發生的變化中得出解釋。這些擾動可以是無窮小的（例如，梯度）或相當粗糙的[90]，此外，它們可以表示為優化問題[91]。盡管應用起來很簡單，但這些方法有幾個缺點，例如在計算方面的要求很高（梯度不是這種情況），因為必須對模型輸出進行大量評估，并且可靠性有限，因為結果是對應用的擾動高度敏感（例如，擾動輸入可能不在輸入流形或梯度破碎問題上[92]）。

2.基于智能體的方法（例如 LIME，[93]）查詢相關模型以獲取大量輸入，并通過本質上可解釋的更簡單模型對其進行近似。然后可以推斷出對原始模型行為的解釋。這種方法帶來的問題是，一方面，解釋對輸入查詢的采樣方式和更簡單模型的擬合方式的依賴性，另一方面，查詢原始模型的計算工作量次數。

3.基于結構的方法（例如 LRP，[94]）使用網絡的內部結構來傳播從輸出到輸入數據的網絡層之間相關性的信息。這些方法的主要特定缺點是它們需要訪問模型的內部結構，因此與模型無關。然而，它們的計算強度遠低于其他方法，并且它們提供的解釋在一系列標準下得分更高（參見 [95]）。

為了更全面地了解模型實施的預測策略，可以聚合或聚類多個局部解釋[96]。其他方法作用于潛在空間而不是輸入特征，從而提供更高級概念的解釋，例如顏色、形狀和物體部分 [97]。

其中一些解釋方法，例如LRP 已被用于發現大型圖像數據集中的意外偏差。例如，他們揭開了所謂的 Clever Hans 分類器 [98] 的面紗，即（看似）做出正確決策但出于錯誤原因的模型，基于版權標簽識別馬匹或基于存在的肺炎 X 射線“便攜”標簽。在更一般的情況下，這種方法可用于檢測數據中的偏差并提高模型的泛化能力。

最近，XAI 方法已應用于 DNN 之外的其他模型結構，也用于可視化之外的目的（例如網絡修剪）。然而，要充分利用 XAI 的全部潛力來幫助研究人員獲得魯棒且值得信賴的模型，仍然存在許多挑戰。限制 XAI 在許多應用程序中的優勢的一個因素是，如果輸入特征本身不容易被人類解釋，則會出現解釋差距。上述解釋方法的另一個懸而未決的問題是，它們并非專門設計用于揭示多個輸入區域之間可能存在的相互作用，例如回答圖像中多個區域中的哪些像素組合有助于特定決策。最后，還不清楚如何在沒有人工干預的情況下將 XAI 最佳地集成到模型訓練中（例如，集成到損失函數中）以改進模型。

2.7 全球人工智能標準化活動概況

標準是描述人工智能系統統一技術要求和支持法律框架實施的一種行之有效的方法。它們還促進了人工智能創新的市場準入，并為人工智能系統營銷人員提供了一個用于人工智能系統開發和運營的清晰框架。例如，在德國，DIN 和 DKE 是主要的標準化機構，在 CEN、CENELEC 和 ETSI 等標準化組織中代表歐盟層面的國家利益，在 ISO、IEC 和 ITU 等組織中代表國際層面的國家利益。

關于本白皮書中討論的測試和審計人工智能系統的主題，出現了哪些人工智能質量標準需要獨立測試以及需要為此類測試程序本身開發哪些標準的問題。為了解決這種缺乏標準的問題，例如，在德國，以“Normungsroadmap KI”[99] 的形式提出了對人工智能領域現狀以及對標準和規范的需求的綜合分析。應該通過標準化解決的最重要的質量維度如圖 3 所示。

圖 3：將 AI 質量標準的類別分類到合規性測試中

表 1：本白皮書涵蓋的選定主題的人工智能領域的新興標準。有關更完整的概述，請參閱[99] 和 [117]。

然而，很明顯，技術測試（“產品測試”）領域仍有相當大的發展需求，特別是在神經網絡的驗證、安全關鍵系統的可靠安全論據以及進行這些測試的工具。因此，廣泛的標準化活動將在未來幾年繼續進行。德國項目“KI-Absicherung”[118]代表了如何解決自動駕駛主題的這種需求的一個突出例子。它由一個由研究機構、汽車制造商、供應商、標準化組織和相關公共機構（如德國 BSI）組成的聯盟管理，并正在就高度自動化的基于 AI 模塊的安全性驗證策略制定行業共識。

預計未來一段時間內將通過更多類似的燈塔項目和試點，出現更多的技術測試程序，并解決相應的標準化需求。

3 未解決的問題和有希望的方法

至少對于與安全相關的 cAI 應用程序，需要實現足夠水平的穩魯棒、安全性和可審計性，并且需要制定相應的技術指南和標準。當回顧該領域的最新技術時（參見白皮書的前幾節），很明顯，一方面，許多懸而未決的問題仍然存在，但另一方面，存在許多有希望的方案和方法解決或減少這些問題的影響。此后，將根據對 cAI 生命周期的修改描述來總結未解決的問題和有希望的方法（參見圖 4）：

圖 4：cAI 生命周期（參見圖 2），重點關注可審計性、IT 安全性背景下的開放性問題。

cAI 生命周期通常嵌入在整個系統生命周期中，根據具體的用例，包括多個 cIT 和 sAI 系統以及硬件設備，例如傳感器和執行器。從這個角度來看，在復雜且不斷變化的環境（漂移）中自主運行的機器永遠不會完全和最終確定，因此，不確定性和錯誤風險仍然存在。處理嵌入式 cAI 生命周期風險評估的第一種方法來自功能安全領域（[119; 120]，參見第 2.1 和 2.7 節）。為了定義分析、驗證人工智能系統的合適方法，首先有必要識別和理解它們的預期用途、任務和它們運行的??環境。每個特定用例都具有許多基本屬性，這些屬性用戶或監管機構期望作為系統的基本特征來實施，例如：魯棒性、安全性。在大多數情況下，任務和環境的正式定義和相關指標缺失或不完整。這有幾個不良后果，例如可接受的風險必須考慮受影響用戶的看法和意見。反過來，用戶和開發人員需要在相互之間的教育、培訓和溝通方面擁有堅實的基礎，以便在使用特定AI模型、ML算法、數據集和分析方法以及針對特定用例的進一步邊界條件方面做出明智的決定。

一個首要的開放問題是（通常是多方面的）系統所需特性之間的權衡，例如魯棒性、安全性和可審計性，一方面是人工智能模型、機器學習算法、數據和邊界條件的特征，例如模型復雜性、任務空間、可塑性、成本和性能。這些權衡限制了當前 AI 系統的可擴展性和通用性。舉個例子：1.增加模型復雜性，例如可能會對可解釋性和防御產生負面影響； 2. 增加任務空間大小會導致需要更大的訓練和測試數據集，這將使驗證變得復雜，并且更難滿足 IID 要求，而 IID 要求是訓練魯棒 AI 系統的重要先決條件； 3.加強防御往往會導致性能下降； 4. 在存在漂移的情況下保持 AI 系統的不變特性需要頻繁的重新訓練和測試，因此會增加成本； 5. 白盒模型和生命周期訪問以提高可審計性與知識產權利益的沖突； 6. 使用外部數據集和預訓練模型降低了成本，但會帶來新的漏洞，特別是對于難以檢測的后門攻擊。

研究已經提出了許多有前途的方法來解決多個層面的開放問題，例如。 1. 通過使用遷移和少樣本學習，重新訓練更加高效的系統，并且通過使用非參數和集成方法，考慮到調整元參數的需要。因此，至少對于低復雜度的模型，可塑性和穩定性可以很好地平衡； 2. 針對考慮自然和對抗性輸入性能的適當指標優化防御方法，有助于減少采用強防御方法時通常的性能下降； 3. 共享和元對抗訓練降低了處理普遍擾動的成本； 4. 盡管任務空間很大，但系統地使用合成和/或增強數據和模擬可以識別故障模式并強化人工智能系統； 5.在一定程度上抽象解釋和可證明訓練允許驗證具有更大任務空間的人工智能系統； 6. CAE 和可廢止推理等基于論證的方法允許在現有方法無法應用的情況下審計 AI 系統； 7. 利用人類先驗可以提高人工智能系統的可解釋性，并通過混合模型使人工智能系統更加健壯； 8. 通過使用解釋方法檢測數據集中的異常值、拒絕訓練期間的負面影響和相關方法（RONI，[121]）或使用 bagging 集成 [122]，通過數據清理來防御后門攻擊； 9. 如果白盒訪問不可行，替代模型和替代數據集至少在某些情況下可用于提高審計質量，例如產生高質量的攻擊情況下； 10. 加密方法和信任鏈可用于確保供應鏈中數據和模型的完整性。此外，可以使用這些方法的組合。

盡管有所有這些和其他有前途的方法，但必須牢記，未來任務、模型和數據集的復雜性很可能會增加，需要更強大的方法。

4 確定可審計人工智能系統的工作重點

迄今為止，還沒有一套普遍適用的標準和工具可用于保護 AI 系統，從而可以通過嚴格的方式證明足夠低的錯誤概率。本白皮書認為，存在兩種通用策略來獲得可審計、安全和安全的 AI 系統（參見圖 5）：

圖 5：在嘗試達到可接受的 IT 安全性、審計質量、魯棒性和可驗證性水平時必須考慮的多方面權衡。可實現的水平取決于多個邊界條件，例如任務復雜性和模型復雜性。對于給定的邊界條件，通過研發的技術進步可能允許例如實現更高的 IT 安全級別和/或改進的可審計性，但到目前為止，這僅在有限的范圍內起作用。

1.為給定任務創建有利的邊界條件：對開發人員和用戶進行適當的培訓以及雙方之間充分的信息交流，可以明確定義任務和可接受的邊界條件。如果將 AI 系統嵌入更大的 IT 和/或機器人系統，這構成了在 AI 系統的開發過程以及部署和操運行期間進行明智選擇的基礎。在極端情況下，開發人員或用戶可能會得出結論，必須針對特定用例完全禁止使用 AI 技術，例如：出于安全考慮。否則，根據用例，限制任務空間和限制 AI 模型的復雜性可能會帶來更好的可審計性和更安全的 AI 系統 [123]。此外，多種技術和組織措施的結合，以及根據知識產權考慮，在整個生命周期內對 cAI 模型和數據進行白盒訪問以進行評估，很可能會提高可審計性并有助于安全性。

2.投資研發以推進可用技術，最終在復雜的邊界條件下實現安全可靠的人工智能系統，從而提高可擴展性和通用性。示例包括：a) 在 AI 系統的所有安全相關方面制定適當的指標。它們有助于最大限度地減少權衡的影響，例如性能和防御強度之間的權衡； b) 結合魯棒的模型和檢測算法，在保持高性能的同時拒絕可能的惡意輸入； c）通過例如包含人類先驗混合模型以提高可解釋性； d) 高效生成大量高質量攻擊，作為開發對抗性訓練等有效防御方法的基礎； e) 生成大量高質量的真實合成數據，為 IID 數據集做出貢獻，作為訓練魯棒 AI 系統的基礎； f) 真實模擬與真實世界評估的結合，以及 g) 使用多個冗余但質量不同的系統，例如cAI、cIT 和 sAI 系統的組合。

應高度重視這兩種策略，同時在第一步中，重點關注選定的安全關鍵用例。應利用可用的標準、指南和工具（參見本白皮書的其余部分），并應進一步促進研究人員和行業之間的跨學科交流 [124] 以找到可用標準和工具的最佳組合，以實現可審計、安全和針對特定用例的強大人工智能系統。必須根據它們在各自用例中的實際利益和可行性來評估這些標準和工具。然后，在第二步中，應該使用來自這些用例的見解來概括結果并構建一個模塊化工具箱，該工具箱隨后可以應用于其他用例。在此基礎上，首先應制定技術指南和隨后的標準。在理想情況下，結果將是一套普遍適用的標準和工具，使人工智能系統具有足夠的可審計性、安全性和可靠性。

致謝

我們要感謝 Aleksander M?dry（麻省理工學院）的精彩演講以及整個研討會期間的重要評論和推動。我們還要感謝在研討會之前、期間和之后為討論做出貢獻的所有研討會參與者。我們還要感謝 VdTüV 的 Maria Sürig 和弗勞恩霍夫 HHI CINQ 中心的 Jennifer Chyla 為研討會的組織做出的重要貢獻。

摘要

如今，隨著技術飛速發展和威脅環境變得更加復雜，在信息爆炸的局面下，作戰人員面臨著具有挑戰性的決策空間。人工智能(AI)和機器學習(ML)可以減輕作戰人員負荷。人工智能系統具有深遠的好處——提高態勢感知能力，檢測威脅，理解對手的能力和意圖;確定和評估可能的戰術行動方針;并提供方法來預測行動決策的結果和影響。人工智能系統是理解和解決高度復雜的戰術情況的關鍵。

人工智能系統為作戰人員提供了優勢，但前提是這些系統被正確設計和實施，并且以減輕作戰人員的認知負荷的方式。為國防應用實施人工智能系統帶來了獨特的挑戰。本文確定了四個獨特的挑戰，并描述了它們如何影響戰術作戰人員、工程設計界和國防。本文通過國防采辦和系統工程計劃，為解決這些獨特的挑戰提供了解決方案。

作者簡介：

Bonnie Johnson——在海軍工程研發方面擁有超過 25 年的領導和系統工程經驗。她曾是 SAIC 和諾斯羅普·格魯曼公司的高級系統工程師，研究用于海戰系統和導彈防御能力的自動決策輔助。她于 2011 年加入美國海軍研究生院 (NPS) 系統工程系。她擁有 NPS 系統工程博士學位、約翰霍普金斯大學系統工程碩士學位和弗吉尼亞理工大學物理學學士學位。

引言

人工智能是一個包含許多不同方法的領域，其目標是創造具有智能的機器（Mitchell，2019）。圖 1 顯示了一個簡單的維恩圖，其中機器學習 (ML) 作為 AI 的子集，而 AI 作為更廣泛的自動化類別的子集。自動化系統以最少的人工輸入運行，并且經常根據命令和規則執行重復性任務。人工智能系統執行模仿人類智能的功能。他們將從過去的經驗中學到的知識與收到的新信息結合起來，以做出決策并得出結論。

圖 1. 自動化、人工智能和機器學習的維恩圖

如圖 2 所示，有兩種主要類型的 AI 系統。第一種類型是明確編程的，也稱為手工知識系統。 Allen (2020) 將手工知識系統描述為“使用傳統的、基于規則的軟件，將人類專家的主題知識編碼為一長串編程的‘如果給定 x 輸入，則提供 y 輸出’規則的人工智能”（第3頁）。這些系統使用傳統的或普通的編程語言。第二種類型是從大量數據集訓練而來的機器學習系統。 ML 系統從訓練過的數據集中“學習”，然后在操作上使用“訓練過的”系統在給定新的操作數據的情況下產生預測結果。

圖 2. 兩種類型的人工智能：顯式編程和學習系統

自動化、人工智能和機器學習系統，包括手工知識系統和學習系統，為美國國防部 (DoD) 提供了巨大的潛力，在大多數任務領域具有多種應用。這些智能系統可以擴展國防部理解復雜和不確定情況、制定和權衡選項、預測行動成功和評估后果的能力。它們提供了在戰略、規劃和戰術領域支持國防部的潛力。人工智能系統可以減輕作戰人員的負擔，但前提是這些系統的設計和實施正確，并且以減輕作戰人員認知負擔的方式。這為國防應用實施人工智能系統提出了獨特的挑戰。本文確定了四個獨特的挑戰，并描述了它們如何影響戰術作戰人員、工程設計界和國防。

第一個為國防應用實施人工智能系統的獨特挑戰是戰術戰爭呈現高度復雜的情況。戰術復雜性可能涉及信息超載、需要處理的多個并發任務、具有可怕后果的時間關鍵決策、態勢感知的未知/不準確/不完整，以及因各種分布式戰爭能力所需的互操作性而產生的工程挑戰。將人工智能系統添加到這個已經很復雜的環境中是一項必要但極具挑戰性的工作。

第二個獨特的挑戰是人工智能系統需要大量數據來訓練。所開發的人工智能系統的質量很大程度上取決于訓練數據集的質量和數量。軍事領域的數據尤其難以獲得。軍事數據可能涉及分類問題、網絡漏洞、數據驗證挑戰，并且根據艦隊演習和兵棋推演的需要，收集起來可能非常昂貴且耗時。

第三個獨特的挑戰是人工智能系統為系統工程提出了一個新的前沿。在傳統系統中，行為是固定的，因此是可預測的：給定輸入和條件，系統將產生可預測的輸出。一些人工智能解決方案可能涉及本身就很復雜的系統——適應和學習——因此會產生無法預料的輸出和行為。事實上，一些人工智能系統的目的就是為了做到這一點——與人類決策者合作，承擔一些認知負荷并產生智能建議。需要系統工程方法來設計智能系統，并確保它們對人類操作員來說是可解釋的、可信賴的和安全的。

第四個獨特的挑戰是，對于國防應用，總是需要考慮潛在的對手。在人工智能系統方面，采購界必須注意同行競爭對手國家，他們在人工智能進步方面取得了自己的進步。美國國防系統也必須在這場人工智能競賽中取得進步。網絡攻擊在防御系統中總是有可能發生的。隨著防御能力增加對自動化和人工智能系統的依賴，這可能會造成更多的網絡漏洞。最后，技術正在迅速發展，對抗性威脅空間正在發生變化。國防采購和系統工程界必須確保人工智能系統不斷發展和適應，以應對威脅環境的變化，并以可信賴和安全的方式做到這一點。

挑戰一:復雜的決策空間

第一個獨特的挑戰是許多防御領域呈現出復雜的決策空間。因此，設計和實施適當的人工智能系統來解決這種復雜性將是極具挑戰性的。圖 3 突出顯示了導致戰術領域決策復雜性的許多因素。例如，海軍打擊部隊的行動可以迅速從和平狀態轉變為一種巨大的危險——需要對威脅保持警惕并采取適當的反應行動——所有這些都在高度壓縮的決策時間線上。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是虛擬的，因此需要處理多個時間緊迫的任務。在船舶、潛艇、飛機、陸地和太空中擁有海軍和國防資產；戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用問題。制定有效的戰術行動方案也必須發生在高度動態的作戰環境中，只有部分和不確定的態勢知識。決策空間還必須考慮指揮權、交戰規則和戰術條令施加的限制。人類作為戰術決策者的角色增加了決策空間的復雜性——面臨信息過載、操作員錯誤、人工智能信任以及人工智能模糊性和可解釋性問題等挑戰。最后，戰術決策及其可能后果的風險可能非常高。

圖 3. 導致戰術決策空間復雜性的因素

解決高度復雜的決策空間是美國國防部面臨的挑戰。人工智能提供了解決這種復雜性的潛在解決方案——通過處理大量數據、處理不確定性、理解復雜情況、開發和評估決策替代方案以及了解風險水平和決策后果。人工智能解決方案可以應用于國防部的戰略、規劃和戰術層面。海軍研究生院 (NPS) 開發了一種工程框架和理論，用于解決高度復雜的問題空間，這些問題空間需要使用智能和分布式 AI 系統來獲得態勢感知并做出適應動態情況的協作行動決策（Johnson， 2019）。模擬了一個復雜的戰術場景，以演示使用 AI 來驗證該方法（Johnson，2020a）。 NPS 已經開發了一種預測分析能力的概念設計，該設計將被實施為一個自動化的實時戰爭游戲系統，該系統探索不同的可能戰術行動方案及其預測效果和紅軍反應（Johnson，2020b）。 NPS 研究已經確定了在戰術行動中描述復雜性水平的必要性，并實施自適應人機協作安排以做出戰術決策，其中自動化水平根據情境復雜性水平進行調整。正在進行的 NPS 研究正在研究這些概念工程方法在各種防御用例應用中的應用，包括防空和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

復雜的決策空間為 AI 系統嘗試和解決創造了具有挑戰性的問題。表 1 根據決策空間的復雜性比較了不同的 AI 應用領域。該表包含 10 個表征決策空間復雜性的因素：認知不確定性（對情境知識的不確定性數量）、情境動態、決策時間線（做出決策的時間量）、決策的復雜性決策過程中的人機交互、資源復雜性（數量、類型、它們之間的距離以及它們的動態程度）、是否涉及多個任務、對手（競爭對手、黑客或打算摧毀的徹底敵人）的存在，允許誤差的幅度（多少決策錯誤是可以接受的），以及決策后果的嚴重性。

表 1. 不同 AI 應用的決策復雜度比較

人工智能應用程序涉及的決策空間用于廣告（根據特定用戶的購買習慣或互聯網搜索確定將哪些廣告流式傳輸）、貸款批準（根據貸款金額和信用評分確定貸款資格）和醫療（根據診斷確定關于患者癥狀）相對簡單。存在大量訓練數據，決策過程中的計算和人為交互簡單，情況相對穩定。不良廣告的后果是微乎其微的。可以審計不良貸款批準決定。糟糕的醫學診斷可能會產生更嚴重的后果，但通常有足夠的時間在治療前尋求更多的評估和意見。為自動駕駛汽車確定最佳運輸路線和工程 AI 系統是更復雜的工作。這些應用程序是動態變化的，需要更短的時間來做出決策。運輸路線在可能路線的數量上會很復雜——這可能會導致許多可能的選擇。但是，存在運輸錯誤的空間，并且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的余地非常小。此應用程序中的錯誤決定可能導致嚴重事故。

然而，軍事戰術領域在決策空間的所有領域都呈現出極端的復雜性：不確定性和有限的知識/意識、高度動態的情況、非常有限的時間線、復雜的人機交互、大量和類型的資源、多個任務、昂貴和困難- 獲取訓練數據集、極小的允許誤差范圍以及行動（或不行動）的生死攸關的后果。

挑戰二: 數據很難獲取

第二個獨特的挑戰是 AI/ML 系統需要大量相關且高質量的數據用于訓練和開發，而這些數據在軍事領域可能很難獲得。明確編程的手工知識系統在開發過程中需要數據進行評估和驗證。 ML 系統在開發過程中對數據的依賴性更大。如圖 4 所示，ML 系統從代表操作條件和事件的數據集中“學習”。 ML系統學習的過程也稱為被訓練，開發階段使用的數據稱為訓練數據集。有幾種類型的 ML 學習或訓練——它們是有監督的、無監督的和強化的。所有三種類型的 ML 學習都需要訓練數據集。 ML 系統在部署后或運營階段繼續需要數據。圖 4 顯示，在運營期間，ML 系統或“模型”接收運營實時數據，并通過使用其“訓練過的”算法處理運營數據來確定預測或決策結果。因此，在整個系統工程和采集生命周期中，ML 系統與數據密切相關。 ML 系統從訓練數據集的學習過程中“出現”。機器學習系統是數據質量、充分性和代表性的產物。他們完全依賴于他們的訓練數據集。

圖 4. 開發和實施機器學習系統

隨著許多領域（戰爭、供應鏈、安全、物流等）的更多 AI 開發人員正在了解 AI 解決方案的潛在優勢并開始著手 AI 系統開發，DoD 開始認識到對這些數據集的需求。在某些情況下，數據存在并準備好支持 AI 系統開發。在其他情況下，數據存在但不保存和存儲。最后，在其他情況下，數據不存在，需要模擬或在艦隊演習或戰爭游戲中收集。圖 5 說明了收集、獲取和在某些情況下開發用于開發和訓練 AI 和 ML 系統的數據時需要考慮的過程。

圖 5. 人工智能和機器學習系統訓練數據集的開發

軍事領域對開發訓練數據集提出了一些獨特的挑戰——數據可能被分類，數據可能存在網絡漏洞（它可能被攻擊并被對手故意破壞），如果數據不存在，它可能需要從軍事/艦隊演習或兵棋推演中獲得。數據驗證也是一項具有挑戰性的工作。

NPS 正在為海軍的數據管理系統執行需求分析和概念設計，該系統將收集數據并向海軍內部許多正在開發 AI/ML 系統的不同組織提供數據（French 等人，2021 年）。圖 6 是海軍中央人工智能庫 (CAIL) 的上下文圖，它被設想為一個數據管理系統和流程，用于識別數據集并提供索引、驗證、審計和對 AI 可以使用的數據的安全訪問。從事海軍應用的機器學習開發人員。 CAIL 將不是一個數據存儲庫或數據庫，而是一個中央組織，使 AI/ML 開發人員能夠訪問經過驗證和保護的海軍數據——以幫助識別數據集的存在，啟用授權訪問，并幫助支持開發人員所需的數據尚不存在，需要獲得——可能通過艦隊演習或兵棋推演。

圖 6. 概念性中央人工智能庫

挑戰三:人工智能為系統工程開辟了新領域

第三個獨特的挑戰是開發人工智能系統為系統工程提出了一個新的前沿。系統工程方法已被開發用于設計可能非常復雜但也具有確定性的傳統系統（Calvano & John，2004）。傳統系統具有可預測的行為：對于給定的輸入和條件，它們將產生可預測的輸出。圖 7 說明了對傳統 SE 方法（如 SE Vee 過程）進行更改的必要性，以便設計復雜且不確定的 AI 系統。特別是，需要新的方法來定義隨時間適應的學習系統的要求，并且系統驗證過程可能需要在操作過程中不斷發展和繼續，以確保安全和期望的行為。對于具有高風險后果的軍事系統，幾乎沒有出錯的余地，因此需要實施一個可以確保 AI 系統安全和預期操作的系統工程流程。

圖7. 人工智能:系統工程的新前沿

國際系統工程師理事會 (INCOSE) 最近的一項倡議已經開始探索需要對系統工程方法進行哪些改變才能有效地開發人工智能系統。圖 8 是作為該計劃的一部分創建的，旨在強調在 SE 過程中需要考慮的 AI 系統的五個方面。除了不確定性和不斷發展的行為之外，人工智能系統可能會出現新類型的故障模式，這些故障模式可能會突然發生，并且可能難以辨別其根本原因。穩健的設計——或確保人工智能系統能夠處理和適應未來的場景——是另一個系統工程設計考慮因素。最后，對于涉及更多人機交互的 AI 系統，必須特別注意設計系統，使其值得信賴、可解釋并最終對人類決策者有用。

圖 8. 人工智能系統工程中的挑戰

NPS 正在研究可以支持復雜、自適應和智能 AI 系統的設計和開發的系統工程方法。已經開發了一個系統工程框架和方法來設計系統解決方案的復雜自適應系統（Johnson，2019）。該方法支持系統系統的開發，通過使用人工智能，可以協作以產生所需的緊急行為。當前的一個研究項目正在研究可以在設計過程中設計到 AI 系統中的安全措施，以確保操作期間的安全（Cruz 等人，2021 年）。 NPS 正在研究一種稱為元認知的設計解決方案，作為 AI 系統識別內部錯誤的一種方法（Johnson，2021 年）。當前的另一個 NPS 論文項目正在研究如何將“信任”設計到 AI 系統中，以確保有效的人機協作安排（Hui，2021）。幾個 NPS 項目研究使用稱為協同設計的 SE 設計方法，來確定人類操作員與 AI 系統之間的相互依賴關系（Blickley 等人，2021；Sanchez，2021）。

挑戰四: 敵手

第四個獨特的挑戰是對手在防御應用中的存在和作用。國防部必須與對手競爭以提升人工智能能力，人工智能系統必須免受網絡攻擊，人工智能系統必須適應不斷變化的威脅環境演變。圖 9 突出顯示了對手的存在給國防部正在開發的 AI 系統帶來的一系列獨特挑戰。

圖9. 敵手的挑戰

競爭對手國家之間開發人工智能能力的競賽最終是為了進入對手的決策周期，以比對手更快的速度做出決定和采取行動（Rosenberg，2010 年）。人工智能系統提供了提高決策質量和速度的潛力，因此對于獲得決策優勢至關重要。隨著國防部探索人工智能解決方案，同行競爭對手國家也在做同樣的事情。最終，實現將 AI 用于 DoD 的目標不僅僅取決于 AI 研究。它需要適當的數據收集和管理、有效的系統工程和采集方法，以及仔細考慮人類與人工智能系統的交互。國防部必須確保它能夠應對實施人工智能系統所涉及的所有挑戰，才能贏得比賽。NPS 研究計劃正在研究如何應用 AI 和博弈論來進入對手的戰術決策周期（Johnson，2020b）。該項目正在開發一個概念，用于創建戰術態勢模型、對手的位置和能力，以及預測對手對形勢的了解。然后，概念系統將進行實時“兵棋推演”，根據預測的對抗反應和二階和三階效應分析戰術決策選項。這是一個研究未來戰術戰爭可能是什么樣子的一個例子，它為藍軍和紅軍提供了增強的知識和決策輔助。為 AI 競賽準備國防部的其他 NPS 舉措包括研究新的 SE 方法和獲取實踐以開發 AI 能力、研究海軍和國防部的數據管理需求（French 等人，2021 年）以及研究 AI 系統安全風險開發確保安全 AI 能力的工程實踐（Cruz 等人，2021 年；Johnson，2021 年）。

賽博戰是國防部必須成功參與的另一場競賽，以保持領先于黑客攻擊的持續攻擊。隨著國防部實施更多的自動化，它自然會導致更多的網絡漏洞。使用本質上依賴于訓練數據和操作數據的人工智能系統，為黑客在開發階段和操作階段用損壞的數據毒害系統提供了機會。如果對手控制了一個可操作的人工智能系統，他們可能造成的傷害將取決于應用程序領域。對于支持武器控制決策的自動化，后果可能是致命的。在最近一項關于汽車網絡安全的研究中，一家汽車公司在網上發布了一個假汽車電子控制單元，在不到 3 天的時間里，進行了 25,000 次違規嘗試（Taub，2021 年）。國防部必須注意人工智能系統開發過程中出現的特定網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御策略。 NPS 正在研究數據安全要求，以確保 ML 訓練數據集不受黑客攻擊，并且需要安全授權才能訪問（French 等人，2021 年）。 NPS 正在研究使用元認知作為 AI 系統執行自我評估的一種方法，以識別網絡入侵、篡改或任何異常行為（Johnson，2020b）。 NPS 還在研究使用 ML 來識別惡意欺騙和篡改全球定位系統 (GPS; Kennedy, 2020)。

威脅環境的演變是國防部在開發人工智能系統時的第三次對抗性競賽。由于對抗性威脅空間隨著時間的推移而不斷變化，擁有更快、更致命的武器、更多的自主權、更大的監視資產、更先進的對抗措施和更多的隱身性，這對國防部能夠預測和識別新威脅并進行應對提出了挑戰戰場上的未知數。 NPS 研究的重點是在作戰過程中不斷適應和學習的工程系統，以檢測和識別戰場中的未知未知，并通過創新的行動方案快速響應新威脅（Grooms，2019；Jones 等人，2020；Wood，2019 ）。 NPS 正在研究通過研究特定區域隨時間變化的數據來識別異常變化的機器學習方法（Zhao et al., 2016）。一個例子是研究商用飛機飛行模式并根據異常飛行模式識別可疑飛機。隨著時間的推移，可以監視地面行動，以識別可能意味著軍事行動的新的和不尋常的建設項目。

結論

人工智能系統為國防部在實現和保持知識和決策優勢方面提供了重大進展。然而，為國防應用實施人工智能系統提出了獨特的挑戰。軍事戰術領域在決策空間的所有領域都呈現出極端的復雜性：不確定性和有限的知識、高度動態的情況、非常有限的時間線、復雜的人機交互、大量和類型的資源、多個任務、昂貴且難以獲得訓練數據集、極小的允許誤差范圍以及行動（或不行動）的生死攸關的后果。 AI 系統，尤其是 ML 系統，需要有代表性、足夠、安全和經過驗證的數據集來進行開發。為國防應用收集合適的數據具有處理分類數據集和確保數據安全和免受網絡攻擊的額外挑戰；這也將是收集代表戰術行動的真實數據的一項重大努力。將需要新的系統工程方法來有效地指定、設計和評估人工智能系統，這些系統通過其不確定性、新型人機協作挑戰以及難以預測和預防的新安全故障模式而呈現出新的復雜性.最后，軍事領域中對手的存在呈現出三種形式的 AI 競賽：與對手一樣快地開發 AI 系統的競賽、保持領先于可能的網絡攻擊的競賽以及訓練能夠應對的 AI/ML 系統的競賽隨著不斷發展的對抗性威脅空間。

NPS 正在通過一系列正在進行的研究計劃來解決四個獨特的挑戰領域。 NPS 研究人員正在研究人工智能系統在海軍戰術作戰領域的實施，對軍事數據集進行需求分析和需求開發，研究開發復雜人工智能系統的系統工程方法，以及開發安全、可信賴的人工智能系統工程方法，并注意潛在對手的作用。 NPS 正在為軍官和平民學生提供人工智能研究和教育機會。 NPS 歡迎與國防部和海軍組織合作，繼續研究用于國防應用的人工智能系統，并繼續探索解決方案戰略和方法，以克服開發和實施人工智能能力的挑戰。

附解讀PPT：（點擊下載）

工業人工智能 (AI) 是人工智能在工業中的應用，是第四次工業革命中價值創造的主要貢獻者。人工智能正被嵌入到廣泛的應用程序中，幫助組織獲得顯著的利益，并使他們能夠改變向市場提供價值的方式。

? 本文檔為支持人工智能的工業物聯網系統的開發、培訓、文檔編制、通信、集成、部署和操作提供指導和幫助。它面向來自 IT 和運營技術 (OT)、來自多個學科的業務和技術的決策者，包括業務決策者、產品經理、系統工程師、用例設計師、系統架構師、組件架構師、開發人員、集成商和系統操作員。

該文檔圍繞 IIC 工業互聯網參考架構中的架構觀點構建，即業務、使用、功能和實施觀點。該文件討論了推動人工智能采用的商業和價值創造考慮因素。它還詳細闡述了人工智能的使用、工業用例以及與之相關的道德、隱私、偏見、安全、勞工影響和社會問題。在技術方面，該文檔描述了與 AI 相關的架構、功能和數據注意事項，并討論了各種實施注意事項，例如性能、可靠性、數據屬性和安全性?。

人工智能的采用將在行業中加速。鑒于計算能力的快速增長、可用于訓練的數據的更廣泛可用性以及算法的日益復雜，人工智能技術將繼續發展。當前的 IT 標準和最佳實踐必須不斷發展，以解決 AI 本身的獨特特征以及與 IIoT 系統的安全性、可靠性和彈性相關的具體考慮因素。此外，人工智能技術的日益成熟將幫助人們認識到它的好處遠遠超過它的風險。 AI 標準生態系統也將繼續發展，例如 ISO/IEC JTC 1/SC42 正在進行的標準工作，為 JTC 1、IEC 和 ISO 委員會制定 AI 標準提供指導。

基于這些趨勢，毫無疑問，人工智能將繼續推動技術和功能上的可能性，因此預期合理的事情將同樣發展。對技術的態度和對其使用的商業期望也將繼續發展。

未來，我們可以期待使用人工智能技術成為常態，而不是例外，考慮到這項技術的社會效益，“不使用人工智能”最終可能會成為不負責任的做法。

機器學習模型和數據驅動系統正越來越多地用于幫助在金融服務、醫療保健、教育和人力資源等領域做出決策。機器學習應用程序提供了諸如提高準確性、提高生產率和節約成本等好處。這一趨勢是多種因素共同作用的結果，最顯著的是無處不在的連通性、使用云計算收集、聚合和處理大量細粒度數據的能力，以及對能夠分析這些數據的日益復雜的機器學習模型的更好訪問。

開發負責任的人工智能解決方案是一個過程，涉及在人工智能生命周期的所有階段與關鍵利益相關者(包括產品、政策、法律、工程和人工智能/ML團隊，以及最終用戶和社區)進行輸入和討論。在本文中，我們主要關注ML生命周期中用于偏見和可解釋性的技術工具。我們還提供了一個簡短的章節，介紹了AI公平性和可解釋性的限制和最佳實踐。

//pages.awscloud.com/rs/112-TZM-766/images/Amazon.AI.Fairness.and.Explainability.Whitepaper.pdf

【導讀】人工智能正在影響我們的方方面面。如何與AI和諧相處，成為可信協作伙伴，是個要思考的問題。近日59位世界級學者共同撰寫一份構建可信賴人工智能的論文《邁向可信賴的人工智能：可驗證聲明的支持機制》，詳細闡述了Trustworthy AI涵蓋的機制，是相關從業者不可少的借鑒資料。

本文中文翻譯的通訊作者是謝旻希(Brian Tse)。在翻譯過程中，我們得到了肖文泉(Jenny W. Xiao)的寶貴幫助

人工智能技術的新發展使其在商業、科學與其他創新領域得到了廣泛的應用。隨著此波應用浪潮的涌現，人們越來越意識到人工智能系統所帶來的風險，并認識到現有法律與業界、學界規范仍不足以保證人工智能的可靠研發[1] [2][3]。

機器學習領域的研發人員和科技公司已經采取了一些措施來彌補這些規 范不足，其 舉措包括廣泛采用人工智能行業認可的道德準則。然而，道德準 則缺乏法律約束力，也往往難以轉化為實際行動。而且，外界人 員很難評估人工智能開發者到底有是否表里如一，也沒有辦法讓他們在違反道德原則的時候承擔責任。這就導致了很多人譴責人工智能開發者在談論道德問題時口惠而實不至[4]。人工智能開發者要想贏得系統用戶、客戶、政府、社會和其他利益相關方的信任，就不應該只談原則，而要集中精力建立合理的機制來保 證行為的負責性[5] 。作出可檢驗、能追責的承諾是朝這個方向邁出的重要一步。

如果能提供精準的聲明和充足的證據，人工智能開發人員就能更好地向監管機構、公眾和其他開發者證明其行為的負責。如果有關人工智能開發的聲明更容易被驗證，就能實現更有效的政府監管并且減少開發者為獲得競爭優勢而偷工減料的壓力[1]。相反地，如果沒有能力驗證開發人員的聲明，用戶或其他利益相關方就更有可能因模棱兩可、有誤導性或虛假的說法而利益受損。

本報告提出了諸多建議，意在使不同利益相關方能夠更容易地檢驗人工智能開發者的對外聲明，特別是有關其安全性、安保性、公平性和隱私性的聲明。保證可信任的人工智能發展是一個多方面的問題，我們認為，執行這些機制有助于促進該目標的達成。[1]本報告中提出的機制可以幫助我們處理不同利益相關方可能面對的問題：

• 作為用戶，我能否在使用新的人工智能系統機器翻譯敏感文件時，檢驗其對隱私保護級別聲明的真實性？

• 作為監管者，我能否追蹤無人駕駛汽車導致事故的過程，并且知道用哪種標準來評判汽車公司的安全聲明？

• 作為學者，我能否在缺乏業界計算資源的條件下，對大型人工智能系統所帶來的影響進行客觀的研究？

• 作為人工智能研發者，我能否確信我在某一領域的競爭對手遵循最佳實踐，而不是偷工減料以獲得 競爭優勢？

即使人工智能開發者有意愿或者需求使自己的產品聲明具體而可驗證，他們也可能缺乏達成這一目標的相 關機制。人工智能開發社群需要一系列有效的機制，為檢驗人工智能系統和開發過程的聲明提供支持。

從這個角度出發，本報告的作者于2019年4月舉行了一次研討會，旨在構思促進研發者提出聲明、驗證聲明的機制。[1]本報告以該研討會上的討論成果為基礎，提出的機制主要致力于達成以下兩個目標：

• 增加溝通渠道，便利人工智能開發者對外驗證有關其系統屬性的聲明。

• 加強應對能力，使利益相關方（如用戶、政府決策者和更廣大的社會)能夠對人工智能開發者提出特殊而多樣的要求。

針對妨礙人工智能聲明有效評估的具體問題，本報告提出了一一對應的一系列機制和建議。其中部分機制已經存在，但仍需完善，而另一部分則是前所未有的。本報告旨在為進一步增強人工智能研發聲明的可驗證性作出貢獻。

該報告提出的機制作用于制 度、軟件和硬 件三個層面。制度、軟件和硬件也是人工智能系統和開發過程中相互重疊、相互影響的三大關鍵要素。

• 體制機制：這些機制改變或闡明開發者面臨的激勵機制，并且增強其行為的能見度，以保證其研發的系統具有安全性、可靠性、公平性和隱私保護。體制機制是有效驗證人工智能研發聲明的基礎，因為人類和人類行為將 終決定人工智能的發展方向。本報告在討論中提出，可以利用第 三方審核來替代自我評估聲明；利用紅隊測試練習 （red teaming exercises)以增 強開發人員的防范意識，減少系統被誤用或襲擊的可能性；利用誤 差和安全隱患偵查激勵制度 (bias and safety bounties) 以建立激勵機制，促進對人工智能系統缺陷的及時發現、及時報告；以及加強人工智能安全事故信 息共享，以增 進社會對人工智能系統的認識，理解到人工智能可能帶來意外或非理想的后果。

• 軟件機制：這 些機制讓人工智能系統的屬性更易于理解和監督。具體措施包括審計 跟蹤 (audit trails)，通 過收集有關開發和部署過程的關鍵信息來強化高利害人工智能系統的問責制；保 證可解 釋性以增 進對人工智能系統特征的理解和審查；以及 隱 私保護的機器學習 (privacy-preserving machine learning)，使開 發人員對隱私保護的承諾更有魯棒性。

• 硬件機制：與計算硬件有關的機制可以在多方面發揮關鍵作用，包括證實有關隱私和安全性的聲 明、提高組織如何使用資源的透明度、以及影響誰具有驗證不同聲明所必需的資源。探討的機制包 括機器學習的硬件安全設施以提高隱私和安全性聲明的可驗證性；高精度計算資源的測量，以提高 關于計算能力使用的聲明的價值和可比性；以及為學術界提供計算資源支持，以提高業界以外人士 評估有關大型人工智能系統的聲明的能力。

每種機制都提供額外的途徑來檢驗開發者的承諾，有潛力為建立可信賴的人工智能生態作出貢獻。下一頁 和報告末尾詳細地列舉了不同機制的相關建議，并且包含完整的列表。

建議

制度機制和建議

1. 一個利益相關方的聯盟應組建工作小組，研究如何建立第三方人工智能審計機制并為該機制提供資 源。

2. 人工智能研發機構應該參與紅隊測試 (red-teaming)的練習，從而發現系統潛在的風險，并分享相 關的最佳實踐和應對問題的工具。

3. 人工智能開發者應試行誤差和安全隱患偵查激勵制度 (bias and safety bounties)，以建立廣泛監 督人工智能系統的激勵機制和標準流程。

4. 人工智能開發者應該通過不同的合作渠道，分享更多人工智能事故的信息。

軟件機制和建議

5. 標準制定機構應該和學界、業界合作，要求對安全攸關的人工智能系統實行審計跟蹤 (audit trails) 。

6. 人工智能研發和資助機構應該支持人工智能系統的可解釋性研究，并將重點放在風險評估和監察 上。

7. 人工智能開發者應開發、共享并使用隱私保護的機器學習 (privacy-preserving machine learning)的工具與指南，并且其中必須包括衡量性能的標準。

硬件機制和建議

8. 業界和學界應共同努力為人工智能加速器開發硬件安全功能，或者確立在機器學習環境中使用安全 區（包括商品硬件上的“安全飛地”）的最佳實踐。

9. 一個或多個人工智能實驗室應該對單個項目進行高精度計算資源的測量，并報告其實踐能否被廣泛 采用。

10. 政府資助機構應大幅增加對學界研究人員的計算能力資源的資助，以增強學術研究人員驗證商業人 工智能聲明的能力。

愛分析日前發布《人工智能2020：落地挑戰與應對 》報告。報告回顧了人工智能的行業概況，并結合實踐案例分析了人工智能技術給產業帶來的具體價值創造和各行業落地進展和未來應用趨勢。同時，報告系統性地分析了人工智能落地產業過程中，在數據、算法模型、業務場景理解、服務方式、投入產出比等方面面臨的挑戰和應對方式，希望幫助企業推動人工智能的價值落地。