亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

生成式人工智能（AI）正在以前所未有的規模與人類互動，為產生巨大的積極影響提供了新的途徑，但同時也引發了人們對個人和社會潛在危害的廣泛關注。如今，人類-人工智能安全的主要模式側重于微調生成模型的輸出，使其更好地符合人類提供的示例或反饋。然而，在現實中，人工智能模型的輸出結果無法在孤立的環境中確定：它們與人類用戶的反應和行為長期緊密糾纏在一起。在這份立場文件中，我們認為，只有通過推理人工智能的輸出和人類行為形成的反饋回路會如何推動交互走向不同的結果，才能為這些人工智能技術提供有意義的安全保證。為此，我們設想了一個高價值的機會之窗，將快速增長的生成式人工智能能力與控制理論中的動態安全框架聯系起來，為未來幾十年以人為本的人工智能安全奠定新的基礎。

圖 1. 在本立場文件中，我們認為存在一個高價值的機會窗口，可將生成式人工智能不斷增長的能力與控制理論中的動態安全框架相結合，從而實現新一代以人為本的人工智能安全分析和大規模系統性風險緩解。

價值與需求：定義安全關鍵型人機交互

在繼續討論之前，我們必須回答這樣一個問題："什么定義了安全關鍵型人機交互？除了人工智能安全目前對價值一致性的關注之外，我們認為，高風險的人工智能系統還必須了解人類的需求，違反這些需求可能會對人類造成不可接受的、往往是無法彌補的損害。在人工智能決策問題的數學表述中，人的價值對應于優化目標（如隨時間累積的獎勵或偏好），而人的需求則對應于必須始終滿足的硬約束。

因此，我們將安全定義為始終滿足人類的關鍵需求。在本文中，我們將人與人工智能的交互作為一個閉環動態系統進行研究，該系統由人的行為和人工智能的輸出驅動，它們共同影響著人工智能的學習和人的未來行為。我們將安全關鍵型人機交互系統定義為：在交互演化過程中，人類的關鍵需求有可能受到侵犯，因此人工智能所做的決策必須積極確保此類侵犯行為不會發生。即使是一個看似無害的人工智能聊天機器人，也可能給人類帶來災難性的后果，例如因投資建議不當而造成不可挽回的經濟損失（Hicks，2023 年）或身體傷害（Xiang，2023 年）。我們認為，由于任何實用的人工智能系統都無法確定人類當前的內部狀態，因此也無法確定他們未來的行為，因此應該要求人工智能系統確保任何可以想象的人類行為（包括適當悲觀的情況）都能保持安全。第 4 節和第 5 節的人類-人工智能系統理論路線圖將更正式地闡述這些關鍵因素。

在這個前所未有的技術驅動轉型時代，比以往任何時候都更需要積極投資開發強大的人工智能（AI），用于兵棋推演以支持決策。通過推進人工智能系統并將其與人類判斷力相結合，將能夠增強全域感知，提高決策周期的速度和質量，為新的行動方案提供建議，并更迅速地反擊對手的行動。因此，必須加快人工智能的發展，以幫助更好地應對目前需要人類智慧才能應對的現代挑戰和困境的復雜性，并在可能的情況下嘗試超越人類智慧--不是取代人類，而是以機器的速度增強人類決策并為其提供更好的信息。盡管深度強化學習在智能體行為開發方面不斷取得令人鼓舞的成果，可用于戰斗建模和模擬中常見的長視距復雜任務，但仍需進一步研究，才能使人工智能的規模擴大到能夠處理兵棋推演中錯綜復雜的廣闊狀態空間，從而進行概念開發、教育或分析。為了幫助應對這一挑戰，在研究中，正在開發和實施一個分層強化學習框架，其中包括多模型方法和維度不變觀測抽象。

利用人工智能進行兵棋推演

鑒于這些令人擔憂的活動以及最近在人工智能變革能力方面取得的突破，顯然必須開始更認真地投資于專門用于兵棋推演的人工智能開發。美國國家人工智能安全委員會（NSCAI）[27]詳細闡述了兩個信念：（1）"計算機系統解決問題和完成原本需要人類智慧才能完成的任務--在某些情況下甚至超過人類的表現--的能力迅速提高，正在改變世界"；（2）"人工智能正在擴大美國已經進入的脆弱窗口"。因此，有鑒于此，NSCAI得出結論："美國必須立即行動起來，將人工智能系統投入實戰，并在人工智能創新方面投入更多的大量資源，以保護美國的安全，促進繁榮，保障民主的未來"[27]。NSCAI [27] 認為，通過推進人工智能系統并將其與人類判斷力相結合，將能夠增強全域意識，提高決策周期的速度和質量，為不同的作戰行動提供建議，并更迅速地反擊對手的行動。

盡管美國在大多數領域都享有軍事優勢，但機器學習（ML）的擴散已開始為競爭對手和其他國家行為者提供無數的破壞機會[28]。因此，現在比以往任何時候都更有必要積極開展研究和實驗，以便對人工智能的優缺點以及如何將其用于規劃和兵棋推演有一個扎實的了解，只有這樣，國防部才能更好地做好準備，以應對戰略突襲和破壞[28]。例如，如今的作戰行動分析主要側重于評估友軍的計劃，而很少強調對手可能會如何根據自身的目標和能力做出反應[26]。盡管不遺余力地試圖了解對手的想法以及他們在沖突中會如何行動，但總是會受到自己想象力的限制。托馬斯-謝林（Thomas Schelling）在他的 "不可能定理"（Impossibility Theorem）中說得最好： "一個人，無論他的分析多么嚴謹，想象力多么豐富，都不可能做的一件事，就是列出一個他不會想到的事情清單"[29]。人工智能支持的兵棋推演甚至有可能克服這一限制，創造出有自己目標的智能體，而這些智能體并不一定受限于思維和計劃方式，因為思維和計劃方式通常是通過幾十年的經驗根深蒂固的。此外，僅從數據中學習新的行為，人工智能就能自動執行原本需要人類智慧才能完成的任務[30]。

雖然在機器學習領域已經開展了大量研究，但兵棋推演和軍事規劃與迄今為止使用人工智能解決的傳統問題--如圖像分類和自然語言處理--有很大不同。任務分析和規劃通常需要人類的直覺和啟發式方法來限制搜索問題的規模 [28]。雖然啟發式方法確實能更容易地找到可接受的解決方案，但這些解決方案的可擴展性或可靠性通常不足以評估可能出現的大量突發情況 [28]。此外，直覺也可能在非常復雜的問題中失效，例如那些涉及到有許多不同參與者的高維空間以及復雜的武器和傳感器交互的問題[28]。不幸的是，這些復雜性正是可能決定未來戰爭的特征[26], [28]。

幸運的是，迄今為止，競技游戲已成為學習如何實施人工智能以支持兵棋推演的良好試驗平臺。早期的成功包括掌握跳棋[32]、五子棋[33]、國際象棋[34]和圍棋[35]。人工智能方法在視頻游戲中也取得了成功，如 Atari 游戲 [36]、超級馬里奧兄弟 [37]、Quake III [38]、Dota 2 [39]、星際爭霸 II [40] 和無上限德州撲克 [41]。然而，競技游戲通常都有一套固定的規則、確定的參數和基于已知變量的可預測結果。雖然這些游戲能為戰略、決策和風險評估提供有價值的見解，但真實世界中的兵棋推演場景往往更加復雜--可能的初始游戲狀態更多，分支系數更大，因此結果更加難以預測。因此，如何將人工智能從這些游戲中獲得的成功轉化為真正的軍事行動是一項挑戰。不過，從這些游戲中獲得的人工智能學習和適應能力方面的進步，為人工智能在作戰模擬中更細致的應用奠定了堅實的基礎。

利用 "半人馬 "概念進行兵棋推演

正如 CeTAS 報告[31]所詳述的那樣，可以采用大量不同的方法來利用人工智能支持兵棋推演；不過，在本文剩余部分的范圍內，將討論人工智能與兵棋推演的關系，即創建能夠在戰斗建模和模擬所特有的龐大而復雜的狀態空間中做出理性決策的智能體。

然而，要證明人工智能能夠贏得游戲或取得超人的表現，只是證明人工智能確實能為兵棋推演者、作戰規劃者和戰場指揮官提供有用見解的第一步[42]。盡管如此，設想這些智能體將成為創建現代決策輔助工具的基礎，與更傳統的工具相比，這些工具能為決策者提供更高的準確性、速度和靈活性[28]--有可能加快決策過程并提供關鍵的洞察力。隨著進一步深入多域作戰[26]，在面對人工智能對手時，忽視這一步會帶來巨大風險。

雖然人機協作的概念最初是由 Licklider 在 1960 年提出的[43]，但前國際象棋世界冠軍加里-卡斯帕羅夫（Gary Kasparov）在 1997 年輸給 IBM 的 "深藍"（Deep Blue）[44]多年后，首次提出了 "半人馬國際象棋"（Centaur Chess）的概念。盡管被人工智能擊敗，卡斯帕羅夫并沒有將人工智能視為一種威脅，而是鼓勵將人工智能視為一種工具，當它與人類的能力相結合時，可以帶來前所未有的成就[44]。卡斯帕羅夫在他的著作《深度思考》（Deep Thinking： 機器智能的終點和人類創造力的起點[44]》一書中，卡斯帕羅夫強調了利用人類和機器互補優勢的必要性。計算機擅長暴力計算，每秒能分析數百萬個局面，同時輕松計算出最佳的近期戰術行動。另一方面，人類對戰略、創造力和考慮特定棋步長期影響的能力有更深刻的理解，而這一切主要靠直覺[44]。卡斯帕羅夫認為，人類的直覺和機器的計算結合在一起，往往能比頂尖特級大師或計算機單獨發揮出更強的棋力。卡斯帕羅夫指出，在許多情況下，即使是排名相對較低的棋手與計算機配對也能勝過頂級特級大師。

有趣的是，卡斯帕羅夫還指出，隨著計算機國際象棋程序變得越來越強大，人類棋手在這種半人馬合作關系中的角色也發生了變化。最初，人類專注于戰略，而計算機則專注于戰術，但隨著國際象棋人工智能的改進，人類越來越多地開始扮演 "質量控制 "的角色，確保計算機推薦的棋步與人類更廣泛的戰略目標相一致[44]。事實上，卡斯帕羅夫經常說，國際象棋的未來可能不是人類與機器的對決，而是人類與機器配對，使用何種界面，能下出最好的棋。這種合作融合了機器的計算能力和人類提供背景、理解和直覺的能力--這種協同作用所產生的棋藝水平超過了任何一方單獨發揮所能達到的水平。

為兵棋推演開發人工智能

雖然有許多不同的人工智能技術和方法可以應用于兵棋推演，如監督學習、無監督學習、遺傳算法、自然語言處理、決策樹、專家系統、博弈論、對抗網絡等，但本文主要關注的是推進強化學習（RL）領域的需求，以支持為兵棋推演開發智能體行為。

說到機器學習，主要有三種類型：監督學習、無監督學習和強化學習。監督學習依賴于標注數據，每一組輸入都有相應的預期輸出。它類似于范例學習，最適合圖像分類、回歸和語音識別等任務。相反，無監督學習不依賴于標記數據。相反，它能發現數據中的模式或結構，比如對數據點進行分組或聚類，最適合異常檢測、降維和數據分割。值得注意的是，還有其他類型的機器學習，如遷移學習、主動學習、自我監督學習等；不過，這些通常是上述兩類學習的擴展或組合。

本文探討了無處不在的人工智能對戰斗本質的改變。將目光從人工智能取代專家轉向人機互補的方法。利用歷史和現代實例，展示了由人工智能操作員和人工智能/機器學習代理操作員組成的團隊如何有效管理自主武器系統。方法基于互補原則，為管理致命自主系統提供了一種靈活、動態的方法。最后，提出了實現機器加速戰斗綜合愿景的途徑，即由人工智能操作員操作戰場人工智能，觀察戰場內的行為模式，以評估致命自主系統的性能。與任何純粹的自主人工智能系統相比，這種方法能開發出更符合道德規范、以機器速度運行并能應對更廣泛動態戰場條件的作戰系統。

2022 年 11 月，ChatGPT 的發布標志著人工智能（AI）發展史上的一個關鍵時刻。幾十年來，人工智能一直是人們熱衷研究的課題，但對于普通人來說，它仍然是一個抽象的概念，更多的是科幻小說或技術演示，比如 IBM 的沃森贏得了《危險邊緣》（Jeopardy）。然而，有了 ChatGPT，人工智能走出了實驗室，人們可以用與朋友和同事交流的方式與人工智能對話。ChatGPT 將公眾對人工智能的看法從未來的可能性轉變為實實在在的現實。與此同時，在距離開發 ChatGPT 的辦公室千里之外，烏克蘭正在將人工智能融入戰場。面對俄羅斯大規模的射頻干擾，烏克蘭部署了人工智能增強型無人機，能夠在敵對條件下，在無人監督的情況下有效運行。人工智能的這一應用并不是要進行對話或模擬類似人類的互動，而是要在傳統系統失靈的情況下，增強對大型對手的作戰能力。ChatGPT 的認知能力與烏克蘭無人機對人工智能的功利性應用之間的對比，說明了人工智能在不同領域的多樣性和變革性。

這兩項人工智能應用促使美國國防部（Department of Defense，DoD）關于戰場人工智能的戰略思想發生了潛在轉變。最初的人工智能條令強調，對人工智能系統 "適當程度的人為判斷 "至關重要，"要有明確的程序來激活和關閉系統功能，并對系統狀態提供透明的反饋"[5]。對 "自主和半自主武器系統的人機界面"[5] 的要求意味著一定程度的人類直接互動，通常稱為 "人在回路中"（HITL）或 "人在回路中"（HOTL）。這種人類直接參與人工智能或監控錯誤的方式，證明了對關鍵流程自動化的謹慎態度。

之所以會出現這種轉變，是因為人們認識到，人工智能及其不可避免的技術普及，將不僅僅是補充，而是從根本上改變戰場上的行動和情報搜集，就像它已經開始改變社會上幾乎所有其他地方一樣。這種演變并非首次發生。就在上一代，互聯網的出現和智能手機的普及徹底改變了通信和信息獲取方式，以至于國防部別無選擇，只能適應。與這些創新一樣，人工智能也正走在一個類似的基本層面上。現在的挑戰不在于試圖支配人工智能的整合，而在于適應其不可避免的普遍性，在擔心數據偏差、計算 "幻覺 "的情況下確保軍事系統的可靠性和有效性，同時確保致命性自主武器系統的行為符合國際人道主義法（IHL）。本文件旨在探討這些挑戰，并提出緩解這些挑戰的途徑，同時認識到人工智能增強戰爭的進程不僅不可避免，而且已經開始。

討論

2022 年，人工智能達到了一個拐點。隨著電子戰的加劇，烏克蘭沖突迫使自主無人機快速發展。與此同時，像 ChatGPT 這樣的強大語言模型的發布吸引了全球觀眾，盡管它們的局限性也變得顯而易見。這些系統容易出現事實錯誤和赤裸裸的捏造，凸顯了將模式識別誤認為真正理解的風險。在人工智能顛覆整個行業的同時，我們也認識到，人工智能的流暢性往往掩蓋了根本無法分辨真假的缺陷。

人工智能在軍事上的應用提出了獨特而棘手的倫理問題。根據特定數據訓練的人工智能系統是實現其設計目的的強大工具。它們擅長模式識別和快速執行所學任務。但人工智能系統適應新情況的能力，尤其是在人命關天的情況下，仍然不太清楚。

雖然人工智能在數據處理和分析方面的能力毋庸置疑，但它在道德框架內指導行為的能力卻不那么確定。圖 1 展示了戰場自主人工智能的典型組織結構。作戰人員（橙色圓圈）直接操作一套武器系統（藍色圓圈），每套系統都通過一個人工智能模型進行調解，該模型經過訓練，可控制特定武器與敵人交戰。然而，如果敵人已經找到了欺騙人工智能模型的方法，作戰人員往往無法改變模型的行為。相反，作戰人員必須依靠其他可能風險更大的手段與敵人交戰。在戰爭中強調簡化、精簡的人工智能模型會帶來一種危險的脆性。當人工智能模型被愚弄時，它可能會使作戰人員面臨更大的風險，同時將關鍵優勢拱手讓給敵人。

在本文中，我們提出了 3.8 節中介紹的人工智能操作員或 "馬夫 "的角色。這種角色延伸了加里-卡斯帕羅夫（Garry Kasparov）在 "高級國際象棋 "中提出的 "半人馬"（centaur）概念，即人類與多個國際象棋程序合作，將人類的戰略洞察力與機器的計算能力相融合，以達到超高水平的競爭[21, 13]。這些相互促進或互補的領域已被證明優于任何一個單獨的組成部分[23]。互補的概念是將多個元素結合在一起，產生一個比任何一個部分都更有效的整體，這與更常見的替代做法有著本質區別，替代做法是單獨使用能力最強的部分--人類、自動化或人工智能。替代系統的實際結果是，它們的強大取決于最薄弱的部分。由作戰人員、戰場人工智能、遠程人類操作員及其本地人工智能代理組成的網絡可確保人類和人工智能的優勢得到最大程度的發揮（圖 2）。半人馬概念在軍事戰略中的演變說明，未來人類與人工智能的合作不僅有益，而且對于在高度動態和競爭激烈的環境中取得優勢至關重要。

要想讓人工智能系統在軍事環境中可靠運行，人類操作員必須了解人工智能的決策過程。這就意味著要對具有不同技能和背景的操作員進行培訓。就像棋手調整策略一樣，操作員應能根據需要切換人工智能模型。不能指望單一的人工智能模型在每一種戰場場景中都能完美發揮作用。情況是不可預測的；在一種情況下最好的模型在另一種情況下可能會失效。操作員必須了解每種人工智能模型的優缺點，以確保使用最有效的工具來完成手頭的任務。這種適應性是人工智能成功融入軍事行動的關鍵。

在軍事行動中，采用這種靈活的方法將人類與人工智能配對，可創建出比人工智能單獨運作的系統更靈活、適應性更強的系統。這種人類與人工智能的共生關系可以破壞對手的 "觀察、定位、決策、行動"（OODA）循環[18]，有效地 "反客為主"。人工智能在人類直覺和經驗的充實下，引入了不可預測性和復雜性，純人工智能對手可能難以理解或實時處理這些不可預測性和復雜性。這可能會使天平向有利于人類-人工智能團隊的方向發生決定性的傾斜，使他們在關鍵時刻超越和思考純人工智能系統，從而獲得戰術優勢。

人類可以利用自己的創造力和創新力提出人工智能無法提出的新想法和解決方案。例如，將人類對已知危險和風險的了解融入自主系統，可以讓操作員確定并預測基于人工智能的控制器在遇到真實世界的風險因素時的行為[6]。我們還能理解人工智能忽略的細微差別和情境，這對決策至關重要。最后，人類在群體中表現最佳，每個人都能帶來不同的視角和技能，從而提供深度理解，而目前的人工智能似乎可以模仿，但卻無法復制。

為計算機生成兵力（CGF）創建行為模型是一項具有挑戰性且耗時的任務，通常需要具備復雜人工智能算法編程方面的專業知識。因此，對于了解應用領域和培訓目標的主題專家來說，很難建立相關的場景并使培訓系統與培訓需求保持同步。近年來，機器學習作為一種為合成智能體建立高級決策模型的方法，已顯示出良好的前景。這類智能體已經能夠在撲克、圍棋和星際爭霸等復雜游戲中擊敗人類冠軍。我們有理由相信，軍事模擬領域也有可能取得類似的成就。然而，為了有效地應用這些技術，必須獲得正確的工具，并了解算法的能力和局限性。

本文討論了深度強化學習的高效應用，這是一種機器學習技術，可讓合成智能體學習如何通過與環境互動來實現目標。我們首先概述了現有的深度強化學習開源框架，以及最新算法的參考實現庫。然后，我們舉例說明如何利用這些資源為旨在支持戰斗機飛行員培訓的計算機生成兵力軟件構建強化學習環境。最后，基于我們在所介紹環境中進行的探索性實驗，我們討論了在空戰訓練系統領域應用強化學習技術的機遇和挑戰，目的是為計算機生成的兵力有效構建高質量的行為模型。

計算機生成兵力的學習環境

在實驗中，將強化學習環境構建為實現 OpenAI Gym 接口的 Python 模塊，因為許多現有的強化學習算法實現都支持該接口。環境的結構如圖 2 所示。環境的大部分功能都在 EnvironmentCore 類中實現。該類通過 SimulationInterface 與本地或遠程計算機上運行的仿真進程通信，在仿真中的實體和控制它們的強化學習智能體之間傳輸觀察結果和操作。SimulationInterface 還用于在計算機生成兵力軟件中加載模擬場景。

模擬與環境模塊之間的通信是通過 ZeroMQ 實現的，ZeroMQ 是一個開源、輕量級的消息傳遞中間件，可綁定多種編程語言，包括 C++ 和 Python。ZeroMQ 可以輕松實現幾種流行的消息傳遞模式，如請求-回復、發布-訂閱和推-拉。ZeroMQ使用谷歌協議緩沖區（Google protocol buffers）來指定消息，這是一種語言中立、平臺中立的結構化數據序列化機制。使用簡單的協議語言創建消息規范，然后將其編譯成各種編程語言（包括 C++ 和 Python）的源代碼。

要配置特定的環境，需要使用一些委托對象：

• ActionDelegate： ActionDelegate 指定環境的動作空間（OpenAI Gym 中提供的空間定義之一）。在執行過程中，它將該空間中的動作作為輸入，并將其轉換為 ActionRequest 消息，然后由 EnvironmentCore 發送給模擬中的實體。 -ObservationDelegate：指定環境的觀察空間（OpenAI Gym 中提供的空間定義之一）。在執行過程中，它將來自模擬實體的狀態更新信息作為輸入，并將其轉換為來自觀察空間的狀態觀察信息，然后將其呈現給智能體。
• RewardDelegate：將狀態觀測信息作為輸入，并計算出一個標量獎勵信號，然后將其發送給智能體。
• ScenarioDelegate：管理要模擬的情景，包括終止標準。對于訓練過程中的每個情節，委托機構都會根據需要調整場景內容，并生成模擬請求（SimulationRequest）消息，由環境核心（EnvironmentCore）發送給模擬。
• RenderDelegate：會渲染模擬場景當前狀態的視圖。這對調試非常有用。我們使用 Python Matplotlib 和 Basemap 庫實現了簡單的地圖渲染。

空戰仿真領域的深度強化學習

在空戰模擬領域的深度強化學習實驗中，我們發現了一些挑戰，這些挑戰通常不存在于許多強化學習的簡單基準環境中。狀態和行動空間的維度高且復雜，使得智能體難以學習重要的狀態特征和合適的決策策略。例如，在許多場景中，由于傳感器的限制或電子戰的影響，環境只能被部分觀測到。此外，在大多數場景中，智能體不會單獨行動，而是必須與盟友合作，同時與敵人競爭，以達到目標。為了處理長期和短期目標，可能需要在不同的時間尺度上進行決策。代表最重要目標的獎勵通常是延遲的、稀疏的，例如，如果智能體取得了勝利，就會在情景結束時給予獎勵，這樣就很難將功勞歸于正確的行動。此外，根據訓練需要，智能體的目標也有可能在不同的模擬運行中有所不同。例如，我們可能需要調整模擬的難度，以適應受訓者的熟練程度。最后，由于運行高保真模擬的計算成本很高，因此盡可能提高學習過程的樣本效率非常重要。在下面的章節中，我們將討論一些可以用來應對這些挑戰的技術。

近年來，機器學習模型，尤其是深度學習和變壓器模型的性能空前提高，因此被廣泛應用于金融、醫療保健和教育等各個領域。然而，這些模型容易出錯，無法自主使用，尤其是在決策場景中，從技術或道德角度講，出錯的代價很高。此外，由于這些模型的黑箱性質，最終用戶往往難以理解模型的結果和底層過程，無法信任并使用模型結果做出決策。可解釋人工智能（XAI）通過利用包括可視化技術在內的方法來解釋和詮釋模型的內部運作以及如何得出結果，從而幫助最終用戶理解模型。盡管最近開展了大量研究，重點關注模型和 XAI 方法的性能，但關于解釋對人類-人工智能團隊性能的影響的研究較少。本文調查了近期關于 XAI 對人類-人工智能決策影響的實證研究，確定了面臨的挑戰，并提出了未來的研究方向。

XAI與決策

人工智能輔助決策研究領域正在飛速發展，研究和實驗的數量也在穩步增加。然而，由于實驗中的任務和設置各不相同，關于 XAI 對人類決策的影響的研究結果也不盡相同[81]。還需要進行實證研究，以形成對人類與人工智能之間互動的基本理解，從而做出決策[20]。此外，人類在模型可解釋性中的作用及其對帶有或不帶 XAI 組件的人工智能輔助決策的影響也未得到充分研究[62]。例如，認知科學、社會科學和心理學中存在大量關于人類如何形成解釋并相互解釋不同現象的研究[64]，這些研究對 XAI 領域，尤其是人工智能輔助決策環境中的 XAI 領域大有裨益。

人工智能（AI）通過提供決策建議和與問題相關的信息來協助人類決策者，具有改善人類決策的潛力。然而，要充分發揮人類與人工智能合作的潛力，仍然面臨著一些挑戰。首先，我們必須了解支持互補性的條件，即人類在人工智能輔助下的表現超過無輔助的人類或單獨的人工智能的情況。這項任務要求人類能夠識別在哪些情況下應該利用人工智能，以及開發新的人工智能系統，使其能夠學習如何與人類決策者互補。其次，我們需要準確評估人類對人工智能的心理模型，其中既包括對人工智能的期望，也包括依賴策略。第三，我們需要了解不同的人機交互設計選擇所產生的影響，包括人工智能輔助的時機以及應該向人類決策者展示的模型信息量，以避免認知超載和無效的依賴策略。針對這三大挑戰，我們將基于最新的經驗和理論研究成果提出跨學科觀點，并討論新的研究方向。

人工智能（AI）和統計機器學習（ML）與復雜系統的集成，給傳統的測試與評估（T&E）實踐帶來了各種挑戰。隨著更多不同級別的決策由人工智能系統（AIES）處理，我們需要測試與評估流程為確保系統的有效性、適用性和生存性奠定基礎。這涉及到評估 ML 模型和人工智能算法組件的方法，包括展示它們如何產生可重復和可解釋的決策的能力，以及對任何故障模式和故障緩解技術的了解。此外，還需要人工智能保證，以證明人工智能算法按預期運行，不存在因設計缺陷或惡意插入數據或算法代碼而產生的漏洞。T&E 需要新的流程來鑒定 ML 模型的訓練數據是否充足、算法和模型性能、系統性能以及運行能力。弗里曼（Freeman，2020 年）概述了當前復雜軟件支持系統的測試與評價方法所面臨的挑戰、嵌入式人工智能所加劇的關鍵挑戰，以及針對 AIES 的測試與評價需要如何改變的 10 個主題[1]。

為了充分測試 AIES，測試與評估界需要應對以下挑戰：

• 當狀態空間的大小導致測試所有情況不可行，或開放世界問題導致無法枚舉所有情況時，確定測試要求；
• 解決這些突發系統可以分解這一可能無效的假設；以及
• 處理動態變化的系統，這些系統在部署過程中可能永遠不會處于 "最終 "狀態[1]。

圖 1 總結了加強測試與評估的 10 個不同主題，以應對充分測試和評估 AIES 所面臨的挑戰。在過去的一年中，弗吉尼亞理工大學致力于測試和評估各種 AIES。本最佳實踐指南對圖 1 中的主題進行了進一步的完善和補充。本文所包含的最佳實踐將這些主題轉化為可執行的測試與評估實踐。在編寫本指南的過程中，我們充分利用了我們在人工智能系統開發和與更廣泛的人工智能社區合作方面的 T&E 工作經驗。這里所包含的最佳實踐反映了我們為使人工智能系統的測試與評估具有可操作性所做的初步嘗試。這些實踐需要在各種人工智能系統中進行測試，以確保它們是真正的最佳實踐。貫穿許多最佳實踐的一個亮點是數據的重要作用。數據不再僅僅是 T&E 的產物。現在，它已成為人工智能系統開發本身的輸入。這一顯著變化推動了對人工智能系統的技術與評估提出新的要求和實踐。此外，這份清單還遠遠不夠完整，應被視為一份活生生的實踐文檔。隨著越來越多的人工智能系統可供測試，新的實踐將不斷發展，本清單也需要不斷更新。不過，本文件中的每種做法都已證明在美國防部 AIES 測試中非常有用。

圖4. 人工智能對目標定位的增強：人工智能可以通過搜索目標并在發現后發出警報來增強動態目標定位周期。

開發和使用新的軍事技術是一個軍事專業人員工作的一部分。事實上，軍事歷史在很大程度上是一個技術革新的故事，士兵需要學習如何操作新系統。因此，關于整合人工智能的很多東西并不新鮮。就像坦克、飛機甚至弩一樣，隨著時間的推移，士兵們學會了使用和運用技術，工業界學會了以足夠的數量和質量生產技術，高級領導人學會了運用技術來實現戰略效果。如前所述，人工智能技術與它們的顛覆性“前輩”之間的區別在于，前者有能力改善廣泛的軍事武器、系統和應用。由于這種潛在的普遍性，幾乎所有的士兵都必須在某種程度上變得熟練，才能有效地和道德地運用AI技術。隨著這項技術在應用上的擴展，戰爭將像管理暴力一樣管理數據。

這種普遍性也提出了關于人類發展和人才管理的問題。盡管培訓計劃最終會培養出更多的知識型士兵，人事系統也會提高管理士兵的能力，但軍警人員能夠獲得知識和技能的限制仍然存在，特別是在作戰層面。盡管討論的目的不是要建立嚴格的指導方針，但討論確定了士兵需要獲得的許多知識。例如，士兵將需要知道如何策劃和培訓數據庫，而該數據庫對他們正在執行的任務有著重要作用。這樣做需要確保數據的準確、完整、一致和及時。使用這些數據需要熟練應用推薦模型卡中描述的條件，而熟練的操作有助于確保算法以有效和道德的方式執行。

當然，信任不能僅靠政策和程序來保證。指揮官、參謀員和操作員需要知道他們被信任做什么，以及他們信任系統做什么。指揮官、參謀員和操作員信任人工智能系統來識別合法目標，并避免識別非法目標。參與這一過程的人必須在使用這些信息時，既需要擊敗敵人，又必須避免友軍和非戰斗人員的傷亡。要找到這種平衡，就需要判斷人應該承擔多大的風險。

只要參與流程的人類能夠與系統進行有效的互動，由人工智能賦能的系統就能促進找到這種平衡。在將人類控制整合到機器流程中時，人們經常被迫在控制和速度之間做出選擇：強加的人類控制越多，系統的運行速度就越慢。但本研究發現這種兩難的局面是錯誤的。盡管在某些情況下，在人的控制和速度之間進行平衡可能是必要的，但如果系統要最佳地運作，人的輸入是必要的。

實現最佳性能首先要求指揮官確保參謀和操作人員了解模型能力，理解數據質量的重要性，以及洞悉模型在作戰環境中的表現。盡管它可能不會使系統更加精確或準確，但實現這些任務可使系統能夠更好地對輸出進行概率分配。第二，指揮官需要確定對任務、友軍戰斗人員和敵方非戰斗人員的風險有多大才合適。這一決定很復雜，其中關鍵任務可能是需要容忍更多的友軍和非戰斗人員傷亡。同樣，如果非戰斗人員的密度較低，即使任務不那么緊急，也可以容忍較高的風險。尋找這種平衡將是人類的工作。

但在前面描述的模糊邏輯控制器的幫助下，指揮官可以更好地確定什么時候可以信任一個人工智能系統在沒有人類監督的情況下執行一些目標定位步驟。此外，可以通過構建交互的邏輯，以找到多種不同的人機互動配置，確保系統的最佳使用，同時避免不必要的傷害。在LSCO期間，讓指揮官在需要時選擇智能和負責任地加快目標定位過程將是至關重要的，本報告中提出的設計實現了這一目標。這一成就在未來尤其重要，因為為了保護部隊并實現任務目標，指揮官將面臨大量時間敏感目標，及面臨承擔更多風險的操作條件。

在培養具有正確技能的足夠數量士兵以充分利用人工智能技術方面，仍有大量的工作。目前的人才管理計劃尚未達到管理這一挑戰的要求，盡管多個有前途的計劃準備最終滿足需求。然而，在大多數情況下，這些計劃都是為了滿足機構層面的要求，在機構層面上做出全軍采買人工智能和相關技術的決策。但是，這些技能將如何滲透到作戰陸軍，尚不清楚。

盡管人工智能在目標定位中的使用并不違反當前的戰爭法，但它確實引起了一些道德倫理問題。在所討論的目標定位系統背景下，這些倫理問題中最主要的是問責制差距和自動化偏見。第一個問題對于回答核心問題至關重要，“指揮官在什么基礎上可以信任人工智能系統，從而使指揮官可以對這些系統的使用負責？”自動化偏見和數據衛生與問責制差距有關，因為當這些問題存在時，它們會破壞指揮官可能希望實施的有意義的人類控制措施。指揮官可以通過以下方式縮小問責差距：首先，確保人員受到適當的教育、技能和培訓，以整理相關數據；其次，確保指揮官允許的風險，準確地反映完成任務與保護友軍士兵和非戰斗人員之間的平衡需求。指揮官還可以通過在機器需要更多監督時向參與該過程的人類發出信號來減少自動化偏見的機會及其潛在影響。

作為一個專業人員，不僅僅意味著要提供服務，還要在出問題時承擔責任。專業人員還必須了解各種利益相關者，包括公眾和政府及私營部門實體，如何與本行業互動和競爭。鑒于這些技術的潛力，軍事專業人員必須首先學會在技術及其應用的發展中管理預期。由于這種演變影響到專業工作的特點，軍事專業人員還必須注意專業以外的人如何重視、獎勵和支持這項工作。因此，隨著美軍繼續將人工智能和數據技術整合到各種行動中，對其專業性的考驗將在于擁有專業知識的能力，以及建立能夠繼續發展、維護和認證這種專業知識的機構，這些機構既能滿足美國人民的國防需求，又能反映他們的價值觀。

在過去的幾年里，人工智能（AI）系統的能力急劇增加，同時帶來了新的風險和潛在利益。在軍事方面，這些被討論為新一代 "自主"武器系統的助推器以及未來 "超戰爭 "的相關概念。特別是在德國，這些想法在社會和政治中面臨著有爭議的討論。由于人工智能在世界范圍內越來越多地應用于一些敏感領域，如國防領域，因此在這個問題上的國際禁令或具有法律約束力的文書是不現實的。

在決定具體政策之前，必須對這項技術的風險和好處有一個共同的理解，包括重申基本的道德和原則。致命力量的應用必須由人指揮和控制，因為只有人可以負責任。德國聯邦國防軍意識到需要應對這些發展，以便能夠履行其憲法規定的使命，即在未來的所有情況下保衛國家，并對抗采用這種系統的對手，按照其發展計劃行事。因此，迫切需要制定概念和具有法律約束力的法規，以便在獲得利益的同時控制風險。

本立場文件解釋了弗勞恩霍夫VVS對當前技術狀況的看法，探討了利益和風險，并提出了一個可解釋和可控制的人工智能的框架概念。確定并討論了實施所提出的概念所需的部分研究課題，概述了通往可信賴的人工智能和未來負責任地使用這些系統的途徑。遵循參考架構的概念和規定的實施是基于人工智能的武器系統可接受性的關鍵推動因素，是接受的前提條件。

人工智能(AI)為改善私人和公共生活提供了很多機會，以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件，目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而，這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策，以便我們能夠信任它們?在這個報告中，我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中，可以特別理解本報告的目的。然而，隨著方法的日益普及和復雜性，業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地，數據科學從業者通常不知道來自學術文獻的方法，或者可能很難理解不同方法之間的差異，所以最終使用行業標準，比如SHAP。在這里，我們進行了一項調查，以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域，并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述，并討論她如何通過提出正確的問題來解釋模型。

//arxiv.org/abs/2009.11698