2022年5月至6月，青源會舉辦了青源學術年會及一系列學術研討活動，邀請自然語言處理、智能信息檢索與挖掘、計算機視覺、智能體系結構與芯片、機器學習數理和基礎理論、AI+科學，以及人工智能倫理治理等七個方向近百位研究者共同參與討論。研究者對領域內的熱點研究、重大挑戰，以及未來發展方向提出了專業意見。

今天分享來自于青源會的《青源會2022年人工智能重要方向進展與未來展望報告》，報告對青源會近期一系列活動中所探討的重點內容和觀點進行了整理匯總，我們期待，這份報告能夠為人工智能領域青年學者、學生的學習和研究，提供參考。

前言

美國陸軍未來與概念中心 未來戰爭部主任 克里斯-羅杰斯上校

歷史上的戰爭包含了大量改變戰爭性質的工具和技術的例子。自最初研究多域作戰（MDO）以來，美國陸軍發現人工智能是一種新興技術，有可能改變戰爭的特點，也許也會改變戰爭的性質。使用人工智能（AI）解決方案來緩解軍事問題是過去兩年未來戰爭研究、檢查和學習的一個反復出現的主題。作為2019年未來研究計劃的一部分，我們與陸軍、聯合、多國、學術和科技組織合作，探索和了解人工智能對多軍種的影響，并為未來的研究和發展制定一個操作框架。

多域作戰的人工智能運作最終報告提供了采用人工智能的組織框架，以幫助陸軍和聯合部隊更好地定義所需的能力以及相關的數據和網絡架構，以實現多域能力部隊。描述聯合部隊如何采用人工智能解決方案，為了解人工智能在時間和空間上對多域作戰的影響提供了一個操作說明。本報告確定并解決了與人工智能相關的好處、機會和挑戰，為進一步分析提供了基礎。諸如人工智能等新興技術使陸軍不僅可以改進當前的戰術、技術和程序，而且可以創造新的運用和融合能力的方法。

該報告支持美國陸軍人工智能任務組，該組織負責制定陸軍的人工智能戰略和政策。本文通過描述部隊如何在整個MDO框架內采用人工智能解決方案和相關技術，啟動了陸軍的人工智能運用工作。這份報告使概念發展團體能夠修改陸軍功能概念和戰場發展計劃。它為能力發展團體提供了作戰視角和部隊在確定所需能力時必須考慮的技術影響。此外，該報告還為作戰概念文件或基于能力的評估提供了開發情景或小插曲的基礎。該文件為科學和技術界提供了行動背景，以便為人工智能研究、開發、建模和模擬提供信息和指導。最后，它支持制定一個在未來使用人工智能的全面愿景，以告知陸軍現代化的努力，這將創造有能力的MDO部隊，準備好與任何對手作戰并取得勝利。

執行摘要

人工智能（AI）是未來聯合部隊實現多域作戰（MDO）全部潛力的基礎。人工智能系統提供了跨越領域、電磁頻譜和信息環境戰勝對手的能力。在競爭中使用這些系統使聯合部隊能夠近乎實時地了解作戰環境，從而更好地運用能力來擊敗旨在破壞區域穩定的威脅行動，阻止暴力升級，并將被拒絕的空間變成有爭議的空間。在從競爭到武裝沖突的過渡中，人工智能的機動、火力以及情報、監視和偵察能力為聯合部隊提供了拒絕敵人奪取優勢地位的能力。改進的維持能力與攻擊敵人的反介入/空中拒止網絡的能力相結合，為美國部隊提供了奪取作戰、戰略和戰術優勢位置的能力。通過由人工智能支持的多領域聯合行動圖（MDCOP）增加了解，使美國部隊有能力協調多領域的效果以創造優勢窗口。

制定人工智能的作戰概念使陸軍能夠更好地理解這些技術對戰爭的性質和特征的潛在影響。描述陸軍如何在未來的作戰環境中使用人工智能，有助于說明其對戰爭的暴力、互動和基本的政治性質的影響，以及戰爭不斷演變的特點。本文提供了一些小插曲（附錄A），說明了人工智能的組織運用，為美國陸軍RAS總體概念、作戰和組織概念、基于編隊的作戰概念以及系統或單個系統的運用概念的潛在發展提供信息。

人工智能的運作影響到未來部隊將如何運作，如何針對對手開展行動，以及指揮官如何利用軍事藝術和科學，運用部隊能力來實現預期效果和目標。在2019年未來研究計劃（FSP19）期間，人工智能工作線（LoE）確定了與實施人工智能支持的多領域解決方案有關的以下問題：

• 數據管理--AI/ML應用程序依賴于對策劃的數據的訪問，以便發揮作用。陸軍必須培養一種以數據為中心的文化，以標準化的格式和協議有效地生成、存儲和訪問數據。人才管理的努力必須側重于發展、培訓和保留一支精通數據的員工隊伍。這可以通過以下方式實現：

  • 在整個部門培養一種以數據為中心的文化

  • 投資于整個員工隊伍的數據科學培訓

  • 簡化數據訪問

  • 設計和實施協議，以確保數據的可發現、可訪問、可共享和可互操作性

• 功能分解--狹義的人工智能本質上是有限的，構建算法的數據科學家需要精確的問題定義，準確確定聯合部隊的要求。

• 可解釋人工智能--人工智能支持的系統需要有能力解釋決策/建議和所采取的行動背后的邏輯。這種解釋 "為什么"的能力是人類對人工智能智能體的信任基礎。

• 邊緣計算/人工智能--未來的作戰環境與有爭議的電磁頻譜預期要求有能力向前處理極其龐大的數據集，以及能夠自主行動的人工智能平臺。

• 利用商業部門--美國防部實驗室繼續在人工智能/ML發展方面取得重大進展，特別是與聯邦資助的研究和發展中心合作。商業部門繼續探索和擴大可能適用于軍事應用的工作。

作為FSP19的一部分，人工智能LoE開發了五個小插曲和一個概念草圖（見附錄A），以協助人工智能和機器學習的運作。這些小插曲說明了聯合部隊如何利用人工智能/ML來解決多領域行動所需的關鍵能力。MDCOP概念將依靠幾個有限內存的人工智能來建立和維護描繪整個戰場的藍、紅、綠活動。一個反應式機器人工智能將為特定的指揮官和總部定制MDCOP。合作傳感、維持、攻擊和瞄準的小插曲依靠反應式機器人工智能來優化傳感器覆蓋、維持吞吐量、攻擊順序和射手選擇。

未來部隊需要人工智能來充分實現多領域作戰的潛力。人工智能支持的系統使未來部隊能夠進行信息收集和分析，以便在時間有限和信息競爭的環境中增加對形勢的了解。這種能力使快速、知情和合理的決策成為可能。人工智能的決策支持代理將減輕作戰人員的認知工作量并提高整體效率。由人工智能支持的無人系統將探測、識別和穿透高風險區域，以提高開展行動和保護部隊、人口和資源的能力。人工智能使MDO在與近似對手的沖突規模下實現了作戰速度的要求。

人工智能的空間是巨大的，復雜的，并不斷發展的。隨著計算能力的進步和越來越大的數據集，人工智能算法正在被探索和開發，以用于各種各樣的應用空間，人工智能算法有各種各樣的潛在用戶和相關風險。人工智能界正在追求可解釋性，作為可信人工智能系統的許多理想特征之一。通過與人工智能界的合作，美國國家標準與技術研究院（NIST）已經確定了其他的技術特征來培養人工智能的信任。除了可解釋性（explainability）和可詮釋性（interpretability）之外，為支持系統的可信賴性（trustworthiness）而提出的其他人工智能系統特征包括準確性、隱私性、可靠性、穩健性、安全性、保障性（彈性）、減少有害偏見、透明度、公平性和問責制。可解釋性和其他人工智能系統特征在人工智能生命周期的各個階段相互作用。雖然所有這些都是極其重要的，但這項工作只關注可解釋的人工智能系統的原則。

在本文中，我們介紹了四項原則，我們認為這些原則構成了可解釋人工智能系統的基本屬性。這些可解釋人工智能的原則是通過NIST的公共研討會和公眾評論期與更大的人工智能社區接觸后得出的。我們認識到，并非所有的人工智能系統都需要解釋。然而，對于那些打算或要求可解釋的人工智能系統，我們建議這些系統遵守以下四個原則：

• 解釋性：一個系統為產出和/或過程提供或包含附帶的證據或理由。

• 有意義：一個系統所提供的解釋對目標消費者來說是可以理解的。

• 解釋準確性：解釋正確地反映產生輸出的原因或準確地反映系統的過程。

• 知識局限性：系統僅在其設計條件下以及對其輸出達到足夠置信度時才能運行。

在這項工作中，我們認識到基于過程和基于結果的解釋的重要性，以及解釋目的和風格的重要性。例如，人工智能開發者和設計者的解釋需求可能與政策制定者和終端用戶的解釋需求截然不同。因此，為什么要求解釋以及如何提供解釋可能會因人工智能用戶的不同而不同。考慮到人工智能系統與信息的人類接收者的互動，這四項原則受到很大影響。給定情況的要求、手頭的任務和消費者都會影響被認為適合該情況的解釋的類型。這些情況可以包括，但不限于，監管機構和法律要求，人工智能系統的質量控制，以及客戶關系。我們的可解釋人工智能系統的四項原則旨在捕捉一系列廣泛的動機、理由和觀點。這些原則允許定義解釋所要考慮的背景因素，并為衡量解釋質量鋪平道路。

我們設想，鑒于人工智能領域的復雜性，這些原則將隨著時間的推移從更多的細化和社區投入中受益。我們充分認識到，除了可解釋性之外，還有許多其他社會技術因素影響著人工智能的可信度。這項關于可解釋人工智能系統原則的工作是NIST人工智能組合的一部分，該組合圍繞可信賴的人工智能數據、標準、評估、驗證和核實--所有這些都是人工智能測量所必需的。NIST是一個計量機構，因此，定義可解釋人工智能系統的初始原則是未來測量和評估活動的路線圖。該機構的人工智能目標和活動是根據其法定任務、白宮的指示以及美國工業界、其他聯邦機構和全球人工智能研究界的需求來確定優先次序的。目前的工作只是這個更大空間中的一步，我們認為這項工作將隨著時間的推移繼續發展和進步，就像更大的人工智能領域。

伴隨全球數字化進程的加快，人工智能成為引領未來世界發展的關鍵技術。近年來，各國政府、科研教育機構、科技企業及專家學者紛紛加入到推動人工智能產業發展的進程中，人工智能技術與產業融合程度不斷加深。

2022年，尚普研究院從全球視角出發，聯合中科創星、智譜AI、紫荊數字經濟研究院、中國風險投資有限公司、中電海康科創基金、容億投資等6家機構于近日正式發布《2022年全球人工智能產業研究報告》。

《2022年全球人工智能產業研究報告》包括人工智能產業概況、人工智能底層基礎、人工智能核心技術、人工智能應用領域、人工智能趨勢展望五大篇章。對人工智能的發展歷程、產業鏈、核心技術、應用領域及發展趨勢等方面進行全面梳理，為政府部門、從業人員、教育工作者、社會公眾更好了解人工智能的過去、現狀及未來提供參考。以下為報告部分內容，

本白皮書介紹了研究項目解鎖人工智能對英國法律的潛力（“人工智能與英國法律”）的一些重要發現，該項目由牛津大學的一個跨學科研究團隊與一系列合作伙伴組織合作開展2019 年和 2021 年。AI for English law 項目涉及來自大學法律、經濟、管理、教育和計算機科學系的學者，涉及六個主題研究流。該研究由 UKRI 在下一代服務產業戰略挑戰基金下資助。

在第一章中，我們解釋了人工智能輔助法律技術的含義，并概述了在英格蘭和威爾士執業的律師對其使用的普遍性。我們的調查驅動的見解表明，大約一半的英國和威爾士律師現在經常使用至少一種類型的人工智能輔助法律技術解決方案——重要的附帶條件是，解決方案類型的使用差異很大。

在第二章中，我們解釋了支持人工智能的法律技術如何影響律師的工作。在這里，我們最重要的發現是，人工智能法律技術解決方案的部署通常涉及新任務的創建、新的工作安排、新的交付基礎設施，以及涉及律師和非律師的多學科團隊合作。我們還建議，人工智能法律技術的部署正在促進幫助生產和改進技術的律師與主要將其用作消費者的律師之間的分工。我們認為，這些發展可能與傳統的律師事務所治理和職業發展模式不協調。

在第三章中，我們探討了人工智能輔助法律技術對律師事務所組織和商業模式的影響。我們記錄了律師事務所與第三方合作開發支持人工智能的法律技術解決方案的新興文化，而不是在內部構建解決方案。我們確定了律師事務所和法律科技公司之間常見的合作類型，以及管理這些關系的常見合同機制。我們還考慮人工智能法律技術解決方案的部署是否會促使律師事務所超越其傳統的“法律咨詢”業務模式，專注于定制法律咨詢。一些律師事務所開始采用基于“法律運營”的商業模式，轉而關注內部流程效率和項目管理。

在第四章中，我們探討了需要相關數據來訓練支持人工智能的法律技術解決方案所帶來的挑戰。對于公開來源的數據，我們觀察到一些機構不愿與商業實體共享數據。我們還為希望使用客戶數據訓練 AI 模型的律師事務所和法律科技公司確定了一些不確定性。其中包括數據所有權、客戶同意以及利益相關者之間共享與相關數據相關的 AI 性能培訓收益。

在第五章中，我們探討了人工智能等先進技術對律師事務所招聘模式、培訓需求和內部治理的可能影響。與第四章一致，報告律師事務所與第三方組織合作提供法律技術解決方案，我們發現目前只有極少數招聘的律師事務所工作需要人工智能相關技能。此外，法律技術所需的技術技能更有可能在為非律師招聘的職位中尋找，而不是為律師招聘。此外，我們幾乎沒有發現任何證據表明律師事務所正在修改其內部治理以明確非律師高級別的職業道路。也就是說，我們還發現有證據表明律師越來越愿意發展與人工智能相關的技能。反過來，這些技能可以促進更有效的多學科團隊合作，以及進入非律師事務所組織的職業軌跡。

?世界各地的軍隊正在根據戰爭的發展開發、集成和使用機器人和自主系統 (RAS)。需要進一步思考這一過程在荷蘭境內發生的條件以及可能產生的挑戰和影響。HCSS 項目“軍事背景下的 RAS”試圖為這一討論做出貢獻。

在兩年的時間里，該項目產生了五篇公共研究論文，涵蓋了與在軍事背景下實施 RAS 相關的一系列主題。這些研究論文涵蓋了軍事適用性、倫理考慮、法律論述、合作要求以及 RAS 在軍事環境中的實施。所有論文都合并在此報告中，包括簡要總結分析的綜合報告和一系列六份情況說明書。 研究方法側重于獲取從業人員、研究人員、倫理學家、法律專家、行業專業人士、技術人員、民間社會組織、軍事人員和國防界其他成員的專業知識。這樣做不僅能夠收集對主題的多方面理解，而且還能將這些利益相關者獨特地聯系在一起，并促進他們之間具有挑戰性的討論。在項目過程中，與不同的咨詢委員會成員舉行了五次會議，指導了研究軌跡，并為其立場文件和研究論文草稿提供了寶貴的意見。還收集了來自 200 多名利益相關者的專業知識，參加了六場專家會議，其中涉及各種方法，包括基于場景的討論、設計會議、

次要目標是為公眾辯論提供信息，并在抵制流行的“殺手機器人”觀念的軍事背景下就 RAS 進行更細致的對話。為此，舉辦了關于 RAS 的道德困境的公開研討會，與 BNR Nieuwsradio 合作發布了五個 De Strateeg 播客，組織了會議和圓桌會議，并于 2021 年 2 月發布了一部 18 分鐘的紀錄片。

引 言

2019 年 12 月，普京在俄羅斯國防部董事會會議上發表講話時表示，“機器人系統和無人機正在被嚴格引入并用于戰斗訓練，這極大地提高了武裝部隊的能力。”幾個月后，俄羅斯國防部宣布了一項價值約 420 萬歐元的封閉招標，旨在“研究為新一代人工智能軍事系統創建神經網絡開發、訓練和實施的實驗模型”。雖然中國在公開場合遠沒有那么自夸，但他們的軍事優勢戰略是由人工智能和自動化的發展引領的，這導致一些分析人士認為，解放軍的目標是通過系統沖突和高度智能化的戰爭來主導。

這些觀點意味著一個更大的現象。世界各地的軍隊正在根據戰爭的第四次演變開發、整合和使用機器人和自主系統，需要進一步思考在荷蘭境內進行這一過程的條件以及可能出現的挑戰和影響作為結果。

HCSS 項目“軍事背景下的 RAS”試圖為這一討論做出貢獻。在兩年的時間里，該項目產生了五篇公共研究論文，涵蓋了與在軍事背景下實施 RAS 相關的一系列主題。該綜合將這些主題聯系在一起，并展示了該項目最相關的發現。下面總結了 HCSS 研究對道德要求、法律話語、合作伙伴合作、實施和概念開發和實驗的觀察，然后是關于 RAS 的軍事適用性的初級部分。

RAS的軍事適用性

機器人和自主系統 (RAS) 在軍事環境中提供了大量、重要且影響深遠的機會。為了觀察這些系統在這種情況下的適用方式并評估它們的效用，需要解決一些定義和概念：

1 自主性：人類賦予系統執行給定任務的獨立程度。根據系統自身的態勢感知（綜合感知、感知、分析）、規劃和決策，實現分配任務是自治的條件或質量。自主性是指一系列自動化，其中可以針對特定任務、風險水平和人機協作程度定制獨立決策。自主級別可以包括遠程控制（非自主）、操作員協助、部分自動化、條件自動化、高度自動化或完全自動化。

2 機器人：能夠通過直接的人工控制、計算機控制或兩者兼而有之來執行一組動作的動力機器。它至少由平臺、軟件和電源組成

3 機器人和自主系統 (RAS)：RAS 是學術界和科學技術 (S&T) 社區公認的術語，強調這些系統的物理（機器人）和認知（自主）方面。RAS 是一個框架，用于描述具有機器人元素和自主元素的系統。值得注意的是，RAS 的每個連續部分都涵蓋了廣泛的范圍。“系統”部分指的是廣泛（在我們的例子中為軍事）應用領域的各種物理系統。在計算機或網絡上運行的自動化軟件系統，包括“機器人”，即無需人工干預即可執行命令的軟件，不符合 RAS 的條件，因為它們缺少物理組件。“機器人”部分，指的是系統的物理布局，認為系統是無人或無人居住的。所有其他物理方面（大小、形式，無論是飛行、漂浮還是滾動等）都保持打開狀態。

4 致命自主武器系統 (LAWS)：一種武器，在沒有人為干預的情況下，根據人為部署武器的決定，在沒有人為干預的情況下選擇和攻擊符合某些預定義標準的目標，因為攻擊一旦發動，人為干預就無法阻止。

5 有意義的人類控制（MHC）：MHC 包括（至少）以下三個要素：（1）人們就武器的使用做出知情、有意識的決定；(2) 人們被充分告知，以確保在他們對目標、武器和使用武器的背景所了解的范圍內，使用武力符合國際法；(3) 所討論的武器是在現實的操作環境中設計和測試的，并且相關人員已經接受了足夠的培訓，以便以負責任的方式使用武器。MHC 是一個復雜的概念，在許多情況下，上述描述并不是決定性的。荷蘭官方的立場是，“所有武器，包括自主武器，都必須保持在有意義的人類控制之下。”

“殺手機器人”的言論已將公眾對軍事環境中機器人和自主系統的看法縮小為完全關于高度或完全自主系統使用致命武力的觀點。實際上，RAS 可應用于眾多軍事功能和任務，每個功能具有不同程度的自主性（見下圖）。機器人和自主系統的廣泛軍事適用性產生了無數和巨大的機會。未來幾年的挑戰是充分利用這些機會，發揮軍事優勢的潛力，同時降低所帶來的風險。

在這些功能中實施 RAS 會帶來重大挑戰，但也預示著軍隊將面臨更有效、更高效和更敏捷的新機遇。可以根據這些類別評估 RAS 繼續改進/再改進國防領域的潛力。

速度。在促進快速決策和威脅優先級排序的人工智能的幫助下，RAS 已經能夠超越人類的反應時間并縮短 OODA（觀察、定位、決定、行動）循環。

可靠性。將任務委派給機器需要高度的信任，但到目前為止，RAS 還不能證明在所有軍事應用領域都有足夠的可靠性。然而，我們對這些系統的信心將會增加，因為它們證明了它們在執行特定任務時的可靠性和有效性。

準確性。人工智能系統的面部圖像識別和感官能力已經超過了人類的表現水平，盡管無人系統比人類操作員更精確的說法受到廣泛爭議。

大規模效應。由于射程和耐力的增加，RAS 有能力增強對戰場的覆蓋范圍并壓倒對手。這種潛力的最好例子是“蜂擁而至”。

可達性。RAS 極大地增強了監視、情報、偵察和武器系統的可用存在點。

穩健性。在短期內，由于惡劣的天氣和任務的變化等意外條件，RAS 將比人類更容易失敗。這種脆弱性延伸到虛擬域：由于連接丟失、黑客攻擊和其他干擾可能導致系統無法運行。

安全。RAS 可以執行“枯燥、危險和骯臟”的任務，以便人類可以專注于更專業的任務并遠離火線。

成本。盡管最先進技術的獨家使用權將保留給最富有的玩家，但現在被認為是高度先進的系統的成本將在未來 20 年內下降，從而變得更加普及。

維護。考慮到系統的復雜性和涉及的多個（外部）合作伙伴，更新和升級 RAS 軟件和硬件可能會更加困難。

時間效率。RAS 可以 24/7 全天候高標準執行乏味且重復性的監控任務，無需休息，高效解決后勤規劃，快速超越人工多任務處理的極限。

靈活性。盡管 RAS 目前在執行特定任務方面表現出色，但在可預見的未來，人類仍將是最靈活的。隨著開發人員繼續創新當前系統，這種動態可能會發生變化。

適應性。RAS 具有高度自適應性，并且隨著時間的推移在系統生命周期（擴展、擴展、升級等）期間易于重新配置，以便跟上動態環境中出現的新要求。

外部合法性。因此，軍方與 RAS 的接觸必須在他們（可能）提供的先進能力與其所服務的社會的價值觀和規范之間取得平衡。

內部合法性。RAS 的信任和組織規范化將隨著時間的推移而得到加強。隨著對系統的理解、可預測性和熟悉度的提高，它們在組織內的合法性將得到鞏固。

許多國家認識到這種潛力并意識到需要在瞬息萬變的國際舞臺上具有軍事競爭力，因此將 RAS 用作其武裝部隊的一部分（圖 2）。然而，盡管有明顯的機會，但在軍事環境中實施 RAS 并非易事。許多實際和理論挑戰阻礙了實施過程，需要政策制定者、創新者、研究人員、國防界和民間社會成員之間的討論，在許多情況下，這些挑戰考驗著我們賴以監管、開發、獲取、整合和使用其他軍事技術。為了分析這些挑戰，重要的是確定 RAS 系統生命周期的三個階段：開發、集成和使用（圖 3）。下一節總結了在 HCSS RAS 項目期間探索和分析的理論考慮（道德和法律）和實際考慮（私營部門合作和概念試驗與開發）。

RAS的開發是一個硬件和軟件設計和生產的動態過程，在后期根據系統測試、集成、監控和使用的結果不斷地重新審視。RAS的設計和開發需要國防部門和私營部門之間更深入的互動與合作。因此，私營部門在塑造 RAS 生命周期的發展階段和解決與該階段相關的理論和實踐考慮方面發揮著關鍵作用。

這一階段涉及 RAS 的組織嵌入，由此與系統開發者/生產者的關系發生變化，新的參與者（例如實際的軍事最終用戶）出現或獲得更主導的角色。在這個階段，“交接”變化的性質引發了關于不同參與者角色的新問題。

在作戰環境中使用 RAS 會影響軍隊的工作方式、與誰合作以及在什么條件下工作。這是因為相關系統的更大自主性促使操作員和指揮官以“更高的抽象層次”與系統進行交互。除了部署之外，這個階段還包括RAS的維護和服務。

結 論

機器人和自主系統代表了軍事領域的轉變。它們提供了顯著的軍事能力，以擴大軍事行動的質量、范圍、效率和安全性，并正在改變我們現在和未來對抗沖突的方式。RAS 功能正在實施，不僅是荷蘭武裝部隊，還有我們的潛在對手。技術、運營、法律和道德問題，以及這種新興技術的潛在擴散是復雜且相對較新的。

隨著新發展的出現和在運營使用過程中獲得經驗，我們概念化、設計、建造和運營 RAS 的方式將需要反復重新考慮。這也意味著需要不斷的知識開發、概念開發和實驗。為了充分了解 RAS 的潛力及其作為軍事工具箱中重要戰略工具的要求，必須在操作環境中進行實際測試。

要讓行業充分參與這些市場，在這個快速發展的領域中共同開發和共同試驗需要不同的思維方式。在產品完全成熟并且操作使用表明它們被充分理解和可預測之前，RAS 將需要通過短周期創新過程進行不斷調整。

在軍事背景下開發和實施 RAS 將需要持續關注、創造性的大局思維以及與利益相關者（包括政策制定者、學者、倫理學家、律師、行業專業人士、技術人員、民間社會和國防界）的強大合作網絡。

美國國防部(DOD)報告稱，人工智能(AI)是一項革命性的技術，有望改變未來的戰場和美國面臨的威脅的速度。人工智能能力將使機器能夠執行通常需要人類智能的任務，如得出結論和做出預測此外，人工智能機器可以以人類操作員無法企及的速度操縱和改變戰術。由于AI具有廣泛用途的潛力，國防部將其指定為頂級現代化領域，并投入大量精力和資金開發和獲取AI工具和能力，以支持作戰人員。在2022財年，國防部為科學和技術項目申請了147億美元，以及8.74億美元用于直接支持其人工智能努力。根據國防部2018年的人工智能戰略，未能將人工智能能力納入武器系統可能會阻礙戰士保護我們的國家抵御近同行對手的能力其他國家正在這一領域進行大量投資，這可能會削弱美國的軍事技術和作戰優勢。

美國國防部(DOD)正在積極追求人工智能(AI)能力。人工智能指的是旨在復制一系列人類功能，并不斷在分配的任務上做得更好的計算機系統。GAO之前確定了三種AI類型，如下圖所示。

國防部認識到開發和使用人工智能不同于傳統軟件。傳統軟件的編程是根據靜態指令執行任務，而人工智能的編程則是學習如何改進給定的任務。這需要大量的數據集、計算能力和持續監控，以確保功能按預期執行。支持國防部作戰任務的大部分人工智能能力仍在開發中。這些能力主要集中在分析情報，增強武器系統平臺，如不需要人工操作的飛機和艦船，并在戰場上提供建議(如將部隊轉移到哪里)。

當獲取依賴于復雜軟件的新能力時，國防部一直面臨著挑戰，例如長時間的獲取過程和熟練工人的短缺。GAO發現，它繼續面臨這些挑戰，同時還面臨人工智能特有的其他挑戰，包括有可用的數據來訓練人工智能。例如，人工智能探測對手的潛艇需要收集各種潛艇的圖像，并標記它們，這樣人工智能就可以學會自己識別。國防部還面臨著將訓練有素的人工智能集成到非為其設計的現有武器系統中的困難，以及在其人員中建立對人工智能的信任。國防部發起了一系列努力，如為人工智能和人工智能特定培訓建立一個跨服務的數字平臺，以應對這些挑戰，并支持其對人工智能的追求，但現在評估有效性還為時過早

摘要

在過去的幾十年里，人工智能技術迅猛發展，改變了每個人的日常生活，深刻改變了人類社會的進程。開發人工智能的目的是通過減少勞動、增加生活便利、促進社會公益來造福人類。然而，最近的研究和人工智能應用表明，人工智能可能會對人類造成意外傷害，例如，在安全關鍵的情況下做出不可靠的決定，或通過無意中歧視一個或多個群體而破壞公平。因此，值得信賴的人工智能最近受到越來越多的關注，人們需要避免人工智能可能給人們帶來的負面影響，以便人們能夠充分信任人工智能技術，與人工智能技術和諧相處。近年來，人們對可信人工智能進行了大量的研究。在本次綜述中，我們從計算的角度對值得信賴的人工智能進行了全面的評述，幫助讀者了解實現值得信賴的人工智能的最新技術。值得信賴的人工智能是一個大而復雜的課題，涉及方方面面。在這項工作中，我們關注實現值得信賴的人工智能的六個最關鍵方面: (i) 安全性和健壯性，(ii) 非歧視和公平，(iii) 可解釋性，(iv) 隱私，(v) 問責性和可審計性，和(vi) 環境福祉。對于每個維度，我們根據一個分類回顧了最近的相關技術，并總結了它們在真實系統中的應用。我們還討論了不同維度之間的協調和沖突互動，并討論了值得信賴的人工智能在未來研究的潛在方面。

引言

人工智能(AI)是一門研究和發展模擬、擴展和拓展人類智能的理論、方法、技術和應用系統的科學，為現代人類社會帶來了革命性的影響。從微觀角度來看，人工智能在我們生活的許多方面發揮著不可替代的作用。現代生活充滿了與人工智能應用的互動: 從用人臉識別解鎖手機，與語音助手交談，到購買電子商務平臺推薦的產品; 從宏觀角度看，人工智能創造了巨大的經濟成果。世界經濟論壇的《2020年就業前景報告》[136]預測，人工智能將在5年內創造5800萬個新就業崗位。到2030年，人工智能預計將產生13萬億美元的額外經濟利潤，對全球GDP的年增長率貢獻1.2%[54]。然而，隨著其快速而令人印象深刻的發展，人工智能系統也暴露了其不值得信任的一面。例如，安全至關重要的人工智能系統在對抗攻擊時很脆弱。無人駕駛汽車的深度圖像識別系統可能無法識別被惡意攻擊者修改的路標[345]，對乘客安全構成極大威脅。此外，人工智能算法可能會導致偏見和不公平。在線人工智能聊天機器人可能會產生不雅、種族主義和性別歧視的內容[335]，冒犯用戶，并產生負面社會影響。此外，人工智能系統還存在泄露用戶隱私和商業秘密的風險。黑客可以利用人工智能模型產生的特征向量來重構私人輸入數據，如指紋[25]，從而泄露用戶的敏感信息。這些漏洞會使現有的人工智能系統無法使用，并可能造成嚴重的經濟和安全后果。對于人工智能來說，要想在一個領域取得進步、得到更廣泛的應用并創造更多的經濟價值，對誠信的擔憂已經成為一個巨大的障礙。因此，如何構建可信的人工智能系統成為學術界和業界關注的焦點。

近年來，出現了大量關于可信人工智能的文獻。隨著構建可信人工智能的需求日益增長，總結已有成果并探討未來可能的研究方向勢在必行。在本次綜述中，我們提供了值得信賴的人工智能的全面概述，以幫助新手對什么使人工智能系統值得信賴有一個基本的了解，并幫助老兵跟蹤該領域的最新進展。我們澄清了可信人工智能的定義，并介紹了可信人工智能的六個關鍵維度。對于每個維度，我們給出了它的概念和分類，并回顧了有代表性的算法。我們還介紹了不同維度之間可能的互動，并討論了值得信賴的人工智能尚未引起足夠關注的其他潛在問題。除了定義和概念，我們的綜述還關注實現可信人工智能每個維度的具體計算解決方案。這一視角有別于現有的一些相關工作，如政府指南[307]，建議如何以法律法規的形式建立一個值得信賴的人工智能系統，或綜述[51,318]，從高層次、非技術的角度討論值得信賴的人工智能的實現。

根據歐盟(EU)最近提供的人工智能倫理指南[307]，一個值得信賴的人工智能系統應符合四項倫理原則: 尊重人類自主、防止傷害、公平和可解釋性。基于這四個原則，人工智能研究人員、實踐者和政府提出了值得信賴的人工智能的各個具體維度[51,307,318]。在這項調查中，我們重點關注已經被廣泛研究的六個重要和相關的維度。如圖1所示，它們是安全性和穩健性、非歧視性和公平性、可解釋性、隱私性、可審計性和可問責性，以及環境福祉。

余下論文綜述組織如下。在第2節中，我們明確了值得信賴的AI的定義，并提供了值得信賴的AI的各種定義，幫助讀者理解來自計算機科學、社會學、法律、商業等不同學科的研究人員是如何定義值得信賴的AI系統的。然后，我們將值得信賴的人工智能與倫理人工智能和負責任的人工智能等幾個相關概念區分開來。在第3節中，我們詳細介紹了安全性和穩健性的維度，這要求人工智能系統對輸入的噪聲擾動具有穩健性，并能夠做出安全的決策。近年來，大量研究表明，人工智能系統，尤其是那些采用深度學習模型的系統，可能對有意或無意的輸入擾動非常敏感，對安全至關重要的應用構成巨大風險。例如，如前所述，自動駕駛汽車可能會被改變的路標欺騙。此外，垃圾郵件檢測模型可能會被設計良好的文本[30]郵件欺騙。因此，垃圾郵件發送者可以利用這個弱點，使他們的電子郵件不受檢測系統的影響，這將導致糟糕的用戶體驗。已經證明，人工智能算法可以通過提供的訓練例子學習人類的歧視，并做出不公平的決定。例如，一些人臉識別算法難以識別非洲裔美國人的面孔[280]或將其誤分類為大猩猩[168]。此外，語音聽寫軟件在識別男性聲音時通常比識別女性聲音表現得更好[277]。

在第4節中，我們介紹了非歧視和公平的維度，在這個維度中，人工智能系統被期望避免對某些群體或個人的不公平偏見。在第5節中，我們討論了可解釋性的維度，這表明AI的決策機制系統應該能夠向利益相關者解釋(他們應該能夠理解解釋)。例如，人工智能技術已經被用于根據患者的癥狀和身體特征進行疾病診斷[289]。在這種情況下，黑箱決策是不可接受的。推理過程應該對醫生和患者透明，以確保診斷的每個細節都是準確的。

研究人員發現，一些人工智能算法可以存儲和暴露用戶的個人信息。例如，在人類會話語料庫上訓練的對話模型可以記住敏感信息，如信用卡號碼，這些信息可以通過與模型交互而得到[164]。在第6節中，我們提出了隱私的維度，這需要一個人工智能系統來避免泄露任何私人信息。在第7節中，我們描述了可審計性和問責性的維度，該維度期望人工智能系統由第三方評估，并在必要時為人工智能故障分配責任，特別是在關鍵應用中[307]。最近，人工智能系統對環境的影響引起了人們的關注，因為一些大型人工智能系統消耗了大量的能源。作為一項主流的人工智能技術，深度學習正在朝著追求更大的模型和更多的參數的方向發展。因此，會消耗更多的存儲和計算資源。一項研究[312]表明，訓練BERT模型[110]需要排放大約1400磅二氧化碳，這與跨美國的往返飛行相當。因此，人工智能系統應該是可持續的和環境友好的。

在第8節中，我們回顧了環境福利的維度。在第9節中，我們將討論不同維度之間的相互作用。最近的研究表明，值得信賴的AI的不同維度之間存在一致性和沖突[307,333]。例如，深度神經網絡的魯棒性和可解釋性緊密相連，魯棒模型往往更具有可解釋性[122,322]，反之亦然[255]。此外，研究表明，在某些情況下，健壯性和隱私之間存在權衡。例如，對抗性防御方法會使模型更容易受到成員推理攻擊，增加了訓練數據泄漏的風險[308]。

除了上述六個維度，值得信賴的人工智能還有更多的維度，如人工代理和監督、可信性等。盡管這些額外的維度與本文中考慮的6個維度一樣重要，但它們還處于開發的早期階段，相關文獻非常有限，特別是對于計算方法而言。因此，在第10節中，我們將討論值得信賴的人工智能的這些方面，作為未來需要專門研究的方向。