亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

空對空作戰背景下的戰斗識別（CID）是一項高度復雜的認知任務，要求操作員迅速做出后果嚴重的決策。為了完成 CID 任務，戰斗機機組人員必須在建立態勢感知（SA）和執行其他任務的同時注意和感知大量信息。雖然現有的智能體可以幫助戰斗機機組人員完成這項 CID 任務，但它們是針對整個任務中非常狹窄的子集而設計的，不太適合人類與智能體的協同工作。對人類操作員和支持該任務的智能體的相互依存關系進行的分析表明，“觀察-方向-決定-行動”（OODA）循環中的 “方向 ”步驟對提高 CID 任務執行的可靠性或效率最有影響。通過建模對現有系統架構中的 CID 任務進行了研究，以了解在此任務中加強人類-智能體團隊設計的潛在改進措施。更具體地說，探索了主觀邏輯，將其作為提高多智能體界面可觀察性的一種可能手段，以支持 CID 用例中的決策制定。這種方法已被納入模型，以展示其潛在的實用性。初步研究結果表明，應進一步研究主觀邏輯，以了解這一工具對提高國防部門未來系統中多智能體系統性能的影響。

計算力（或稱 "計算"）對于開發和部署人工智能（AI）能力至關重要。因此，政府和公司開始利用計算作為管理人工智能的手段。例如，政府正在投資國內計算能力，控制計算向競爭國家的流動，并對某些行業的計算訪問提供補貼。然而，這些工作只是從表面上了解了如何利用計算來管理人工智能的開發和部署。與人工智能的其他關鍵投入（數據和算法）相比，人工智能相關計算是一個特別有效的干預點：它是可檢測、可排除、可量化的，并且是通過極其集中的供應鏈生產出來的。這些特點，加上計算對尖端人工智能模型的獨特重要性，表明對計算的管理有助于實現共同的政策目標，如確保人工智能的安全和有益使用。更確切地說，政策制定者可以利用計算促進人工智能的監管可見性，分配資源以促進有益的結果，并對不負責任或惡意的人工智能開發和使用實施限制。然而，雖然基于計算的政策和技術有可能在這些領域提供幫助，但其實施的準備程度卻存在很大差異。一些想法目前正在試行，而另一些則因需要進行基礎研究而受到阻礙。此外，在隱私、經濟影響和權力集中等領域，樸素或范圍不清的計算治理方法會帶來巨大風險。最后，我們將提出一些建議，以最大限度地降低計算治理的這些風險。

圖 1：報告中的核心概念摘要。計算因其四種特性而對政策制定具有吸引力。可以利用這些特性來設計和實施政策，從而實現人工智能治理的三種關鍵能力。

在第 2 節 "人工智能能力、人工智能治理和計算概述 "中，我們提供了幾個主題的基本背景，作為后面章節的基礎。我們討論了作為人工智能發展關鍵投入的人力資本、數據、算法和計算。然后，我們描述了人工智能生命周期的各個步驟（包括設計、培訓、增強和部署）--其中每個步驟都是可能的干預點（并具有獨特的計算足跡）。我們接著討論了人工智能可能對社會產生的影響，以說明負責任治理的重要性。隨后，我們將回顧目前在治理計算方面所做的努力，以便為后面的章節提供背景資料。

在第 3 節 "為什么計算治理對決策具有吸引力 "中，將解釋計算的特點，這些特點使其成為人工智能治理的一個有吸引力的工具。這源于計算對前沿模型的獨特重要性，以及計算作為一種治理策略所具有的增強功效的若干特性。

讀者如果已經確信計算的重要性和特殊屬性，但又想知道如何將計算治理擴展到現有工作之外，可以考慮跳到第 4 節 "計算可以增強三種人工智能治理能力"，在這一節中，我們將探討如何利用計算來增強關鍵的治理能力：（a）通過監控計算來提高人工智能發展的可見性；（b）改變計算的分配以實現有益的發展；以及（c）利用計算來執行人工智能相關規范和法規。

在第 5 節 "計算治理的風險與可能的緩解措施 "中，我們總結了之前關于計算治理可能存在的局限性的討論。

強化學習（RL）和人在回路（HitL）學習方面的最新進展使人類與人工智能體的合作變得更加容易。在智能系統中利用人類與人工智能的專業知識和經驗，既高效又有益。不過，人類與人工智能的協作能在多大程度上取得成功，以及這種組隊與僅有人類或人工智能體的組隊相比表現如何，目前仍不清楚。在這項工作中，我們證明了向人類學習是有效的，而且在復雜的模擬環境中，人類-人工智能協作的表現優于人類控制的和完全自主的人工智能體。此外，我們還開發了一種新的關鍵基礎設施保護模擬器，重點關注人工智能驅動的無人機和人類團隊合作抵御敵方無人機攻擊機場的場景。我們開發了一個用戶界面，讓人類能夠有效地協助人工智能體。我們證明，與向人類或智能體學習相比，智能體在向政策校正學習時學習速度更快。此外，與人類直接控制所有智能體相比，人類與人工智能的協作需要更低的精神和時間要求，減少了人類的努力，并產生了更高的性能。總之，我們的研究表明，人類可以為 RL 智能體提供有益的建議，讓它們在多智能體環境中提高學習能力。

保護機場等關鍵基礎設施免受安全威脅是一項復雜、敏感和昂貴的任務，因此人們一直在探索自動和自主解決方案[1]。然而，由于目前技術成熟度和訓練有素的操作員方面的限制，在關鍵應用中采用全自動和自主解決方案并不可取。這可能會導致性能低下、基礎設施嚴重受損以及其他附帶損害風險增加。此外，培訓人類如何有效地使用這些解決方案仍然是一個相當大的挑戰。另一方面，對此類系統的持續監控、快速評估和處理潛在威脅將受益于人工智能能力。在許多情況下，由于系統的復雜性或數據的稀缺性，人工智能體需要在合理的時間范圍內實現完全自主的協助[2]。另一個重大挑戰是人工智能體捕捉上下文理解的能力。例如，考慮一個機場安防場景，隸屬于機場當局的人工智能系統在夜間通過監控攝像頭或無人機檢測到快速移動。該系統可能會將這一移動歸類為入侵者，但由于缺乏上下文的細微差別，無法將其識別為當地警察在機場周邊的例行巡邏。

人類通常擁有解決復雜問題的領域專長、經驗和對上下文的理解，而這些是智能體難以學習或復制的。例如，考慮到上述例子，人類操作員可能會根據無人機出現和行為的相關情況，將無人機識別為例行巡邏。與此同時，智能體缺乏做出適當反應的知識。在安全關鍵型應用中，人的決策變得至關重要，因為在這種應用中，可能會出現部分預料不到的情況。考慮到人類專業知識的價值，有必要在協作環境中有效利用人類知識和態勢感知，尤其是在國防或安全等關鍵應用中。結合人類操作員和自主系統優勢的系統可能會使這些應用受益。這種整合旨在降低系統成本，提高任務性能，同時在危險或關鍵操作中保持有意義的人工控制。這種混合方法對于降低這些高風險環境中的潛在風險至關重要[3]。

最近，強化學習（RL）成功地解決了許多復雜的決策問題，例如掌握圍棋[4]、在平流層部署超壓氣球[5]和生成合成藥物[6, 7]。雖然 Atari 和 Mujoco 等成熟領域已成為前沿 RL 研究的基準[8, 9]，但針對復雜領域引入模擬器以促進人類人工智能協作的探索還較少[10, 11]。然而，深度 RL 面臨的一個顯著挑戰是樣本效率低下 [12]，需要與環境進行數百萬次交互，因此難以適應現實世界的問題。為了緩解這一問題，示范[13-15]、行動建議[16-18]、偏好[19-21]和獎勵塑造[22-25]等給出建議的技術已被用于引導 RL 智能體進入狀態空間的相關部分。然而，這些工作大多局限于游戲領域和由訓練有素的智能體提供建議。一個重要且相對尚未探索的方面是，在復雜的真實世界環境中，通過人類示范來提高人類與智能體協作的潛力。此外，目前有關人類與智能體協作的文獻顯示，在為人類提供有效建議而進行的智能用戶界面設計和集成方面存在明顯的不足。這種稀缺性經常導致人類與智能體之間的誤解，阻礙了人類操作員專業知識的使用。

為了應對復雜現實世界領域的挑戰，我們針對機場禁區保護系統這一特定問題開發了一種新型模擬器和用戶界面。使用案例包括一個由盟友無人機組成的機群，試圖保護限制空域免受多架無人機的入侵。根據防空領域專家的建議，模擬器的設計模擬了真實世界的動態場景。這包括無人機的速度、飛行動態、地面雷達傳感器的規格、傳感有效載荷（雷達和光電），以及嵌入 "藍色 "無人機的中和有效載荷。這種真實世界的動態變化使得環境變得復雜。環境的復雜性意味著一個天真的 RL 智能體需要多次環境交互才能學習到最優策略。考慮到在指定領域中這些交互所帶來的成本和風險，經過訓練的智能體需要具有樣本效率。我們證明，對于所提到的復雜環境，從人類或智能體演示中學習可以最大限度地減少所需的環境交互次數。一些研究[26-28]表明，當一個人監督復雜系統中的多個智能體時，監控需求的增加會對他們的工作量和認知負荷產生負面影響--這最終會阻礙工作表現。

我們證明，訓練有素的智能體具有更好的決策能力，可以減少人類操作員的工作量，提高人類-智能體團隊的績效。創建人類-智能體協作的主要目標是利用智能體和人類的優勢，同時減輕它們的劣勢。例如，智能體擅長分析龐大的數據集和根據特定模式快速做出決策等任務，表現優于人類[29]。相反，與智能體相比，人類則表現出植根于道德價值觀和語境理解的卓越決策能力 [30]。特定國防領域用例的一個特點是，作戰行動是多變的，往往極難預測，而且道德風險可能極高。為了保持人類行使權力和指揮權，我們還使用人類策略修正來糾正受訓智能體的策略。我們的研究表明，在線策略修正是提高智能體學習效果、實現最佳性能的最有效建議形式。此外，我們還證明，與人類控制未經訓練的智能體（本領域中的無人機）相比，人類在進行策略修正時的認知工作量更低。我們使用非專家人類和智能體演示，以展示我們的方法在解決人類專家有限可用性方面的穩健性。

貢獻 本文有以下貢獻：

1.介紹了一種新型多智能體模擬器，用于國防特定機場保護用例建模，模擬多個盟友和敵方無人機智能體的真實世界動態。

2.使用最先進的深度 RL 算法在新型模擬器內訓練多個智能體。

3.在模擬器內開發用戶界面，使人類操作員能夠動態控制單個或多個智能體，進行情境演示，從而實現人機協作。

4.通過經驗證明，訓練有素的智能體演示或人類與智能體的混合演示有助于智能體更快地學習。

5.比較和評估多種建議提供技術，即從演示中學習和策略修正。

6.通過一項用戶研究，比較各種建議提供技術的人類認知工作量，證明與人類完全控制智能體相比，策略修正所需的工作量更少。

近年來，人工智能（AI）系統有了長足的進步，其功能也在不斷擴展。特別是被稱為 "生成式模型 "的人工智能系統在自動內容創建方面取得了巨大進步，例如根據文本提示生成圖像。其中一個發展尤為迅速的領域是能夠生成原始語言的生成模型，這可能會給法律和醫療保健等多個領域帶來益處。

不過，生成式語言模型（簡稱 "語言模型"）也可能存在負面應用。對于希望傳播宣傳信息--旨在塑造觀念以促進行為者利益的惡意行為者來說，這些語言模型帶來了自動創建有說服力和誤導性文本以用于影響力行動的希望，而不必依賴人力。對社會而言，這些發展帶來了一系列新的擔憂：那些試圖暗中影響公眾輿論的人可能會開展高度可擴展、甚至極具說服力的活動。

本報告旨在評估：語言模型的變化會如何塑造影響力行動，以及可以采取哪些措施來減輕這些威脅？由于人工智能和影響力行動都在迅速變化，這項任務本質上是推測性的。

作者于 2021 年 10 月召集了 30 位人工智能、影響力行動和政策分析領域的專家，討論語言模型對影響力行動的潛在影響，該研討會為報告中的許多觀點提供了參考。由此產生的報告并不代表研討會與會者的共識。

希望這份報告對那些對新興技術的影響感興趣的虛假信息研究人員、制定政策和投資的人工智能開發人員以及準備應對技術與社會交叉領域的社會挑戰的政策制定者有所幫助。

語言模型在影響力行動方面的潛在應用

分析了生成式語言模型對影響力行動三個眾所周知的方面——發起行動的行為體、作為戰術的欺騙行為以及內容本身——的潛在影響，并得出結論：語言模型可能會極大地影響未來影響力行動的發起方式。表 1 總結了這些變化。

語言模型有可能以較低的成本與人類撰寫的內容相媲美，這表明這些模型與任何強大的技術一樣，可以為選擇使用它們的宣傳者提供獨特的優勢。這些優勢可以擴大與更多行為者的接觸，實現新的影響策略，并使競選活動的信息傳遞更有針對性和潛在的有效性。

表 1：語言模型如何塑造影響力行動

1、行為體

由于生成AI文本的潛在變化

• 涌現出更多和更多樣化的行為體。
• 外包公司變得更加重要。

對變化的解釋

• 隨著生成式模型降低宣傳成本，更多行為體可能會發現開展影響力行動的吸引力。
• 自動生成文本的雇傭宣傳者可能會獲得新的競爭優勢。

2、行為

由于生成AI文本的潛在變化

• 內容制作自動化可擴大宣傳活動的規模。
• 現有行為變得更有效率。
• 新策略層出不窮

對變化的解釋

• 文本自動生成后，宣傳活動將更容易擴大規模。
• 有了語言模型，跨平臺測試等昂貴的策略可能會變得更便宜
• 語言模型可實現動態、個性化和實時內容生成，如一對一聊天機器人。

3、內容

由于生成AI文本的潛在變化

• 信息更可信、更有說服力。
• 宣傳不易被發現。

對變化的解釋

• 與缺乏目標語言或文化知識的宣傳人員撰寫的文本相比，生成式模型可以改進信息傳遞。
• 現有的宣傳活動經常因使用復制粘貼文本（copypasta）而被發現，但語言模型可以制作出語言獨特的信息。

影響力行動的進展和關鍵未知因素

語言模型的技術進步不可能停止，因此任何試圖了解語言模型將如何影響未來影響行動的嘗試都需要考慮到預期的進步。語言模型可能會變得更加可用（使模型更容易應用于任務）、可靠（減少模型產生明顯錯誤輸出的機會）和高效（提高應用語言模型進行影響行動的成本效益）。

這些因素促使我們做出高度自信的判斷，即語言模型在未來的影響力行動中將大有用武之地。然而，其應用的確切性質尚不明確。

有幾個關鍵的未知因素將塑造影響力行動如何以及在多大程度上采用語言模型。這些未知因素包括：

• 哪些新的影響力能力將作為善意研究的副作用而出現？傳統的研究過程以更廣泛的語言任務為目標，其結果是產生了可應用于影響力行動的系統。未來可能會出現新的能力，如制作長篇有說服力的論據。這些新出現的能力很難通過生成模型來預測，但可以決定宣傳人員將使用語言模型來執行哪些具體任務。

• 為影響力行動設計特定的語言模型是否比應用通用模型更有效？雖然目前大多數模型都是為通用任務或具有科學或商業價值的任務而建立的，但宣傳人員可以建立或調整模型，使其直接用于說服和社會工程等任務。例如，宣傳人員可以對一個較小、能力較弱的模型進行調整，這一過程被稱為微調。這很可能比建立一個更大、更通用的模型更便宜，盡管還不能確定會便宜多少。此外，對最先進的模型進行微調可以使宣傳者更容易獲得新的影響能力。

• 隨著時間的推移，參與者是否會對語言模型進行大量投資？如果許多參與者都投資并創建了大型語言模型，這將增加宣傳者獲取語言模型（合法或通過盜竊）的可能性。宣傳者本身也可以投資創建或微調語言模型，納入定制數據--如用戶參與數據--以優化其目標。

• 政府或特定行業是否會制定禁止將模型用于宣傳目的的規范？正如使用規范會限制其他技術的濫用一樣，它們也可能會限制語言模型在影響力行動中的應用。一個同意不將語言模型用于宣傳目的的國家聯盟可以讓那些不遵守的國家付出代價。在次國家層面，研究團體和特定行業可以制定自己的規范。

• 何時才能公開提供易于使用的文本生成工具？語言模型的熟練使用仍然需要操作知識和基礎設施。易于使用的工具可以生成推文或段落長度的文本，這可能會讓缺乏機器學習知識的現有宣傳人員依賴語言模型。

由于這些關鍵的可能性可能會改變語言模型對影響力行動的影響，因此為減少不確定性而開展更多研究是非常有價值的。

如何減輕潛在威脅？

在2021 年 10 月召開的研討會的基礎上，對現有的大量文獻進行了調查、 試圖為各種可能的緩解戰略提供一個殺傷鏈框架，并對其類型進行調查。目的不是認可具體的緩解策略，而是展示緩解策略如何針對影響力行動流水線的不同階段。

表 2：緩解措施實例摘要

宣傳者的要求

1.能夠生成真實文本的語言模型

2.可靠地獲取此類模型

3.分發生成內容的基礎設施

4.易受影響的目標受眾

干預階段

1.模型設計與制作

2.模型接入

3.內容傳播

4.信念形成

說明性的緩解措施

1.1 人工智能開發人員建立對事實更敏感的模型
1.2 開發人員傳播擴散性數據，使生成模型可被檢測到
1.3 對數據收集施加限制
1.4 對人工智能硬件實施訪問控制
2.1 人工智能供應商對語言模型實施更嚴格的使用限制
2.2 人工智能開發者圍繞模型發布制定新規范
3.1 平臺和人工智能供應商協調識別人工智能內容
3.2 平臺要求發布"個人身份證明"
3.3 依賴公眾意見的實體采取措施減少誤導性人工智能內容的風險
3.4 數字出處標準得到廣泛采用
4.1 機構參與媒體掃盲運動
4.2 開發人員提供以消費者為中心的人工智能工具

上表表明，沒有什么靈丹妙藥能徹底消除影響力行動中語言模型的威脅。一些緩解措施可能在社會上不可行，而另一些則需要技術突破。還有一些可能會帶來不可接受的負面風險。相反，要有效減輕威脅，很可能需要一種結合多種緩解措施的全社會方法。

此外，有效的管理還需要不同機構之間的合作，如人工智能開發者、社交媒體公司和政府機構。只有這些機構通力合作，許多建議的緩解措施才能產生有意義的影響。除非社交媒體公司能與人工智能開發人員合作，將文本歸屬于某個模型，否則他們很難知道某個虛假信息活動是否使用了語言模型。最激進的緩解措施--比如在互聯網協議中加入內容出處標準--需要極度的協調，如果它們是可取的話。

也許最重要的是，強調的緩解措施需要更多的開發、審查和研究。對其有效性和穩健性的評估值得認真分析。

圖 4：人工智能賦能的影響力行動的干預階段。為了阻止宣傳者利用語言模型實施影響力行動，可針對以下四個階段采取緩解措施：(1) 模型設計與構建；(2) 模型獲取；(3) 內容傳播；(4) 信念形成。最終，在這些階段進行干預可減輕影響行動的直接和間接影響。

加固網絡物理資產既重要又耗費人力。最近，機器學習（ML）和強化學習（RL）在自動化任務方面顯示出巨大的前景，否則這些任務將需要大量的人類洞察力/智能。在RL的情況下，智能體根據其觀察結果采取行動（進攻/紅方智能體或防御/藍方智能體）。這些行動導致狀態發生變化，智能體獲得獎勵（包括正獎勵和負獎勵）。這種方法需要一個訓練環境，在這個環境中，智能體通過試錯學習有希望的行動方案。在這項工作中，我們將微軟的CyberBattleSim作為我們的訓練環境，并增加了訓練藍方智能體的功能。報告描述了我們對CBS的擴展，并介紹了單獨或與紅方智能體聯合訓練藍方智能體時獲得的結果。我們的結果表明，訓練藍方智能體確實可以增強對攻擊的防御能力。特別是，將藍方智能體與紅方智能體聯合訓練可提高藍方智能體挫敗復雜紅方智能體的能力。

問題描述

由于網絡威脅不斷演變，任何網絡安全解決方案都無法保證提供全面保護。因此，我們希望通過機器學習來幫助創建可擴展的解決方案。在強化學習的幫助下，我們可以開發出能夠分析和學習攻擊的解決方案，從而在未來防范類似威脅，而不是像商業網絡安全解決方案那樣簡單地識別威脅。

工程描述

我們的項目名為MARLon，探索將多智能體強化學習（MARL）添加到名為CyberBattleSim的模擬抽象網絡環境中。這種多智能體強化學習將攻擊智能體和可學習防御智能體的擴展版本結合在一起進行訓練。

要在CyberBattleSim中添加MARL，有幾個先決條件。第一個先決條件是了解CyberBattleSim環境是如何運行的，并有能力模擬智能體在做什么。為了實現這一點，該項目的第一個目標是實現一個用戶界面，讓用戶看到環境在一個事件中的樣子。

第二個先決條件是為CyberBattleSim添加MARL算法。目前CyberBattleSim的表Q學習和深Q學習實現在結構上無法處理這個問題。這是因為CyberBattleSim實現的表Q學習和深Q學習不符合適當的OpenAI Gym標準。因此，需要添加新的強化學習算法。

當前的防御者沒有學習能力，這意味著要啟用多智能體學習，防御者需要添加以下功能：添加使用所有可用行動的能力，將這些行動收集到行動空間，實現新的觀察空間，并實現獎勵函數。

最后，為了增加MARL，新創建的攻擊者算法和新的可學習防御者必須在同一環境中組合。這樣，兩個智能體就可以在相互競爭的同時進行訓練。

隨著ChatGPT等大型人工智能（AI）模型的廣泛應用，人工智能生成內容（AIGC）越來越受到關注，正引領著內容創建和知識表示的范式轉變。AIGC使用生成性大型AI算法，根據用戶提供的提示，以更快的速度和更低的成本輔助或替代人類創建大量的、高質量的、類似人類的內容。盡管AIGC最近取得了顯著的進步，但其安全性、隱私性、道德和法律挑戰仍需得到解決。本文深入調研了AIGC的工作原理、安全和隱私威脅、最先進的解決方案以及AIGC范式的未來挑戰。具體而言，我們首先探討了AIGC的啟用技術、通用架構，并討論其工作模式和關鍵特征。然后，我們調研了AIGC的安全和隱私威脅的分類，并強調了GPT和AIGC技術的道德和社會影響。此外，我們回顧了關于AIGC模型及其生成內容的可規范AIGC范式的最新AIGC水印方法。最后，我們確定了與AIGC相關的未來挑戰和開放的研究方向。

//www.zhuanzhi.ai/paper/b8bd2d1b3785e54627ad947b1997f5d9

1. 引言

人工智能生成內容（AIGC）指的是利用生成性AI算法來協助或替代人類，基于用戶的輸入或需求，以更快的速度和更低的成本創建豐富的個性化和高質量內容[1]-[3]。AIGC包含了廣泛的合成內容，包括文本（如詩歌），圖片（如藝術品），音頻（如音樂），視頻（如動畫），增強訓練樣本和交互式3D內容（如虛擬化身，資產和環境）。作為傳統內容創作范例，如專業生成內容（PGC）和用戶生成內容（UGC）的補充，充滿前景的AIGC范例允許以自動化和有效的方式生產大量的內容，且成本低[4]，這對各種新興應用如元宇宙[5]和數字孿生[6]都非常有益。例如，在Roblox（一款交互式元宇宙游戲）中，AIGC可以為化身產生個性化皮膚和3D游戲場景，使用戶能在一個沉浸式的虛擬空間中玩耍，合作和社交。根據Gartner的數據[7]，到2025年，生成性AI算法預計將生產約10%的所有數據。

從技術角度看，AIGC通常由兩個階段組成[3]：(i) 提取和理解用戶的意圖信息，以及 (ii) 根據提取的意圖生成所需的內容。2022年11月，OpenAI發布了ChatGPT，這是一個多功能的語言模型，能夠生成代碼，編寫故事，執行機器翻譯，進行語義分析等等。到2023年1月，每天有近1300萬用戶在與ChatGPT交互[8]。ChatGPT是生成預訓練Transformer（GPT）的一個變種，GPT是一個基于Transformer的大型語言模型（LLM），能夠理解人類語言并創造類似人類的文本（例如，故事和文章）[9]，如圖1所示。隨著最近大型語言模型（如ChatGPT和其后繼者GPT-4）的進步，AIGC的能力得到了顯著加強，可以執行更復雜的任務（例如，多模態任務）并具有更高的準確性，這得益于LLM提供的更好的意圖提取[10]。由于技術進步和需求增加，AIGC已經引起了全球的關注，并在娛樂，廣告，藝術和教育等各種應用中展現出了巨大的潛力。包括OpenAI，Google，Microsoft，NVIDIA和百度在內的科技巨頭都已經宣布他們將探索AIGC，并開發了他們自己的AIGC產品。

在AIGC時代，更大的數據集是"燃料"，更大的基礎模型是"引擎"，而廣泛的計算能力則起到了"加速器"的作用。對于從GPT-3.5模型微調的ChatGPT，其訓練數據集包括近1萬億個詞，大約45TB大小[11]，并且在預訓練GPT中整合了自我監督學習，強化學習和提示學習等多種AI技術。ChatGPT的訓練所需的計算能力大約是每天3640 PetaFLOPs，相當于每秒計算10萬億次，需要3640天才能完成[12]。在大數據，大模型和大計算能力的工程組合下，ChatGPT展示了強大的新功能和更高級模式的學習能力，并能根據用戶的多模態提示自動創作有價值的內容。除了大規模訓練數據和廣泛計算能力帶來的好處外，ChatGPT還整合了一系列新技術。例如，ChatGPT使用了思維鏈（CoT）提示[13]，這使得預訓練的LLM能夠通過逐步推理來解釋其推理過程，在少示例和零示例學習設置中。此外，從人類反饋中的強化學習（RLHF）[14]被整合進來，通過訓練一個包含人類反饋的獎勵模型并通過強化學習對LLM進行微調，幫助ChatGPT更好地理解人類的偏好。更進一步的，在計算機視覺（CV）領域，由創業公司Stability AI開發的穩定擴散[15]和由OpenAI在2022年開發的DALL-E 2[16]已經成功地從復雜和多樣的文本描述中生成高分辨率和自然看起來的圖像。

A.動機 盡管AIGC的前景光明，但安全和隱私問題對其廣泛應用構成了重大障礙。在AIGC服務的生命周期中，可能會出現一些安全漏洞、隱私泄露、信任問題和道德問題，這些問題可能源自普遍的數據收集，智能模型/數據盜竊，到大量的網絡釣魚郵件的分發。

• 安全漏洞。AIGC模型在生命周期的每個階段都面臨著安全威脅。例如，在模型訓練過程中，攻擊者可能使用有毒或敵對的樣本來降低模型性能[17]，或發起后門攻擊以操縱模型結果[18]；在模型部署后，攻擊者可能通過智能模型盜竊攻擊來竊取AIGC模型或其部分功能[19]。由于大型AIGC模型如ChatGPT采用的策略比通用模型更復雜，可能會出現更多的安全威脅（如越獄[20]和提示注入[21]），這些威脅可能是全新的。此外，生成型AI模型仍然面臨著關于透明度、魯棒性和偏見/歧視的技術限制。

• 隱私侵權。AIGC模型的成功在很大程度上依賴于可能無可避免地包含用戶敏感和私人信息的大量訓練數據集。例如，ChatGPT在與用戶交互時，能夠記住與會話相關的項目以及用戶輸入、cookie和日志[22]，[23]。這為在AIGC中的數據濫用和犯罪活動帶來了新的可能。根據最近的一項研究[24]，對黑盒GPT-2模型，攻擊者可以使用提示注入和公共文本特征從AI記憶中恢復最多67%的訓練文本，包括個人名字、地址和電話號碼。2023年3月，由于對隱私合規的擔憂，意大利禁止使用ChatGPT[25]。

• 信任問題。AIGC技術的快速發展使得創造和傳播虛假信息和假證據，如深度偽造內容和假新聞[26]變得越來越容易。這導致了新類型的犯罪活動的出現，如AI欺詐、誹謗、身份盜竊和冒充[27]。例如，ChatGPT可以產生誤導和不道德的回應，具有惡意意圖的個人可以利用其生成無瑕疵文本的能力進行欺詐，復制語音模式進行冒充，和開發惡意代碼進行黑客攻擊。這極大地增加了為由生成性AI模型產生的材料建立可追溯來源和規定的需求，以確保其問責制。

• 道德影響。作為一把雙刃劍，AIGC技術也對人類社會產生了負面影響，并可能被濫用用于分發惡意軟件、勒索軟件和網絡釣魚郵件。例如，ChatGPT產生即時和令人信服的對話的能力可以使其更容易制作釣魚郵件，誘騙收件人點擊有害鏈接，下載惡意軟件，或者泄露機密信息[28]。此外，AIGC可以促進課堂上的作弊，藝術中的抄襲，和學術論文的欺詐，使得這樣的行為更容易被犯下，也更難被發現。

本文的其余部分按如下方式組織。在第二部分，我們介紹AIGC的工作原理。第三部分討論了AIGC中安全和隱私問題的分類，以及最新的對策。第四部分介紹了AIGC模型和內容的IP保護和規定。第五部分探討了未來的研究方向。最后，第六部分得出結論。本文的組織結構在圖2中展示。

2. AI生成內容：工作原理

在這一部分，我們首先介紹AIGC的發展路線圖和啟用技術。然后，我們討論內容創建范式以及知識表示和使用范式的范式轉變。之后，我們展示了AIGC的一般架構，工作模式，關鍵特性，應用，以及現代原型。

如圖3所示，人工智能生成內容即服務（AIGCaaS）的一般架構包括以下三層：（i）基礎設施層，（ii）AIGC引擎層，和（iii）AIGC服務層。

? 基礎層。隨著大型AI模型（如參數達1750B的GPT-3）的規模持續擴大，對廣泛的計算能力，強大的AI算法，和大量訓練數據的需求日益增長。對于ChatGPT，大計算能力，大數據，和大模型的組合釋放出了其在學習用戶提供的多模態提示并自動生成高質量內容方面的強大的突現能力。AI算法包括AI框架（如TensorFlow，Pytorch，和Keras），有監督/無監督學習算法，和生成AI模型（如transformer和擴散模型）。配備了強大的GPU，TPU，AI芯片和大量存儲的云服務器，使得基礎AIGC模型的高效訓練成為可能。所涉及的訓練數據可以是已標注的數據，或從互聯網收集的數據，可以是非結構化和多模態的。

? AIGC引擎層。多模態基礎模型（如GPT-4）在大量的多模態數據上進行預訓練，并能在不需要任務特定微調的情況下執行多種不同的任務[33]。此外，各種底層技術，如CoT提示，人類反饋的強化學習（RLHF），和多模態技術，都被集成到訓練和優化基礎模型中。多模態基礎模型作為AIGCaaS的引擎，為上層AIGC服務賦予了越來越強的實時學習能力。此外，多模態基礎模型可以通過與數十億用戶的實時和密集交互進行逐步的演化和優化，因為它允許從更多的私有數據（如用戶輸入和歷史對話）以及個人和機構的反饋中學習[38]。

? AIGC服務層。從能力的角度看，AIGC服務包括生成文本，音頻，圖像，視頻，代碼，3D內容，數字人，和多模態內容。從終端用戶的角度看，AIGC服務可以分為兩種類型：ToB（面向業務）和ToC（面向消費者）。雖然基礎模型為各種任務提供了一種一刀切的解決方案，但它可能在特定任務上的表現不如專用AI模型。① 對于ToB情況，一個機構或機構聯盟可以通過在包含標注業務數據的較小數據集上對基礎模型進行微調，訓練出一個專用AI模型來執行特定任務，如醫療診斷或財務分析。例如，一個機構聯盟可以通過聯邦學習和遷移學習技術使用本地業務數據共同訓練一個在基礎模型之上的專用AI模型[39]。此外，還可以結合兩種方法以獲得更好的結果。例如，可以使用一個專用AI模型進行特定任務，并將其輸出作為輸入提供給基礎模型，以生成更全面的響應。 ② 對于ToC情況，每個用戶都可以定制一個網絡分身[6]（即智能手機或PC中的程序），并使用自然語言與之交流。網絡分身有自己的記憶存儲用戶的偏好，興趣和歷史行為，以及任務特定的專業知識。利用這些知識，網絡分身為用戶生成個性化的提示，從而提供高效和定制的AIGC服務。此外，它還實現了一個反饋環，用戶可以對AI提供的建議進行評價。網絡分身也可以通過構建一個連接的網絡并自由分享所學習的知識和技能，來協同完成更復雜的任務[6]。 對于ToB和ToC兩種情況，以倫理和保護隱私的方式處理個人和機構的私有數據都至關重要。此外，在提供AIGC服務時，保護基礎模型和專用AI模型的知識產權，以及AI生成內容的出處，也是非常重要的。

在未來，AIGC有可能完全取代簡單和非創新的人類工作，同時也加速了人機協作時代的到來。AIGC在內容生成方面有兩種主要模式：輔助生成和自主生成[5]。

? AI-Assisted Content Creation（需要人類干預）。在這種模式下，AI算法為創造內容的人類提供建議或幫助。然后，人類可以根據AI提出的建議編輯和改進內容，以提高最終產品的質量。然而，這種模式在內容創建上往往比較慢且成本更高。

? Autonomous Content Creation by AI（不需要人類干預）。在這種模式下，AI完全自主地創造內容，沒有任何人類的干預。AI機器人可以自主快速且低成本地創建大量內容，而產生的內容質量取決于生成的AI模型。

在此部分，我們將討論不同類型的AI生成內容以及其應用： 1）文本生成。大型語言模型（LLM）可以比人類作者更快、更有效地生成高質量的文本 [10]。這包括博客、新聞、代碼、文章、營銷副本和產品描述。此外，它使聊天機器人和虛擬助手能夠通過AI生成的文本以人類的方式與客戶和客戶進行溝通。 2）圖像生成。大型視覺模型（LVM）可以將草圖轉化為數字繪制的圖像，用于各種目的，包括創造視覺藝術、廣告圖片、游戲場景、駕駛模擬環境以及增加訓練樣本。 3）音頻生成。AI生成的音頻有著廣泛的應用，包括語音合成、音樂創作和聲音設計。如Amper Music這樣的音樂創作AI程序，允許用戶使用AI創建原創音樂。 4）視頻生成。AI生成的視頻可以廣泛用于虛擬現實、增強現實、營銷、廣告、娛樂和教育等各種領域。 5）3D內容生成。AIGC可以通過分析照片和視頻等真實世界的數據來創建逼真的3D模型，AI生成的3D模型可以用來創建動畫、游戲資產和產品設計。 6）數字人生成。AIGC可以生成具有高度逼真動作和表情的數字人，可用于游戲、虛擬現實和廣告等各種領域。 7）跨模態生成。AIGC中的跨模態內容生成指的是使用基礎AIGC模型在多種模態之間生成新內容 [3]。它包括文本到圖像、圖像到文本、文本到代碼、文本到視頻、文本到音頻等。 總的來說，AIGC讓生活變得更加便捷和高效，但也帶來了新的安全/隱私威脅、倫理問題以及潛在的偏見，這些將在下一節中展示。

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

人工智能在軍事領域的前景之一是其廣泛的適用性，這似乎可以保證其被采用。在軍事方面，人工智能的潛力存在于所有作戰領域（即陸地、海洋、空中、太空和網絡空間）和所有戰爭級別（即政治、戰略、戰役和戰術）。然而，盡管有潛力，需求和人工智能技術進步之間的銜接仍然不是最佳狀態，特別是在軍事應用的監督機器學習方面。訓練監督機器學習模型需要大量的最新數據，而這些數據往往是一個組織無法提供或難以產生的。應對這一挑戰的絕佳方式是通過協作設計數據管道的聯邦學習。這種機制的基礎是為所有用戶實施一個單一的通用模型，使用分布式數據進行訓練。此外，這種聯邦模式確保了每個實體所管理的敏感信息的隱私和保護。然而，這個過程對通用聯邦模型的有效性和通用性提出了嚴重的反對意見。通常情況下，每個機器學習算法在管理現有數據和揭示復雜關系的特點方面表現出敏感性，所以預測有一些嚴重的偏差。本文提出了一種整體的聯邦學習方法來解決上述問題。它是一個聯邦自動集成學習（FAMEL）框架。FAMEL，對于聯邦的每個用戶來說，自動創建最合適的算法，其最優的超參數適用于其擁有的現有數據。每個聯邦用戶的最優模型被用來創建一個集成學習模型。因此，每個用戶都有一個最新的、高度準確的模型，而不會在聯邦中暴露個人數據。實驗證明，這種集成模型具有更好的可預測性和穩定性。它的整體行為平滑了噪音，同時減少了因抽樣不足而導致的錯誤選擇風險。

關鍵詞：聯邦學習；元學習；集成學習；軍事行動；網絡防御

1 引言

隨著步伐的加快，人工智能（AI）正在成為現代戰爭的重要組成部分，因為它為大規模基礎設施的完全自動化和眾多防御或網絡防御系統的優化提供了新的機會[1]。人工智能在軍事領域[2]的前景之一，似乎保證了它的采用，即它的廣泛適用性。在軍事方面，人工智能的潛力存在于所有作戰領域（即陸地、海洋、空中、太空和網絡空間）和所有級別的戰爭（即政治、戰略、戰役和戰術）[3]。但與此同時，隨著參與連續互聯和不間斷信息交換服務的互聯系統數量的實時擴大，其復雜性仍在成倍增長[4]。從概括的角度來看，可以說人工智能將對以下任務產生重大影響：

1.太快的任務，反應時間為幾秒鐘或更少，在高復雜度（數據、背景、任務類型）下執行。

2.操作時間超過人類耐力的任務，或意味著長期的高操作（人員）成本。

3.涉及巨大的復雜性的任務，需要靈活地適應環境和目標的變化。

4.具有挑戰性的行動環境，意味著對作戰人員的嚴重風險。

支持上述任務的實時監測事件的應用程序正在接收一個持續的、無限的、相互聯系的觀察流。這些數據表現出高度的可變性，因為它們的特征隨著時間的推移而發生巨大的、意想不到的變化，改變了它們典型的、預期的行為。在典型情況下，最新的數據是最重要的，因為老化是基于它們的時間。

利用數據的軍事人工智能系統可以將軍事指揮官和操作員的知識和經驗轉化為最佳的有效和及時的決策[3,4]。然而，缺乏與使用復雜的機器學習架構相關的詳細知識和專業知識會影響智能模型的性能，阻止對一些關鍵的超參數進行定期調整，并最終降低算法的可靠性和這些系統應有的概括性。這些缺點正在阻礙國防的利益相關者，在指揮鏈的各個層級，信任并有效和系統地使用機器學習系統。在這種情況下，鑒于傳統決策系統無法適應不斷變化的環境，采用智能解決方案勢在必行。

此外，加強國防領域對機器學習系統不信任的一個普遍困難是，采用單一數據倉庫對智能模型進行整體訓練的前景[1]，由于需要建立一個潛在的單點故障和對手的潛在戰略/主要目標[6]，這可能造成嚴重的技術挑戰和隱私[5]、邏輯和物理安全等嚴重問題。相應地，可以使更完整的智能分類器泛化的數據交換也給敏感數據的安全和隱私帶來了風險，而軍事指揮官和操作人員并不希望冒這個風險[7]。

為了克服上述雙重挑戰，這項工作提出了FAMEL。它是一個整體系統，可以自動選擇和使用最合適的算法超參數，以最佳方式解決所考慮的問題，將其作為一個尋找算法解決方案的模型，其中通過輸入和輸出數據之間的映射來解決。擬議的框架使用元學習來識別過去積累的類似知識，以加快這一過程[8]。這些知識使用啟發式技術進行組合，實現一個單一的、不斷更新的智能框架。數據保持在操作者的本地環境中，只有模型的參數通過安全流程進行交換，從而使潛在的對手更難干預系統[9,10]。

2 提出的框架

在提議的FAMEL框架中，每個用戶在水平聯邦學習方法中使用一個自動元學習系統（水平聯邦學習在所有設備上使用具有相同特征空間的數據集。垂直聯邦學習使用不同特征空間的不同數據集來共同訓練一個全局模型）。以完全自動化的方式選擇具有最佳超參數的最合適的算法，該算法可以最佳地解決給定的問題。該實施基于實體的可用數據，不需要在遠程存儲庫中處置或與第三方共享[11]。

整個過程在圖1中描述。

圖1.FAMEL框架。

具體來說就是：

步驟1--微調最佳局部模型。微調過程將有助于提高每個機器學習模型的準確性，通過整合現有數據集的數據并將其作為初始化點，使訓練過程具有時間和資源效率。

步驟2--將本地模型上傳至聯邦服務器。

步驟3--由聯邦服務器對模型進行組合。這種集成方法使用多種學習算法，以獲得比單獨使用任何一種組成的學習算法都要好的預測性能。

步驟4--將集成模型分配給本地設備。

從這個過程中產生的最佳模型（贏家算法）被輸送到一個聯邦服務器，在那里通過啟發式機制創建一個集成學習模型。這個集成模型基本上包含了本地最佳模型所代表的知識，如前所述，這些知識來自用戶持有的本地數據[12]。因此，總的來說，集成模型提供了高概括性、更好的預測性和穩定性。它的一般行為平滑了噪音，同時降低了在處理本地數據的場景中由于建模或偏見而做出錯誤選擇的總體危險[13,14]。

結論

將機器學習應用于現實世界的問題仍然特別具有挑戰性[44]。這是因為需要訓練有素的工程師和擁有豐富經驗和信息的軍事專家來協調各自算法的眾多參數，將它們與具體問題關聯起來，并使用目前可用的數據集。這是一項漫長的、費力的、昂貴的工作。然而，算法的超參數特征和理想參數的設計選擇可以被看作是優化問題，因為機器學習可以被認為是一個搜索問題，它試圖接近輸入和輸出數據之間的一個未知的潛在映射函數。

利用上述觀點，在目前的工作中，提出了FAMEL，擴展了制定自動機器學習的一般框架的想法，該框架具有有效的通用優化，在聯邦層面上運作。它使用自動機器學習在每個聯邦用戶持有的數據中找到最佳的本地模型，然后，進行廣泛的元學習，創建一個集成模型，正如實驗所顯示的那樣，它可以泛化，提供高度可靠的結果。這樣，聯邦機構就有了一個專門的、高度概括的模型，其訓練不需要接觸他們所擁有的數據的聯合體。在這方面，FAMEL可以應用于一些軍事應用，在這些應用中，持續學習和環境適應對支持的行動至關重要，而且由于安全原因，信息交流可能很難或不可能。例如，在實時優化有關任務和情況的信息共享方面就是這種情況。在部署了物聯網傳感器網格的擁擠環境中，FAMEL的應用將具有特別的意義，需要滿足許多安全限制。同樣，它也可以應用于網絡空間行動，在雜亂的信息環境和復雜的物理場景中實時發現和識別潛在的敵對活動，包括對抗負面的數字影響[45,46]。必須指出的是，在不減少目前所描述的要點的情況下，所提出的技術可以擴展到更廣泛的科學領域。它是一種通用的技術，可以發展和產生一種開放性的整體聯邦學習方法。

盡管總的來說，聯邦學習技術的方法論、集成模型以及最近的元學習方法已經強烈地占據了研究界，并提出了相關的工作，提升了相關的研究領域，但這是第一次在國際文獻中提出這樣一個綜合框架。本文提供的方法是一種先進的學習形式。計算過程并不局限于解決一個問題，而是通過一種富有成效的方法來搜索解決方案的空間，并以元啟發式的方式選擇最優的解決方案[47,48]。

另一方面，聯邦學習模型應該對合作訓練數據集應用平均聚合方法。這引起了人們對這種普遍方法的有效性的嚴重關注，因此也引起了人們對一般聯邦架構的有效性的關注。一般來說，它將單個用戶的獨特需求扁平化，而不考慮要管理的本地事件。如何創建解決上述局限性的個性化智能模型，是目前一個突出的研究問題。例如，研究[49]是基于每個用戶必須以聯邦的形式解決的需求和事件。解釋是可解釋系統的各種特征，在指定的插圖的情況下，這些特征有助于得出結論，并在局部和全局層面提供模型的功能。建議只對那些變化程度被認為對其功能的演變相當重要的特征進行再訓練。

可以擴大擬議框架研究領域的基本課題涉及元集成學習過程，特別是如何解決創建樹和它們的深度的問題，從而使這個過程自動完全簡化。還應確定一個自動程序，以最佳的分離方式修剪每棵樹，以避免負收益。最后，探索將優化修剪的樹的版本添加到模型中的程序，以最大限度地提高框架效率、準確性和速度。

（完整內容請閱讀原文）

盡管人工智能 (AI) 具有許多潛在的好處，但它也被證明在復雜的現實世界環境（如軍事行動）中表現出許多挑戰，包括脆弱性、感知限制、隱藏的偏見和缺乏因果關系模型，這些對于理解和預測未來事件很重要。這些限制意味著，在可預見的未來，人工智能仍不足以在許多復雜和新穎的情況下獨立運行，并且人工智能需要由人類仔細管理才能實現其預期的效用。

本報告“Human-AI Teaming: State-of-the-Art and Research Needs” 檢查了與人類操作相關的 AI 系統的設計和實施相關的因素。本報告概述了人機協作的研究現狀，以確定差距和未來的研究重點，并探討了實現最佳性能的關鍵人機系統集成問題。

報告提綱

• 總結 1
• 1 引言 5
  • 研究背景和向委員會負責, 6
  • 委員會的方法, 7
  • 自動化和人工智能, 7
  • 人工智能的局限性, 8
  • 人工智能對人類表現的影響, 9
  • 報告結構和摘要, 10
• 2 人類與人工智能協作的方法和模式 11
  • 協作編隊, 11
  • 人類與人工智能的協作模式和觀點, 12
  • 人類應該與人工智能合作嗎？
  • 人類與人工智能協作的改進模型, 16
  • 關鍵挑戰和研究差距, 17
  • 研究需求, 17
  • 總結, 18
• 3 人類與人工智能的協作過程和效果 19
  • 人工智能成為隊友意味著什么？
  • 有效的人類-人工智能協作的過程和特征, 20
    • 編隊的異質性, 20
    • 共同的認知, 21
    • 溝通和協調, 22
    • 社會智能, 22
    • 有效協作的其他特征, 23
  • 主要挑戰和研究差距, 23
  • 研究需求, 23
  • 總結, 24
• 4 人類與人工智能協作的態勢感知 25
  • 多域作戰中的態勢感知, 25
    • 關鍵挑戰和研究差距, 27
    • 研究需求, 27
  • 人類與人工智能編隊中的共享SA, 27
    • 關鍵挑戰和研究差距, 29
    • 研究需求, 29
  • 總結, 30
• 5 AI的透明度和可解釋性 31
  • 顯示透明度, 34
    • 關鍵挑戰和研究差距, 35
    • 研究需求, 35
  • 人工智能的可解釋性, 36
    • 關鍵挑戰和研究差距, 37
    • 研究需求, 38
  • 總結, 40
• 6 人類與人工智能編隊的互動 41
  • 自動化水平, 41
    • 關鍵挑戰和研究差距, 44
    • 研究需求, 44
  • 人工智能的動態和時間性, 44
    • 關鍵挑戰和研究差距, 45
    • 研究需求, 45
  • 控制的顆粒度, 46
    • 關鍵挑戰和研究差距，46
    • 研究需求, 46
  • 其他人類與人工智能編隊的互動問題, 47
    • 關鍵挑戰和研究差距, 47
    • 研究需求, 47
  • 總結, 48
• 7 信任人工智能隊友 49
  • 過去和現在的信任框架, 49
  • 復雜工作環境下的人工智能信任, 51
  • 關鍵挑戰和研究差距, 51
  • 研究需求, 52
  • 總結, 55
• 8 識別和減輕人類與人工智能編隊中的偏見 57
  • 人類的偏見, 57
  • 人工智能偏見, 57
  • 人與人工智能編隊的偏見, 59
  • 關鍵挑戰和研究差距, 60
  • 研究需求, 60
  • 總結, 61
• 9 訓練人類與人工智能編隊 63
  • 為人類與人工智能編隊訓練提供參考的人與人編隊訓練, 63
    • 編隊訓練的策略, 64
    • 仿真的使用, 64
    • 訓練內容：任務工作和團隊合作, 65
  • 關鍵挑戰和研究差距, 65
  • 研究需求, 66
  • 總結, 67
• 10 人類與人工智能編隊協作和績效的HSI過程和量化 69
  • 在人-AI編隊的設計和實施中采取HSI視角, 69
    • 關鍵挑戰和研究差距, 70
    • 研究需求, 70
  • 人類與人工智能編隊發展的研究要求, 71
    • 關鍵挑戰和研究差距, 71
    • 研究需求, 71
  • 研究團隊的能力, 72
    • 關鍵挑戰和研究差距, 73
    • 研究需求, 73
  • 人類與人工智能編隊的HSI考慮因素, 73
    • 關鍵挑戰和研究差距, 75
    • 研究需求, 75
  • 人類與人工智能編隊的測試、評估、驗證和確認，75
    • 關鍵挑戰和研究差距, 77
    • 研究需求,77
  • 人類與人工智能編隊研究試驗臺，77
    • 關鍵挑戰和研究差距，78
    • 研究需求, 78
  • 人類與人工智能編隊的措施和衡量標準, 78
    • 關鍵挑戰和研究差距, 80
    • 研究需求, 80
  • 敏捷軟件開發和HSI, 81
    • 關鍵挑戰和研究差距, 82
    • 研究需求, 82
  • 總結, 83
• 11 結論 85
• 參考文獻 91
• 附錄
• A 委員會簡歷 115
• B 人類與人工智能協作研討會議程 119
• C 定義 121

報告總結

美國軍方正加大對人工智能(AI)技術的投資，用于提高數據處理速度、任務規劃自動化，以及創建更快的預測目標和系統維護，該技術也會在多域作戰(MDO)的指揮控制中發揮關鍵作用。實現這一目標就要求人工智能系統具備任務執行的可靠性和健壯性，并且可以作為人類的隊友協同工作。

盡管人工智能技術優勢良多，但是也被證明在復雜的真實世界環境(如軍事行動)中面臨諸多挑戰，包括脆弱性、感知限制、隱藏的偏見以及缺乏預測關系模型等。這就意味著，在可預見的未來，人工智能將仍然不足以在復雜和新環境下獨立運行，人類需要仔細管理人工智能系統才能達到預期效果。

過去30年研究表明，人們作為復雜自動化(包括人工智能系統)的監控者同樣面臨巨大挑戰。人們可能會對系統正在做的事情缺乏了解，在嘗試與人工智能系統交互時工作負載高，在需要干預時缺乏態勢感知，基于系統輸入的決策偏差，以及手工技能的退化。這些眾多的挑戰將繼續在人類方面產生問題，即使是更有能力的基于人工智能的自動化。

因此，需要開發有效的人-智能協同編隊能力，利用人類和AI的獨特能力，克服各自的不足。一個高效的人-人工智能編隊最終會增強人的能力，提高性能，超越任何一個實體。為此，委員會制定了一套相互關聯的研究目標，旨在圍繞人類-人工智能編隊發展，這些目標基于對人類-人工智能編隊(第2章)、編隊流程(第3章)、態勢感知（SA）(第4章)、人工智能透明度和可解釋性(第5章)、人類-人工智能交互方法(第6章)、信任(第7章)、減少人和人工智能偏見(第8章)和培訓(第9章)的模型和度量的改進，并得到了人-系統集成(HSI)流程基金會(第10章)的支持。該報告總結提出人類-人工智能編隊研究目標，包括近期、中期和遠期目標。

人類-人工智能編隊模型

委員會研究發現，將人類和人工智能系統作為一個編隊來考慮具有重要價值。這種編隊結構促使人們認識到需要考慮每個團隊成員相互關聯的角色，并強調團隊互動的價值，包括溝通和協調，以提高綜合效能。在這樣的編隊安排中，研究認為，一般來說，出于倫理和實踐的原因，人類應該對人工智能系統擁有權威。需要改進人類-人工智能編隊的計算模型，考慮相互關聯的、動態發展的、分布式的和自適應的協同任務和條件，這些任務和條件也是MDO的網絡化指揮控制系統所需要的，并且在設計交互空間內是可預測的。需要改進人類-人工智能編隊的度量標準，考慮團隊管理相互依賴和動態角色分配能力，減少不確定性，并提高人工智能系統提供符合作戰人員期望的能力。

雖然假設人類-人工智能編隊將比人類或人工智能系統單獨運行更有效，但研究認為：除非人類能夠理解和預測人工智能系統的行為，否則情況不會如此；與人工智能系統建立適當的信任關系；根據人工智能系統的輸入做出準確的決策；以及時和適當的方式對系統施加控制。

人類-人工智能編隊流程

人類和人工智能系統進行編隊需要一個精心設計的系統，該系統具有任務分配工作和團隊合作的能力。沿著這條路線，需要通過改進團隊組合、目標對齊、溝通、協調、社會智能和開發新的人工智能語言來研究提高長期、分布式和敏捷的人工智能編隊的效率。這項研究可以利用現有人類-人類編隊的工作，但也認識到，需要新的研究來更好地理解和支持人類和人工智能系統之間的編隊流程。此外，研究認為，應該考察人工智能系統通過充當團隊協調員、指揮者或人力資源經理來提高團隊績效的潛力。

態勢感知

人們普遍認為，態勢感知(SA)對于有效的MDO性能至關重要，包括對人工智能系統的監督。在指揮控制作戰中支持個人和團隊SA的方法需要擴展到MDO，并且需要使用AI來支持信息集成、優先排序和跨聯合作戰空間路由的方法，以及提高SA對敵對攻擊的彈性。需要開發改善人工智能系統的人類SA的方法，這些方法考慮不同類型的應用、操作的時間以及與基于機器學習(ML)的人工智能系統能力。此外，旨在在人工智能團隊中創建共享SA的研究值得關注。人工智能系統需要在多大程度上既有自我意識又有對人類隊友的意識，這需要探索，以確定整體團隊表現的好處。最后，未來的人工智能系統將需要擁有綜合的態勢感知模型，以恰當地理解當前的情境，并預測未來情境。動態任務環境的人工智能模型是非常必要的，它可以與人類一起調整或消除目標沖突，并同步情景模型、決策、功能分配、任務優先級和計劃，以實現協調和下達的行動任務。

人工智能的透明度和可解釋性

改進的人工智能系統透明性和可解釋性是實現改進的人類SA和信任的關鍵。實時透明對于支持人工智能系統的理解和可預測性是至關重要的，并且已經被發現可以顯著地補償回路外的性能缺陷。需要研究更好定義信息需求和方法，以實現基于ML的AI系統的透明性，以及定義何時應該提供這樣的信息來滿足SA需求，而不會使人過載。需要進一步探索基于ML的人工智能系統的解釋的改進可視化，以及對機器人物角色的價值。此外，通過研究可以告知改進的多因素模型，解釋如何促進信任和信任影響的決策。需要開發有效的機制來使解釋適應接受者的需求、先驗知識和假設以及認知和情緒狀態。研究建議，應致力于確定對人類推理的解釋是否同樣可以改善人工智能系統和人-人工智能編隊的效能。

人-人工智能編隊互動

人-人工智能編隊中的交互機制和策略對團隊效率至關重要，包括隨著時間的推移支持跨職能靈活分配自動化級別(loa)的能力。需研究確定改進的方法，支持人類和人工智能系統在共享功能方面的合作，支持人類操作員在多個loa下與人工智能系統一起工作，并確定在高loa下與人工智能系統一起工作時保持或恢復SA的方法(在環控制)。還需要研究來確定新的要求，支持人-人工智能編隊之間的動態功能分配，并確定隨著時間的推移支持loa中動態過渡的最佳方法，包括這種過渡應該何時發生，誰應該激活它們，以及它們應該如何發生，以保持最佳的人-人工智能編隊效能。研究建議也對劇本控制方法進行研究，將其擴展到MDO任務和人-人工智能編隊中應用。最后，更好地理解和預測緊急人機交互的研究，以及更好地理解交互設計決策對技能保留、培訓要求、工作滿意度和整體人機團隊彈性影響的研究也是非常有益的。

信任

對人工智能的信任被認為是使用人工智能系統的一個基本因素。這將有利于未來的研究，以更好地記錄團隊環境中涉及的決策背景和目標，促進對更廣泛的社會技術因素如何影響人-人工智能編隊中的信任的理解。超越監督控制的交互結構也將受益于進一步的研究，特別是理解人工智能可指導性對信任關系的影響。需要改進信任措施，利用合作的重要性，將不信任的概念與信任分開。最后，需要信任的動態模型來捕捉信任如何在各種人-人工智能編隊環境中演變和影響效能結果。這項研究將很好地檢驗從二元團隊互動中出現的信任結果，并將這項工作擴展到信任如何在更大的團隊和多層級網絡中的效果。

偏差

人工智能系統中的潛在偏差，通常是隱藏的，會通過算法的開發以及系統偏差等因素造成。此外，人類可能會遇到決策偏差。特別重要的是，人工智能系統的準確性會直接影響人類的決策，從而產生人類-人工智能編隊偏見；因此，人類不能被視為人工智能建議的獨立裁決者。需要進行研究，以更好地理解人類和人工智能決策偏差之間的相互依賴性，這些偏差如何隨著時間的推移而演變，以及用基于ML的人工智能檢測和預防偏差的方法。還需要研究發現和防止利用這些偏見的攻擊行為。

訓練

需要對人-人工智能編隊進行訓練。考慮到各種團隊組成和規模，需要有針對性的研究如何訓練人-人工智能編隊。可以探索現有的訓練方法，看看它們是否適用于人-人工智能編隊。此外，可能需要訓練來更好地校準人類對人工智能隊友的期望，并培養適當的信任水平。開發和測試人-人工智能編隊工作程序需要特定的平臺。

HSI流程和措施

最后，要成功開發一個能像好隊友一樣工作的人工智能系統，需要HSI過程和方法改進。良好的HSI實踐將是新人工智能系統的設計、開發和測試的關鍵，特別是基于敏捷或DevOps實踐的系統開發。有效的人工智能團隊也需要新的HSI設計和測試方法，包括提高確定人工智能團隊要求的能力，特別是那些涉及人工智能的團隊。多學科人工智能開發團隊需要改進的方法，包括人工工程工程師、社會研究人員、系統工程師和計算機科學家。還需要圍繞人工智能生命周期測試和可審計性以及人工智能網絡漏洞的新團隊、方法和工具。需要開發用于測試和驗證進化的AI系統的方法，以檢測AI系統盲點和邊緣情況，并考慮脆弱性。支持這些新團隊研發活動的新人工智能試驗臺也很重要。最后，可能需要改進人機系協同的度量標準，特別是關于信任、心智模型和解釋質量的問題。

研究結論

總共提出了57個研究目標，以解決有效的人-人工智能編隊面臨的許多挑戰。這些研究目標分為近期(1-5年)、中期(6-10年)和遠期(10-15年)優先事項。這一組綜合的研究目標若實現，將在人-人工智能編隊競爭力方面取得重大進展。這些目標是將人工智能安全引入MDO等關鍵行動的基本前提，它們為更好地理解和支持人工智能系統的有效應用提供了參考框架。

文本生成的目標是讓機器用人類語言表達。它是自然語言處理(NLP)中最重要也是最具挑戰性的任務之一。自2014年以來，各種由Seq2Seq首創的神經編解碼器模型被提出，通過學習將輸入文本映射到輸出文本來實現這一目標。然而，僅憑輸入文本往往無法提供有限的知識來生成所需的輸出，因此在許多真實場景中，文本生成的性能仍然遠遠不能令人滿意。為了解決這個問題，研究人員考慮將輸入文本之外的各種形式的知識納入生成模型中。這一研究方向被稱為知識增強文本生成。在這項綜述中，我們提出了一個全面的綜述，在過去的五年里，知識增強文本生成的研究。主要內容包括兩部分:(一)將知識集成到文本生成中的一般方法和體系結構;(二)根據不同形式的知識數據的具體技術和應用。這項綜述在學術界和工業可以有廣泛的受眾，研究人員和實踐者。

//arxiv.org/abs/2010.04389