多智能體強化學習（MARL）是一個種類繁多、高度活躍的研究領域。隨著深度學習在 2015年引入多智能體強化學習，該領域的研究活動出現了爆炸式增長，現在所有主要的人工智能和機器學習會議都會例行討論開發新的多智能體強化學習算法或以某種方式應用多智能體強化學習的論文。此后發表的調查論文數量不斷增加，也證明了這一急劇增長，我們在附錄 A 中列出了其中的許多論文。

隨著這一增長，該領域顯然需要一本教科書來對 MARL 進行原則性介紹。本書部分基于 "多智能體學習：基礎與最新趨勢 "教程，并在很大程度上沿用了該教程的結構： Stefano V. Albrecht 和 Peter Stone 在澳大利亞墨爾本舉行的 2017 年國際人工智能聯合會議上所做的題為 "多智能體學習：基礎與最新趨勢 "的教程。編寫本書的目的是對MARL中的模型、求解概念、算法思想和技術挑戰進行基本介紹，并描述MARL中融合深度學習技術以產生強大新算法的現代方法。從本質上講，我們認為本書所涉及的材料應該為每一位 MARL 研究人員所了解。此外，本書還旨在為研究人員和從業人員在使用 MARL 算法時提供實用指導。為此，本書附帶了用 Python 編程語言編寫的代碼庫，其中包含本書討論的幾種 MARL 算法的實現。代碼庫的主要目的是提供自成一體、易于閱讀的算法代碼，以幫助讀者理解。

本書假定讀者具有本科水平的基礎數學背景，包括統計學、概率論、線性代數和微積分。要理解和使用代碼庫，需要熟悉基本的編程概念。一般來說，我們建議按照給定的順序閱讀本書的各個章節。對于不熟悉強化學習和深度學習的讀者，我們分別在第2章、第7章和第8章提供了基礎知識。已經熟悉強化學習和深度學習的讀者，如果想快速掌握基于深度學習的最新 MARL 算法，可以先閱讀第 3 章，然后跳到第 9 章及以后的章節。為了幫助講師采用本書，我們制作了講義幻燈片（可從本書網站獲取），講義幻燈片可根據課程需要進行修改。

MARL 已成為一個龐大的研究領域，本書并未涵蓋 MARL 的所有方面。例如，關于在 MARL 中使用通信的研究成果越來越多，但本書并未涉及。這包括的問題有：當通信渠道嘈雜、不可靠時，智能體如何學會穩健地進行通信；以及智能體如何利用 MARL 學習特定任務的專用通信協議或語言。雖然本書的重點不是 MARL 中的通信，但本書介紹的模型具有足夠的通用性，也可以表示智能體可以觀察到但不影響環境狀態的通信行為。此外，還有關于使用進化方法進行多智能體學習的研究，即智能體種群中的突變和交叉，本書不涉及這方面的內容。最后，近年來，MARL 領域的研究活動急劇增加，試圖寫一本書來跟上新算法的步伐是徒勞的。我們將重點放在 MARL 的基本概念和思想上，并參考調查論文（包括附錄 A 中列出的論文），以獲得更完整的算法發展列表。

最近，語義技術和人工智能（AI）的結合為構建能夠識別更精確結果的智能系統提供了新的技術。語義人工智能在知識圖譜中處于這一創新發展的前沿，通過圖形映射或基于語料庫的本體學習，揭示了機器學習在擴展知識圖譜中的作用。通過符號AI和統計AI的結合，如基于機器學習的實體提取、文本挖掘方法、語義知識圖譜和相關推理能力，確保高效的結果。本書是首次探索語義人工智能和知識圖譜的著作。內容涵蓋了從神經符號AI、可解釋AI和深度學習到知識發現與挖掘，以及知識表示與推理等多個主題。作為對人工智能和數據挖掘領域的研究人員和初學者學者的重要貢獻，本書是對語義人工智能在知識圖譜中的開創性探索。

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

人工智能在軍事領域的前景之一是其廣泛的適用性，這似乎可以保證其被采用。在軍事方面，人工智能的潛力存在于所有作戰領域（即陸地、海洋、空中、太空和網絡空間）和所有戰爭級別（即政治、戰略、戰役和戰術）。然而，盡管有潛力，需求和人工智能技術進步之間的銜接仍然不是最佳狀態，特別是在軍事應用的監督機器學習方面。訓練監督機器學習模型需要大量的最新數據，而這些數據往往是一個組織無法提供或難以產生的。應對這一挑戰的絕佳方式是通過協作設計數據管道的聯邦學習。這種機制的基礎是為所有用戶實施一個單一的通用模型，使用分布式數據進行訓練。此外，這種聯邦模式確保了每個實體所管理的敏感信息的隱私和保護。然而，這個過程對通用聯邦模型的有效性和通用性提出了嚴重的反對意見。通常情況下，每個機器學習算法在管理現有數據和揭示復雜關系的特點方面表現出敏感性，所以預測有一些嚴重的偏差。本文提出了一種整體的聯邦學習方法來解決上述問題。它是一個聯邦自動集成學習（FAMEL）框架。FAMEL，對于聯邦的每個用戶來說，自動創建最合適的算法，其最優的超參數適用于其擁有的現有數據。每個聯邦用戶的最優模型被用來創建一個集成學習模型。因此，每個用戶都有一個最新的、高度準確的模型，而不會在聯邦中暴露個人數據。實驗證明，這種集成模型具有更好的可預測性和穩定性。它的整體行為平滑了噪音，同時減少了因抽樣不足而導致的錯誤選擇風險。

關鍵詞：聯邦學習；元學習；集成學習；軍事行動；網絡防御

1 引言

隨著步伐的加快，人工智能（AI）正在成為現代戰爭的重要組成部分，因為它為大規模基礎設施的完全自動化和眾多防御或網絡防御系統的優化提供了新的機會[1]。人工智能在軍事領域[2]的前景之一，似乎保證了它的采用，即它的廣泛適用性。在軍事方面，人工智能的潛力存在于所有作戰領域（即陸地、海洋、空中、太空和網絡空間）和所有級別的戰爭（即政治、戰略、戰役和戰術）[3]。但與此同時，隨著參與連續互聯和不間斷信息交換服務的互聯系統數量的實時擴大，其復雜性仍在成倍增長[4]。從概括的角度來看，可以說人工智能將對以下任務產生重大影響：

1.太快的任務，反應時間為幾秒鐘或更少，在高復雜度（數據、背景、任務類型）下執行。

2.操作時間超過人類耐力的任務，或意味著長期的高操作（人員）成本。

3.涉及巨大的復雜性的任務，需要靈活地適應環境和目標的變化。

4.具有挑戰性的行動環境，意味著對作戰人員的嚴重風險。

支持上述任務的實時監測事件的應用程序正在接收一個持續的、無限的、相互聯系的觀察流。這些數據表現出高度的可變性，因為它們的特征隨著時間的推移而發生巨大的、意想不到的變化，改變了它們典型的、預期的行為。在典型情況下，最新的數據是最重要的，因為老化是基于它們的時間。

利用數據的軍事人工智能系統可以將軍事指揮官和操作員的知識和經驗轉化為最佳的有效和及時的決策[3,4]。然而，缺乏與使用復雜的機器學習架構相關的詳細知識和專業知識會影響智能模型的性能，阻止對一些關鍵的超參數進行定期調整，并最終降低算法的可靠性和這些系統應有的概括性。這些缺點正在阻礙國防的利益相關者，在指揮鏈的各個層級，信任并有效和系統地使用機器學習系統。在這種情況下，鑒于傳統決策系統無法適應不斷變化的環境，采用智能解決方案勢在必行。

此外，加強國防領域對機器學習系統不信任的一個普遍困難是，采用單一數據倉庫對智能模型進行整體訓練的前景[1]，由于需要建立一個潛在的單點故障和對手的潛在戰略/主要目標[6]，這可能造成嚴重的技術挑戰和隱私[5]、邏輯和物理安全等嚴重問題。相應地，可以使更完整的智能分類器泛化的數據交換也給敏感數據的安全和隱私帶來了風險，而軍事指揮官和操作人員并不希望冒這個風險[7]。

為了克服上述雙重挑戰，這項工作提出了FAMEL。它是一個整體系統，可以自動選擇和使用最合適的算法超參數，以最佳方式解決所考慮的問題，將其作為一個尋找算法解決方案的模型，其中通過輸入和輸出數據之間的映射來解決。擬議的框架使用元學習來識別過去積累的類似知識，以加快這一過程[8]。這些知識使用啟發式技術進行組合，實現一個單一的、不斷更新的智能框架。數據保持在操作者的本地環境中，只有模型的參數通過安全流程進行交換，從而使潛在的對手更難干預系統[9,10]。

2 提出的框架

在提議的FAMEL框架中，每個用戶在水平聯邦學習方法中使用一個自動元學習系統（水平聯邦學習在所有設備上使用具有相同特征空間的數據集。垂直聯邦學習使用不同特征空間的不同數據集來共同訓練一個全局模型）。以完全自動化的方式選擇具有最佳超參數的最合適的算法，該算法可以最佳地解決給定的問題。該實施基于實體的可用數據，不需要在遠程存儲庫中處置或與第三方共享[11]。

整個過程在圖1中描述。

圖1.FAMEL框架。

具體來說就是：

步驟1--微調最佳局部模型。微調過程將有助于提高每個機器學習模型的準確性，通過整合現有數據集的數據并將其作為初始化點，使訓練過程具有時間和資源效率。

步驟2--將本地模型上傳至聯邦服務器。

步驟3--由聯邦服務器對模型進行組合。這種集成方法使用多種學習算法，以獲得比單獨使用任何一種組成的學習算法都要好的預測性能。

步驟4--將集成模型分配給本地設備。

從這個過程中產生的最佳模型（贏家算法）被輸送到一個聯邦服務器，在那里通過啟發式機制創建一個集成學習模型。這個集成模型基本上包含了本地最佳模型所代表的知識，如前所述，這些知識來自用戶持有的本地數據[12]。因此，總的來說，集成模型提供了高概括性、更好的預測性和穩定性。它的一般行為平滑了噪音，同時降低了在處理本地數據的場景中由于建模或偏見而做出錯誤選擇的總體危險[13,14]。

結論

將機器學習應用于現實世界的問題仍然特別具有挑戰性[44]。這是因為需要訓練有素的工程師和擁有豐富經驗和信息的軍事專家來協調各自算法的眾多參數，將它們與具體問題關聯起來，并使用目前可用的數據集。這是一項漫長的、費力的、昂貴的工作。然而，算法的超參數特征和理想參數的設計選擇可以被看作是優化問題，因為機器學習可以被認為是一個搜索問題，它試圖接近輸入和輸出數據之間的一個未知的潛在映射函數。

利用上述觀點，在目前的工作中，提出了FAMEL，擴展了制定自動機器學習的一般框架的想法，該框架具有有效的通用優化，在聯邦層面上運作。它使用自動機器學習在每個聯邦用戶持有的數據中找到最佳的本地模型，然后，進行廣泛的元學習，創建一個集成模型，正如實驗所顯示的那樣，它可以泛化，提供高度可靠的結果。這樣，聯邦機構就有了一個專門的、高度概括的模型，其訓練不需要接觸他們所擁有的數據的聯合體。在這方面，FAMEL可以應用于一些軍事應用，在這些應用中，持續學習和環境適應對支持的行動至關重要，而且由于安全原因，信息交流可能很難或不可能。例如，在實時優化有關任務和情況的信息共享方面就是這種情況。在部署了物聯網傳感器網格的擁擠環境中，FAMEL的應用將具有特別的意義，需要滿足許多安全限制。同樣，它也可以應用于網絡空間行動，在雜亂的信息環境和復雜的物理場景中實時發現和識別潛在的敵對活動，包括對抗負面的數字影響[45,46]。必須指出的是，在不減少目前所描述的要點的情況下，所提出的技術可以擴展到更廣泛的科學領域。它是一種通用的技術，可以發展和產生一種開放性的整體聯邦學習方法。

盡管總的來說，聯邦學習技術的方法論、集成模型以及最近的元學習方法已經強烈地占據了研究界，并提出了相關的工作，提升了相關的研究領域，但這是第一次在國際文獻中提出這樣一個綜合框架。本文提供的方法是一種先進的學習形式。計算過程并不局限于解決一個問題，而是通過一種富有成效的方法來搜索解決方案的空間，并以元啟發式的方式選擇最優的解決方案[47,48]。

另一方面，聯邦學習模型應該對合作訓練數據集應用平均聚合方法。這引起了人們對這種普遍方法的有效性的嚴重關注，因此也引起了人們對一般聯邦架構的有效性的關注。一般來說，它將單個用戶的獨特需求扁平化，而不考慮要管理的本地事件。如何創建解決上述局限性的個性化智能模型，是目前一個突出的研究問題。例如，研究[49]是基于每個用戶必須以聯邦的形式解決的需求和事件。解釋是可解釋系統的各種特征，在指定的插圖的情況下，這些特征有助于得出結論，并在局部和全局層面提供模型的功能。建議只對那些變化程度被認為對其功能的演變相當重要的特征進行再訓練。

可以擴大擬議框架研究領域的基本課題涉及元集成學習過程，特別是如何解決創建樹和它們的深度的問題，從而使這個過程自動完全簡化。還應確定一個自動程序，以最佳的分離方式修剪每棵樹，以避免負收益。最后，探索將優化修剪的樹的版本添加到模型中的程序，以最大限度地提高框架效率、準確性和速度。

（完整內容請閱讀原文）

以語音為中心的機器學習系統徹底改變了許多領先領域，從交通和醫療保健到教育和國防，深刻改變了人們的生活、工作和相互互動的方式。然而，最近的研究表明，許多以語音為中心的機器學習系統可能需要被認為更值得信任，以便更廣泛地部署。具體來說，在機器學習研究領域，人們都發現了對隱私泄露、判別性能和對抗性攻擊脆弱性的擔憂。為了應對上述挑戰和風險，人們做出了大量努力，以確保這些機器學習系統是值得信任的，特別是隱私、安全和公平。本文首次對與隱私、安全和公平相關的、以語音為中心的可信機器學習主題進行了全面的調研。除了作為研究界的總結報告外，本文指出了幾個有希望的未來研究方向，以激勵希望在該領域進一步探索的研究人員。 引言

在過去的幾年中，機器學習(ML)，特別是深度學習，在各種研究領域和應用中取得了巨大的突破，包括自然語言處理(Devlin等人，2018)、圖像分類(He等人，2016)、視頻推薦(Davidson等人，2010)、醫療保健分析(Miotto等人，2018)，甚至掌握國際象棋游戲(Silver等人，2016)。深度學習模型通常由多個處理層組成，并結合了線性和非線性操作。盡管訓練具有多層架構的深度學習模型需要積累大型數據集和訪問強大的計算基礎設施(Bengio等人，2021)，但與傳統的建模方法相比，訓練后的模型通常達到最先進的(SOTA)性能。深度學習的廣泛成功還允許更深入地了解人類狀況(狀態、特征、行為、交互)和革命性的技術，以支持和增強人類體驗。除了ML在上述領域取得的成功，以語音為中心的ML也取得了重大進展。 言語是人類之間一種自然而突出的交流形式。它存在于人類生活的幾乎每一個層面，無論是與朋友聊天、與同事討論，還是與家人遠程通話。以語音為中心的機器學習的進步使Siri、谷歌Voice和Alexa等智能助手的普遍使用成為可能。此外，以語音為中心的建模在人類行為理解、人機界面(HCI) (Clark等人，2019)和社交媒體分析方面創造了許多研究主題。例如，一些廣泛研究的語音建模領域包括自動語音識別(Malik et al.， 2021)、語音情感識別(Ak?ay和O?uz, 2020)、自動說話人確認(Irum和Salman, 2019)和關鍵詞識別(Warden, 2018)。

盡管ML系統有在廣泛的以語音為中心的應用中廣泛部署的前景，但在大多數這些系統中，兩個交織在一起的挑戰仍然沒有解決:理解和闡明跨人和環境的豐富多樣性，同時創建可信的ML技術，在所有環境中適用于每個人。信任是人類生活的基礎，無論是信任朋友、同事、家庭成員，還是像人工智能服務這樣的人工制品。傳統上，機器學習從業者，如研究人員和決策者，使用系統性能(如F1分數)來評估機器學習系統。雖然大量的研究都集中在提高機器學習模型的系統性能上，但確保機器學習應用是可信的仍然是一個具有挑戰性的課題。在過去的幾年中，我們見證了大量針對可信人工智能和機器學習的研究工作，本文的目標是對相關研究活動進行全面的回顧，重點以語音為中心的機器學習。

**ML中的可信性在不同的文獻中有不同的定義。**例如，Huang等人(2020)基于涉及認證過程和解釋過程實施的行業生產實踐規范描述了術語可信性。認證過程包括測試和驗證模塊，以檢測輸入數據中潛在的偽造或干擾。解釋是解釋機器學習為什么根據輸入數據做出特定決策的能力。此外，歐盟發布的《可信人工智能倫理準則》(Smuha, 2019)承認，要被認為是可信的人工智能系統，必須遵守法律和法規，堅持道德原則，并強大地運行。最近，Liu等人(2022b)從安全性、公平性、可解釋性、隱私、可問責性和環境友好方面總結了可信人工智能。同樣，我們的審查認為，可信的核心設計元素是魯棒性、可靠性、安全性、安全性、包容性和公平性。基于這些標準，本文從隱私、安全和公平的角度綜述了關于以語音為中心的可信機器學習的文獻，如圖1.1所示:

**隱私: **以語音為中心的ML系統嚴重依賴于收集來自、關于和針對潛在敏感環境和上下文中的人的語音數據，例如家庭、工作場所、醫院和學校。語音數據的收集經常引起人們對侵犯用戶隱私的嚴重擔憂，例如泄露人們可能希望保密的敏感信息(Liu等人，2021)。至關重要的是，要確保由個人共享或由ML系統收集的語音數據受到保護，免受任何不合理和未經授權的使用。

安全性: 在過去幾年中，研究人員發現機器學習系統普遍容易受到對抗性攻擊，這些攻擊旨在利用模型預測函數中的漏洞進行惡意的目的(Goodfellow等人，2014)。例如，通過對語音數據引入足夠小的擾動，惡意行為者可以導致關鍵詞檢測模型對所需的輸入語音命令進行錯誤分類。因此，一個可信的機器學習系統必須對惡意攻擊者可能故意更改的相同輸入輸出一致。

**公平性:**最近人們知道機器學習系統的行為可能不公平。機器學習系統為什么會虐待人是多方面的(Mehrabi等人，2021)。一個因素是社會方面，由于訓練數據或整個機器學習開發過程中的假設/決策中的社會偏見，機器學習系統產生有偏的輸出。導致人工智能不公平的另一個原因是數據集特征的不平衡，某些群體的數據樣本有限。因此，模型需要考慮某些人群的需求。同樣重要的是要注意，部署不公平的機器學習系統可能會放大社會偏見和數據不平衡問題。為了評估以語音為中心的機器學習系統的可信性，機器學習從業者需要評估機器學習模型是否對個人或群體表現出區分性。

**本文的其余部分組織如下。**第2節簡要總結了流行的以語音為中心的任務、數據集和SOTA建模框架。第3節全面討論了以語音為中心的機器學習系統中的安全考慮。第4節討論了語音建模中的隱私風險和防御。第5節回顧了語音建模任務中出現的公平性問題。第6節闡述了以語音為中心的可信機器學習的潛在發展和未來的挑戰。最后，第7節總結了本文的主要觀點。

具體而言，我們的貢獻總結如下:

1. 據我們所知，這是第一個對設計可信的、以語音為中心建模的機器學習進行全面回顧的綜述工作。我們調研了大部分已經發表和預印本的工作，包括自動語音識別、語音情感識別、關鍵詞識別和自動說話人驗證。

2. 創建了分類法，以系統地審查與以語音為中心的機器學習系統可信性相關的設計支柱。我們進一步比較了關于每個關鍵因素的各種文獻。

3.本文討論了設計以語音為中心的機器學習系統面臨的突出挑戰，這些系統面臨著與隱私、安全和公平相關的可信性考慮。在文獻綜述的基礎上，討論了有待解決的挑戰，并提出了幾個有希望的未來方向。

基于深度神經網絡的機器學習方法已經取得了長足的進步，并在許多具有挑戰性的應用領域中表現出最先進的水平，包括計算機視覺、自然語言處理、語音識別和強化學習等等。這些結果通常是通過使用非常深入的神經網絡訓練的大型標記數據集獲得的，這些網絡以分層的方式學習原始數據特征的高度非線性抽象。此外，這些方法經常通過神經結構設計的方式納入歸納偏見，以限制可能的解決方案的集合。例如，卷積神經網絡（CNN）廣泛使用具有小感受野的卷積，在一定程度上模仿靈長類動物視覺系統的神經結構。事實上，已經證明，通過CNN學習的表征與從靈長類視覺系統學習的表征相比更有優勢。由于這些成功，神經網絡方法常常被視為在這些領域建立模型時的事實上的方法。

即使在多個應用領域取得了這些進展，神經網絡方法應用于表格數據的可行性仍有一些不確定性。表格數據包括以（行，列）表格式存儲的數據，其中行包含獨立的實例，列包含不同的特征。此外，表中的每一列/特征可能有不同的可能數據類型（例如，二進制與連續與分類），代表了一種高度異質的數據格式。麥肯錫公司最近的一項研究，調查了19個不同行業的400多個應用領域，顯示這種類型的表格數據是工業中最常用的數據格式之一。在表格數據上建立機器學習分類模型的標準方法一般是以決策樹（DTs）的形式出現，這是一個有監督的機器學習模型系列，它建立了一個樹狀圖，節點代表我們挑選特征子集的地方，并根據這些特征提出決策規則/閾值（例如。如果性別=男性和年齡>40歲，對于一個包含性別和年齡特征的表格數據集）；邊代表這個決策規則的結果；葉子代表輸出，可以是另一個具有另一組輸入特征的決策節點，也可以是預測的感興趣的類別標簽。

基于DT的方法有很多好處，包括它們的基本形式具有很強的可解釋性（例如，通過跟蹤決策節點的層次流），這在許多現實世界的應用中是一個重要的關注點，而且它們的訓練計算速度很快。然而，DT方法也有幾個缺點：1）它們容易過度擬合，導致泛化效果差；2）它們對輸入數據的微小擾動非常敏感（在不同的數據子集上訓練時，可能會學到非常不同的樹）；3）它們很難對非常復雜、高度非線性的決策規則建模。這些缺點開啟了使用神經網絡方法的可能性，因為它們有能力對高度非線性關系進行建模，并且對輸入數據的微小偏差具有更好的魯棒性，這一點在其他幾個應用領域中得到了證明。然而，由于之前提出的神經網絡架構并不適合于表格數據，缺乏適當的歸納偏差往往導致它們無法為表格數據找到最佳解決方案。

在過去的幾年里，人們對構建用于表格數據的神經網絡方法的興趣越來越濃厚。特別是，最近的一項研究比較了幾種不同的神經網絡架構和基于DT的方法，發現在對40個不同的表格式數據集進行評估時，神經網絡方法與基于DT的方法具有競爭力，這些數據集具有不同數量的實例（690-418,000）和特征（5-2000）。在許多情況下，這些神經網絡方法的表現超過了基于DT的方法，這表明現在有可行的神經網絡方法可以應用于表格數據。

在這份報告中，我們描述了我們對表格神經網絡方法進行評估的初步結果，該方法使用可穿戴生理傳感器技術，如心電圖（ECG）和皮膚電化學反應（GSR）進行人類情感狀態分類（如壓力、喚醒）。情感狀態分類是人機交互（HCI）界日益關注的領域，因為模擬和預測人類情感狀態的能力開辟了新的研究方向，側重于改善人類與自主智能系統的互動和團隊。

情感狀態分類的最大挑戰之一是跨個體的穩健表現，在這個領域之前沒有多少工作。然而，在這一領域，由于需要進行人體測試，以及個體間潛在的情感狀態存在很大程度的變異，所以很難收集大量的標記數據集。我們假設，在低標簽數據制度下，對預先提取的特征進行訓練的表格神經網絡方法可能是一種可行的替代方法，可以完全替代傳統上需要大量標簽數據集才能有效訓練的深度神經網絡的端到端訓練（即沒有任何先驗的特征處理）。為了測試這一假設，我們使用了模型框架AutoGluon-Tabular，它是一個易于使用且高度準確的Python庫，用于構建表格數據的神經網絡。本報告總結了我們使用三個公開可用數據集的發現。認知負荷、情感和壓力 認知負荷、情感和壓力（CLAS）、ASCERTAIN和AMIGOS。 我們最初的分析集中在這三個數據集內部和之間的主體間分類，因為這仍然是情感狀態分類的關鍵挑戰之一。

人工智能（AI）的最新進展為許多經典的AI應用帶來了突破，例如計算機視覺、自然語言處理、機器人和數據挖掘。因此，有很多人努力將這些進展應用于軍事領域，如監視、偵察、威脅評估、水雷戰、網絡安全、情報分析、指揮和控制以及教育和培訓。然而，盡管人工智能在軍事應用上有很多可能性，但也有很多挑戰需要考慮。例如，1）高風險意味著軍事人工智能系統需要透明，以獲得決策者的信任并能進行風險分析；這是一個挑戰，因為許多人工智能技術具有黑盒性質，缺乏足夠的透明度；2）軍用 AI 系統需要穩健可靠；這是一個挑戰，因為已經表明即使對所使用的 AI 技術沒有任何了解，AI 技術也容易受到輸入數據微小變動的影響，并且 3) 許多 AI 技術基于需要大量數據的機器學習訓練；這是一個挑戰，因為在軍事應用中經常缺乏足夠的數據。本文介紹了正在進行的項目成果，以說明軍事應用中人工智能的可能性，以及如何應對這些挑戰。

1 介紹

人工智能（AI），特別是機器學習（ML）和深度學習（DL），在十年內已經從研究機構和大學的原型設計轉向工業和現實世界應用。使用DL技術的現代人工智能已經徹底改變了傳統人工智能應用的性能，如機器翻譯、問答系統和語音識別。這一領域的許多進展也將其優秀的想法變成了卓越的人工智能應用，能夠進行圖像說明、唇語閱讀、語音模仿、視頻合成、連續控制等。這些成果表明，一個能夠自我編程的機器有潛力：1）提高軟件和硬件開發的效率，2）以超越人類的水平完成特定的任務，3）為人類以前沒有考慮過的問題提供創造性的解決方案，4）在人類已知的主觀、偏見、不公平、腐敗等方面提供客觀和公平的決定。

在軍事背景下，人工智能的潛力存在于所有維度的軍事空間中（即陸地、海洋、空中、空間和信息）和所有級別的戰爭內（即政治、戰略、作戰和戰術）。例如，在政治和戰略層面，人工智能可以通過制作和發布大量的虛假信息來破壞對手的穩定狀態。在這種情況下，人工智能很可能也是抵御這種攻擊的最佳人選。在戰術層面，人工智能可以改善無人系統的部分自主控制，以便人類操作員可以更有效地操作無人系統，最終擴大戰場影響力，增強戰場實力。

然而，正如我們將在這項工作中指出的那樣，有幾個關鍵挑戰可能會減緩或限制現代人工智能在軍事應用中的使用：

• ML模型的透明度和可解釋性不足。舉一個例子，使用DL對使用深度神經網絡（DNN）的自動駕駛汽車進行控制建模需要幾十萬個參數。顯然，這樣一個復雜的程序不容易被解釋。即使是使用替代的ML算法生成的模型，其中模型可以被圖形化，如解析樹或決策樹，即使在應用于玩具模型問題時，也很難甚至不可能解釋。一個更重要的挑戰是人工智能系統向決策者或人類操作者解釋其推理的能力，或者在這種情況下是無能為力的。
• 眾所周知，使用ML開發的模型很容易受到對抗性攻擊。例如，基于DL的模型可以很容易地通過操縱輸入信號而被欺騙，即使該模型對攻擊者來說是未知的。舉一個例子，使用最先進的目標檢測的無人駕駛飛行器（UAV）也有可能被地面上精心設計的偽裝圖案所欺騙。
• 任何 ML 應用的原料是機器可以從中學習并最終深入理解的數據。軍事組織通常擅長收集數據用于匯報或重建目的。然而，不能保證同樣的數據可以成功用于ML。因此，軍事組織可能必須調整其數據收集過程，以充分利用現代人工智能技術，如DL。

本文的目的是強調人工智能在軍事應用中的可能性和主要挑戰。第2節簡要介紹了DL，它是本文關注的主要人工智能技術。第3節提供了幾個人工智能在軍事領域中應用的例子。第4節描述了與軍事領域中人工智能的關鍵挑戰，以及部分可用于解決這些挑戰的技術。第5節提出了結論。

2 深度學習

我們所說的DL是指由多個非線性處理單元層組成的機器學習模型。通常情況下，這些模型由人工神經網絡表示。在這種情況下，神經元指的是一個單一的計算單元，其輸出是通過一個（非線性）激活函數的輸入的加權和（例如，一個只有在信號為正時才通過的函數）。DNN指的是具有大量串連神經元層（神經元層由神經元并聯組成）的系統。與DNN相對的是淺層神經網絡，它只有一層平行連接的神經元。

直到大約十年前，DNN的訓練幾乎是不可能的。第一個成功的深度網絡的訓練策略是基于一次訓練一個層。逐層訓練的深度網絡的參數最終使用隨機梯度方法進行微調（同時），以最大限度地提高分類精度。此后，許多研究進展使得直接訓練DNN成為可能，而無需逐層訓練。例如，人們發現，網絡權重的初始化策略與激活函數的選擇相結合是解決問題的關鍵。甚至一些技術，如在訓練階段隨機停用神經元，以及在信號到達激活函數之前對其進行歸一化處理，也已證明對于使用 DNN 獲得良好結果非常重要。

表示學習是DNN高性能的主要原因之一。使用DL和DNN，不再需要手動制作學習特定任務所需的特征。相反，辨別特征是在 DNN 的訓練過程中自動學習的。

支持 DL 應用的技術和工具如今比以往任何時候都更加好用。通過廉價的計算資源、免費的 ML 框架、預訓練模型、開源數據和代碼，僅使用有限的編程/腳本技能即可成功應用和定制高級 DL。

3 軍事人工智能應用

本節介紹了幾個可以應用人工智能來提高軍事能力的例子。

3.1 監視

海上監視是利用固定雷達站、巡邏飛機、船舶，以及近年來使用自動識別系統（AIS）對海上船只進行的電子跟蹤。這些信息源提供了大量的關于船只運動的信息，這些信息可能會揭示船舶非法的、不安全的、有威脅的和異常的行為。然而，大量的船舶運動信息使得手動檢測此類行為變得困難。因此ML-方法被用來從船舶運動數據中生成常態模型。任何偏離常態模型的船舶運動都被認為是異常的，并提交給操作員進行人工檢查。

一種早期的海事異常檢測方法使用模糊 ARTMAP 神經網絡架構根據港口位置對正常船舶速度進行建模。另一種方法是利用運動模式的關聯學習來預測基于其當前位置和行駛方向的船舶運動。其他方法則使用基于高斯混合模型（GMM）和內核密度估計（KDE）的無監督聚類。這些模型能夠檢測出改變方向、穿越海路、向相反方向移動或高速行駛的船只。最近的方法是使用貝葉斯網絡來檢測錯誤的船舶類型，以及不連續的、不可能的和徘徊的船舶運動。海事異常檢測的未來發展還應該考慮周圍的船只和多艘船只之間的互動。

3.2 水下水雷戰

水雷對海上船只構成重大威脅，被用來限制船只行動或阻止船只通過受限水域。因此，反水雷措施（MCM）試圖定位和消除水雷，以實現行動自由。越來越多地使用配備合成孔徑聲納 (SAS) 的自主水下航行器 (AUV) 進行水雷搜索，該水下航行器能提供厘米分辨率的海底聲學圖像。由于AUV收集了大量的SAS圖像，自動目標分類對于區分潛在的水雷與其他物體是很有用的。雖然對水雷的自動目標分類已經研究了很長時間，但DNN在圖像分類方面的高性能表現使人們對如何將這種辦法用于自動地雷探測產生了興趣。

一些研究顯示了DNN在水雷探測方面的潛力。例如，這些研究描述了如何將假水雷的形狀、類似水雷的目標、人造物體和巖石放置在海底的各種地理圖形位置上。然后用AUV和SAS對海底進行測量。結果顯示，與傳統的目標分類器相比，DNN的性能明顯提高，對水雷形狀的檢測概率更高，誤報率更低。同樣，這些研究也描述了如何生成圓柱形物體和各種海底景觀的協同SAS圖像，并這些圖像用來訓練DNN。進一步的研究可能會探究如何從所有類型的雜波物體中分辨出水雷，結合檢測和分類，以及對噪聲、模糊和遮擋的魯棒性等

3.3 網絡安全

入侵檢測是網絡安全的重要組成部分，可在惡意網絡活動危及信息可用性、完整性或機密性之前對其進行檢測。入侵檢測是使用入侵檢測系統（IDS）進行的，該系統將網絡流量分類為正常或入侵。然而，由于正常的網絡流量往往具有與實際攻擊相似的特征，網絡安全分析師對所有入侵警報的情況進行分析，以確定是否存在實際的攻擊。雖然基于簽名的IDS通常擅長檢測已知的攻擊模式，但它們不能檢測以前未見過的攻擊。此外，基于簽名的檢測的開發往往是緩慢和昂貴的，因為它需要大量的專業知識。這限制了系統對快速演變的網絡威脅的適應性。

許多研究使用 ML 和其他 AI 技術來提高已知攻擊的分類準確性、檢測異常網絡流量（因為這可能表明新的攻擊模式偏離了正常網絡流量）以及自動化模型構建。然而，這些系統很少被實際使用。其原因是，入侵檢測給出了具體的挑戰，如缺乏訓練數據、網絡流量變化大、錯誤成本高以及難以進行相關評估。雖然可以收集大量的網絡流量，但這些信息往往是敏感的，只能部分匿名化處理。使用模擬數據是另一種選擇，但它往往不夠真實。然后，必須根據模式是正常還是入侵，或用于確保無攻擊的異常檢測來標記數據以進行監督學習，這通常很難做到。最后，模型需要是透明的，以便研究人員能夠理解檢測限制和特征的含義。

另一項提高網絡安全的措施是在安全審計期間進行滲透測試，以確定潛在的可利用的安全弱點。由于許多網絡的復雜性和其中的大量主機，滲透測試通常是自動化的。一些研究已經調查了如何使用網絡的邏輯模型而不是實際的網絡將 AI 技術用于模擬滲透測試。網絡通常用攻擊圖或樹來表示，描述對手如何利用漏洞闖入系統。描述了模型在表征方式方面的不同之處：1) 攻擊者的不確定性，從抽象的成功和檢測概率到網絡狀態的不確定性，以及 2) 從已知的前后條件到一般感知和觀察的攻擊者行為-結果的服務。此外，通過網絡和主機的正式模型，可以對不同的緩解策略進行假設分析。未來對滲透測試的研究可能會使用攻擊者和防御者之間交互的認知有效模型，例如，深度強化學習來探索可能攻擊的大問題空間。

4 挑戰

正如第3節中的案例所示，在為軍事目的開發和部署的基于人工智能的應用之前，有一些尚未解決的挑戰是很重要的。在本節中，我們將討論我們認為對軍事人工智能最關鍵的挑戰：1）透明度，2）脆弱性，以及3）在有限的訓練數據下的學習。其他重要的，但不太關鍵的，與優化、泛化、架構設計、超參數調整和生產級部署有關的挑戰，在本節中沒有進一步討論。

4.1 透明度

許多應用除了需要高性能外，還需要高透明度、高安全性以及用戶的信任或理解。這種要求在安全關鍵系統、監控系統、自主智能體、醫學和其他類似的應用中很典型。隨著最近人工智能技術的突破，人們對透明度的研究也越來越感興趣，以支持最終用戶在此類應用中的使用與透明度相關的成果。

4.1.1 對透明度的期望

人工智能所需的透明度取決于終端用戶的需求。利普頓描述了透明度可能涉及五種類型的用戶需求：

• 1.信任-在用戶難以質疑系統建議的情況下。然而，可能不清楚用戶的信任是基于系統的性能或穩定性，相對于用戶的體驗，還是用戶對系統推薦的舒適度。
• 2.理解之前未知的因果關系，可以用其他方法測試。
• 3.由于與用戶的能力相比，模型的通用性有限，因此對系統性能的了解受到限制。
• 4.有關系統建議的一些補充信息。
• 5.公平性，以避免可能導致某些情況下的不平等待遇的系統性偏見。例如，對信貸申請的評估不應基于個人屬性，如性別或種族，盡管這種屬性可能在整體統計水平上用來區分人口群體。

原則上，有兩種方法可以使人工智能系統透明。首先，某些類型的模型被認為比其他的更容易解釋，例如線性模型、基于規則的系統或決策樹。檢查這些模型可以理解它們的組成和計算。Lipton描述了可解釋性取決于用戶是否能夠預測系統的建議，理解模型參數，以及理解訓練算法。其次，系統可以解釋其建議。這種解釋可以是文字的，也可以是視覺的。例如，通過指出圖像的哪些方面最有助于其分類。Miller 對社會科學研究中如何使用這些知識來設計 AI 系統的進行了的回顧。通常情況下，人們用他們感知到的信念、欲望和意圖來解釋其他智能體的行為。對于人工智能系統來說，信念對應于系統關于情況的信息，欲望對應于系統的目標，而意圖對應于中間狀態。此外，解釋可能包括行動的異常性、使成本或風險最小化的偏好、對預期規范的偏離、事件的回顧性和行動的可控性。主要的發現是：

• 解釋是針對特定的反事實案例而進行的對比性解釋。因此，解釋的重點是為什么提出特定的建議而不是其他建議。
• 解釋是有選擇的，并且集中在一兩個可能的原因上，而不是建議的所有原因。
• 解釋是一種傳遞知識的社會對話和互動。

4.1.2 可解釋模型的實例

貝葉斯規則列表（BRL）是可解釋模型的一個例子。BRL由一系列的if（條件）then（結果）else（替代）語句組成。Letham等人描述了如何為一個高度準確和可解釋的模型生成BRL來估計中風的風險。條件離散化了影響中風風險的高維多變量特征空間，結果描述了預測的中風風險。BRL在預測中風風險方面具有與其他ML方法類似的性能，并且與其他現有評分系統一樣具有可解釋性，但其準確性較低。

基于詞典的分類器是文本分類的另一個可解釋模型的例子。基于詞典的分類器將術語的頻率與每個類別中出現的術語的概率相乘。得分最高的類別被選為預測對象。Clos等人使用一個門控遞歸網絡對詞典進行建模，該網絡同時學習術語和修飾語，如副詞和連詞。受過訓練的詞典是關于論壇中的帖子是支持還是反對死刑以及對商業作品的看法。詞典的表現比其他ML方法更好，同時也是可解釋的。

4.1.3 特征可視化的實例

盡管DNN在許多應用中提供了很高的性能，但它們的子符號計算可能有數百萬個參數，這使得人們很難準確理解輸入特征對系統推薦的貢獻。由于DNN的高性能對許多應用來說是至關重要的，因此人們對如何使它們更容易解釋產生了濃厚的興趣（見一篇評論）。許多用于解釋DNN的算法將DNN處理轉化為原始輸入空間，以便將辨別特征可視化。通常，有兩種通用方法用于特征的可視化，即激活最大化和DNN解釋。

激活最大化會計算哪些輸入特征將最大限度地激活可能的系統建議。對于圖像分類來說，這代表了理想的圖像，它顯示了每個類別的可區分和可識別的特征。然而，由于各類可能使用同一物體的許多方面，而且圖像中的語義信息往往是分散的，所以圖像往往看起來不自然。激活最大化的方法的一些例子是梯度上升法，更好的正則化方法以增加通用性，以及合成首選圖像法。

DNN的解釋是通過強調區分輸入特征來解釋系統建議。在圖像分類中，這種可視化可能會突出顯示支持或反對某個類別的區域，或者僅顯示包含區分特征的區域。計算鑒別特征的一種方法是使用局部梯度或其他變化度量的敏感性分析。然而，敏感性分析的一個問題是，它可能顯示輸入中不存在的判別特征。例如，在圖像分類中，敏感性分析可能會顯示物體被遮擋的部分，而不是可見部分。逐層相關性傳播通過考慮特征存在和模型反應來避免這個問題。

4.1.4 具體應用解釋的實例

與分類不同的是，人工智能規劃是基于動態的領域模型。Fox等人描述如何使用領域模型來解釋為什么行動被執行或不執行，為什么一些行動不能被執行，使未來行動的因果關系，以及重新規劃的需要。

由于公平性對許多人工智能應用來說非常重要，Tan等人描述了如何利用模型蒸餾來檢測黑箱模型的偏差。模型蒸餾法將更大更復雜的模型進行簡化，而沒有明顯的準確性損失。為了提高透明度，他們使用了基于淺層樹的廣義加性模型，對每個參數和兩個參數之間的相互作用進行建模。他們根據黑盒模型的系統建議訓練一個透明模型，并根據實際結果訓練一個透明模型。對兩個模型的推薦差異的假設檢驗體現了黑盒模型引入偏差的情況，然后可以通過比較兩個透明模型來診斷偏差。該系統在犯罪風險、借貸風險和卷入槍擊事件的個人風險方面進行了評估。結果顯示，一個黑盒模型低估了年輕罪犯和白種人的犯罪風險，而高估了美國本土非洲裔犯罪的風險。

4.2 脆弱性

在本節中，我們討論DNN在兩個不同方面的脆弱性。1）對輸入操縱的脆弱性和2）對模型操縱的脆弱性。我們首先看一下對輸入信號的操縱：

4.2.1 對輸入進行對抗性處理

在提供DNN的情況下，人們發現很容易調整輸入信號，從而使分類系統完全失敗。當輸入信號的維度很大時，例如圖片，通常只需對輸入中的每個元素（即像素）進行不易察覺的微小調整，就足以欺騙系統。用同樣的技術來訓練DNN，通常是采用隨機梯度法，通過觀察梯度的符號，你可以很容易地找到每個元素應該朝哪個方向改變，以使分類器錯誤地選擇目標類別或僅僅是錯誤分類。只需幾行代碼，最好的圖像識別系統就會被欺騙，相信一張車輛的圖片是一只狗。下面的圖 1 顯示了操作前后的圖像以及操作前后類的可能性。

上述方法假設有對DNN的完全訪問權，即所謂的白盒攻擊。人們發現，即使是所謂的黑箱攻擊，即你只觀察到系統的輸入和輸出類型，也是可能的。在其中，作者采用從他們想要攻擊的黑盒系統中稀疏采樣所獲得的數據來訓練一個替代網絡。鑒于替代網絡，你可以使用上述的白盒攻擊方法來制作對抗性輸入。一個學習替代網絡的替代方法被提出來，在這個方法中，遺傳算法被用來創建導致系統錯誤分類的攻擊向量。同一作者甚至表明，通常只需修改圖像中的一個像素，盡管常常是可察覺的，就能實現成功的攻擊。

圖 1：從小型貨車到西伯利亞雪橇犬。 原始圖像和操縱（對抗性制作）圖像之間的絕對差異（放大 20 倍）顯示在右側。 對抗性示例（中心）是使用 Kurakin 的基本迭代方法（BIM）生成的。

4.2.2 利用預訓練 DNN 中的隱藏后門

當設計一個DNN，但只能獲得少量的訓練數據時，通常會使用預訓練的模型來達到良好的性能。這個概念被稱為遷移學習，一個常見的應用是采用在大量數據上訓練過的模型，根據具體問題替換和定制網絡中的最后幾層，然后在最后階段（有時甚至是整個系統）利用可用的訓練數據微調參數。目前已經有大量的預訓練模型可以從互聯網上下載。那么一個相關的問題是："我們怎么知道那些上傳模型的人沒有壞心眼？"。作者在識別美國交通標志的模型中插入后門，就考慮了這種類型的漏洞。例如，一個貼紙被訓練為屬于停止標志以外的類別。然后他們表明，當使用后門（即在交通標志上放置一個貼紙）時，基于美國交通標志網絡的識別瑞典交通標志的系統會有負面的反應（大大損害了瑞典交通標志系統的分類準確性）。

4.2.3 防御方法

減少DNN對輸入信號操縱的脆弱性的一種方法是在模型的訓練過程中明確包括被操縱/對抗的例子。也就是說，除了原始訓練數據外，還產生了對抗性例子，并用于模型的訓練。

另一種方法是使用一個叫做防御蒸餾的概念。簡而言之，該方法試圖降低輸出信號只指出真實類別的要求，并迫使其他類別的概率為零。這分兩步完成。第一步是對DNN進行常規訓練。在第二步，將第一個神經元網絡的輸出（類別概率）用作新的類別標簽，并使用新的（軟）類別標簽訓練一個新的系統（具有相同的架構）。這已被證明可以減少漏洞，因為你沒有把DNN與訓練數據貼得太緊，并保留了一些合理的類間關系。

其他防御方法，例如特征壓縮技術，例如均值或中值濾波或非線性像素表示，例如單熱或溫度計編碼。

不幸的是，所描述的方法都不能完全解決漏洞問題，尤其是如果攻擊者對模型和防御方法有充分的了解的話。

4.3 數據

在軍事背景下開發基于ML的應用是具有挑戰性的，因為軍事組織、訓練設施、平臺、傳感器網絡、武器等的數據收集應用最初不是為ML目的設計的。因此，在這個領域，往往很難找到真實世界的、高質量的、足夠大的數據集，可以用來學習和深入理解的。在本節中，我們將探討即使在有限的訓練數據中也可以用來建立ML應用的技術。

4.3.1 遷移學習

遷移學習（也在第4.2.2節中提到）是一種技術，通常在數據集較小和計算資源有限時使用。這個想法是在開發針對其他類似任務的新模型時，重復使用通常由 DNN 表示的預訓練模型的參數。至少有兩種方法可用于DL應用中的遷移學習：

• 重新學習輸出層：使用這種方法，預先訓練好的模型的最后一層被替換成新的輸出層，與新任務的預期輸出相匹配。在訓練過程中，只有新輸出層的權重被更新，其他的都是固定的。
• 微調整個模型：這種方法類似于第一種方法，但在這種情況下，可能會更新整個 DNN 的權重。 這種方法通常需要更多的訓練數據。

事實證明，遷移學習也可以提高模型的泛化能力。然而，隨著源任務和目標任務之間距離的增加，遷移學習的積極作用往往會減少。

4.3.2 生成性對抗網絡

生成性對抗網絡（GANs）是由Goodfellow等人發明的，是一種生成模型，可用于半監督學習，其中將一小組標記的數據與一大組未標記的數據相結合以提高模型的性能。基本的GAN實現由兩個DNN組成，分別代表一個生成器和一個判別器。生成器被訓練成產生假數據，而判別器被訓練成將數據分辨為真實或虛假。當這兩個網絡同時被訓練時，一個網絡的改進也會導致另一個網絡的改進，直到最后達到一個平衡。在半監督學習中，生成器的主要目標是產生未標記的數據，用于提高最終模型的整體性能。除了半監督學習之外，GANs還被用于：

• 重建：填補部分被遮擋的圖像或對象的空白部分。
• 超分辨率：將圖像從低分辨率轉換為高分辨率。
• 磁帶到圖像的轉換：將圖像從冬天轉換為夏天，從夜晚轉換為白天，等等。這項技術的一個軍事應用是可以將夜視圖像轉換為日光圖像。

4.3.3 建模和仿真

建模和仿真已被軍隊廣泛用于培訓、決策支持和研究等。因此，有很多經過長期驗證的模型，也有可能被用于生成ML應用的合成數據。例如，飛行模擬器可以用來生成置于不同環境中飛機的合成圖像。在這種情況下，標簽是自動的，因為在生成合成圖像之前，飛機的類型是已知的。然而，不足為奇的是，在將模型應用于真實世界的圖像時，使用合成圖像可能會導致性能不佳。目前正在探索的一種方法是采用GANs增強合成圖像，使其具有照片般的真實性。這種方法已經得到成功的應用。

5 結論

人工智能最近的突破正在逐漸達到可以用于軍事應用的地步。 該論文描述了在監視、水下魚雷戰和網絡安全中使用人工智能的一些可能性。 其他潛在應用包括使用半自動駕駛車輛和傳感器系統進行偵察、在具有長時間要求的防空系統中進行威脅評估、新興模式的情報分析、指揮和控制系統以及教育和培訓。 然而，人工智能的軍事應用需要考慮以下方面的挑戰：

• 確保模型性能符合軍事要求的透明度。
• 脆弱性可能會導致系統性能大幅度降低。
• ML的訓練數據不足。

專注于人工智能的透明度、可解釋性和可解釋性問題的研究人員已經取得了許多進展。這些進展中的許多部分也都可能被用于軍事人工智能應用中。然而，需要進行更徹底的需求分析以了解如何利用這些研究成果。軍事需求在風險、數據質量、法律要求等方面與一般情況相比非常不同，有些類型的透明度甚至可能不適用。此外，還需要對如何利用社會科學研究來提高人工智能的可解釋性進行更多研究。未來的研究還應該包括如何充分利用在視覺分析研究領域中開發地豐富的可視化技術。

由于目前還沒有解決脆弱性問題的有效方案，因此在監測這一研究領域不斷尋找有希望的解決方案非常重要。然而，在這種解決方案出現之前，有必要盡量減少外部對模型和防御技術的訪問。否則，對手可能會試圖利用這些漏洞來為自己謀利。

最后，遷移學習使其有可能將預先訓練好的模型應用于訓練數據和計算資源都有限的軍事應用。GAN是另一種有很前途的技術，它能夠采用標記的和未標記的數據進行學習（半監督學習）。GAN也可以與仿真結合使用，以提高合成的訓練數據的真實性。

盡管人工智能 (AI) 具有許多潛在的好處，但它也被證明在復雜的現實世界環境（如軍事行動）中表現出許多挑戰，包括脆弱性、感知限制、隱藏的偏見和缺乏因果關系模型，這些對于理解和預測未來事件很重要。這些限制意味著，在可預見的未來，人工智能仍不足以在許多復雜和新穎的情況下獨立運行，并且人工智能需要由人類仔細管理才能實現其預期的效用。

本報告“Human-AI Teaming: State-of-the-Art and Research Needs” 檢查了與人類操作相關的 AI 系統的設計和實施相關的因素。本報告概述了人機協作的研究現狀，以確定差距和未來的研究重點，并探討了實現最佳性能的關鍵人機系統集成問題。

報告提綱

• 總結 1
• 1 引言 5
  • 研究背景和向委員會負責, 6
  • 委員會的方法, 7
  • 自動化和人工智能, 7
  • 人工智能的局限性, 8
  • 人工智能對人類表現的影響, 9
  • 報告結構和摘要, 10
• 2 人類與人工智能協作的方法和模式 11
  • 協作編隊, 11
  • 人類與人工智能的協作模式和觀點, 12
  • 人類應該與人工智能合作嗎？
  • 人類與人工智能協作的改進模型, 16
  • 關鍵挑戰和研究差距, 17
  • 研究需求, 17
  • 總結, 18
• 3 人類與人工智能的協作過程和效果 19
  • 人工智能成為隊友意味著什么？
  • 有效的人類-人工智能協作的過程和特征, 20
    • 編隊的異質性, 20
    • 共同的認知, 21
    • 溝通和協調, 22
    • 社會智能, 22
    • 有效協作的其他特征, 23
  • 主要挑戰和研究差距, 23
  • 研究需求, 23
  • 總結, 24
• 4 人類與人工智能協作的態勢感知 25
  • 多域作戰中的態勢感知, 25
    • 關鍵挑戰和研究差距, 27
    • 研究需求, 27
  • 人類與人工智能編隊中的共享SA, 27
    • 關鍵挑戰和研究差距, 29
    • 研究需求, 29
  • 總結, 30
• 5 AI的透明度和可解釋性 31
  • 顯示透明度, 34
    • 關鍵挑戰和研究差距, 35
    • 研究需求, 35
  • 人工智能的可解釋性, 36
    • 關鍵挑戰和研究差距, 37
    • 研究需求, 38
  • 總結, 40
• 6 人類與人工智能編隊的互動 41
  • 自動化水平, 41
    • 關鍵挑戰和研究差距, 44
    • 研究需求, 44
  • 人工智能的動態和時間性, 44
    • 關鍵挑戰和研究差距, 45
    • 研究需求, 45
  • 控制的顆粒度, 46
    • 關鍵挑戰和研究差距，46
    • 研究需求, 46
  • 其他人類與人工智能編隊的互動問題, 47
    • 關鍵挑戰和研究差距, 47
    • 研究需求, 47
  • 總結, 48
• 7 信任人工智能隊友 49
  • 過去和現在的信任框架, 49
  • 復雜工作環境下的人工智能信任, 51
  • 關鍵挑戰和研究差距, 51
  • 研究需求, 52
  • 總結, 55
• 8 識別和減輕人類與人工智能編隊中的偏見 57
  • 人類的偏見, 57
  • 人工智能偏見, 57
  • 人與人工智能編隊的偏見, 59
  • 關鍵挑戰和研究差距, 60
  • 研究需求, 60
  • 總結, 61
• 9 訓練人類與人工智能編隊 63
  • 為人類與人工智能編隊訓練提供參考的人與人編隊訓練, 63
    • 編隊訓練的策略, 64
    • 仿真的使用, 64
    • 訓練內容：任務工作和團隊合作, 65
  • 關鍵挑戰和研究差距, 65
  • 研究需求, 66
  • 總結, 67
• 10 人類與人工智能編隊協作和績效的HSI過程和量化 69
  • 在人-AI編隊的設計和實施中采取HSI視角, 69
    • 關鍵挑戰和研究差距, 70
    • 研究需求, 70
  • 人類與人工智能編隊發展的研究要求, 71
    • 關鍵挑戰和研究差距, 71
    • 研究需求, 71
  • 研究團隊的能力, 72
    • 關鍵挑戰和研究差距, 73
    • 研究需求, 73
  • 人類與人工智能編隊的HSI考慮因素, 73
    • 關鍵挑戰和研究差距, 75
    • 研究需求, 75
  • 人類與人工智能編隊的測試、評估、驗證和確認，75
    • 關鍵挑戰和研究差距, 77
    • 研究需求,77
  • 人類與人工智能編隊研究試驗臺，77
    • 關鍵挑戰和研究差距，78
    • 研究需求, 78
  • 人類與人工智能編隊的措施和衡量標準, 78
    • 關鍵挑戰和研究差距, 80
    • 研究需求, 80
  • 敏捷軟件開發和HSI, 81
    • 關鍵挑戰和研究差距, 82
    • 研究需求, 82
  • 總結, 83
• 11 結論 85
• 參考文獻 91
• 附錄
• A 委員會簡歷 115
• B 人類與人工智能協作研討會議程 119
• C 定義 121

報告總結

美國軍方正加大對人工智能(AI)技術的投資，用于提高數據處理速度、任務規劃自動化，以及創建更快的預測目標和系統維護，該技術也會在多域作戰(MDO)的指揮控制中發揮關鍵作用。實現這一目標就要求人工智能系統具備任務執行的可靠性和健壯性，并且可以作為人類的隊友協同工作。

盡管人工智能技術優勢良多，但是也被證明在復雜的真實世界環境(如軍事行動)中面臨諸多挑戰，包括脆弱性、感知限制、隱藏的偏見以及缺乏預測關系模型等。這就意味著，在可預見的未來，人工智能將仍然不足以在復雜和新環境下獨立運行，人類需要仔細管理人工智能系統才能達到預期效果。

過去30年研究表明，人們作為復雜自動化(包括人工智能系統)的監控者同樣面臨巨大挑戰。人們可能會對系統正在做的事情缺乏了解，在嘗試與人工智能系統交互時工作負載高，在需要干預時缺乏態勢感知，基于系統輸入的決策偏差，以及手工技能的退化。這些眾多的挑戰將繼續在人類方面產生問題，即使是更有能力的基于人工智能的自動化。

因此，需要開發有效的人-智能協同編隊能力，利用人類和AI的獨特能力，克服各自的不足。一個高效的人-人工智能編隊最終會增強人的能力，提高性能，超越任何一個實體。為此，委員會制定了一套相互關聯的研究目標，旨在圍繞人類-人工智能編隊發展，這些目標基于對人類-人工智能編隊(第2章)、編隊流程(第3章)、態勢感知（SA）(第4章)、人工智能透明度和可解釋性(第5章)、人類-人工智能交互方法(第6章)、信任(第7章)、減少人和人工智能偏見(第8章)和培訓(第9章)的模型和度量的改進，并得到了人-系統集成(HSI)流程基金會(第10章)的支持。該報告總結提出人類-人工智能編隊研究目標，包括近期、中期和遠期目標。

人類-人工智能編隊模型

委員會研究發現，將人類和人工智能系統作為一個編隊來考慮具有重要價值。這種編隊結構促使人們認識到需要考慮每個團隊成員相互關聯的角色，并強調團隊互動的價值，包括溝通和協調，以提高綜合效能。在這樣的編隊安排中，研究認為，一般來說，出于倫理和實踐的原因，人類應該對人工智能系統擁有權威。需要改進人類-人工智能編隊的計算模型，考慮相互關聯的、動態發展的、分布式的和自適應的協同任務和條件，這些任務和條件也是MDO的網絡化指揮控制系統所需要的，并且在設計交互空間內是可預測的。需要改進人類-人工智能編隊的度量標準，考慮團隊管理相互依賴和動態角色分配能力，減少不確定性，并提高人工智能系統提供符合作戰人員期望的能力。

雖然假設人類-人工智能編隊將比人類或人工智能系統單獨運行更有效，但研究認為：除非人類能夠理解和預測人工智能系統的行為，否則情況不會如此；與人工智能系統建立適當的信任關系；根據人工智能系統的輸入做出準確的決策；以及時和適當的方式對系統施加控制。

人類-人工智能編隊流程

人類和人工智能系統進行編隊需要一個精心設計的系統，該系統具有任務分配工作和團隊合作的能力。沿著這條路線，需要通過改進團隊組合、目標對齊、溝通、協調、社會智能和開發新的人工智能語言來研究提高長期、分布式和敏捷的人工智能編隊的效率。這項研究可以利用現有人類-人類編隊的工作，但也認識到，需要新的研究來更好地理解和支持人類和人工智能系統之間的編隊流程。此外，研究認為，應該考察人工智能系統通過充當團隊協調員、指揮者或人力資源經理來提高團隊績效的潛力。

態勢感知

人們普遍認為，態勢感知(SA)對于有效的MDO性能至關重要，包括對人工智能系統的監督。在指揮控制作戰中支持個人和團隊SA的方法需要擴展到MDO，并且需要使用AI來支持信息集成、優先排序和跨聯合作戰空間路由的方法，以及提高SA對敵對攻擊的彈性。需要開發改善人工智能系統的人類SA的方法，這些方法考慮不同類型的應用、操作的時間以及與基于機器學習(ML)的人工智能系統能力。此外，旨在在人工智能團隊中創建共享SA的研究值得關注。人工智能系統需要在多大程度上既有自我意識又有對人類隊友的意識，這需要探索，以確定整體團隊表現的好處。最后，未來的人工智能系統將需要擁有綜合的態勢感知模型，以恰當地理解當前的情境，并預測未來情境。動態任務環境的人工智能模型是非常必要的，它可以與人類一起調整或消除目標沖突，并同步情景模型、決策、功能分配、任務優先級和計劃，以實現協調和下達的行動任務。

人工智能的透明度和可解釋性

改進的人工智能系統透明性和可解釋性是實現改進的人類SA和信任的關鍵。實時透明對于支持人工智能系統的理解和可預測性是至關重要的，并且已經被發現可以顯著地補償回路外的性能缺陷。需要研究更好定義信息需求和方法，以實現基于ML的AI系統的透明性，以及定義何時應該提供這樣的信息來滿足SA需求，而不會使人過載。需要進一步探索基于ML的人工智能系統的解釋的改進可視化，以及對機器人物角色的價值。此外，通過研究可以告知改進的多因素模型，解釋如何促進信任和信任影響的決策。需要開發有效的機制來使解釋適應接受者的需求、先驗知識和假設以及認知和情緒狀態。研究建議，應致力于確定對人類推理的解釋是否同樣可以改善人工智能系統和人-人工智能編隊的效能。

人-人工智能編隊互動

人-人工智能編隊中的交互機制和策略對團隊效率至關重要，包括隨著時間的推移支持跨職能靈活分配自動化級別(loa)的能力。需研究確定改進的方法，支持人類和人工智能系統在共享功能方面的合作，支持人類操作員在多個loa下與人工智能系統一起工作，并確定在高loa下與人工智能系統一起工作時保持或恢復SA的方法(在環控制)。還需要研究來確定新的要求，支持人-人工智能編隊之間的動態功能分配，并確定隨著時間的推移支持loa中動態過渡的最佳方法，包括這種過渡應該何時發生，誰應該激活它們，以及它們應該如何發生，以保持最佳的人-人工智能編隊效能。研究建議也對劇本控制方法進行研究，將其擴展到MDO任務和人-人工智能編隊中應用。最后，更好地理解和預測緊急人機交互的研究，以及更好地理解交互設計決策對技能保留、培訓要求、工作滿意度和整體人機團隊彈性影響的研究也是非常有益的。

信任

對人工智能的信任被認為是使用人工智能系統的一個基本因素。這將有利于未來的研究，以更好地記錄團隊環境中涉及的決策背景和目標，促進對更廣泛的社會技術因素如何影響人-人工智能編隊中的信任的理解。超越監督控制的交互結構也將受益于進一步的研究，特別是理解人工智能可指導性對信任關系的影響。需要改進信任措施，利用合作的重要性，將不信任的概念與信任分開。最后，需要信任的動態模型來捕捉信任如何在各種人-人工智能編隊環境中演變和影響效能結果。這項研究將很好地檢驗從二元團隊互動中出現的信任結果，并將這項工作擴展到信任如何在更大的團隊和多層級網絡中的效果。

偏差

人工智能系統中的潛在偏差，通常是隱藏的，會通過算法的開發以及系統偏差等因素造成。此外，人類可能會遇到決策偏差。特別重要的是，人工智能系統的準確性會直接影響人類的決策，從而產生人類-人工智能編隊偏見；因此，人類不能被視為人工智能建議的獨立裁決者。需要進行研究，以更好地理解人類和人工智能決策偏差之間的相互依賴性，這些偏差如何隨著時間的推移而演變，以及用基于ML的人工智能檢測和預防偏差的方法。還需要研究發現和防止利用這些偏見的攻擊行為。

訓練

需要對人-人工智能編隊進行訓練。考慮到各種團隊組成和規模，需要有針對性的研究如何訓練人-人工智能編隊。可以探索現有的訓練方法，看看它們是否適用于人-人工智能編隊。此外，可能需要訓練來更好地校準人類對人工智能隊友的期望，并培養適當的信任水平。開發和測試人-人工智能編隊工作程序需要特定的平臺。

HSI流程和措施

最后，要成功開發一個能像好隊友一樣工作的人工智能系統，需要HSI過程和方法改進。良好的HSI實踐將是新人工智能系統的設計、開發和測試的關鍵，特別是基于敏捷或DevOps實踐的系統開發。有效的人工智能團隊也需要新的HSI設計和測試方法，包括提高確定人工智能團隊要求的能力，特別是那些涉及人工智能的團隊。多學科人工智能開發團隊需要改進的方法，包括人工工程工程師、社會研究人員、系統工程師和計算機科學家。還需要圍繞人工智能生命周期測試和可審計性以及人工智能網絡漏洞的新團隊、方法和工具。需要開發用于測試和驗證進化的AI系統的方法，以檢測AI系統盲點和邊緣情況，并考慮脆弱性。支持這些新團隊研發活動的新人工智能試驗臺也很重要。最后，可能需要改進人機系協同的度量標準，特別是關于信任、心智模型和解釋質量的問題。

研究結論

總共提出了57個研究目標，以解決有效的人-人工智能編隊面臨的許多挑戰。這些研究目標分為近期(1-5年)、中期(6-10年)和遠期(10-15年)優先事項。這一組綜合的研究目標若實現，將在人-人工智能編隊競爭力方面取得重大進展。這些目標是將人工智能安全引入MDO等關鍵行動的基本前提，它們為更好地理解和支持人工智能系統的有效應用提供了參考框架。

為機器配備對世界實體及其關系的全面了解一直是人工智能的一個長期目標。在過去的十年中，大規模知識庫(也稱為知識圖譜)已經從Web內容和文本源中自動構建出來，并且已經成為搜索引擎的關鍵模塊。這種機器知識可以被用來從語義上解釋新聞、社交媒體和網絡表格中的文本短語，并有助于回答問題、自然語言處理和數據分析。本文調查基本概念和實際的方法來創建和管理大型知識庫。它涵蓋了用于發現和規范化實體及其語義類型以及將它們組織成干凈的分類法的模型和方法。在此基礎上，本文討論了以實體為中心的屬性的自動提取。為了支持機器知識的長期生命周期和質量保證，本文提出了構建開放模式和知識管理的方法。學術項目的案例研究和工業知識圖表補充了概念和方法的調查。

概述

增強計算機的“機器知識”，可以推動智能應用是計算機科學的一個長期目標[323]。由于知識獲取方面取得了重大進展，這一以前難以捉摸的愿景如今已變得切實可行。這包括將嘈雜的互聯網內容轉化為實體和關系上的清晰知識結構的方法。知識獲取方法使得自動建設知識庫(KB):機器可讀的關于現實世界的事實的集合。如今，公開的KBs提供了數以百萬計的實體(比如人、組織、地點和書籍、音樂等創意作品)和數十億的聲明(比如誰研究了哪里，哪個國家擁有哪一種資本，或者哪位歌手演唱了哪首歌)。大公司部署的專有KBs包含了更大范圍的知識，有一到兩個數量級的實體。

知識庫成為關鍵資產的一個突出用例是Web搜索。當我們向百度、Bing或谷歌發送一個類似“迪倫抗議歌曲”的查詢時，我們會得到一個清晰的歌曲列表，比如《Blowin ' in the Wind》、《Masters of War》或《a- gonna Rain ' s a- gonna Fall》。因此，搜索引擎自動檢測到我們對某一個體實體的事實感興趣——這里是鮑勃·迪倫——并要求特定類型的相關實體——抗議歌曲——作為答案。這是可行的，因為搜索引擎在其后端數據中心有一個巨大的知識庫，有助于發現用戶請求(及其上下文)中的實體，并找到簡明的答案。

本文介紹了從Web和文本源自動構建和管理大型知識庫的方法。我們希望它將對博士生和對廣泛的主題感興趣的教師有用——從機器知識和數據質量到機器學習和數據科學，以及web內容挖掘和自然語言理解的應用。此外，本文還旨在為從事web、社會媒體或企業內容的語義技術的行業研究人員和實踐者提供幫助，包括從文本或半結構化數據構建意義的各種應用程序。不需要有自然語言處理或統計學習的先驗知識;我們將根據需要介紹相關的方法(或至少給出文獻的具體指示)。

這篇文章共分為十章。第2章給出了知識表示的基礎知識，并討論了知識庫的設計空間。第3、4和5章介紹了構建包含實體和類型的知識庫核心的方法。第3章討論了利用具有豐富和干凈的半結構化內容的優質資源，第4章討論了從文本內容中獲取的知識。第5章特別關注將實體規范化為唯一表示的重要問題。第6章和第7章通過發現和提取實體的屬性以及實體之間的關系的方法擴展了知識庫的范圍。第6章主要討論為感興趣的屬性預先設計模式的情況。第7章討論了為KB模式中尚未指定的屬性和關系發現新的屬性類型的情況。第8章討論了知識庫管理和知識庫長期維護的質量保證問題。第9章介紹了幾個具體KBs的案例研究，包括工業知識圖譜(KGs)。我們在第10章以關鍵課程和關于機器知識主題可能走向的展望來結束。