機器學習在過去十年取得了重大進展。其最成功的范式是深度神經網絡，由連續表示層組成，其參數通過梯度下降在大規模數據集上進行優化。

深度神經網絡在許多任務上取得了卓越的性能，如物體識別、語言理解和自動駕駛。然而，他們仍然在推理任務中掙扎，這些任務通常需要操作符號并將多個步驟組合起來，例如，求解數學方程或編寫計算機程序。在這篇論文中，我們的目標是彌合這一差距，并教機器以精確、系統、可解釋和魯棒的方式進行推理，以應對現實環境中的模糊性。**本文采用神經符號方法，結合機器學習和符號推理的互補優勢。符號推理具有精確性和系統性。**但它已被限制在可嚴格形式化的領域。相比之下，主要的機器學習方法很靈活，但眾所周知難以解釋，需要大量數據，并且無法在訓練分布之外進行泛化。集成兩種方法的優勢對于構建具有精確和系統泛化能力的靈活推理機至關重要。具體而言，本文從兩個角度研究了神經符號推理。首先，將機器學習應用于與符號推理相關的任務，如自動定理證明(第2章)。其次，將符號推理啟發的歸納偏差引入機器學習模型，以提高其可解釋性、泛化性和數據效率(第3章和第4章)。結果強調了(1)神經符號模型架構，(2)在適當的抽象水平上進行推理，以及(3)明確的、推理的組合表示，如符號證明。 //dataspace.princeton.edu/handle/88435/dsp015q47rr958

場景表示是將對環境的傳感觀察轉換為緊湊描述的過程。這種智能行為是人工智能的基石。長期以來，科學家們一直試圖重現人類理解物理環境的非凡能力。將對環境的視覺傳感觀察作為輸入，現代智能系統主要致力于學習對基本場景屬性(如幾何和語義)進行編碼的神經表示。這種表示可以用于支持其他下游任務，最終在復雜的3D世界中實現自主感知和交互。近年來，深度神經網絡在神經場景表示中的幾何和語義信息建模方面表現出色。然而，由于不受控制的現實場景的脆弱性，構建健壯的系統仍然具有很高的挑戰性。由于對場景變化的傳感觀察的差異，不同類型的視覺表示之間的領域差距，以及對多類別信息的高效感知的要求，這為場景表示學習帶來了巨大的復雜性。為克服這些挑戰，本文追求魯棒、統一和信息豐富的場景表示，從不同類型的視覺輸入中學習幾何和語義，為自主學習理解周圍世界的智能機器鋪平道路。在此背景下，本文在視覺定位、像素點匹配和語義曲面重建領域做出了三個核心貢獻。

在這篇論文中，我們從單幅圖像開始估計6自由度(DoF)相機姿態。為了學習對環境變化和傳感器操作具有魯棒性的場景表示，提出了一種結合自注意模塊的神經網絡來建模復雜的幾何關系，給定的圖像相對于參考環境進行拍攝。然后，基于極線幾何和立體視覺的內在約束，我們構建了一個更通用的框架，在二維圖像和三維點云之間尋找統一的表示形式。通過引入超寬接收機制和新的損失函數，提出了一種雙全卷積框架，將2D和3D輸入映射到共享的潛表示空間中，以同時描述和檢測關鍵點，彌合2D和3D表示之間的差距。最后，我們將我們的研究擴展到開發信息表示，這通常是智能系統在現實場景中同時用于多個目的的操作所需要的。在借鑒以往基于點的網絡研究成果的基礎上，我們引入了一種全新的端到端神經隱式函數，它可以聯合估計原始和大規模點云的精確三維曲面和語義。

總體而言，本文開發了一系列新穎的深度神經框架，以推動場景表示的機器學習領域向能夠完全感知現實世界3D環境的人工智能發展。

多域作戰（MDO）概念的核心是利用由分布在多個合作伙伴之間的遠程和自主傳感器以及人類智能組成的重疊系統的情報、監視和偵察（ISR）網絡。實現這一概念需要人工智能（AI）的進步，以改善分布式數據分析，以及智能增強（IA），以改善人機認知。本文的貢獻有三點。(1)我們將聯盟態勢理解(CSU)的概念映射到MDO ISR的要求上，特別關注對有保障和可解釋的人工智能的需求，以便在資產分布于多個合作伙伴的情況下進行強有力的人機決策。(2) 我們提出了MDO ISR中人工智能和IA的說明性情景，包括人機合作、密集的城市地形分析和增強資產互操作性；(3) 我們評估了與情景相關的可解釋人工智能的最新進展，重點是人機合作，以實現更快速和敏捷的聯盟決策。這三個要素的結合旨在展示CSU方法在MDO ISR背景下的潛在價值，基于三個不同的用例，強調了在多伙伴聯盟環境下對可解釋性的需求是如何的關鍵

引言

多域作戰（MDO）需要在有爭議的環境中，針對近鄰對手，在多個領域--從密集的城市地形到空間和網絡空間--開展行動的能力、能力和耐力（美國陸軍2018年）。MDO作戰環境的一個關鍵特征是，對手將在所有領域、電磁頻譜和信息環境中進行爭奪，而盟軍的主導地位是無法保證的。敵人試圖通過在時間上、空間上、功能上和政治上等多個方面將友軍分開來實現對峙。通過降低盟軍的識別、決策和行動的速度，以及通過多種手段（外交、經濟、常規和非常規戰爭，包括信息戰）瓦解聯盟來實現對峙。在這種情況下，快速和持續地整合收集、處理、傳播和利用可操作的信息和情報的能力變得比以往任何時候都更重要。

為了應對這一挑戰，MDO中的分層ISR概念設想利用 "與合作伙伴開發的現有情報、監視和偵察（ISR）網絡。...由遠程和自主傳感器、人類情報和友好的特種作戰部隊的重疊系統組成'（美國陸軍2018年，第33-34頁）。在空前激烈的競爭環境中實現ISR資產的價值最大化，需要有能力在合作伙伴之間共享資源--在作為聯合、機構間和多國團隊的一部分進行的行動中--在一個可控但開放的聯盟環境中，以可知的信任和信心水平。

人工智能（AI）和機器學習（ML）技術被視為實現MDO中分層ISR愿景的關鍵："迅速將數據傳播給采用人工智能或其他計算機輔助技術的野戰軍或軍團分析小組，以分析大量數據"（美國陸軍2018年，第39頁）。事實上，MDO環境的要求被視為需要一種能力，以超過人類認知能力的速度和規模，融合包括ISR在內的多個領域的能力。強大的、可互操作的人工智能/ML被認為是融合來自多種資產的數據并在行動伙伴之間傳播可操作的知識以告知決策和任務完成的關鍵（Spencer, Duncan, and Taliaferro 2019）。

總之，挑戰是使人類和機器智能體（軟件和機器人）能夠在聯合、機構間、多國和高度分散的團隊中有效運作，arXiv:1910.07563v1 [cs.AI] 2019年10月16日 在分布式、動態、復雜和雜亂的環境中。從人類的角度來看，人工智能和ML是克服人類因操作速度和規模而產生的認知限制的必要工具，其目的是增強--而不是取代--人類的認知和決策。在這里，我們把智能增強（IA）看作是對人工智能的補充，正如在人工智能歷史的最早時期（Engelbart 1962）所設想的那樣。我們專注于由人類和AI/ML智能體組成的快速形成的聯盟團隊，在網絡邊緣運作，具有有限的連接、帶寬和計算資源，發揮決策作用，例如，陸軍士兵在密集的城市環境中。然而，大部分的討論也將適用于其他領域的一系列其他角色，例如，進行網絡領域決策的情報分析員。

我們之前在一個相關的背景下研究了這一挑戰：聯盟情境理解（CSU）（Preece等人，2017年），其中我們確定了人機協作中兩個特別重要的屬性：可解釋性以支撐信心，可講述性以提高操作的靈活性和性能。本文主要關注其中的第一個屬性，但也涉及到第二個屬性。我們首先在MDO背景下重新審視了CSU的概念，然后研究了該概念在三個MDO小故事中的應用：人機協作、密集城市地形分析和增強資產互操作性。最后，我們評估了與小插曲相關的可解釋人工智能的最先進技術，強調了分層解釋的概念（Preece等人，2018）是如何與MDO分層ISR中的人工智能/ML保證需求相適應的。

在繼續之前，我們退一步指出，MDO環境的關鍵特征--（i）快速變化的情況；（ii）獲得真實數據來訓練AI的機會有限；（iii）行動期間的嘈雜、不完整、不確定和錯誤的數據輸入；以及（iv）采用欺騙性技術來擊敗算法的同行對手--并非軍事背景所獨有；它們通常在政府和公共部門的應用中更普遍存在，正如這些努力的聯合、機構間和多國方面。事實上，一般來說，MDO概念的多領域廣度及其對競爭和沖突階段的考慮，意味著MDO影響到屬于政府和公共部門的政治和社會領域。

MDO的聯盟態勢理解

形勢理解（SU）是 "將分析和判斷應用于單位的形勢意識，以確定現有因素的關系，并形成關于對部隊或任務完成的威脅、任務完成的機會和信息差距的邏輯結論的產物"（Dostal 2007）。英國的軍事學說（英國國防部2010年）對理解的定義如下：

理解（洞察力）=對形勢的認識和分析

理解力（預見力）=理解力和判斷力

在這里，理解包括預見性，即推斷（預測）潛在的未來狀態的能力，這與SU涉及能夠得出有關威脅的結論的常見定義是一致的（Dostal 2007）。預見性必然包括在時間上處理和推理信息的能力。這些關于SU的觀點與信息融合有著內在的聯系，因為它們涉及收集和處理來自多個環境來源的數據，作為得出SU的輸入。就數據融合的JDL（Joint Directors of Laboratories）模型而言（Blasch 2006），就考慮的語義實體和關系的種類而言，CSU問題可能涉及相對較高或相對較低的理解水平。例如，在相對較低的層次上，CSU問題可能只涉及車輛或建筑物等物體的探測、識別和定位（JDL 1級和2級）。在更高層次上，CSU問題將涉及到確定威脅、意圖或異常情況（JDL 3級）。此外，來源通常會跨越多種模式，例如，圖像、聲音和自然語言數據（Lahat, Adali, and Jutten 2015）。

圖1：CSU分層模型（來自（Preece等人，2017））虛擬分布于多個合作伙伴，并采用多種技術：人機協作（HCC）、知識表示和推理（KRR）；多智能體系統（MAS）；機器學習（ML）；自然語言處理（NLP）、視覺和信號處理（VSP）。

我們在聯盟行動背景下的SU的概念架構--聯盟態勢理解（CSU）--如圖1所示。最底層由數據源（物理傳感器和人類產生的內容）的集合組成，可在整個聯盟內訪問，收集多模式數據。上面的三層大致對應于JDL模型的0-3層。對于每一層，圖中顯示了所采用的主要技術--包括人工智能和ML--，盡管其他技術也可能被利用。信息表示層使用傳入的數據流來學習概念，并對實體以及它們在多層次語義顆粒度上的關系進行建模。過去的觀察歷史以明確或隱含的方式被編碼在這些表示中。信息融合層采用所開發的算法和技術，對來自信息表示層的概念和實體進行賦值。該層估計世界的當前狀態，提供洞察力（態勢感知）。然后，預測和推理層使用估計的當前狀態，加上模型的狀態空間來預測未來的狀態，提供預見性（情景理解）。圖中描述了聯盟的虛擬視圖：所有四個層都分布在聯盟中。

根據用戶融合模型（Blasch 2006），圖1中的上層需要對人類開放，為推理提供專家知識；這些層也需要對人類用戶開放，即能夠對系統產生的洞察力和預見力進行解釋。不同層之間存在著雙向的信息交流：在向上（前饋）的方向，低層的推理作為下一層的輸入；在向下（反饋）的方向，信息被用來調整模型和算法參數，并可能以不同的方式給傳感器分配任務。要創建更好的系統來支持CSU，就必須開發成熟的模型和算法，在一段時間內減少人類的干預，實現更大的自主性，但不能取代人類的參與和監督。

CSU-MDO情節

情節1：增強資產的互操作性

以MDO的分層ISR概念為出發點（"遠程和自主傳感器、人類智能和友好特種作戰部隊的重疊系統"（美國陸軍2018年）第34頁 )，我們認為人類是圖2中描述的多智能體環境中的三種ISR智能體之一，同時還有基于(i)亞符號AI技術（例如深度神經網絡（LeCun, Bengio, and Hinton 2015））和(ii)符號AI技術（例如基于邏輯的方法）的軟件智能體。為了實現這三種智能體（ISR資產）之間的互操作性，我們需要：

1.使亞符號人工智能智能體能夠分享不確定性意識到的見解和知識的表示，然后可以傳達給符號人工智能智能體。

2.使符號人工智能智能體能夠從數據中學習因果聯系的不確定性分布，同時能夠與亞符號人工智能智能體分享洞察力；以及

3.開發共生人工智能技術，以有效地與人類互動，首先是通過從人機合作活動中不斷學習來適應定型的行為。

圖2：CSU的多智能體非層次方法：（上）人類智能體，（左下）亞符號AI智能體，（右下）符號AI智能體。

前兩個案例的重點是機器資產之間的互操作性。在第三個案例中，我們超越了傳統的分層架構，即人類只與裝備了符號化人工智能的智能體進行互動，而這些智能體又利用亞符號化人工智能在特定任務上實現人類水平或卓越的性能。這樣的傳統架構是有限的，因為：（1）并不總是需要符號AI與人類互動（Ribeiro, Singh, and Guestrin 2016）；（2）有些任務，符號AI可以支持亞符號AI智能體（Xu等人，2018）；（3）有些任務，人類可以支持符號和/或亞符號AI智能體（Phan等人，2016），因此AI智能體需要配備學習和推理人類層次和結構的能力。

圖3提供了（Spencer, Duncan, and Taliaferro 2019）中設想的MDO分層ISR架構與前面對資產的符號化、亞符號化或混合化特征之間的映射。

圖3：來自（Spencer, Duncan, and Taliaferro 2019）的簡化版圖：矩形代表符號系統；圓形代表亞符號系統；圓角矩形代表混合元素。

情節2：人機編隊

我們的工作旨在提高能力，以促進復雜的聯盟任務，支持MDO，其中聯合和多國團隊和多領域的需求是至關重要的（美國陸軍2018）。最重要的是，在作戰情況發生時提供一個連貫的觀點和評估，從而在復雜、有爭議的環境中整合CSU的學習和推理，為網絡邊緣的決策者提供信息。如前所述，CSU既需要集體洞察力--從不確定且通常稀少的數據中獲得對局勢的準確和深刻理解，也需要集體預見力--預測未來會發生什么的能力（Preece等人，2017）。

多年來，承受力的概念一直是人機交互（HCI）領域的核心，指的是一個物體的 "用途"，即 "該事物的感知和實際屬性，主要是那些決定該事物如何可能被使用的基本屬性"（Norman 1988）。在MDO分層ISR的背景下，有必要考慮人類和機器資產對一系列ISR任務的承受力。人機合作的目的是為了讓每一方都能利用對方的優勢，并彌補對方的弱點（Cummings 2014）。例如，（Crouser和Chang，2012年）將視覺分析范圍內的機器能力描述如下：

• 大規模數據操作。
• 大量數據的收集和存儲。
• 高效的數據移動。
• 無偏見的分析。

基于目前的機器能力，以下內容構成了人類資產的負擔（Crouser和Chang 2012）：

• 視覺和聽覺語言的感知。
• 社會文化意識。
• 創造力。
• 廣泛的背景領域知識。

在履行MDO的過程中，設想部署有人和無人的戰術總部（HQ）將變得很普遍，如圖4所示，該圖是根據（White等人，2019年）中的情景闡述的。在這里，在部署有人值守的總部A的同時，在高威脅地區進一步建立了第二個無人值守的總部B，由 "虛擬參謀 "組成。這些人被設計成與有人值守的總部中的對應人員一起工作，并減少總部的足跡以及人類操作員的工作量和威脅。自主和載人的傳感器混合在一起進入無人總部，人機合作提供了持久的要求，即有一個 "人在循環"，以做出關鍵的最終決定。

圖4：戰術領域的人機協作：部署配備了亞符號和符號AI智能體的有人和無人戰術總部；闡述自（White等人，2019）。

情節3：密集的城市地形分析

全球城市化速度的加快，以及城市和特大城市的戰略重要性，確保了MDO行動將在密集的城市地形中進行。在這里，密度指的是這種環境的物理和人口性質，產生了特定的物理、認知和行動特征。在密集的城市地形中進行MDO的準備工作，需要進行情報活動以了解人類、社會和基礎設施的細節；這些地區的特點是多樣化的、相互聯系的人類和物理網絡，以及提供不同程度的現成掩護和隱蔽的三維交戰區。

在這種環境下，ISR將利用和增強民用基礎設施。例如，民用CCTV（閉路電視攝像機）的使用將越來越多地得到自動面部識別處理的增強，以探測和跟蹤高價值目標，或支持建筑的生活模式。隨著目標進入車輛，民用自動車牌識別技術可能被利用。這種城市基礎設施的多樣性--在某些情況下擴展到全面的 "智能城市 "整合--為ISR資產之間的敏捷互操作性提出了進一步的要求，特別是由于ISR任務不一定能事先計劃需要什么樣的收集和處理。在這種情況下，分析的構成將是動態的和針對具體情況的，并不斷地重新提供和優化資源（White等人，2019）。

在密集的城市地形中，對聯合、機構間以及經常是多國合作的需求進一步凸顯。如上所述，在這種情況下，CSU取決于人與人工智能的合作：AI智能體等機器流程在數據分析方面提供了強大的能力，但它們需要為其產出提供一定程度的保證（解釋、問責、透明），特別是當這些產出被沒有接受過信息科學技術培訓的決策者所使用，并且他們可能正在利用相對陌生的當地ISR資產。目前的ML方法在生成CSU所需的世界的可解釋模型（即表征）的能力上是有限的（Lake等人，2017）。此外，這些方法需要大量的訓練數據，并且缺乏像人和基于知識表示的系統那樣從少量的例子中學習的能力（Guha 2015）。人類專家告訴機器相關信息的能力--通常來自他們對當地環境的生活經驗--增加了人類與人工智能互動的節奏和顆粒度，以及系統在滿足任務要求方面的整體響應能力。因此，重要的是為聯盟機器智能體配備綜合學習和知識表示機制，以支持CSU，同時提供保證（可解釋性）和被告知關鍵信息的能力，以減輕稀疏數據的問題（可講述性）。在最近的研究中，我們為神經符號混合環境建立了重要的基礎，包括多模態數據的多智能體學習（Xing等人，2018）、證據性深度學習（Sensoy、Kaplan和Kandemir，2018）、概率邏輯編程（Cerutti等人，2019）、正向推理架構，其中神經網絡的輸出被送入概率邏輯引擎，檢測具有復雜時空特性的事件（Vilamala等人，2019）。

MDO 中分層 ISR 的分層解釋

上一節中的三個小情節所產生的目標是，通過創建系統架構，使機器和人類智能體人之間能夠協同合作，在有爭議的環境中獲得可操作的洞察力和預見力，從而應對在MDO中快速利用適應性ISR知識為各聯盟提供決策依據這一挑戰。

在我們早期對CSU的研究中，我們發現需要將來自各聯盟伙伴的人類和機器智能體敏捷地整合到動態和反應的團隊中。我們已經將其正式化為人類-智能體知識融合（HAKF）：一種支持這種深度互動的能力，包括可解釋性和可告知性的雙向信息流，從而使人工智能和人類之間進行有意義的溝通（Braines, Preece, and Harborne 2018），如圖5所示。這種HAKF能力支持可解釋性和可講述性自然地成為人類和機器智能體之間的對話過程（Tomsett等人，2018），使AI智能體能夠對復雜的機器/深度學習分類產生的結果提供解釋，并接收修改其模型或知識庫的知識。

圖5：人類-智能體知識融合，提高信心和性能，支持更好的決策。

一個關鍵的要求是在上一節強調的分布式符號/亞符號整合中加入人類互動，并建立各種人類和AI智能體需要掌握的最低限度的共同語言集，以確保特定任務的有效溝通。為了支持動態情境感知收集和信息處理服務背景下的直觀的機器可處理的表述，我們特別關注機器生成的信息的人類可消費性，尤其是在對話式交互的背景下，以及決策者可能缺乏信息科學的深度技術訓練的情況下。這種共同語言必須能夠傳達不確定性和適當的結構，以實現與亞符號層的整合，以及與該領域相關的更傳統的語義特征。我們并不局限于純粹的語言形式，新的視覺或圖表符號，或者其他交流技術，都可以作為解決方案的一部分。

此外，有必要考慮各種自主智能體之間自動談判的情況，其中一些將是人類。同時，人類本身也可以成為學習任務的對象：如果機器智能體對單個人類智能體（或一般的人類智能體）有足夠的了解，可以推斷出建議或變化的影響，他們自己的行為就有可能被推到特定的方向。此外，機器智能體可能需要在人類智能體中找出最適合某項任務的人，而歷史數據可以幫助他們實現這一目標。這種共生的人工智能技術可以用來更有效地與人類互動，起初是通過從人機互動中不斷學習來適應定型行為。

在有爭議的環境中，這種復雜和動態的混合設置特別有風險，容易被利用，因此需要整合不確定性意識和概率能力。所有這些都要在與決策任務和人類用戶的參與相適應的節奏下實現，機器智能體能夠支持實時互動。

分層解釋

在最近的工作中，我們從解釋接受者的角度研究了可解釋性，有六種（Tomsett等人，2018）：系統創建者、系統操作者、根據系統輸出做出決定的執行者、受執行者決定影響的決策主體、其個人數據被用于訓練系統的數據主體，以及系統審查者，例如審計師或監察員。基于這個框架，我們提出了一種 "分層 "的方法，通過復合解釋對象為不同的利益相關者提供不同的解釋（Preece等人，2018），該對象將滿足多個利益相關者所需的所有信息打包在一起，并可以根據接收者的特定要求進行解包（例如，通過訪問器方法）。我們認為這樣一個對象是分層的，具體如下。

第1層--可追溯性：基于透明度的模型內部狀態的綁定，所以解釋并不完全是事后的合理化，顯示系統 "做了正確的事情"。

第二層--證明：與第一層相聯系的事后表述（可能是多種模式），提供輸入和輸出特征之間的語義關系，表明系統 "做了正確的事情"。

第三層--保證：與第二層相聯系的事后表述（同樣，可能是多種模式），明確提及政策/本體元素，以使接受者相信系統 "做了正確的事"。

集成示例

我們考慮了一個密集的城市地形環境，借鑒了（Kaplan等人，2018），其中包括CCT V在內的民用傳感基礎設施得到了聯盟ISR資產的補充。正如（Vilamala等人，2019年）所闡述的那樣，使用活動識別AI/ML服務監測來自公共市場的視頻資料。在閉路電視畫面中突然檢測到爆發了異常的、"暴力 "的身體活動。此時，通過增強的資產互操作性，聯盟ISR系統按需訪問其他傳感方式，以獲得更多關于情況的數據，挖掘最近從市場上收集的音頻數據，這些數據通過聲學傳感器獲得。處理音頻流的相關部分顯示出有節奏的吟唱，與視覺活動融合在一起，表明該活動是該地區特有的無害舞蹈儀式。請注意，該活動不具威脅性的推論構成了情景理解：具有預見性的洞察力。此外，雖然可以想象，當有足夠的數據對活動進行分類時，無害的舞蹈可以通過機器處理來識別，但在（Kaplan等人，2018）中，我們考慮的情況是，識別這種活動需要當地的文化知識，并由人機合作處理：機器將異常的視覺活動，包括來自音頻的額外背景，提請有經驗的人類智能體注意。

我們的分層解釋概念支持 "打包 "三個層次的解釋，以支持本例中人類的自信決策。

• 就視頻和音頻中的突出特征而言的可追溯性，例如，使用（Hiley等人，2019年）中的技術來區分重要的空間和時間特征（在后者，"暴力 "運動）。

• 假設可以通過機器處理來推斷活動的意義（洞察力和預見力），那么推斷的理由就很充分；以及

• 保證反事實已被考慮（無害與攻擊性行動的可能性），可能通過（Kaplan等人，2018）的不確定性意識方法表示。

結論和未來工作

在本文中，我們將聯盟態勢理解的概念應用于在多領域作戰中實現分層ISR的問題，特別是在人工智能和機器學習服務提供改進的分布式數據分析，以及情報增強--特別是對有保證和可解釋的人工智能的需求--支持改進人機認知的情況下。我們重點關注實現分層ISR愿景的三個要素：人機協作、密集的城市地形分析和增強的資產互操作性，強調在多伙伴聯盟環境下對可解釋的人工智能的需求是如何的關鍵。

我們目前和未來的工作集中在圖2所示的一般問題上：使亞符號AI智能體分享不確定性意識到的見解和知識表示，然后可以傳達給符號AI智能體，同時也使符號AI智能體有能力將見解分享給亞符號AI智能體（即機器對機器的可解釋性）。最終，我們尋求開發技術，使人工智能/語言智能體能夠通過從人機合作活動中不斷學習而與人類協同互動。

本文件介紹了作者自2010年1月加入法國航空航天實驗室（ONERA）以來形成的研究貢獻。

作者的研究是在一個部門進行的，該部門的研究活動涉及大量的信息處理技術，從邏輯推理、作戰研究到多智能體系統。應用于三個主要領域：航空電子學、空間、國防和安全。關于現有的研究方向，其研究為國防和安全領域帶來了新的見解，重點是軟數據處理的方法和技術，也就是說，由人類提供的符號數據（作戰員，人類智能）或從互聯網上收集的數據（開放智能，社會智能）。研究涉及人類報告信息的質量評估、在線數據的特征、異質信息融合的語義互操作性的發展以及信息融合的不確定性分析。

本文件報告了從2010年初到2020年底，作為ONERA的研究科學家所取得的成果。雖然作者的工作是其部門新研究路線的一部分，但一些項目，如ROSARIO（開源研究：信息和意見檢索）和RIAD（人工智能和決策網絡）使其能夠與部門的同事合作，但其大部分貢獻是與外部合作的。

作者是兩個研究項目的科學協調人。FUTHANE（Fusion Technique de Haut Niveau et Evaluation），一個由法國國防采購局資助的研究異質信息融合項目，以及FLYER（Intelligence Artificielle pour Analyser les Contenus Extrémistes sur Internet），一個由法國研究局資助的項目。FLYER項目利用人工智能方法解決網上極端主義內容的檢測問題。作者的一些科學貢獻是在這些項目的框架和背景下進行的。

本文件是對作者研究項目的綜述，該項目題為 "為國防和安全應用增強態勢感知的語義框架"。第一章介紹了理解本文件其余部分的貢獻所需的理論背景和應用環境。其余各章描述了為提高各種安全和國防背景下的態勢感知而開發的三個語義框架：評估人類操作員提供的信息項目，為異質和動態環境中的信息融合開發基于語義的方法，以及在線數據的分析和定性。

語義框架包括知識模型和在此基礎上實現的處理算法，作者的研究處于知識工程和文本數據挖掘的交叉點。

這些貢獻不是按時間順序排列的，而是根據它們的連貫性重新分組的，因為有幾條研究線是在不同的時間和不同的應用中處理的。在討論每項貢獻時，都會說明研究背景、所開發的人工制品的成熟度、主要的合作、所獲得的經驗教訓以及相關出版物的選擇。

當前軍事推演中合成角色的行為能力是有限的，因為它們通常是由基于規則和反應性計算模型生成的，具有最低限度的智能。這種計算模型不能適應反映角色的經驗，導致即使是通過昂貴和勞動密集型過程設計的最有效的行為模型也很脆弱。利用機器學習和合成實體的經驗并結合適當的先驗知識的、具備自適應能力的、基于觀察的行為模型，可以解決現有計算行為模型中的問題，從而在軍事訓練模擬中創造更好的訓練體驗。

南加州大學創新技術研究所介紹了一個框架，旨在創建自主的合成角色，這些角色能夠執行可信行為的連貫序列，同時在訓練模擬中了解人類受訓者及其需求。該框架匯集了三個相互補充的組成部分。第一個組件是基于Unity的仿真環境——快速集成和開發環境（RIDE）——支持One World Terraing（OWT）模型，能夠運行和支持機器學習實驗。第二個是Shiva，這是一個新穎的多智能體強化和模仿學習框架，可以與各種模擬環境接口，并且可以額外利用各種學習算法。最后一個組件是Sigma認知架構，它將通過符號和概率推理能力來增強行為模型。已經成功地創建了概念驗證行為模型，在現實中利用這一框架，作為將機器學習引入軍事模擬的重要一步。

論文全文：

//www.zhuanzhi.ai/paper/2902032e89eae24167b560a5e2e0de47

論文題目： Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation

摘要： 模型無關元學習的目標是從相似的任務中獲取元學習參數，以適應分布相同但梯度更新較少的新任務。由于模型選擇的靈活性，這些框架在諸如小樣本圖像分類和增強學習等多個領域表現出了良好的性能。然而，此類框架的一個重要限制是，它們尋求在整個任務分布中共享的公共初始化，這極大地限制了它們能夠學習的任務分布的多樣性。在本文中，我們增強了MAML的能力，以識別從多模式任務分布中采樣的任務模式，并通過梯度更新快速適應。具體來說，我們提出了一個多模態MAML (MMAML)框架，該框架能夠根據所識別的模式調整其元學習先驗參數，從而實現更高效的快速適應。我們在一組不同的小樣本學習任務上對所提出的模型進行評估，包括回歸、圖像分類和強化學習。結果不僅證明了我們的模型在調整元學習先驗以響應任務特征方面的有效性，而且表明了多模態分布的訓練比單模態訓練有更好的效果。

論文作者： Risto Vuorio, Shao-Hua Sun, Hexiang Hu, Joseph J. Lim

論文摘要：深度生成模型前景廣闊，但是現有模型的表達能力、可解釋性和判別性均有不足之處，亟待解決。具體而言，第一，現有深度生成模型中的網絡結構和隱變量結構都非常簡單，這限制了模型的表達能力；第二，現有深度生成模型以完全黑盒的方式擬合一個從噪音到高維數據的映射，其隱變量可解釋性不足，生成圖像的語義也難以控制；第三，無監督學習所提特征的判別能力遠遜于前饋神經網絡，而在深度生成模型中恰當地引入監督信號又是一個非平凡問題。本文面向不同的機器學習任務，設計匹配的模型和學習準則，開發高效的推理和學習算法，解決上述深度生成模型的關鍵性研究問題。本文的主要創新點如下：

1. 面向無監督學習，受神經科學啟發，提出一個帶有記憶模塊和注意力機制的 深度生成模型，提高了模型的表達能力和表現；提出對抗變分推理和學習算 法，無需對模型結構作特定假設，提高了一大類無向模型的推理和學習效果。
2. 面向無監督學習和弱監督學習，基于貝葉斯網絡和信息傳播算法，提出一個 靈活普適的結構化深度生成模型框架，可以生成新的結構化數據并推理給定 數據中的結構化隱變量，增強了深度生成模型的表達能力和可解釋性。
3. 面向有監督學習和半監督學習，基于最大間隔學習準則，提出最大間隔深度 生成模型及其變體，極大增強了顯式概率模型的判別能力，同時保留了其處 理數據中的噪音和缺失信息的能力。
4. 面向半監督學習，受博弈理論啟發，提出了三元生成對抗網絡，首次提出半 監督生成對抗網絡的最優均衡點并給出證明，顯著提高了半監督分類準確率， 并首次在給定部分標注的情況下完成了語義可控的圖像合成任務。

關鍵詞： 深度生成模型；變分推理；對抗訓練；圖像合成；有限標注

作者介紹：李崇軒是清華大學計算機系2014級的博士研究生，他的博士生導師是張鈸。他的研究興趣主要是統計機器學習，特別是各種學習任務的深度生成模型，包括無監督、(半)監督和強化學習。

機器人和自主系統在現代經濟中扮演著重要的角色。定制機器人顯著提高了生產率、操作安全性和產品質量。然而，人們通常通過編程操作這些機器人來完成較小的領域的特定任務，而無法快速適應新任務和新情況。廉價、輕便和靈活的機器人硬件的出現為將機器人的自主能力提升到前所未有的水平提供了機會。新的機器人硬件在日常環境中的一個主要挑戰是處理現實世界的持續變化性和不確定性。為了應對這一挑戰，我們必須解決感知和行動之間的協同作用:一方面，機器人的感知自適應地指導其行動，另一方面，它的行動產生了新的感知信息，用于決策。我認為，實現通用機器人自治的關鍵一步是將感知和動作緊密地結合起來。

新興的人工智能計算工具已經證明了成功的希望，并構成了在非結構化環境中增強機器人感知和控制的理想候選。機器人的實體本質迫使我們超越現有的從無實體數據集學習的范式，并激勵我們開發考慮物理硬件和動態復雜系統的新算法。

本論文的研究工作是建立可通用的機器人感知和控制的方法和機制。我們的工作表明，感知和行動的緊密耦合，有助于機器人通過感官與非結構化的世界進行交互，靈活地執行各種任務，并適應地學習新任務。我們的研究結果表明，從低級的運動技能到高級的任務理解三個抽象層次上解剖感知-動作循環，可以有效地促進機器人行為的魯棒性和泛化。我們規劃的研究工作是處理日益復雜的任務，展現出我們朝著圣杯目標的路線圖:在現實世界中構建長期的、通用的機器人自治。