約翰霍普金斯大學（JHU）與羅切斯特大學合作，致力于研究和開發分析技術，以支持一個更大的知識驅動的假設測試框架。該計劃的參與者負責合作開發一個數據處理框架，該框架從原始的非結構化內容（文本、圖像、帶有音頻的視頻）開始，將這些內容轉換為共享本體下的知識聲明，將各信息源的結果合并為一個知識圖譜，然后對該圖譜進行推理，提出可以從直接觀察到的內容中獲得的額外信息。我們，JHU的團隊，專注于這個過程的第一步。我們提出了一個框架，可以處理所有需要的輸入模式，但被選擇專注于多語言文本和語音（沒有計算機視覺）。我們作為一個獨立的團隊參與了該計劃的初始階段，提供分析結果作為NIST運行的全計劃評估的一部分。在第二階段，我們提供了較少的組件，只專注于文本。在項目評估期間，我們與BBN共享這些組件。在第三階段，我們的主要重點是在新提出的 "聲稱框架（claim frame） "任務下的數據注釋，這鍛煉了我們在眾包豐富語言注釋方面的背景。

我們提出了對語義分割的關注：對意義的細粒度多值化處理。由于該項目的共同目標和集中在一個單一的項目范圍內的本體，我們專注于針對共同任務的新的最先進的語言分析技術，以及針對項目本體之外的方面的新的分解性資源的開發。我們團隊的成果中值得注意的例子包括： 構建RAMs，這是第一個公開可用的多句子事件提取數據集；開發最先進的多語言核心推理模型，包括以固定內存量處理長文件的在線變體，以及專注于多人對話的新多語言數據集； 一個新的有監督的跨語言對齊方法，支持通過從英語到資源較少的語言的投射來自動創建訓練數據；一個句子級的轉述和數據增強的框架；在 "探測 "神經語言模型的新興科學方面的合作；以及開發新的分解資源和跨越一些新語言維度的分析。

引言

在過去的十年里，語言分析的技術水平已經迅速提高。DARPA AIDA發生時，文本分析的神經模型在準確性方面正在迅速突破。這始于對之前的統計NLP管道的改進，然后分析開始被訓練成 "端到端"：模型不再需要部分語音標記、同步語法分析等等，以支持整體的語言理解過程。相反，模型直接在目標輸出上進行訓練，并假定在預訓練的語言模型的參數中捕獲足夠的語言特征。AIDA結束時，社區開始考慮方法上的另一個進步，即通過像GPT3這樣的大規模語言模型（LMs）的語境學習（提示-黑客），以及對生成性LMs的普遍關注。

JHU和合作伙伴羅切斯特大學對信息提取的神經模型的技術水平做出了貢獻，同時也對探測大型語言模型的新科學做出了貢獻。模型的新科學。利用我們在分解語義學的數據集創建方面的專長，開發了專門針對信息提取的新數據集。新的數據集，專門針對AIDA計劃的提取問題（特別是在事件提取和核心推理方面）。我們開發了分解語義學的新資源，在項目的最后階段，我們致力于新的倡議 了解如何對文本中的事實主張（所謂的 "主張框架"）進行注釋。

在項目評估方面，我們努力滿足NIST及其合作伙伴不斷變化的要求。我們發現，在我們所關注的部分，特別是在多語種核心參考文獻的解決方面，我們經常具有競爭力，甚至優于其他執行者。由于管道要求和知識驅動的工作流程是在項目進行過程中臨時制定的，所以大家都認為在不同的執行者之間進行協調是不容易的，特別是在評估前后的時間敏感的情況下。不幸的是，這導致JHU對管道的貢獻往往是有限的：強大的分析組件并不總是在更大的原型框架中得到充分鍛煉。與正式的評估分開，我們建立了一個獨立的分析框架，并將其開源，重新發布給社區。這個 "LOME "包（大型本體多語言提取）在AIDA計劃之外的相關應用中被采用，并以該計劃所設想的任務需求為目標。我們在AIDA中的努力部分地導致了對其他相關項目的參與，包括DARPA KAIROS和IARPA BETTER，所有這些項目的主要重點都是增強語言技術的發展。

在下文中，我們將重點介紹我們在參與AIDA項目過程中出現的關鍵方法和結果。在有參考資料的地方，我們審查了提供進一步細節的科學文章。正如我們在總結中所說，我們的成果中值得注意的例子包括： 構建了RAMS，這是第一個公開可用的多句子事件提取數據集；開發了最先進的多語言核心推理模型，包括一個用固定內存處理長文檔的在線變體，以及一個專注于多人對話的新的多語言數據集； 一個新的有監督的跨語言對齊方法，支持通過從英語到資源較少的語言的投射來自動創建訓練數據；一個句子級的轉述和數據增強的框架；在 "探測 "神經語言模型的新興科學方面的合作；以及開發新的分解資源和跨越一些新的語言層面的分析。

本報告介紹了在三個主要議題方面取得的成果：

• 對小型無人機系統（SUAS）的分布式團隊進行實驗驗證，以協調執行復雜的行為。

• 開發了一個現實的多架無人機模擬器，以應用強化學習技術來協調一組小型無人機系統以達到特定目的。

• 設計并驗證了安裝在無人機上的帶有主動多輸入多輸出（MIMO）毫米波雷達傳感器的融合光學相機。

與驗證SUAS團隊有關的工作提出并實驗測試了我們的態勢感知、分布式SUAS團隊所使用的框架，該團隊能夠以自主方式實時運行，并在受限的通信條件下運行。我們的框架依賴于三層方法：（1）操作層，在這里做出快速的時間和狹窄的空間決定；（2）戰術層，在這里為智能體團隊做出時間和空間決定；以及（3）戰略層，在這里為智能體團隊做出緩慢的時間和廣泛的空間決定。這三層由一個臨時的、軟件定義的通信網絡協調，即使在通信受限的情況下，也能確保各層的智能體小組和團隊之間的信息傳遞稀少而及時。實驗結果顯示，一個由10個小型無人機系統組成的團隊負責在一個開放區域搜索和監測一個人。在操作層，我們的用例介紹了一個智能體自主地進行搜索、探測、定位、分類、識別、跟蹤和跟蹤該人，同時避免惡意碰撞。在戰術層，我們的實驗用例介紹了一組多個智能體的合作互動，使其能夠在更廣泛的空間和時間區域內監測目標人物。在戰略層，我們的用例涉及復雜行為的檢測--即被跟蹤的人進入汽車并逃跑，或者被跟蹤的人離開汽車并逃跑--這需要戰略反應以成功完成任務。

目標搜索和檢測包括各種決策問題，如覆蓋、監視、搜索、觀察和追逐-逃避以及其他問題。我們開發了一種多智能體深度強化學習（MADRL）方法來協調一組飛行器（無人機），以定位未知區域內的一組靜態目標。為此，我們設計了一個現實的無人機模擬器，它復制了真實實驗的動態和擾動，包括從實驗數據中提取的統計推斷，用于其建模。我們的強化學習方法，利用這個模擬器進行訓練，能夠為無人機找到接近最優的政策。與其他最先進的MADRL方法相比，我們的方法在學習和執行過程中都是完全分布式的，可以處理高維和連續的觀察空間，并且不需要調整額外的超參數。

為了給在受限通信條件下運行的SUAS開發一個分布式的分類和協調框架，我們的第一個目標是在無人駕駛飛行器（UAV）上建立一個多傳感器系統，以獲得高探測性能。眾所周知，安裝在無人機上的光學和熱傳感器已被成功用于對難以進入的區域進行成像。然而，這些傳感器都不提供關于場景的范圍信息；因此，它們與高分辨率毫米波雷達的融合有可能改善成像系統的性能。我們提出了一個配備了無源光學攝像機和有源多輸入多輸出（MIMO）毫米波雷達傳感器的下視無人機系統的初步實驗結果。毫米波雷達的三維成像是通過收集通過運動線的數據來實現的，從而產生一個合成孔徑，并使用垂直于運動軌跡的結線MIMO陣列。我們的初步結果顯示，融合的光學和毫米波圖像提供了形狀和范圍信息，最終導致無人機系統的成像能力增強。

近年來，在獨立和相同分布（i.i.d.）數據的假設下，主要針對單一任務進行訓練的深度學習已經取得了巨大的進展。然而，當天真地在多個任務上連續訓練，而不重溫以前的任務時，已知神經網絡會遭受災難性的遺忘（McCloskey和Cohen，1989；Ratcliff，1990），即在學習新任務時，執行舊任務的能力往往會喪失。與此相反，生物生命能夠在一生中從明顯的非即得經驗中學習許多任務，獲得新的技能并重復使用舊的技能來學習新的能力，同時保留以前的重要知識。當我們努力使人工系統越來越智能時，自然生命不斷學習的能力是一種重要的模仿能力。持續學習（Parisi等人，2019）最近在機器學習研究中引起了相當大的關注，并出現了一些期望值。模型應該能夠依次學習多個任務，最終任務的數量和復雜程度未知。重要的是，在學習新的任務時，應該不會對以前的任務產生災難性的遺忘，最好是不用保留以前任務的任何數據來重新訓練。模型還應該能夠進行正向轉移：以前學過的任務應該有助于新任務的學習。任務之間的知識轉移可以最大限度地提高樣本效率，這在數據稀缺的情況下尤為重要。一些方法通過擴展來解決持續學習的問題，也就是說，模型隨著每一個額外的任務而增長。通過將學習轉移到每個任務的新網絡組件上，這些方法通過設計減輕了災難性的遺忘，因為以前學習的參數沒有受到干擾。這些策略的一個關鍵挑戰是決定何時以及以何種程度來擴展網絡。雖然通常聲稱這可以根據即將到來的任務進行調整，但這樣做需要人為估計需要多少擴展，這不是一個簡單的過程。相反，通常對每個新任務采用預設的、恒定的擴展。另外，我們可以考慮動態的、數據驅動的模型擴展，或者采用模塊化的模型增長方法，從而開發出一個框架，為持續學習建立緊湊的模型，其中模型的大小隨著任務數量的增加（最好是不斷增加）而有效擴展，同時減輕災難性的遺忘現象。此外，我們試圖開發一個框架，使其可以通用于不同的持續學習任務，例如分類、圖像的生成過程和自然語言處理序列標簽，即命名實體識別。在一個持續學習的環境中，我們會遇到一連串具有預定目的的任務，但每個任務都由一個不同的數據集組成。主要目標是建立模型，使其在不同的任務中表現盡可能一致，同時i）重復使用以前任務的信息，以及ii）防止模型不受控制地增長（大小）。然而，我們的方法包括為每個任務建立一個模型，這樣，模型的大部分組件是跨任務共享的（全局的），剩下的幾個是特定任務的（局部的），從而允許信息共享和控制增長。因此，我們試圖開發具有全局和特定任務參數的特定任務（深度學習）模型，以實現有效和高效的持續學習。

引言

1.1 背景

近年來，在獨立和相同分布（i.i.d.）數據的假設下，主要針對單一任務進行訓練的深度學習取得了巨大的進展。然而，當天真地在多個任務上連續訓練，而不重溫以前的任務時，已知神經網絡會遭受災難性的遺忘（McCloskey和Cohen，1989；Ratcliff，1990），即在學習新任務時，執行舊任務的能力往往會喪失。與此相反，生物生命能夠在一生中從明顯的非即得經驗中學習許多任務，獲得新的技能并重復使用舊的技能來學習新的能力，同時保留以前的重要知識。當我們努力使人工系統越來越智能時，自然生命不斷學習的能力是一種重要的模仿能力。

持續學習（Parisi等人，2019）最近在機器學習研究中引起了相當大的關注，并出現了一些期望值。模型應該能夠依次學習多個任務，最終任務的數量和復雜程度未知。重要的是，在學習新的任務時，應該不會對以前的任務產生災難性的遺忘，最好是不用保留以前任務的任何數據來重新訓練。模型還應該能夠進行正向轉移：以前學過的任務應該有助于新任務的學習。任務之間的知識轉移可以最大限度地提高樣本效率，這在數據稀缺的情況下尤為重要。

一些方法通過擴展來解決持續學習的問題，也就是說，模型隨著每一個額外的任務而增長。通過將學習轉移到每個任務的新網絡組件上，這些方法通過設計減輕了災難性的遺忘，因為以前學習的參數沒有受到干擾。這些策略的一個關鍵挑戰是決定何時以及以何種程度來擴展網絡。雖然通常聲稱這可以根據即將到來的任務進行調整，但這樣做需要人為估計需要多少擴展，這不是一個簡單的過程。相反，通常對每個新任務采用預設的、恒定的擴展。另外，我們可以考慮動態的、數據驅動的模型擴展，或者采用模塊化的模型增長方法，從而開發出一個框架，為持續學習建立緊湊的模型，其中模型的大小隨著任務數量的增加（最好是不斷增加）而有效擴展，同時減輕災難性的遺忘現象。此外，我們試圖開發一個框架，使其能夠通用于不同的持續學習任務，例如分類、圖像的生成過程和自然語言處理序列標簽，即命名實體識別。

在一個持續學習的環境中，我們會遇到一連串具有預定目的的任務，但每個任務都由一個不同的數據集組成。主要目標是建立模型，使其在不同的任務中表現盡可能一致，同時i）重復使用以前任務的信息，以及ii）防止模型不受控制地增長（大小）。然而，我們的方法包括為每個任務建立一個模型，這樣，模型的大部分組件是跨任務共享的（全局的），剩下的幾個是特定任務的（局部的），從而允許信息共享和控制增長。因此，我們試圖開發具有全局和特定任務參數的特定任務（深度學習）模型，以實現有效和高效的持續學習。

1.2 貢獻

我們的工作對DARPA終身學習機器（L2M）計劃和持續學習社區的貢獻列舉如下：

• 開發了生成式對抗網絡的持續適應模型（Cong等人，2020）。

  • 影響。所提出的框架優于最先進的方法，其參數和計算成本大大降低。

• 開發了使用貝葉斯非參數字典權重因子的持續學習（Mehta等人，2021）。

  • 影響。第一個用于持續學習中自適應（數據驅動）模型擴展的無啟發式方法。

• 為人類和機器的結構化任務分布開發了一個元學習框架（Kumar等人，2020）。

  • 影響。我們發現了一種雙重分離，即人類在結構化（成分）任務中表現更好，而代理（機器）在統計（非成分）任務中表現更好，盡管其復雜性相當。

• 為鑒別性和生成性持續學習開發了高效的特征轉換（EFTs）（Verma等人，2021年）。

  • 影響。EFTS最大限度地減少了新任務的參數數（比基礎模型少5%），同時允許在類增量設置中進行任務預測。

• 通過設計和利用參數有效的特征圖轉換，為生成式對抗網絡（GANs）開發了一種持續學習方法。

  • 影響。所提出的方法提供了一種內存效率高的方法來執行有效的持續數據生成，我們表明，特征圖轉換方法優于最先進的持續學習GANs的方法，參數大大減少（Varshney等人，2021）。

• 開發了第一個用于NER的少許類增量學習的工作（Wang等人，2022a）。

  • 影響。所提出的框架可以用最少的標記數據學習識別新的實體類。

• 開發了結構化稀疏卷積（SSC），利用圖像的固有結構來減少卷積濾波器的參數（Verma等人，2022）。

  • 影響。與現有的方法不同，SSC過濾器不需要在訓練期間或之后進行額外的修剪。

• 開發了一個新的任務持續學習框架，該框架不假設任務序列是不同或唯一的，因此需要一個任務相似性識別模塊（Wang等人，2022b）。

  • 影響。我們在不需要訓練新模型的情況下，通過利用任務相似性指標來識別相似的任務，在實踐中取得了很高的任務相似性識別精度。

• 在機器學習領域產生了9項學術科學貢獻，其中7項已經發表，2項目前正在審查。

  • 影響。我們的論文出現在頂級的機器學習領域，如NeurIPS、ICLR、ICML、AISTATS和ACL。此外，我們所有發表的方法論都有公開的源代碼。詳見表1。

• 用我們的EFT框架為M21評估分類基準做出了貢獻（Verma等人，2021）。

  • 影響。在不同的指標中表現出有競爭力的性能，即96.6±0.23的Top-1準確率，0.86±0.23的樣本效率，相對于單一任務專家的0.93±0.01的性能，1.21±前向轉移率，以及0.99±0.00的后向轉移率。

下面，我們為每個貢獻提供一個簡短的總結，然后是我們項目產生的公開可用的軟件包的清單，以及一個完整的參考文獻清單，我們向讀者介紹完整的方法學細節、實驗設置和經驗結果。

1. 問題陳述

數據共享和互操作性的增加給美國防部（DoD）系統維持一定程度的信任和信心帶來了挑戰。隨著緊密耦合的、獨特的、靜態的、經過嚴格驗證的任務處理方案被新的、更動態和復雜的對應方案所補充，任務的有效性受到了影響。一方面，新的更深入的處理方法與更多樣化的數據輸入可以提供復原力，防止在快速變化的條件下做出過于自信的決定。另一方面，達成決策的多種多樣的方法可能會有明顯的沖突，降低決策的置信度。這有時表現為向高層決策者提供同時的、不同的信息。在一些重要的特定情況下，這導致作戰人員在確定最佳行動方案時效率降低。

在本文中，我們將描述一種更有效地利用新數據源和處理方案的方法，而不需要重新設計每個算法或系統本身。我們通過用企業級區塊鏈框架對處理鏈進行檢測來實現這一目標。一旦進行檢測，我們就可以通過使用智能合約跟蹤數據出處來收集、驗證和確認數據處理鏈，將動態計算的元數據添加到不可改變的分布式賬本中。這種在數據共享環境中進行核查和驗證的非侵入性方法有能力在更大的范圍內提高決策信任度，而不是人工方法，如咨詢個別開發者主題專家以了解系統行為。

在本文中，我們將介紹對以下問題的研究：

• 1.決策者和作戰背景數據過程提供和利用的信息（即知識）類型（圖1）。

圖1：信息處理層次。

• 2.在業務處理鏈中驗證數據出處、完整性和有效性的好處

• 3.我們的區塊鏈技術框架與分析技術相結合，利用核查和驗證能力，可以部署到現有的國防部（DoD）數據處理系統中，而且性能和業務干擾不大。

2. 框架概述

首先描述了數據、信息和知識的含義，并提供了我們對決策支持的定義。在描述一個系統的優勢時，數據、信息和知識經常被交替使用，但每一個都代表了一個不同的背景和處理水平。數據是最低的形式，代表了幾乎沒有過濾的分析元素，如從傳感器焦平面處理的信號檢測。數據被用來推導信息，通過增加背景，如目標類型。知識是指在更廣泛的態勢感知或決策中意味著什么的信息，例如在一個場景中檢測到的目標行為類型標志著危險。

作為一個例子，已經有一些工作將 "數據整合 "推向了前進的方向，并展示了態勢感知的操作能力。這些工作說明了從各種來源的數據，到通過各種軟件應用的信息，再到呈現給操作者或用戶的知識轉換（圖2）。通過應用處理層來創建一個增強的態勢感知圖，它使高級領導人能夠更自信地采取行動和做出決定。這些處理層包括從簡單的可視化數據攝取到分類服務以提供任務事件的背景。所有這些都為決策支持提供了不同程度的信息。

圖2：數據驅動的決策支持系統的一個例子。

我們描述的系統的最終目標是為高層決策提供信息。這可能需要許多處理步驟，每一個步驟都代表著增加背景。這也意味著有許多細微的處理路徑，通過這些路徑可以得出知識。當你考慮到可能需要回應的時間框架時，當系統中存在更多的數據、算法和知識服務時，理解處理的細微差別就會變得成倍的困難。這就是我們試圖減輕的風險。

接下來，我們將介紹數據共享和互操作性環境，這些環境的建立是為了實現大規模系統的快速決策支持。這樣一個環境有四個功能要求。(1）創新理念實施的低門檻，（2）大型開放的開發環境，（3）支持集成的消息傳遞方法，以及（4）對采用的組件進行自動驗證和核實。圖3顯示了這四項要求的周期，并以藍色強調了驗證和確認要求，該要求目前正在系統范圍內研究，是本文的重點。

圖3：系統進化所需的關鍵屬性。

雖然個別開發者可能被要求滿足基本的期望，以誠信行事，例如遵守他們的數據和應用合約，以及使用軟件安全掃描，但沒有有效的方式來評估決策支持的效用和在整個系統中組裝數據和服務的真實性。許多大規模的系統在開發初期沒有優先考慮網絡安全或數據完整性。傳統上，在大型軟件發布之前，在組件被大規模集成之后，會進行端到端的驗證和確認測試。隨后，對增量軟件升級進行較小規模的回歸測試。測試完成后，系統在技術上就可以投入運行了。然而，由于應用程序及其數據源的規模和動態性質，松散耦合的現代軟件處理系統的性能風險會增加。在許多情況下，這些系統中的數據是由遙感測量源提供的。在這種情況下，對數據的完整性進行實時的系統級驗證和對衍生的數據產品進行驗證是非常重要的，以發現性能的潛在重大變化和呈現給操作員的錯誤信息。我們討論的這種實時核查和驗證方法需要記錄數據來源、歷史數據質量以及數據在系統中穿越的所有路徑，以確保發現性能問題。

在這種情況下，定義核查和驗證的一般含義是很重要的。

驗證是對產品、服務或系統是否符合法規、要求、規范或強制條件的評價（PMI，2013）。換句話說，驗證方法建立了真實性。

驗證是保證產品、服務或系統滿足客戶和其他確定的利益相關者的需求，包括適合性和信心（PMI，2013）。換句話說，驗證方法建立了一些間接的可用性。

如上定義，驗證和確認提供了以下內容：

圖4提供了上述定義的驗證和確認可衡量的子組件清單。我們建議使用區塊鏈方法來實現這些指標的實時評估，這些指標已經在一個實時系統上得到了證明（MIT Lincoln Laboratory，2019）。

圖4：提議的系統驗證和確認的指標。

區塊鏈方法通過提供一種有機的方法來解決驗證問題，用于存儲數據、處理出處和證明同步，同時提供系統的彈性和增加最小的延遲。圖5顯示了我們如何利用典型數據處理鏈的有向無環性質來覆蓋加密安全并實現區塊鏈。這種數據結構與傳統的區塊鏈應用是直接匹配的。在源層（S）和應用層（A）的每一步都有輕量級的加密安全，用戶（U）可以驗證正在呈現的數據。這種架構提供了以下方法：配置管理（每個軟件更新都有一個獨特的安全標簽），錯誤取證（通過處理的每個路徑都有一個獨特的ID），并防止某些類型的惡意攻擊（每個獨特的ID都登記在一個用戶可以使用的賬本上）。

圖5：使用區塊鏈疊加的系統驗證。

我們實現數據驗證的方法涉及將數據特征分析添加到區塊鏈基礎設施中，并與處理鏈相耦合。預編譯的數據特征統計和人工智能技術可以被納入，以提供驗證指標（例如，校準的性能分布）。這些指標將被實時計算，并與預編譯的特征進行比較以進行驗證。圖6說明了這個概念。

圖6：使用機器學習方法進行系統驗證

摘要

在工業資產運行過程中出現的異常情況可能表明存在退化和故障，隨著時間的推移，會導致不期望的行為、運行條件的喪失以及系統的最終崩潰。預測性維護技術負責監測系統的狀態，以便在初始階段對這些異常情況進行檢測，從而以最佳方式安排維護任務。本文介紹了一種基于機器學習的人工智能技術的海軍資產預測性維護解決方案。為此，使用了由船舶實時收集并通過控制中心傳輸的傳感器（溫度、壓力等）的信息。所開發的系統（SOPRENE）能夠從我們軍艦上的發動機的歷史數據中預測不同的故障模式或異常運行狀況的發生。此外，該系統的使用可擴展到大型艦隊，該解決方案已使用Spark分布式環境來實現，以促進預測的分布式計算。

簡介

維護成本是工業運營成本的一個重要部分。在某些情況下，如在冶金行業，這些成本可以達到總生產成本的15%-60%。此外，其中三分之一的投資由于不必要的或不正確的活動而被浪費。然而，維護是至關重要的，因為系統的故障會導致巨大的財務成本。

在過去，由于不可能處理大量連續的數據流，所以在很多情況下，只能使用統計技術。然而，今天的預測性維護則遵循更先進的理念：

與其依靠這些行業統計數據（如平均故障間隔時間）來安排維護活動，不如對系統進行實時監測，以確定其狀態和真實狀況。目前的計算能力允許處理更多的數據，以及使用更復雜的技術來進行預測、檢測異常情況和對系統進行可能的診斷。因此，預測性維護可以理解為基于系統的當前狀態或條件以及根據運行歷史進行的未來預測的預防性維護。

這項研究工作介紹了在SOPRENE項目中開發的預測性維護系統在海軍艦艇發動機上的應用。擬議的系統已經分析并使用了分布式環境中的機器學習技術。在這個意義上，所考慮的方法論可以根據Ran等人的說法來劃分。

圖3-1. SOPRENE解決方案架構：從數據預處理到訓練和操作

摘要：

復雜的高精度人機系統（如航空航天和機器人手術）的效率和安全性與其操作員的認知準備、管理負荷的能力和態勢感知密切相關。對腦力工作量的準確評估有助于防止操作員失誤，并通過預測因工作超負荷或刺激不足而導致的能力下降，從而進行相關干預。基于人體和大腦活動測量的神經人體工程學方法，可以在復雜的培訓和工作環境中提供對人類心理負荷進行可靠的評估。本文概述了可穿戴大腦和身體成像方法，通過神經/生理信號評估心理工作量的潛力，并提供了一種基于多模態生物傳感器，進行多領域認知任務中負荷比較評估的研究設計。這種利用神經成像和生理監測的綜合神經人體工程學評估，可以為下一代神經適應性接口和培訓方法的開發提供信息，以實現更有效的人機交互和操作員技能獲取。

圖3-1:傳感器套件顯示fNIRS、EEG、ECG、PPG和EOG(這里沒有顯示眼動跟蹤)。

雖然在許多領域產生并提供了大量的未標記數據，但獲取數據標簽的成本仍然很高。另一方面，用深度神經網絡解決問題已經變得非常流行，但目前的方法通常依賴大量的標記訓練數據來實現高性能。為了克服注釋的負擔，文獻中提出了利用來自同一領域的可用未標記數據的解決方案，稱為半監督學習;利用相似但又不同領域的已有標記的數據或訓練過的模型，稱為領域自適應。本教程的重點將是后者。領域自適應在社會上也越來越重要，因為視覺系統部署在任務關鍵應用中，其預測具有現實影響，但現實世界的測試數據統計可以顯著不同于實驗室收集的訓練數據。我們的目標是概述視覺領域適應方法，這一領域在計算機視覺領域的受歡迎程度在過去幾年中顯著增加，這可以從過去幾年在頂級計算機視覺和機器學習會議上發表的大量的相關論文中得到證明。

//europe.naverlabs.com/eccv-2020-domain-adaptation-tutorial/