亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖2. 用于SIENNA的技術途徑和方法的高級表示。

本報告詳細介紹了一種使用聊天機器人技術與對話者接觸的新方法，同時通過使用軟件代理中實現的獨特虛擬角色積極征求信息。這項研究名為 "調查和獲取攻擊者信息的策略"（SIENNA），是在國防高級研究計劃管理局（DARPA）主動社會工程防御（ASED）項目的技術領域（TA）2下進行的。

我們研究的產品包括兩個主要技術：

• SIENNA-Bot：一個旨在使用特定領域內容與對話者交談的聊天機器人。
• Cervantes： 一個用于特定領域對話開發的圖形用戶界面（GUI），它圍繞著任務的概念發展，即一系列復雜度不斷增加的問題，旨在從對話者那里獲得信息。

TA2成功的關鍵是產生符合邏輯和連貫的對話。這種對話應能有效地吸引對話者并與之互動，就像他們與另一個人交流一樣。為了生成內容，我們采用了一種新穎的自然語言生成作者方案，該方案由屬性語法驅動。SIENNA-Bot遵循的是一種管道設計方法：

• 自然語言理解（NLU）。確定傳入信息的意圖并分配屬性。
• 對話生成。確定的內容屬性與對話狀態進行評估，以確定下一步行動。
• 自然語言生成（NLG）。生成對信息的可行的回應。

在投入時間設計和開發語言理解和生成組件之前，為了證明這種設計的有效性，我們開發了一個帶有簡單對話生成器的初步概念驗證聊天機器人。這個機器人的目標是確認通過簡單的話語技術使對話者參與對話的功效，而不需要開發必要的組件來解析和理解信息內容。由此產生的機器人能夠通過扮演兩個不同的角色之一來反擊冒名頂替的攻擊：

• 有需求的自戀者。喜歡八卦同事和目標領域的同事，對最近同事的成功表示厭惡，喜歡講關于自己的漫無邊際的故事。
• 唾棄的同事。利用敘事的隱蔽性，介紹虛構的背景故事作為談話的手段。因為對話者只是假裝認識這個對象：
  • 一個虛構的故事讓機器人迅速控制了對話
  • 不需要理解信息的內容

在這個基礎機器人的基礎上，我們接下來研究了通過納入NLU和NLG將現實主義引入對話的技術。SIENNA中的NLU模塊的目標是：

• 理解對話者所說的語用學內容
• 從對話者的信息中提取關鍵信息片段

這一目標是通過使用預先訓練好的Transformer模型來實現的，該模型增加了理解對話者信息的語用學的層次，同時提取關鍵的信息，稱為標志。由此產生的NLU能夠對各種類型的話語行為進行分類，其主要優勢在于提供：

• 對話狀態信息
• 為內容編寫提供便利條件

例如，通過檢測對話者在回答任務時的爭論，SIENNA可以利用這一信息來改變任務的方向，或者分配一個新的、可能更容易的任務。信任跟蹤的概念也被納入SIENNA的NLU中，其指導原則是：：

• 困難的請求需要高水平的信任
• 當任務完成后，信任度會上升

從這些公理出發，我們設計了NLU功能，將任務的成功完成與每個信息內容的確定合規性相結合。如果一個任務沒有完成，或者NLU模塊在信息中檢測到憤怒、沮喪或不耐煩等情緒，那么整體的信任度就會下降。相反，如果對話者順從并愿意回答問題，信任程度就會上升。

我們通過納入兩種技術進一步發展了對話生成功能：

• 對話狀態。保持并使用先前的對話內容，如
  • 前提條件，確定是否應該使用對話內容。
  • 建立和保持未來持續對話狀態的效果
• 定制對話生成器。這些對話生成器提供專門的內容生成，旨在處理對話的具體細節

這項工作產生了一個NLG模塊，它能夠通過與對話者爭吵、爭論和對一件小事提出異議的過程，根據輸入信息的語義產生對話。

隨著這些新技術的加入，SIENNA機器人納入的對話理解和一致性水平遠遠超出了項目開始時計劃的最初 "啞巴 "機器人戰略。

SIENNA采取的程序性內容生成方法需要有創造對話領域的能力。具體來說，要有讓非開發人員和非SIENNA專家構建新任務的功能。SIENNA使用一種策略，向對話者提出越來越復雜的問題，以消耗對話者的時間，同時從他們那里獲得信息。這些問題被稱為任務。為了使內容創作者能夠為一個領域編寫一系列的任務，我們開發了一個用戶友好的編輯器，叫做Cervantes。

創建Cervantes編輯器的第一步是設計和開發一種特定領域的語言（DSL）。通過使用DSL，我們建立了一個正式的結構，促進了對Cervantes設計的快速迭代。DSL的語義包括：

• 定義區塊。這些塊設置了可重復使用的動作、反應和行為，貫穿整個任務集。
• 任務塊。一個特定的 "任務"，機器人試圖讓對話者在執行時浪費時間和/或透露信息。
• 條件和效果。為作者提供連接一系列任務的能力，并允許SIENNA任務管理器隨著對話的發展在任務之間動態過渡。

由此產生的Cervantes的功能集包括：

• 詳細的任務編輯器： 能夠創建令牌、變量和對話的能力
• 嵌入式幫助： 用戶界面（UI）有一個超鏈接的嵌入式幫助系統
• 任務模擬器： 一個模擬器，用于在開發期間測試和調試任務
• 多用戶界面： 支持多用戶的功能
• 權利和角色： 權利和角色：以常見的開源平臺為模型，如GitHub，其中用戶是項目的成員，每個項目都有特定的權利和角色
• 版本管理： 在用戶界面中創建項目版本的能力。

在該項目過程中，我們開發了一個由50個任務組成的任務庫。此外，我們將塞萬提斯部署在一個共享服務器上，所有表演者都可以訪問，有多個非雷神BBN技術公司（BBN）的合作者團隊創建了任務庫，如科羅納病毒病（COVID）任務庫和法院傳票庫。

總之，SIENNA使用富有表現力的聊天機器人與對話者接觸的方法表現出了有效和驗證的結果。在該項目過程中，SIENNA捕捉到的真正的正面標志的數量從71%增加到89%。多個非SIENNA團隊組織成功地使用塞萬提斯創建了他們自己的特定領域追求庫。

我們對SIENNA的進一步發展的主要建議是：

• 多語言支持。
• 人在回路中。
• 團體機器人互動。
• 在可用時利用外部信息。
• 改進跨平臺切換。

約翰霍普金斯大學（JHU）與羅切斯特大學合作，致力于研究和開發分析技術，以支持一個更大的知識驅動的假設測試框架。該計劃的參與者負責合作開發一個數據處理框架，該框架從原始的非結構化內容（文本、圖像、帶有音頻的視頻）開始，將這些內容轉換為共享本體下的知識聲明，將各信息源的結果合并為一個知識圖譜，然后對該圖譜進行推理，提出可以從直接觀察到的內容中獲得的額外信息。我們，JHU的團隊，專注于這個過程的第一步。我們提出了一個框架，可以處理所有需要的輸入模式，但被選擇專注于多語言文本和語音（沒有計算機視覺）。我們作為一個獨立的團隊參與了該計劃的初始階段，提供分析結果作為NIST運行的全計劃評估的一部分。在第二階段，我們提供了較少的組件，只專注于文本。在項目評估期間，我們與BBN共享這些組件。在第三階段，我們的主要重點是在新提出的 "聲稱框架（claim frame） "任務下的數據注釋，這鍛煉了我們在眾包豐富語言注釋方面的背景。

我們提出了對語義分割的關注：對意義的細粒度多值化處理。由于該項目的共同目標和集中在一個單一的項目范圍內的本體，我們專注于針對共同任務的新的最先進的語言分析技術，以及針對項目本體之外的方面的新的分解性資源的開發。我們團隊的成果中值得注意的例子包括： 構建RAMs，這是第一個公開可用的多句子事件提取數據集；開發最先進的多語言核心推理模型，包括以固定內存量處理長文件的在線變體，以及專注于多人對話的新多語言數據集； 一個新的有監督的跨語言對齊方法，支持通過從英語到資源較少的語言的投射來自動創建訓練數據；一個句子級的轉述和數據增強的框架；在 "探測 "神經語言模型的新興科學方面的合作；以及開發新的分解資源和跨越一些新語言維度的分析。

引言

在過去的十年里，語言分析的技術水平已經迅速提高。DARPA AIDA發生時，文本分析的神經模型在準確性方面正在迅速突破。這始于對之前的統計NLP管道的改進，然后分析開始被訓練成 "端到端"：模型不再需要部分語音標記、同步語法分析等等，以支持整體的語言理解過程。相反，模型直接在目標輸出上進行訓練，并假定在預訓練的語言模型的參數中捕獲足夠的語言特征。AIDA結束時，社區開始考慮方法上的另一個進步，即通過像GPT3這樣的大規模語言模型（LMs）的語境學習（提示-黑客），以及對生成性LMs的普遍關注。

JHU和合作伙伴羅切斯特大學對信息提取的神經模型的技術水平做出了貢獻，同時也對探測大型語言模型的新科學做出了貢獻。模型的新科學。利用我們在分解語義學的數據集創建方面的專長，開發了專門針對信息提取的新數據集。新的數據集，專門針對AIDA計劃的提取問題（特別是在事件提取和核心推理方面）。我們開發了分解語義學的新資源，在項目的最后階段，我們致力于新的倡議 了解如何對文本中的事實主張（所謂的 "主張框架"）進行注釋。

在項目評估方面，我們努力滿足NIST及其合作伙伴不斷變化的要求。我們發現，在我們所關注的部分，特別是在多語種核心參考文獻的解決方面，我們經常具有競爭力，甚至優于其他執行者。由于管道要求和知識驅動的工作流程是在項目進行過程中臨時制定的，所以大家都認為在不同的執行者之間進行協調是不容易的，特別是在評估前后的時間敏感的情況下。不幸的是，這導致JHU對管道的貢獻往往是有限的：強大的分析組件并不總是在更大的原型框架中得到充分鍛煉。與正式的評估分開，我們建立了一個獨立的分析框架，并將其開源，重新發布給社區。這個 "LOME "包（大型本體多語言提取）在AIDA計劃之外的相關應用中被采用，并以該計劃所設想的任務需求為目標。我們在AIDA中的努力部分地導致了對其他相關項目的參與，包括DARPA KAIROS和IARPA BETTER，所有這些項目的主要重點都是增強語言技術的發展。

在下文中，我們將重點介紹我們在參與AIDA項目過程中出現的關鍵方法和結果。在有參考資料的地方，我們審查了提供進一步細節的科學文章。正如我們在總結中所說，我們的成果中值得注意的例子包括： 構建了RAMS，這是第一個公開可用的多句子事件提取數據集；開發了最先進的多語言核心推理模型，包括一個用固定內存處理長文檔的在線變體，以及一個專注于多人對話的新的多語言數據集； 一個新的有監督的跨語言對齊方法，支持通過從英語到資源較少的語言的投射來自動創建訓練數據；一個句子級的轉述和數據增強的框架；在 "探測 "神經語言模型的新興科學方面的合作；以及開發新的分解資源和跨越一些新的語言層面的分析。

長期目標

在決策或推理網絡中進行適當的推理，需要指揮官（融合中心）對每個下屬的輸入賦予相對權重。最近的工作解決了在復雜網絡中估計智能體行為的問題，其中社會網絡是一個突出的例子。這些工作在各種指揮和控制領域具有相當大的實際意義。然而，這些工作可能受限于理想化假設：指揮官（融合中心）擁有所有下屬歷史全部信息，并且可以假設這些歷史信息之間具有條件統計獨立性。在擬議的項目中，我們打算探索更普遍的情況：依賴性傳感器、（可能的）依賴性的未知結構、缺失的數據和下屬身份被掩蓋/摻雜/完全缺失。對于這樣的動態融合推理問題，我們建議在一些方向上擴展成果：探索數據源之間的依賴性（物理接近或 "群體思維"），在推理任務和量化不一定匹配的情況下，采用有用的通信策略，甚至在每個測量源的身份未知的情況下，采用無標簽的方式--這是數據關聯問題的一種形式。

我們還認識到，對動態情況的推斷是關鍵目標所在。考慮到一個涉及測量和物理 "目標 "的傳統框架，這是一個熟悉的跟蹤問題。但是，來自目標跟蹤和多傳感器數據關聯的技術能否應用于提取非物理狀態（物理狀態如雷達觀察到的飛機）？一個例子可能是恐怖主義威脅或作戰計劃--這些都是通過情報報告和遙測等測量手段從多個來源觀察到的，甚至可能被認為包含了新聞或金融交易等民用來源。這些都不是標準數據，這里所關注的動態系統也不是通常的運動學系統。盡管如此，我們注意到與傳統的目標追蹤有很多共同點（因此也有機會應用成熟的和新興的工具）：可能有多個 "目標"，有雜波，有可以通過統計學建模的行為。對于這種動態系統的融合推理，我們的目標是提取不尋常的動態模式，這些模式正在演變，值得密切關注。我們特別建議通過將雜波建模為類似活動的豐富集合，并將現代多傳感器數據關聯技術應用于這項任務，來提取特征（身份）信息。

目標

研究的重點是在具有融合觀測的動態系統中進行可靠推理。

方法

1.決策人身份不明。在作戰情況下，融合中心（指揮官）很可能從下屬那里收到無序的傳感器報告：他們的身份可能是混合的，甚至完全沒有。這種情況在 "大數據 "應用中可能是一個問題，在這種情況下，數據血統可能會丟失或由于存儲的原因被丟棄。前一種情況對任務1提出了一個有趣的轉折：身份信息有很強的先驗性，但必須推斷出身份錯誤的位置；建議使用EM算法。然而，這可能會使所有的身份信息都丟。在這種情況下，提出了類型的方法來完成對局部（無標簽）信念水平和正在進行的最佳決策的聯合推斷。

2.動態系統融合推理的操作點。在以前的支持下，我們已經探索了動態事件的提取：我們已經開發了一個合理的隱馬爾科夫模型，學會了提取（身份）特征，有一個多伯努利過濾器啟發的提取方法 - 甚至提供了一些理論分析。作為擬議工作的一部分，將以兩種方式進行擴展。首先，打算將測量結果作為一個融合的數據流，這些數據來自必須被估計的未知可信度的來源。第二，每個這樣的信息源必須被假定為雜亂無章的 "環境 "事件（如一個家庭去度假的財務和旅行足跡），這些事件雖然是良性的，可能也不復雜，但卻是動態的，在某種意義上與所尋求的威脅類似。這些必須被建模（從數據中）和抑制（由多目標追蹤器）。

3.數據融合中的身份不確定性。當數據要從多個來源融合時，當這些數據指的是多個真相對象時，一個關鍵的問題是要確定一個傳感器的哪些數據與另一個傳感器的哪些數據相匹配："數據關聯 "問題。實際上，這種融合的手段--甚至關聯過程的好方法--都是相當知名的。缺少的是對所做關聯的質量的理解。我們試圖提供這一點，并且我們打算探索傳感器偏差和定位的影響。

4.具有極端通信約束的傳感器網絡。考慮由位置未知、位置受漂移和擴散影響的傳感器網絡進行推理--一個泊松場。此外，假設在這樣的網絡中，傳感器雖然知道自己的身份和其他相關的數據，但為了保護帶寬，選擇不向融合中心傳輸這些數據。可以做什么？又會失去什么？我們研究這些問題，以及評估身份與觀察的作用（在信息論意義上）。也就是說，假設對兩個帶寬相等的網絡進行比較；一個有n個傳感器，只傳輸觀察；另一個有n/2個傳感器，同時傳輸數據和身份。哪一個更合適，什么時候更合適？

5.追蹤COVID-19的流行病狀況。誠然，流行病學并不在擬議研究的直接范圍內，但考慮到所代表的技能以及在目前的健康緊急情況下對這些技能的迫切需要，投機取巧似乎是合理的。通過美國和意大利研究人員組成的聯合小組，我們已經證明，我們可以從當局提供的每日--可能是不確定的--公開信息中可靠地估計和預測感染的演變，例如，每日感染者和康復者的數量。當應用于意大利倫巴第地區和美國的真實數據時，所提出的方法能夠估計感染和恢復參數，并能很準確地跟蹤和預測流行病學曲線。我們目前正在將我們的方法擴展到數據分割、變化檢測（如感染人數的增加/減少）和區域聚類。

美國空軍轉型能力辦公室 （TCO） 的一個關鍵目標是在各種舉措中培養轉型能力。若要提出、開發和選擇要推進到轉換功能管道中的概念，TCO 必須從許多數據源中提取信息。機器學習和自然語言處理可用于從文本源中提取信息;但是，還必須有效地應用和利用主題專業知識，以提供創造性的見解并充分利用提取的信息。

為了了解如何使用以人為本的數據增強（HCDE）決策流程來確定哪些概念要進入管道，作者使用了一種多方法定性方法，其中包括對發展規劃相關文獻的回顧以及對高級領導人的采訪，技術專家，以及來自空軍和國防界的主題專家。他們的分析綜合揭示了TCO使用數據科學工具從能力差距，能力需求和技術解決方案的龐大數據庫中提取信息的機會，并使用更多樣化的面向未來的決策方法（稱為預見方法）來利用人類的專業知識和創造力。他們開發并實施了概念驗證語義聚類分析和主題探索工具，以從能力差距和技術的自由文本描述中提取信息，并將數據提取與前瞻性方法相結合，作為HCDE決策過程的一部分。作者在三個案例研究中展示了數據科學工具和遠見方法。

研究問題

• 可以使用哪些方法來決定將哪些概念推進到空軍轉型能力管道中？

• 數據科學工具能否用于從龐大的數據庫中提取有關能力差距、能力需求和技術解決方案的信息？

• 在這些工作中，可以使用哪些方法來利用人類的專業知識和創造力？

主要發現

• TCO的異常廣泛的任務要求使用不同于空軍其他部（DAF）和國防部組織使用的工具和方法。

• 能力差距的一些數據源被廣泛引用，但它們沒有得到集中管理;科學和技術解決方案的數據源更加多樣化和多樣化，這些來源中包含的數據量非常龐大。

• 沒有軟件工具系統地用于解析、提取和總結能力差距和技術解決方案來源的內容。

• 現代數據科學技術可用于從這些源中包含的自由文本描述中提取信息。

• 發展規劃是一項以人為本的工作，取決于領域知識、創造力和社交網絡。

• 預見方法可用于利用人類的專業知識和創造力。

• 數據科學技術和預見方法可以集成在一起，形成HCDE決策過程。

建議

• 空軍研究實驗室（AFRL）和TCO應使用本報告中描述的概念開發和選擇過程。

• AFRL和TCO應該使用軟件工具，如本報告中所述，從自然語言數據源中提取信息。當他們這樣做時，他們應該進行用戶測試和驗證研究，以改進軟件工具。

• AFRL應探索替代的自然語言處理方法，以最大限度地提高從自由文本來源提取信息的效用。

• DAF 應整理和標準化關鍵的運營能力差距數據源。

• AFRL、DAF 和 TCO 應通過購買或開發清理記錄并將其與元數據合并的功能來豐富關鍵的科學和技術數據源。

• TCO應擴大創造性、互動性、專家驅動和循證預測方法的使用。

• 作為實現HCDE能力發展規劃全面管理和標準化的墊腳石，AFRL和TCO應記錄人為生成的技術配對，以彌補能力差距。

DARPA軟件自動快速認證（ARCOS）項目的目標是 "自動評估軟件保證證據，使認證者能夠迅速確定系統風險是可接受的"。作為該計劃的一部分，DesCert項目專注于新軟件的保證驅動的開發。DesCert團隊由SRI國際公司、霍尼韋爾研究院和華盛頓大學組成。我們采用了一種正式的、基于工具的方法來構建由嚴格的證據支持的軟件工件。DesCert的工作流程將證據生成整合到設計過程中，從需求采集和分析到將高級軟件需求分解為具有斷言契約的架構屬性和軟件組件，再到可以動態和靜態分析的軟件。生成的證據通過保證本體論來組織，并集成到RACK的知識庫中。

軟件已經成為許多安全關鍵系統的核心組成部分。軟件正在慢慢接管以前由機電設備處理的功能。在汽車中，防抱死制動系統使用軟件巧妙而迅速地 "踩下剎車"，以避免因車輪鎖死而打滑。車輛的許多計時、控制、安全、氣候控制和信息娛樂子系統現在主要由軟件處理。在系統的設計和維護方面，軟件的使用支持更大的靈活性、復原力和多功能性。雖然軟件不受磨損，但由于錯誤和安全漏洞，它可能成為系統故障的一個重要來源，因為即使是一個小的設計或編碼錯誤也會產生很大的后果。

軟件保證是一種在部署前確保包含軟件組件的系統安全的方式。在系統安全方面，危險是由故障引起的潛在的危險事件。失敗是對預期行為的偏離。失敗可能是由一個組件的功能錯誤引起的。這個錯誤本身可能是由一個故障造成的，例如軟件中的一個缺失的檢查。在系統設計、操作概念和任務需求的背景下，保證案例捕捉到了軟件安全的基本原理。保證案例確保所有的危險，即軟件可能導致系統失敗的后果，都在設計中得到了緩解。軟件的保證案例包括由論據和證據支持的主張。這些要求必須涵蓋軟件的要求、設計、結構、代碼和平臺（包括硬件、通信網絡、系統軟件和其他庫），以證明軟件的行為適合其預期的目的，不會損害系統的安全。

在最高層次上，軟件的理想品質被記錄在跨越功能需求和性能特征的需求中。眾所周知，許多軟件項目的失敗是由于錯誤的或不明確的需求。需求過程從列舉危險開始，并論證這個列舉是詳盡的。然后構建軟件需求，以指定預期的行為，同時減輕這些危險。需求捕捉軟件行為的屬性，包括對環境的假設、軟件對輸入必須采取的行動，以及軟件必須避免的狀態。有些屬性是通用的，因為它們是由一類普通的系統來滿足的。例如，軟件必須避免死鎖、類型違規和運行時錯誤。其他屬性是針對系統的意圖的，如確保導航數據的準確性。這些需求必須被證明是一致的、完整的和可驗證的。軟件設計正確地提供了這些需求，并分解為結構，即軟件功能被分解為相互作用的模塊的通用方式，以及低級需求（LLRs），這是強加給軟件模塊的契約。模型在軟件設計的設計和保證中起著關鍵作用，它捕捉環境假設、平臺假設、操作者行為，以及物理組件的行為，包括工廠（被控制的物理系統）、傳感器和執行器。這些模型必須是這些組件和子系統的真實行為的足夠精確的近似值，因為它是介于軟件和物理世界之間的交互結構。硬件平臺連同操作系統、庫和膠水代碼必須被證明能夠正確地實現該架構。 軟件組件的源代碼必須滿足合同的要求，并被正確地編譯成可執行代碼，在架構內正確地組成。因此，將所有這些要求和證據整合成一個無懈可擊的系統保證案例是一個重大挑戰。

保證案例的目的是什么？保證案例中提出的主張、論據和證據可以被單獨檢查、探測和攻擊，以確保它們確實為系統安全提供了令人信服的部署前案例。論證中的這些步驟可能會因為各種原因而失敗：缺失、不正確或模糊的要求或假設；不可信的工具；不精確或不匹配的語義；無效的理由；不正確的設計；以及錯誤的代碼。保證案例的強度或效率是指持懷疑態度的評審員通過檢查案例中的各個步驟，而不需要測試或分析完全集成的系統，就能輕易地找出案例中的缺陷。效率是通過使用具有精確語義的語言和符號、與語義兼容的可信工具以及可重用的工件來實現的，如測試理論、代碼生成器、證明助手、類型檢查器、靜態分析器和編譯器。如果盡管保證案例的效率很高，但沒有發現任何缺陷，那么軟件連同其保證案例就可以自信地被認證部署。

如果我們的目標是降低軟件認證的成本，同時提高其嚴謹性，那么上述保證論證的步驟必須在上述意義上是有效的。評估人員必須很容易識別任何差距或缺陷。如果論證失敗，失敗的根源必須是令人震驚的。這意味著我們必須依賴由可重用的工具和設計概念建立的精確的主張，如健全的測試理論、需求分析器、模型檢查器、類型檢查器、架構框架、代碼生成器和編譯器。這種可重復使用的工具和概念的部署擴大了偽造的空間，因為與這些工具相關的通用聲明，例如類型檢查器的健全性，可以被任何工具失敗的實例所偽造，甚至在保證系統內使用之外。顯然，建立諸如模型檢查器、類型檢查器和靜態分析器的健全性等高層次要求的成本較高，但這種成本可以在工具的多次使用中攤銷。效率不僅僅是保證論證的一個特征，也是一種設計啟發式，它有利于設計上的選擇，比如嚴格的架構框架和語義上精確的符號，這些都放大了任何設計缺陷的突出性。

有許多標準用于評估認證的保證案例。IEC 62304是醫療設備軟件認證的標準，規定了設備被宣布為安全所需的證據工件，這些設備在危險等級下運行，不可能有傷害（A級），不可能有嚴重傷害（B級），以及可能有死亡或嚴重傷害（C級）。汽車行業的功能安全標準ISO 26262橫跨系統設計生命周期，涵蓋需求、軟件和硬件[ISO11]。MILSTD-882E規定了軍用航空系統的系統安全認證的過程和程序[DoD12]。在民用航空領域，SAE ARP4754描述了開發民用飛機和系統的準則[SAE96a]，SAE ARP 4761概述了用于系統安全評估的技術[SAE96b]。這些都是與RTCA的標準一起使用的，如硬件設計保證的DO-254[RTC00]和軟件安全標準的DO-178C[Inc11]。DO178-C規定了大約71個保證目標，這些目標必須完全或部分地滿足，以便對軟件進行從災難性（A）到輕微（D）的危險等級認證。

許多安全標準在開發過程、保證目標和評估程序方面都有規定性。這些活動只是間接地影響系統安全。總體屬性（OPs）在三個大目標方面對安全評估采取了更直接的看法[Hol18]。第一，系統的意圖已經被準確地捕捉到。第二，設計的系統對于意圖來說是正確的。三，系統中任何無法追蹤到意圖的額外功能必須是無害的或可接受的，也就是說，必須證明不會影響系統安全。OPs的方法可以與其他標準結合使用，只要論據能夠與意圖、正確性和無害性目標一致。

符合上述標準的軟件認證是一個艱巨的勞動密集型過程，需要收集證據并構建一個能夠通過評估者認可的保證案例。在安全關鍵環境下，認證是軟件開發中時間和金錢方面最昂貴的環節。ARCOS計劃旨在降低開發和認證安全關鍵型軟件的成本并提高其效率。該計劃將保證案例的構建分解為三個階段：證據生成、證據整理和保證案例開發。DesCert項目解決了證據生成階段的問題，重點是新軟件開發。如圖1.1所示，該項目旨在實現高安全性軟件開發的所有階段在三個具體方面的重大改進：與軟件工件相關的主張和證據的形式嚴謹性，在不同抽象層次上產生的證據的可組合性，以及將證據整合到保證論證中并由評估者評估的效率。為了實現這一目標，DesCert方法強調：

1.產生嚴格的、語義連貫的證據的自動化工具

2.捕捉設計意圖的語言和類型系統，如本體類型化。

3.復雜系統的組合式認證

4.捕捉軟件和系統安全性的高效、易驗證的論據

5.可重用的、值得信賴的自動化工具和技術，具有較低的攤銷認證成本

6.在整個設計生命周期中持續的證據生成和驗證。

DesCert團隊由SRI國際公司、霍尼韋爾研究院和華盛頓大學組成。DesCert持續認證工作流程集成了許多需求建模、設計和代碼分析工具，包括CLEAR需求描述語言[BMH+18, HBM+18]、用于從需求中生成測試用例和模型的Text2Test、PVS交互式證明助手、Sally模型檢查器、Radler架構定義語言、用于可插拔類型檢查的檢查器框架、用于生成單元測試的Randoop系統、用于學習軟件假定斷言屬性的Daikon系統，以及SeaHorn靜態分析器。為了持續保證，我們開發了Baseline DesCert工作流程工具，用于監控和維護保證工件的狀態。該工具還與RACK工具互動，以根據保證本體論來策劃和攝取保證工件。

DesCert為新軟件生成證據的方法松散地遵循DO-178C的目標。我們采用CLEAR語言，以軟件組件的輸入/輸出狀態--機器行為來捕捉軟件高級要求（HLR）。HLR用于生成測試輸入，驅動需求中使用的操作的輸入空間和可能的狀態變化，以及用于判斷軟件組件在測試輸入上是否表現出正確行為的測試口令。符合HLR的軟件設計包括軟件架構及其計算和交互模型，以及組件的底層需求。我們使用Sally模型檢查器[DJN18a]來分析CLEAR HLRs在組件層面和架構假設背景下的集成行為。軟件架構是在Radler[LS14, LGS15]使用的多速率、準周期計算模型中捕獲的。Radler的使用允許從架構屬性和組件代碼契約中建立HLRs。我們采用靜態和動態分析工具來分析代碼的通用屬性，如類型良好和不存在某些類別的運行時錯誤，以及由前/后條件契約表達的特定屬性。本體類型系統被用來將數據值與它們所代表的現象量聯系起來，例如，地面速度與空氣速度，地形高度與氣壓高度，私有數據與可發布數據，加密信息與未加密信息，以及過濾與未過濾的傳感器輸入。這些本體標簽以一致的方式用于需求、設計和代碼層面，以檢測普通類型系統無法檢測到的大量數據濫用錯誤。保證工作流程在一個叫做Baseline DesCert的框架中實現和監控，該框架隨著設計的發展而維護索賠和證據。

在第二章中，我們介紹了DesCert在安全關鍵軟件開發的保證驅動方法中生成證據的方法概要。我們的方法的細節將在隨后的章節中詳細闡述。在第三章中，我們描述了保證系統的案例研究，即ArduCopter平臺的高級故障安全（AFS）模塊，該模塊用于檢測和恢復特定類別的故障。第四章概述了我們的證據本體論。第5章給出了保證工具及其整合的細節。第6章描述了基線DesCert連續保證流程管理器。第七章闡述了在AFS案例研究中使用DesCert方法生成證據的細節。第8章給出了結論性意見。

本報告總結了迄今為止在路線偵察領域的本體開發的進展，重點是空間抽象。我們的重點是一個簡單的機器人，一個能夠感知并在其環境中導航的自主系統。該機器人的任務是路線偵察：通過觀察和推理，獲得有關條件、障礙物、關鍵地形特征和指定路線上的敵人的必要信息。路線偵察通常是由一個排的騎兵和非騎兵進行的。這項研究探討了機器人執行部分或全部必要任務的合理性，包括與指揮官進行溝通。

1.1 背景與動機

這是一項具有挑戰性的對抗性任務，即地形穿越加上信息收集和解釋。偵察的解釋方面需要考慮語義學--確定相關的信息和確定它如何相關（即有意義）。語義信息在本質上是定性的：例如，危險是一個定性的概念。為了將危險與某些特定的區域聯系起來，我們需要一種方法來指代該區域。這意味著至少能夠給空間的某些部分附上定性的標簽。

Kuipers在他的空間語義層次的早期工作中指出了空間的定性表示對機器人探索的重要性。例如，層次結構的拓撲層次包含了 "地方、路徑和區域的本體"，歸納產生了對較低層次的因果模式的解釋。

最近，Izmirlioglu和Erdem為定性空間概念在機器人技術中的應用提供了以下理由：

• 各種任務，如導航到一個目的地或描述一個物體的位置，涉及處理物體的空間屬性和關系。......或某些應用（如探索未知環境），由于對環境的不完全了解，可能并不總是有定量的數據。......可理解的相互作用和可接受的解釋往往比高精確度更可取（Kuipers 1983）。對于這些應用，定性的空間關系似乎更適合。

對于負責路線偵察的無人地面車輛（UGV）來說，其架構中的不同模塊將消費和產生語義信息：負責語義感知和目標識別、計劃和執行、自然語言對話等的模塊，加上主要負責維護信息的語義世界模型。例如，在美國陸軍作戰能力發展司令部陸軍研究實驗室的自主架構中，語義/符號世界模型被用來 "實現符號目標（例如，去接近一個特定的物體）"，*其中接近是一個語義概念。

一個關鍵問題是如何在世界模型和其他模塊之間分配維護和處理不同類型語義信息的責任。從語義世界模型的角度來看，這取決于有多少符號推理是合適的。例如，假設要接近的物體位于一個給定區域的某個位置，而不是靠近該區域的外部邊界。一旦機器人靠近物體，就可以推斷出機器人在物體的位置附近，而且也在同一區域內。如果有公制信息，就可以用幾何例程得出這個結論。在沒有公制信息的情況下，是否會出現在純粹的定性空間中推斷有用的情況？

本報告不涉及這個問題。我們的目標是確定什么應該被代表，而把如何代表和在哪里代表留給未來的工作。

1.2 路線偵察

以下片段取自FM7-92中對路線偵察的描述。空間表達是彩色的，周圍有一些文字作為背景。

• 路線偵察的重點是獲得關于一條指定路線和敵人可能影響沿該路線移動的所有地形的信息。路線偵察的方向可以是一條道路、一條狹窄的軸線（如滲透通道），或一個總的攻擊方向......防御陣地。......部隊可以機動的可用空間......所有障礙物的位置和類型以及任何可用的繞道位置。障礙物可包括雷區、障礙物、陡峭的峽谷、沼澤地或核生化污染 ......沿途和鄰近地形的觀察和火力范圍 ......沿途提供良好掩護和隱蔽的地點 ......。橋梁的結構類型、尺寸和分類。著陸區和接駁區。與路線相交或穿越的道路和小徑。. . 如果建議路線的全部或部分是道路，則該排認為該道路是一個危險區域。它使用有掩護和隱蔽的路線與道路平行移動。當需要時，偵察和安全小組靠近道路，以偵察關鍵區域。

路線偵察的結果是一份報告，以圖表的形式，并附有文字說明。FM7-92給出了一個例子，我們可以從中提取一些更必要的概念：

• 網格參考。磁性北方箭頭..道路彎道..陡峭的坡度..道路寬度的限制（橋梁，隧道等）..岔道的位置..隧道..

讓我們把這段關于路線偵察的描述中提到的概念建立一個綜合清單，重點放在空間概念上，并盡可能地保留軍事術語:

1）必須指定環境中的位置、路線、區域和感興趣的物體。稱這些為 "實體"。

2）這些實體之間的空間關系是相關的（例如，一個地點在另一個地點的北邊）。值得注意的是，不同類型的實體之間的關系是被指定的。

a. 物體（例如，障礙物）在位置或區域。

b. 一些地點在空間上與路線有關（例如，沿著路線，毗鄰，或靠近道路）。

c. 地點可能代表更大的區域（例如，雷區的位置）。

d. 道路和小徑可以與路線相關：它們可能相交、重疊（部分疊加），或平行運行。

3. 一些實體對路線具有戰術價值，無論是進攻還是防御（例如，雷區）。

a. 一些地點相對于其他地點或區域有方向性的定位（例如，一個防御性的位置）。

b. 有些區域是由其與另一個區域或地點的關系來定義的，這可能不是一種局部的關系（例如，觀察和火力場是由一個潛在的遠程位置來定義的，該位置有一條通往路線上的一個區域的線路）。

4）路線可能被障礙物阻擋，障礙物可能是明確的物體或更大的區域（例如，一個障礙物與一個雷區）。

5. 路線和地形的三維幾何特性是相關的：道路上的急轉彎，陡峭的坡度，等等。

6）有時，描述物理基礎設施（如道路、橋梁）及其屬性是很重要的。

1.3 路線偵察抽象

路線偵查收集和解釋不同種類和不同來源的信息:

• 背景知識。這包括關于環境特征的類型和預期成為任務一部分的物體的信息，包括道路、障礙物、溝壑、橋梁等等。

• 任務規范。確定偵查的區域和路線，以及當時可獲得的任何信息。

• 環境。通過空間分析（包括幾何學、拓撲學等）、感知、地圖衛星數據的離線圖像處理和其他類型的分析，確定環境的相關特征。

• 任務執行期間的通信。我們假設指揮官或人類操作員在偵察過程中可以向UGV提出詢問或命令，提供新信息或集中注意力。

• 如前所述，一份報告。

原則上，所有這些信息都以某種抽象的形式組合在一個語義世界模型中。我們把環境的物理屬性和特征稱為 "實體"。把我們用來表示這些實體和它們之間關系的抽象概念稱為 "概念"。

不同類型的實體的概念。層次結構在語義表征中很常見，用來捕捉關于世界上遇到的實體類型的一般知識。一個類型就是一個概念，類型被組織在一個層次中：MRZR是一種輕型的、戰術性的、全地形的車輛，它是一種輪式地面車輛，它是一種地面車輛的類型，等等。屬性和關系可以與一個給定的概念相關聯，而下級概念則繼承這些屬性。在路線偵察中，如果有信息說某一地區有一條道路，但沒有更多的細節，仍然可以從道路的概念中推斷出它的預期屬性：它比它的寬度長得多；它在人們感興趣的地點之間通向；在其他條件相同的情況下，它可能比周圍的地形行駛得快。從實用的角度來看，這意味著如果有可能將某物歸類為一個已知的概念，那么語義世界模型就不需要記錄關于該物的每一條相關信息。

用于實體的目的和用途的概念。一個代表道路典型用途的概念可以進一步區分其長度和寬度的語義，這反過來又導致了跨越和沿途、穿越和跟隨等概念之間的區別。這將使UGV能夠以不同的方式對待 "偵察道路對面的區域 "和 "偵察前方的道路 "的命令。前方的道路也是一個語義概念：它取決于對過去去過的地方的了解。

代表部分信息的概念。有時可能會有定性的信息。想象一下，任務規范的一部分是關于雷區在計劃路線上存在的信息，但不知道具體位置，或者知道雷區的位置，但不知道其范圍。這種無知可以很容易地在代表實體的概念中得到體現。

新概念適用于新環境。另一個交流的例子可能是信息性的。想象一下，當一輛UGV穿越一條東西走向的道路時，它與遠程指揮官進行交流，指揮官問道："道路北側是什么？"* 需要識別的物體可能不在道路和地形的邊界上（與 "建筑物的一側 "形成對比），而是在以道路邊緣為界的某個感興趣的區域內，距離UGV的位置向北不遠，向東和向西也有一些距離。這個區域可能沒有事先作為一個概念被劃定；相反，它是在當前的背景下構建或推斷出來的。這是一個有趣的例子，一個概念不是從公制數據中抽象出來的，而是被強加在公制數據上的。

背景中的概念的適應和組合。想象一下，對一張地圖的分析產生了對代表區域、道路等等的概念的分解。這些概念可能直接適用于某些目的。例如，與道路相聯系的概念在推理兩點之間的導航時是有用的。然而，在其他情況下，這些概念可能需要調整或與其他概念相結合。例如，如果一條道路被指定為 "危險區域"，那么這個區域的概念可能會超出道路的邊界，延伸到周圍的地形。

美國陸軍未來司令部的士兵致命性（SL）跨職能小組（CFT）正在研究通過頭戴式和武器式能力的組合來增強下馬步兵的新方法。根據SLCFT的指示，美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室的研究人員探索了加強輔助目標識別能力的技術，作為陸軍下一代智能班組武器計劃的一部分。

敵對環境中涉及潛在目標的復雜決策必須由下馬的士兵做出，以保持戰術優勢。這些決定可能是人工智能（AI）技術的強大信息，如AI支持的火力或指揮和控制決策輔助工具。例如，一個士兵發射武器是一個明確的跡象，表明該地區有一個敵對的目標。然而，一個士兵在環境中追蹤一個潛在的目標，然后放下他們的武器，這是一個模糊的、隱含的跡象，表明該目標受到關注，但最終被該士兵認為不是一個直接的威脅。在近距離作戰的環境中，與士兵狀態相關的隱性標記數據（如光電視頻、位置信息或火力行動）可用于輸入決策輔助工具，以得出真實的戰場背景。然而，需要對這些行動進行更徹底的檢查。此外，來自單個士兵的突發非交流行為在整個班級中的匯總可以增強戰術態勢感知。盡管它們有可能產生戰術影響，但這些狀態估計或行為指標往往不能以立即可用的形式獲得。

DEVCOM陸軍研究實驗室（ARL）的研究人員調查了一種通過機會主義感應來進行下馬士兵狀態估計的方法--一種不需要人類明確行動就能收集和推斷關鍵的真實世界數據的方法。在通過正常使用武器追蹤和攻擊移動和靜止目標時，連續獲得數據以解釋士兵的行為。這項工作中使用的士兵-武器行為分類方法主要來自人類活動識別（HAR）研究。然而，在這項工作中，為了提高行為結果的生態有效性，在眼球追蹤文獻中經常使用的實驗范式被反映出來，將眼球運動和認知推理聯系起來。具體來說，眼動跟蹤研究的一個子集的目標是收集和解釋與公開的視覺注意力有關的眼動事件（即固定、囊狀運動和追逐），這可以揭示認知過程和關于環境的客觀內容。在戰斗中，士兵們可能會將他們的目標停留在一個靜態的目標上（固定），當出現新的目標時迅速轉換目標點，有潛在的目標出現（囊狀運動），或者在潛在目標移動時跟蹤他們的目標點（平滑追擊）。

目前，頭戴式眼動跟蹤技術正在開發用于戰斗。然而，與校準誤差有關的凝視數據中的噪聲使其難以有效地使用這些數據。一個更突出的解決方案可能存在于士兵和他們的武器之間的互動中，這項工作使用傳統的HAR技術進行。執行HAR的主要方法是在一個人進行一些身體活動時，使用慣性測量單元收集時間序列數據。然后使用機器學習技術來訓練分類模型，根據數據信號預測行動。這種方法可以擴展到包括在人類與物體互動時對其運動的分類。在這種情況下，當近距離作戰的士兵與潛在的威脅進行互動時，武器的運動特征被伺機獲得，這為這些士兵在這種環境中做出的復雜決定提供了一個窗口。

論文中記錄并發表了對這一評估的全面分析。對來自動態士兵狀態估計的運動數據進行建模和分析以實現對形勢的理解。

這項工作是DARPA資助的Active Interpretation of Disparate Alternatives（AIDA，對不同選擇的積極解釋）項目的一部分，該項目旨在自動建立一個知識庫，可以通過查詢來戰略性地生成關于事件的不同方面的假設。我們作為TA1團隊參與了這個項目，并開發了一個管道，可以整合文本和視覺輸入，并處理這些多模態數據以捕捉由實體、事件和關系代表的事件。我們開發了基于圖表示的方法，通過借鑒文本中確定的依賴關系，或借鑒我們開發的一種新方法，使用關聯嵌入來創建視頻上的圖表示。由此產生的結構是一個知識圖譜，通過查詢可以戰略性地產生關于事件不同方面的假設。

在我們的現代世界中，事件和情況迅速鋪展，產生了大量的互聯網文章、照片和視頻。對這些豐富的信息進行自動分類的能力將使我們能夠確定哪些信息是最重要和最可信的，以及趨勢是如何隨著時間的推移展開的。在本文中，我們提出了對網絡上大量政治數據進行分類的系統第一部分。我們的系統接受原始的多模態輸入（如文本、圖像和視頻），并生成一個以有意義的方式連接實體、事件和關系的知識圖譜。

我們的項目是DARPA資助的Active Interpretation of Disparate Alternatives (AIDA)項目的一部分，該項目旨在自動建立一個知識庫，可以通過查詢來戰略性地生成關于一個事件的不同方面的假說。我們作為TA1團隊參與了這個項目，建立了整個系統的第一步。

我們的方法在圖1中概述，并將在以下章節中詳細討論。該管道的第一步是預處理，如圖1最上面一行所示。原本以多種語言書寫的原始文本文件被翻譯成英文，音頻和視頻片段被轉錄并翻譯成英文。這些經過翻譯的數據被傳遞到管道的第二階段（圖1的中間一行）。在這里，相關的實體（例如，人、地方、國家）被提取出來，這些實體被用來提取連接實體的關系和事件。最后，這些實體、事件和關系被傳遞到管道的最后階段（圖1的底行）。我們輸出一個完全成型的知識圖，代表我們從原始輸入文檔中收集到的信息。這個知識圖譜包括實體以及它們之間的聯系。

圖1：AIDA的整體管道。我們的系統部分接收原始文本文件（左上）和音頻和視頻（右上），并輸出一個知識圖譜（右下）。

本教程針對的是對人工智能和ML技術感興趣的研究人員和從業人員，這些技術用于從非結構化文本源中提取結構信息(IE)。特別是，本教程將通過解決幾個重要的研究問題，系統地介紹IE的最新進展。這些問題包括 (i) 如何利用少量的、有噪聲的訓練數據開發一個魯棒的IE系統，同時保證其預測的可靠性?(ii）如何通過增強系統的跨語言、跨領域、跨任務、跨模式的可移動性來培養IE的通用性? (iii)如何支持提取極細粒度和多樣化標簽的結構信息? (iv) 如何利用其他NLP任務(如NLI、QA或總結，以及預先訓練的語言模型)的間接監督來進一步提高IE ?(v)在IE系統中如何獲取知識來指導推理?我們將討論解決這些挑戰的前沿研究的幾個線，并將通過概述進一步調查的方向來結束教程。

信息抽取(Information extraction, IE)是指從非結構化或半結構化數據中自動提取結構化信息的過程。它通過識別和解析文本中描述的概念、實體、事件，并推斷它們之間的關系，為自然語言理解提供了必要的支持。在各種應用領域中，IE自動化了領域特定知識表示的昂貴獲取過程，而這些知識表示是任何知識驅動AI系統的支柱。例如，自動化知識庫的構建依賴于以實體為中心的IE技術。事件和事件鏈的提取可以幫助機器完成敘事預測和總結任務。醫學IE也有利于重要但昂貴的臨床任務，如藥物發現和再利用。盡管如此，IE的前沿研究仍然面臨著幾個關鍵的挑戰。第一個挑戰是使用語言建模表示的現有主流方法不能充分地獲取IE任務所需的基本知識和結構。第二個挑戰是開發監督較少的細粒度信息提取模型，考慮到在未標記數據上獲得結構性注釋的成本非常高。第三個挑戰是在現實場景中擴展IE系統的可靠性和通用性，在這些場景中，數據源經常包含不正確的、無效的或無法識別的輸入，以及包含看不見的標簽和混合模式的輸入。最近，通過解決這些關鍵的挑戰，最近的文獻正在導致IE系統開發的原則和方法的變革性的進步。我們認為有必要及時呈現一個教程，全面總結IE研究的新前沿，并指出值得進一步研究的新挑戰。

在本教程中，我們將系統地回顧開發魯棒、可靠和自適應學習系統以提取豐富的結構化信息的幾條前沿研究路線。除了介紹用于無監督去噪、約束捕獲和新異檢測的魯棒學習和推理方法外，我們還將討論利用來自自然語言推理和生成任務的間接監督來改進IE的最新方法。我們還將回顧最近用于訓練IE模型的最小監督方法，該方法與語言模式、語料庫統計數據或語言建模目標有一定距離的監督。此外，我們將說明如何在一個封閉域上訓練的模型能夠可靠地適應從不同域、語言和模式的數據源中產生提取，或獲取全局知識(例如，事件模式)，以指導在高度多樣化的開放標簽空間上的提取。與會者將了解本主題的最新趨勢和新出現的挑戰，獲得現成模型的代表性工具和學習資源，以及相關技術如何使最終用戶的NLP應用受益。

介紹

我們將定義主要的研究問題，并通過介紹幾個真實世界的自然語言處理和IE技術的知識驅動AI應用，以及該領域前沿研究的幾個關鍵挑戰來激發這個主題。

IE的間接和最小監督

我們將介紹對IE使用間接監督的有效方法，即利用相關任務的監督信號來彌補特定訓練數據在數量和全面性方面的不足。常見的間接監督來源包括問題回答和閱讀理解、自然語言推理和生成。我們還將討論作為間接來源的結構性文本(如維基百科)。隨著大規模預訓練語言模型的突破，人們提出了探索語言模型目標作為IE的間接監督的方法。為此，我們將涉及的方法包括直接探測，以及最近使用遠程信號進行預訓練。

面向IE的魯棒學習與推理

我們將介紹提高工業工程學習系統在學習和推理階段的魯棒性的方法。這些方法包括基于共正則化知識蒸餾、標簽重加權和標簽平滑的自監督去噪技術，用于訓練噪聲魯棒的IE模型。此外，我們還將討論用于out- distribution (OOD)檢測的無監督技術、帶有回避的預測和新穎性類檢測，這些技術試圖幫助IE模型在推理階段識別無效輸入或帶有語義轉移的輸入。具體來說，為了演示模型如何確保提取的全局一致性，我們將介紹自動捕獲關系之間的邏輯約束的約束學習方法，以及在推斷中強制約束的技術。

Knowledge-guided即

從大規模語料庫中提取的全局知識表示可以指導對知識要素之間復雜聯系的推理，并有助于修正提取錯誤。我們將引入跨任務和跨實例的統計約束知識、常識知識和全局事件模式知識，這些知識有助于聯合提取實體、關系和事件。

IE系統的可遷移性

開發IE系統的一個重要挑戰在于預定義模式(例如，預定義類型的實體、關系或事件)的覆蓋范圍有限，以及對人工注釋的嚴重依賴。當轉向新的類型、領域或語言時，我們必須從頭開始，創建注釋并重新訓練提取模型。在這部分教程中，我們將介紹在提高IE可轉移性方面的最新進展，包括:(1)通過利用對抗訓練、語言不變表示和資源、預訓練的多語言模型以及數據投影進行跨語言遷移;(2)跨類型遷移，包括通過學習原型、閱讀定義、回答問題，包括零樣本和少樣本的IE;(3)跨不同基準數據集遷移。最后，我們還將討論IE終身學習的進展，以實現知識在增量更新模型之間的轉移。

跨模態IE

跨模態IE旨在從多種模態中提取結構化知識，包括非結構化和半結構化的文本、圖像、視頻、表格等。我們將從從圖像和視頻中提取視覺事件和論點開始。提取多媒體事件的關鍵是識別跨模態的相互參照和鏈接，并在共同的語義空間中表示文本和視覺知識。我們還將介紹從半結構化數據和表格數據中提取信息的方法。

未來的研究方向

工業工程是支持知識獲取的關鍵組成部分，它影響著廣泛的知識驅動AI應用。在本教程的最后，我們將介紹進一步的挑戰和潛在的研究主題，包括識別提取內容的可信度、定量推理IE、跨文檔IE、標簽語義建模，以及從語料庫中獲取潛在的但重要的信息(可能涉及報告偏見)的挑戰。