亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

 摘要—生成性人工智能（AI）通過使機器能夠以空前的復雜性創建和解釋視覺數據，迅速推動了計算機視覺領域的發展。這一變革建立在生成模型的基礎上，能夠生成逼真的圖像、視頻以及3D/4D內容。傳統上，生成模型主要關注視覺逼真度，而往往忽視了生成內容的物理合理性。這一差距限制了其在需要遵守現實世界物理法則的應用中的效果，如機器人技術、自動化系統和科學模擬。隨著生成性人工智能不斷融入物理現實和動態仿真，其作為“世界模擬器”的潛力不斷擴大——能夠模擬由物理法則主導的交互，架起虛擬與物理現實之間的橋梁。本綜述系統地回顧了這一新興領域——計算機視覺中的物理感知生成性AI，按其如何融入物理知識對方法進行了分類——無論是通過顯式仿真還是隱式學習。我們分析了關鍵范式，討論了評估協議，并指出了未來的研究方向。通過提供全面的概述，本綜述旨在幫助未來在視覺領域的物理基礎生成方面的發展。綜述中提到的論文匯總在

//github.com/BestJunYu/Awesome-Physics-aware-Generation

1 引言生成學習一直是現代計算機視覺的基礎支柱，解決了理解、合成和操作視覺數據中的關鍵挑戰。在過去的十年里，該領域見證了多種生成模型的快速發展，包括變分自編碼器（VAE）[1]、生成對抗網絡（GAN）[3]、擴散模型（DM）[4]、[5]、[6]、神經輻射場（NeRF）[7]、高斯濺射（GS）[8] 和視覺自回歸模型（VAR）[9]。這些模型不斷推動生成學習的邊界，利用越來越強大的架構來捕捉視覺數據的潛在分布。其目標是使機器能夠以類似人類的創造性和理解方式推理視覺世界，通過在未見過的場景中想象新的視覺內容實例。在這些進展中，擴散模型因其能夠生成高度逼真的輸出而成為特別值得注意的技術。通過通過學習到的去噪過程迭代地精煉隨機噪聲，擴散模型展現出卓越的魯棒性和多功能性，成為近期生成方法學的基石。生成模型的應用跨越了多種視覺內容的模態，包括具有語義理解的圖像生成、具有動態時間理解的視頻生成、具有增強空間理解的3D內容生成[10]、[11]、[12]以及具有更復雜和綜合理解的4D內容[13]、[14]、[15]、[16]、[17]、[18]、[19]。這些進展突顯了生成學習在日益復雜的視覺任務中的巨大潛力。在這些不同的視覺模態中，視頻生成最近在生成學習領域獲得了顯著關注，它為擴展大型生成模型處理更高維數據提供了一個更加具有挑戰性的試驗平臺。這一復雜性不僅源于單個幀的空間復雜性，還來自于跨序列所需的時間一致性。許多商業視頻生成模型已被開發并引起了廣泛的公眾關注，如OpenAI的Sora [20]、Google的Veo2 [21]、騰訊的Hunyuan [22]和快手的Kling [23]。視頻生成已在多種形式和設置中得到深入研究，從最基本的無條件生成[24]、[25]到圖像到視頻生成[26]、[27]、[28]、[29]、[30]、[31]、[32]、[33]、文本到視頻生成[24]、[25]、[26]、[29]、[30]、[30]、[34]、[35]、[36]、[37]、視頻到視頻生成[38]、[39]、以及視頻編輯或定制[40]、[41]、[42]、[43]。這些設置各自解決了獨特的挑戰，從保持時間連續性到結合來自文本或視覺輸入的語義引導。更重要的是，視頻在生成AI視覺的未來中占據了關鍵地位。互聯網上可用的大量視頻數據封裝了關于現實世界的豐富信息，使視頻成為生成AI可以學習建模復雜現實世界現象的媒介。在這個背景下，視頻可以被視為現實世界決策的“語言”，具有彌合數字和物理領域的潛力[44]。視頻生成有望提供一個統一的接口作為“世界模型”[45]，處理物理知識，類似于文本大語言模型（LLM）處理抽象知識的方式。這種模型可以促進大量下游任務的執行，包括自動駕駛、科學仿真、機器人[46]、[47]、[48]、[49]、[50]以及其他形式的具身智能。為了實現這一潛力，生成過程應能夠與人類或其他系統的外部控制進行交互。這種互動性促進了動態決策制定和基于互動優化結果的能力，催生了可以描述為生成交互環境的概念[44]、[51]、[52]、[53]。視頻生成已經與多種交互控制信號相結合，如運動向量或軌跡[54]、[55]、[56]、[57]、[58]、手部掩碼[59]、潛在動作[53]、[60]、機器人操作[47]、相機運動[61]、演示[62]和自然語言描述[63]、[64]、[65]。這些互動元素突顯了生成視頻模型的多功能性和適應性，為其演變為世界模型鋪平了道路。然而，從生成到穩健世界建模的過渡仍然存在一個關鍵差距：真實世界物理的忠實理解和復制能力[66]（見圖1）。當前的最先進模型主要針對像素空間中的視覺真實感進行優化，而非在實體或概念空間中的物理合理性。為了使生成模型能夠作為物理世界的模擬器，它們必須融入對物理法則的深刻理解，如動力學、因果關系和材料屬性。這種物理意識對于超越僅生成視覺上吸引人的輸出至關重要，以確保內容與物理世界的約束和行為一致。因此，我們提供本綜述，作為對現有文獻的及時而全面的回顧，旨在將物理感知嵌入生成模型。通過審視這些努力，我們希望突出至今所取得的進展，提供清晰的范式結構，并識別未來的潛在研究方向。綜述范圍：本綜述的范圍是關于增強生成輸出物理感知的計算機視覺生成模型。因此，我們不包括將物理原理作為先驗知識或歸納偏置融入模型或神經架構設計的文獻，例如物理信息神經網絡（PINN）[67]、[68]，即使任務與生成學習相關，例如[69]、[70]、[71]。我們專注于生成任務，因此不包括圖像處理任務，如去模糊、去霧和增強，盡管我們注意到這些工作中有大量的物理相關內容。為了專注于計算機視覺，我們還排除了純圖形和渲染研究與物理仿真相結合的文獻。與其他綜述的比較：如同在我們的范圍中所述，本綜述與現有的關于物理信息機器學習[72]、物理信息計算機視覺[73]和物理信息人工智能[74]的綜述不同，因為它們強調的是在物理先驗知識下的模型設計方面。我們的綜述專注于具有物理感知的生成，因此與現有的關于生成模型[75]、擴散模型[76]、[77]、視頻擴散模型[78]、基于擴散的視頻編輯[79]的綜述有所不同。與專注于特定領域的綜述，如人類視頻或運動生成[80]、[81]、[82]相比，我們的綜述也有不同的范圍。

摘要：為全面、客觀地評估人工智能技術發展對軍事變革的影響，進行多視角綜合研究。通過對時代演進、技 術創新和實戰應用全面審視人工智能對軍事變革的影響，力圖全面客觀地分析人工智能在引領軍事變革過程中發揮 的作用。結果表明，該研究為促進軍事領域人工智能的建設發展提供理論參考。 關鍵詞：人工智能；戰爭形態演進；通用技術創新；俄烏沖突

軍事技術的進步與創新在歷史上每一次軍事變 革中都發揮了重要作用，作為特殊的武裝集團，軍 隊的作戰規模、作戰方式和指揮控制隨著不同時代 戰爭形勢的變化而不斷調整更新。根據相關研究， 每當軍事技術出現革命性變化時，軍隊結構、作戰 理念和戰爭形態也會隨之相應變革，并直接影響軍 事沖突的方式。軍事技術創新與軍事變革之間存在 著密不可分的內在聯系。綜觀人類戰爭史，從火藥 的發明到信息技術的應用，先進的軍事技術與裝備 的出現都對作戰方式和軍隊組織產生過深遠影響； 因此，要準確預測未來戰爭的面貌，必須密切關注 軍事技術發展的前沿與趨勢，以確保軍事力量現代 化建設與作戰理念的先進性。 當前，隨著人工智能技術的快速發展，軍事領 域正在經歷前所未有的變革。人工智能技術在自動 化武器系統、無人機、輔助決策等軍事應用方面取 得長足進展，被美國、俄羅斯等軍事強國視為改變 未來戰爭形態的關鍵技術之一[1]。然而，人工智能 技術發展與應用還處在起步階段，其對軍事領域的 影響機理與作用路徑尚不明確，相關研究多停留在 理論探討層面，缺乏系統性的實證分析。為全面、 客觀地評估人工智能技術發展對軍事變革的影響， 有必要從多個視角進行研究，綜合考量戰爭形態演 進規律、通用技術發展理論以及實戰案例觀察，以 提出科學合理的研究建議。基于此，筆者以人工智 能技術在軍事領域的應用為研究對象，從戰爭形態 演進、俄烏沖突應用和通用技術發展 3 個視角對其 影響機理進行全面研究。

摘要—多模態情感計算（MAC）由于其在人類行為和意圖分析中的廣泛應用，尤其是在以文本為主導的多模態情感計算領域中，受到了越來越多的關注。本綜述從自然語言處理（NLP）視角出發，介紹了多模態情感計算的最新趨勢，涵蓋四個熱門任務：多模態情感分析、多模態對話情感識別、多模態基于方面的情感分析以及多模態多標簽情感識別。本綜述的目標是探索當前多模態情感研究的現狀，識別發展趨勢，突出不同任務之間的相似性和差異性，并為多模態情感計算在NLP視角下的最新進展提供全面報告。本綜述涵蓋了任務的形式化，概述了相關研究工作，描述了基準數據集，并詳細介紹了每個任務的評估指標。此外，本文簡要討論了涉及面部表情、聲學信號、生理信號和情感原因的多模態情感計算研究。我們還討論了多模態情感計算中的技術方法、挑戰及未來發展方向。為了支持進一步的研究，我們發布了一個匯集了多模態情感計算相關工作的資源庫，提供了詳細的資源和參考文獻，供研究社區使用。

情感計算結合了計算機科學、心理學和認知科學的專業知識，其目標是賦予機器識別、解釋和模擬人類情感的能力【1】–【6】。當今世界充滿了各種模態——我們通過視覺感知物體，通過聽覺感受聲音，通過觸覺感受物體的質地，通過嗅覺聞到氣味，等等。模態是指體驗的感知或發生方式，通常與視覺或觸覺等感官模態相關，這些模態對交流和感知至關重要。在多個領域的多模態學習取得重大進展【7】【8】后，多模態情感計算的進展加速并受到越來越多的關注。

多模態情感計算旨在開發能夠在多種模態下解釋和推理情感或情緒狀態的模型。在其早期階段，情感計算的研究主要集中在單一模態任務上，分別研究基于文本、音頻和視覺的情感計算。例如，D-MILN【9】是一個文本情感分類模型，而工作【10】利用訓練在原始音頻上的雙向長短期記憶（BiLSTM）模型預測群體反應的平均情感。如今，情感分析已廣泛應用于各種模態中，用于市場研究、品牌監測、客戶服務分析和社交媒體監控等應用。多媒體技術的最新進展【11】–【14】拓寬了信息傳播的渠道，新聞、微博等社交媒體平臺以及視頻內容的涌現將文本（口語特征）、聲學（節奏、音高）和視覺（面部屬性）信息整合起來，用于全面分析人類情感。例如，Xu等人【15】將圖像模態數據引入傳統的基于文本的方面級情感分析，創建了多模態基于方面的情感分析新任務。同樣，Wang等人【16】將文本情感原因對提取擴展到多模態對話環境中，利用多模態信號（文本、音頻和視頻）增強模型理解情感及其原因的能力。

多模態情感計算任務與機器學習中的多個學習范式密切相關，包括遷移學習【17】–【19】、多模態學習【20】【21】、多任務學習【22】–【24】和語義理解【25】【26】。在遷移學習方面，它使得在一個領域訓練的情感分析模型能夠適應其他領域的有效表現。通過在目標領域有限的數據上微調預訓練模型，這些模型可以遷移到新領域，從而提升其在多模態情感計算任務中的表現。在多模態學習中，跨模態注意力動態對齊并聚焦于來自不同模態的相關信息，通過突出關鍵特征及其交互來增強模型捕捉情感的能力。在多任務學習中，跨情感計算任務和模態的共享表示通過從文本、音頻和視頻中捕捉共同的情感相關特征來提升表現。 最近，多模態學習的研究通過在大規模多模態數據集上預訓練多模態模型，進一步提升了下游任務的性能，如多模態情感分析【27】–【30】。隨著預訓練模型規模的擴大，參數高效的遷移學習方法如適配器【31】、提示【32】、指令微調【33】和上下文學習【34】【35】等不斷涌現。越來越多的多模態情感計算研究利用這些參數高效的遷移學習方法，將預訓練模型（如單模態預訓練模型或多模態預訓練模型）的知識遷移到下游情感任務中，通過進一步微調預訓練模型來提升模型性能。例如，Zou等人【36】設計了一個多模態提示Transformer（MPT）用于跨模態信息融合。UniMSE【37】提出了一種基于適配器的模態融合方法，它將聲學和視覺信號注入T5模型中，與多層次的文本信息進行融合。

多模態情感計算涵蓋了情感分析、觀點挖掘和情感識別等任務，使用的模態包括文本、音頻、圖像、視頻、生理信號和觸覺反饋。本綜述主要關注三種關鍵模態：自然語言、視覺信號和聲音信號。我們在本綜述中突出了四個主要任務：多模態情感分析（MSA）、多模態對話中的情感識別（MERC）、多模態基于方面的情感分析（MABSA）和多模態多標簽情感識別（MMER）。多模態情感計算領域已有大量研究，且已有多篇綜述【14】【38】–【40】發表。然而，這些綜述主要集中于特定的情感計算任務或單一模態，忽略了跨多任務的多模態情感計算的總體概況，以及這些任務之間的一致性和差異性。

本綜述的目標有兩點。首先，旨在為初學者提供多模態情感計算的全面概述，探索情感分析中的深度學習，詳細介紹任務、輸入、輸出及相關數據集。其次，為研究人員提供反思過去發展、探索未來趨勢的視角，并研究多模態情感分析和情感識別領域的技術方法、挑戰及研究方向。

---

綜述的結構

第III節概述了多模態情感任務的任務形式化及應用場景。第IV節介紹了特征提取方法和最近的多模態預訓練模型（如CLIP、BLIP、BLIP2）。第V節從多模態融合和多模態對齊兩個角度分析了多模態情感研究，并簡要總結了用于進一步微調預訓練模型的參數高效遷移方法。第VI節回顧了關于MSA、MERC、MABSA和MMER的文獻，重點討論了多任務學習、預訓練模型、增強知識和上下文信息。此外，第VII節總結了多模態數據集，第VIII節涵蓋了每個多模態情感計算任務的評估指標。在回顧多模態情感計算工作后，第IX節簡要回顧了基于面部表情、聲學信號、生理信號和情感原因的多模態情感計算工作，突出其一致性、差異性及其最新趨勢。第X節從三個方面展望了未來工作：多模態情感計算任務的統一、外部知識的引入以及較少研究的模態情感計算。最后，第XI節總結了本綜述及其對多模態情感計算社區的貢獻。

多模態情感計算中的多模態學習

多模態學習涉及從不同模態中學習表示。通常，多模態模型應首先基于語義對模態進行對齊，然后再融合多模態信號。在對齊后，模型將多個模態組合成一個表示向量。

A. 初步概述

隨著預訓練模型規模的擴大，出現了諸如適配器【31】、提示【32】、指令微調【33】和上下文學習【34】【35】等參數高效的遷移學習方法。在這種范式下，預訓練的語言模型（LMs）不再通過目標工程適應下游任務，而是通過提示、指令微調和上下文學習，將下游任務重新格式化，使其更像原始LM訓練期間解決的任務。例如，在視覺語言模型（VLMs）中，像GPT-4V【65】和Flamingo【67】的提示使用，使模型能夠基于視覺和文本輸入的結合來解釋和生成輸出。與提示不同，指令微調屬于提示學習范式。此外，像InstructBLIP【70】和FLAN【72】這樣的模型表明，指令微調不僅提高了模型對指令的遵循性，還增強了其跨任務的泛化能力。在多模態情感計算領域，研究人員可以利用這些參數高效的遷移學習方法（例如適配器、提示和指令微調），將預訓練模型（例如單模態預訓練模型或多模態預訓練模型）的知識遷移到下游情感任務中，并通過情感數據集進一步微調預訓練模型。鑒于多模態情感計算涉及多模態學習，因此我們從多模態融合和多模態對齊的角度分析多模態情感計算的相關工作，如圖1所示。

B. 多模態融合

多模態信號是異質的，來源于各種信息源，因此將多模態信號整合為一個表示至關重要。Tasi等人【74】根據融合階段將多模態融合總結為早期融合、晚期融合和中間融合。早期融合在模型處理之前，將來自不同模態的特征在輸入級別進行組合。晚期融合則通過單獨的子網絡分別處理來自不同模態的特征，并在做出最終決策之前的晚期階段將這些子網絡的輸出進行組合。晚期融合使用單模態的決策值，并通過如平均【121】、投票方案【122】、基于通道噪聲的加權【123】和信號方差【124】等機制將它們結合起來，或者通過學習模型【6】【125】進行融合。這兩種融合策略面臨一些問題。例如，特征級別的早期融合在融合操作后可能低估模態內的動態，而決策級別的晚期融合在融合操作之前可能難以捕捉模態間的動態。不同于前兩種方法的地方在于，中間融合是在模型學習器的中間層結合來自不同模態的特征，允許模態在不同的處理階段進行更多的交互，從而可能產生更豐富的表示【37】【126】【127】。基于這些融合策略，我們從三個方面回顧了多模態融合：跨模態學習、模態一致性與差異性、多階段模態融合。圖2展示了模態融合的三個方面。

**1) 跨模態學習

跨模態學習關注的是通過引入模態間的依賴關系和交互來實現更好的模態融合。早期的多模態融合工作【73】主要在特征空間中進行幾何操作，以融合多種模態。最近，跨模態學習的常見方式是引入基于注意力的學習方法來建模模態間和模態內的交互。例如，MuLT【74】提出了多模態Transformer，用于學習模態間的交互。Chen等人【75】通過三模態協同交互增強了模態內和模態間的特征，并統一了三種模態的特性（跨模態）。楊等人【76】提出了跨模態BERT（CM-BERT），旨在基于預訓練的BERT模型對文本和音頻模態的交互進行建模。Lin等人【77】探討了模態內和模態間表示的復雜關系，用于情感提取。最近，Tang等人【78】提出了多模態動態增強模塊，用于捕捉模態內的情感上下文，減少輔助模態的模態內冗余。Huang等人【79】提出了一個基于跨模態注意力的文本中心融合網絡（TeFNA），這個多模態融合網絡利用跨模態注意力建模未對齊的多模態時間信息。

在情感識別領域，CMCF-SRNet【80】是一個跨模態上下文融合和語義精煉網絡，包含一個跨模態局部約束Transformer和基于圖的語義精煉Transformer，旨在探索話語間的多模態交互和依賴關系。Shi等人【81】提出了一個基于注意力的相關性感知多模態融合框架MultiEMO，該框架基于雙向多頭跨注意力層捕捉文本、音頻和視覺模態間的映射關系。總之，跨模態學習主要關注模態間關系的建模。

**2) 模態一致性與差異性

模態一致性是指對于同一樣本，不同模態之間共享的特征空間，而模態差異性則突出每種模態提供的獨特信息。大多數多模態融合方法將表示分為模態不變（一致性）和模態特定（差異性）兩個組成部分。模態一致性有助于處理缺失模態，而模態差異性則利用每個模態的互補信息來改進整體數據理解。例如，幾項研究【86】【87】通過對比學習探索了模態一致性與差異性的學習。Han等人【85】通過最大化模態間及模態內的互信息來探索模態一致性。另一項研究【86】提出了一個混合對比學習框架，該框架同時進行模態內/模態間對比學習和半對比學習，建模跨模態交互，保持類間關系，并減少模態差距。此外，Zheng等人【87】將模態對之間的互信息最大化與輸入數據和相應特征之間的互信息最小化相結合。該方法旨在提取模態不變且任務相關的信息。模態一致性也可以被視為將多種模態投射到共同潛在空間（模態不變表示）的過程，而模態差異性則指將模態投射到模態特定的表示空間。例如，Hazarika等人【88】提出了一種方法，將每種模態投射到模態不變和模態特定的空間中。他們實現了一個解碼器，通過模態不變和模態特定特征來重建原始模態表示。AMuSE【84】提出了一個多模態注意力網絡，通過聯合學習模式特定的外周和中央網絡，捕捉不同層次空間抽象下的跨模態交互。對于細粒度的情感分析，Xiao等人【89】提出了CoolNet，以提高視覺語言模型在無縫整合視覺和語言信息方面的性能。Zhang等人【90】通過探索模態一致性，提出了一個基于融合判別注意力網絡的方面級情感分類模型。

**3) 多階段模態融合

多階段多模態融合【128】【129】指的是將從多個階段或多個尺度提取的模態信息結合起來，以融合模態表示。Li等人【94】設計了一個兩階段對比學習任務，學習相同情感類別數據的相似特征，并為不同情感類別的數據學習可區分的特征。HFFN【95】將多模態融合過程分為分解、征服和組合三個部分，在每個局部塊學習局部交互，并通過跨局部交互傳遞信息來探索全局交互。與HFFN的工作不同，Li等人【96】對齊并融合了文本和圖像的token級特征，設計了基于標簽的對比學習和基于數據的對比學習，以捕捉多模態數據中與情感相關的共同特征。一些工作【97】將融合過程分解為多個階段，每個階段專注于部分多模態信號，以實現更專門和有效的融合。此外，CTFN【130】提出了一種新的特征融合策略，按照層次化的方式進行，首先兩兩融合模態，然后再融合三種模態。此外，在多個層次的模態融合方面也取得了進展，例如，Li等人【99】提出了一種基于多層次相關性挖掘和自監督多任務學習的多模態情感分析方法，Peng等人【100】提出了一種細粒度模態標簽的多階段網絡（FmlMSN），利用來自文本、音頻、圖像及其組合的七種情感標簽，在不同粒度上進行信息整合。研究人員通常專注于模型決策前的尺度級模態對齊和模態融合。Sharafi等人【93】提出了一種新的融合方法，利用不同的尺度進行多模態情感識別。

C. 多模態對齊

多模態對齊涉及在融合多模態數據之前對模態語義進行同步。一個關鍵挑戰是處理缺失模態的情況，例如由于攝像頭關閉、用戶沉默或設備故障導致語音和文本同時缺失。由于始終擁有所有模態的假設在現實中通常不切實際，因此多模態對齊必須解決這些缺失。此外，它還涉及通過語義對齊來對齊圖像、文本和音頻中的對象。因此，我們從處理缺失模態和實現語義對齊的角度討論多模態對齊。圖3展示了多模態對齊的示意圖。

**1) 缺失模態的對齊

在實際場景中，數據收集有時會由于不可預見的事件同時丟失某些模態。雖然多模態情感計算通常假設所有模態都可用，但這一假設在實踐中經常失敗，這可能會導致在缺少某些模態時，模態融合和對齊模型出現問題。我們將現有的處理缺失模態的方法分為四類。第一類是數據增強方法，通過隨機刪除輸入來模擬缺失模態的情況。Parthasarathy等人【107】提出了一種策略，在訓練過程中隨機刪除視頻輸入的剪輯或幀，模擬現實世界場景。Wang等人【108】通過訓練情感識別模型，迭代性地進行數據增強，處理話語級模態缺失問題。第二類基于生成方法，直接預測給定可用模態的缺失模態【131】。例如，Zhao等人【106】提出了缺失模態想象網絡（MMIN），在不同缺失模態條件下，根據可用模態預測任何缺失模態的表示，以應對不確定的缺失模態問題。Zeng等人【109】提出了基于集成的缺失模態重建（EMMR）網絡，以檢測并恢復關鍵缺失模態的語義特征。Yuan等人【110】提出了一種基于Transformer的特征重建網絡（TFR-Net），該網絡通過增強模型在非對齊模態序列中隨機缺失的魯棒性。Luo等人【111】提出了多模態重建與對齊網絡（MRAN），專門處理缺失模態問題，尤其是緩解文本模態缺失帶來的性能下降。

第三類旨在學習聯合多模態表示，這些表示能夠包含基于組合的視覺和文本輸入的相關信息。例如，Ma等人【133】提出了一個統一的深度學習框架，通過相關分析有效處理音視頻情感識別中的缺失標簽和缺失模態問題。Zeng等人【113】提出了一個標簽輔助Transformer編碼器網絡（TATE），用于處理不確定的缺失模態問題，該網絡設計了一個標簽編碼模塊，以覆蓋單模態和多模態缺失的情況，從而引導網絡對缺失模態的關注。Zuo等人【114】提出使用不變特征的缺失模態想象網絡（IF-MMIN），該網絡包含不變特征學習策略和基于不變特征的想象模塊（IF-IM）。通過這兩種策略，IF-MMIN能夠在預測缺失模態時緩解模態差距，從而提高多模態聯合表示的魯棒性。Zhou等人【116】在缺失一種或多種模態的情況下，提出了一種新穎的腦腫瘤分割網絡。該網絡由三個子網絡組成：一個特征增強生成器、一個相關性約束模塊和一個分割網絡。 最后一類是基于翻譯的方法。Tang等人【98】提出了耦合翻譯融合網絡（CTFN），通過耦合學習建模雙向交互，確保在缺失模態情況下的魯棒性。Liu等人【115】提出了一種基于模態翻譯的多模態情感分析模型（MTMSA），該模型對不確定的缺失模態具有魯棒性。總而言之，關于缺失模態對齊的研究集中在基于現有模態信息的缺失模態重建和學習。

**2) 跨模態語義對齊

語義對齊旨在找到同一樣本中多種模態之間的連接，指的是通過一種模態信息搜索另一種模態信息，反之亦然。在多模態情感分析領域，Tsai等人【74】利用跨模態和多尺度模態對齊，分別在語義層面實現模態一致性。ScaleVLAD【200】提出了一種融合模型，通過共享的局部聚合描述符向量，從文本、視頻和音頻中聚集多尺度表示，以改進未對齊的多模態情感分析。Yang等人【104】將未對齊的多模態序列數據轉換為一個具有異質節點和邊的圖，捕捉模態間和時間上的豐富交互。Lee等人【201】將音頻和基礎文本信號按相同步長分段，使得順序信號的相同時間步覆蓋信號的相同時間跨度。Zong等人【202】利用多次雙向翻譯，與傳統的翻譯方法相比，產生了雙倍的多模態融合嵌入。Wang等人【203】提出了一種基于Transformer的多模態編碼–解碼翻譯網絡，并采用了以文本為主要信息、聲音和圖像為次要信息的聯合編碼–解碼方法。Zhang等人【120】提出了一種新穎的多級對齊方法，用于彌合聲學和詞匯模態之間的差距，該方法可以有效對比實例級和原型級的關系，在潛在空間中分離多模態特征。Yu等人【204】提出了一種無監督方法，通過最小化兩種模態之間的Wasserstein距離，強迫兩種編碼器產生更合適的表示，以便最終對文本和圖像進行對齊。 Lai等人【119】提出了一種基于協方差矩陣的深度模態共享信息學習模塊，用于捕捉模態之間的共享信息。此外，我們使用了一個基于自監督學習策略的標簽生成模塊，以捕捉模態的私有信息。我們的模塊在多模態任務中是即插即用的，并且通過改變參數化，它可以調整模式之間的信息交換關系，學習特定模式之間的私有或共享信息。我們還采用了多任務學習策略，幫助模型專注于模態差異的訓練數據。為了增強模型的魯棒性，Robust-MSA【118】提出了一個交互式平臺，可視化模態噪聲的影響，以幫助研究人員提高模型能力。

多模態情感計算中的模型

在多模態情感計算領域，相關工作在技術路線發展上表現出顯著的一致性。為了更清晰地展示，我們根據多任務學習、預訓練模型、增強知識、上下文信息這四個方面對這些工作進行了分類。同時，我們簡要總結了在多模態情感分析（MSA）、多模態對話情感識別（MERC）、多模態基于方面的情感分析（MABSA）和多模態多標簽情感識別（MMER）任務中的進展。圖4總結了在這些方面的典型多模態情感計算工作，表II展示了多模態情感計算的分類。

A. 多任務學習

多任務學習是在多個相關任務上同時訓練模型，通過共享信息來提升性能。損失函數結合了所有任務的損失，通過梯度下降來更新模型參數。在多模態情感計算中，多任務學習有助于區分模態不變和模態特定特征，并將與情感相關的子任務整合到統一框架中。圖5展示了多模態情感學習任務中多任務學習的范式。

**1) 多模態情感分析

在多模態情感分析領域，Self-MM【134】為單一模態生成偽標簽【205】–【207】，然后基于生成的和原始標簽共同訓練單模態和多模態表示。此外，還使用了一種模態間的翻譯框架ARGF，作為輔助任務將一種模態翻譯到另一種模態，從而規范多模態表示學習【135】。Akhtar等人【136】利用情感和情緒任務的相互依賴性來提高模型在這兩個任務上的性能。Chen等人【137】提出了一個基于視頻的跨模態輔助網絡（VCAN），該網絡由一個音頻特征映射模塊和一個跨模態選擇模塊組成，以利用輔助信息。Zheng等人【138】提出了帶有松弛重建的解耦翻譯網絡（DTN），用于捕捉期望的信息屬性，獲取統一的特征分布，并減少冗余。Zheng等人【87】結合了模態對之間的互信息最大化（MMMIE）與輸入數據和相應特征之間的互信息最小化，在單一架構中共同提取模態不變和任務相關的信息。

**2) 多模態對話情感識別

在多模態情感識別社區中，Zheng等人【24】提出了一個名為面部表情感知多模態多任務學習的兩階段框架（FacialMMT），該框架在統一架構中共同訓練多模態面部識別、無監督面部聚類和面部匹配，以利用幀級別的面部情感分布來幫助改進基于多任務學習的話語級情感識別。Zhang等人【208】設計了兩種多任務學習解碼器，即單級解碼器和多級解碼器，以探索其潛力。更具體地說，單級解碼器的核心是掩蔽的外模態自注意機制。Sun等人【139】設計了兩個輔助任務，以緩解模態間融合不足的問題，并引導網絡捕捉和對齊與情感相關的特征。Zhao等人【140】提出了基于Transformer的深度融合網絡（TDFNet）用于多模態情感識別，解決了上述問題。TDFNet中的多模態嵌入（ME）模塊通過使用大量無標簽數據為模型提供多模態信息的先驗知識，來緩解數據稀缺問題。Ren等人【141】提出了一種新穎的多模態對抗學習網絡（MALN），該網絡首先從上下文序列中挖掘說話者的特征，然后將其與單模態特征結合起來。Liu等人【142】提出了LGCCT，一種輕量級的門控和交叉互補Transformer，用于多模態語音情感識別。

**3) 多模態基于方面的情感分析

Yang等人【144】提出了一個名為跨模態多任務Transformer（CMMT）的多任務學習框架，該框架包含兩個輔助任務，用于學習方面/情感感知的模態內表示，并引入了一個文本引導的跨模態交互模塊，以動態控制視覺信息對每個詞的模態間交互表示的貢獻。Jain等人【145】提出了一個分層多模態生成方法（AbCoRD），用于基于方面的投訴和理由檢測，將多任務問題重新表述為多模態文本生成任務。Ju等人【146】是第一個聯合執行多模態ATE（MATE）和多模態ASC（MASC）的人，并提出了一個聯合框架JML，用于基于多模態方面級情感分析（MALSA）的輔助跨模態關系檢測，以控制視覺信息的適當利用。Zou等人【36】設計了一個多模態提示Transformer（MPT）進行跨模態信息融合。同時，該工作使用了混合對比學習（HCL）策略，以優化模型處理少量標簽樣本的能力。Chen等人【82】設計了音頻模塊應比文本模塊更具表現力，并將單一模態情感表示動態融合到多模態情感表示中，提出了相應的基于規則的多模態多任務網絡（MMRBN），用于限制表示學習。

**4) 多模態多標簽情感識別

對于多模態多標簽情感識別，Ge等人【92】設計了對抗性時間掩蔽策略和對抗性參數擾動策略，以分別增強其他模態的編碼和模型的泛化能力。MER-MULTI【147】是一種標簽分布自適應方法，適應了訓練集和測試集之間的標簽分布，以消除與測試集特征不匹配的訓練樣本。Akhtar等人【209】提出了一個深度多任務學習框架，該框架聯合執行情感和情緒分析，利用兩個相關任務（即情感和情緒）的相互依賴性來提高它們各自的性能。

B. 預訓練模型

近年來，大語言模型（LLM）【56】【210】和多模態預訓練模型【21】【26】【211】【212】取得了顯著進展【25】【210】【213】。與非預訓練模型相比，預訓練模型包含大量轉移知識【27】【31】，可以引入到多模態表示學習中，以探索更豐富的信息。圖6展示了預訓練模型在多模態情感學習任務中的使用。

**1) 多模態情感分析

在多模態情感分析領域，Rahman等人【21】提出了一種附加到預訓練模型BERT和XLNet上的多模態適應門（MAG），該適應門允許BERT和XLNet通過生成一個基于視覺和聲學模態的偏移來接受多模態的非語言數據。UniMSE【37】是基于T5模型【57】的統一情感共享框架，該框架將非語言信號注入預訓練的Transformer模型中，以探索LLM中存儲的知識。AOBERT【148】引入了一種單流Transformer結構，將所有模態整合到一個BERT模型中。Qian等人【149】在詞級別嵌入情感信息到預訓練的多模態表示中，以便在有限的標注數據上進行進一步學習。TEASAL【150】是一個基于Transformer的語音前綴語言模型，它利用一個傳統的預訓練語言模型作為跨模態Transformer編碼器。Yu等人【151】研究了面向目標的多模態情感分類（TMSC），并提出了一個多模態BERT架構，用于多模態情感分析任務。Cheng等人【152】設置了分層參數共享和分解的共同注意機制，以便在跨注意力塊之間共享參數，從而允許多模態信號在每一層進行交互。ALMT【153】結合了一個自適應超模態學習（AHL）模塊，用于在語言特征的指導下從視覺和音頻特征中學習無關性/沖突抑制的表示。

**2) 多模態對話情感識別

在多模態對話情感識別領域，FacialMMT【24】是一個兩階段框架，使用RoBERTa【214】和Swin Transformer作為表示學習的主干。Qiu等人【215】采用VATT【30】分別編碼視覺、文本和音頻，并使學到的模態表示進行對齊。QAP【19】是一個量子啟發的自適應優先學習模型，采用ALBERT作為文本編碼器，并引入了量子理論（QT）以自適應地學習模態優先級。UniMSE【37】提出了一種基于預訓練模型T5的多模態融合方法，旨在通過預訓練的知識融合模態信息。GraphSmile【154】采用RoBERTa【214】逐層跟蹤多模態對話中的復雜情感線索，逐層吸收模態內和模態間的情感依賴關系，充分捕捉跨模態線索，同時有效避免融合沖突。

**3) 多模態基于方面的情感分析

在多模態基于方面的情感分析研究中，Xu等人【47】首次提出了多模態基于方面的情感分析任務，并提出了一種新穎的多交互記憶網絡（MIMN），該網絡包含兩個交互記憶網絡，分別用于監督文本和視覺信息與給定方面的關聯，并學習跨模態數據之間的交互影響以及單模態數據中的自我影響。Yang等人【17】提出了一種新穎的生成多模態提示（GMP）模型，用于MABSA，該模型包含多模態編碼器模塊和N流解碼器模塊，并通過少量標注的多模態樣本執行三項MABSA相關任務。Liu等人【155】提出了一種基于視覺提示的實體相關無監督預訓練，用于MABSA。Ling等人【156】提出了一個任務特定的視覺-語言預訓練框架（VLPMABSA），這是一個統一的多模態編碼器-解碼器架構，適用于所有的預訓練和下游任務。Zhang等人【157】構建了一個動態重加權的BERT（DR-BERT），設計用于學習基于BERT的動態方面導向語義。

**4) 多模態多標簽情感識別

一些關于多模態多標簽情感識別的工作利用了預訓練模型來提高模型性能。據我們所知，TAILOR【91】是一個新穎的多模態學習框架，用于多標簽情感識別，它對多個模態之間的共性和差異進行了對抗性描繪。TAILOR通過對抗性地提取私有和共性模態表示來執行這些任務。

C. 增強知識

在機器學習和人工智能中，外部知識是指來自訓練數據集之外的信息，包括知識庫、文本語料庫、知識圖譜、預訓練模型和專家見解。整合這些知識可以提高模型的性能、泛化能力、可解釋性以及對噪聲或有限數據的魯棒性。圖7展示了在多模態情感學習任務中整合外部知識的常見方法。

**1) 多模態情感分析

在多模態情感分析研究領域，Rahmani等人【18】通過層次劃分用戶構建了自適應樹，并利用基于注意力的融合來在樹內轉移認知導向的知識。TETFN【163】是一種新穎的方法，名為文本增強Transformer融合網絡，它學習面向文本的成對跨模態映射，以獲得有效的統一多模態表示。Zhu等人【164】提出了情感知識增強的注意力融合網絡（SKEAFN），這是一個新穎的端到端融合網絡，通過整合來自外部知識庫的附加情感知識表示來增強多模態融合。

**2) 多模態對話情感識別

在多模態對話情感識別領域的研究中，Fu等人【166】將上下文建模、知識豐富和多模態（文本和音頻）學習集成到基于GCN的架構中。Li等人【167】提出了一種解耦的多模態蒸餾（DMD）方法，旨在通過靈活和自適應的跨模態知識蒸餾來增強每種模態的判別特征。Sun等人【168】研究了一種基于粗集理論的多模態融合Transformer網絡，通過粗集跨注意力促進了多模態信息的交互和特征引導。

**3) 多模態基于方面的情感分析

在多模態基于方面的情感分析研究中，Xu等人【172】引入了外部知識，包括文本語法和跨模態關聯知識，通過知識誘導矩陣切斷文本或跨模態模態之間的無關連接。Yang等人【173】提煉了視覺情感線索，并將其與文本內容對齊，以選擇性地與文本模態中的目標方面匹配和融合。CoolNet【174】是一個跨模態的細粒度對齊和融合網絡，旨在提高視覺-語言模型在無縫整合視覺和語言信息方面的表現。

**4) 多模態多標簽情感識別

在多模態多標簽情感識別研究領域，Zheng等人【176】提出通過使用效價-喚醒（VA）空間來表示每個情感類別，以捕捉情感類別之間的相關性，并設計了一種基于VA的對比學習算法。CARAT【177】提出了基于對比的特征重建和聚合機制，用于MMER任務。具體而言，CARAT設計了一種基于重建的融合機制，通過對比學習模態分離和標簽特定特征，來更好地建模細粒度的模態與標簽之間的依賴關系。

D. 上下文信息

上下文是指圍繞某個詞或短語的單詞、句子或段落，這些信息為該詞或短語賦予了特定的含義。理解上下文對于對話系統或情感分析等任務至關重要。在對話中，上下文包括之前話語的歷史，而對于新聞來說，它指的是整篇文章提供的總體描述。總的來說，上下文信息幫助機器做出更準確的預測。圖8展示了上下文信息在多模態情感學習任務中的重要性。

**1) 多模態情感分析

在多模態情感分析領域，Chauhan等人【180】采用了一個上下文感知的注意力模塊，通過編碼器-解碼器結構學習參與模態之間的模態內交互。Poria等人【181】提出了一個帶有多級多重注意的遞歸模型，以捕捉話語之間的上下文信息，并設計了一個遞歸模型來捕捉話語之間的上下文信息，引入了基于注意力的網絡，以提高上下文學習和動態特征融合的效果。

**2) 多模態對話情感識別

在多模態對話情感識別研究領域，Hu等人【185】有效利用了多模態依賴關系，并利用說話者信息來建模說話者之間和說話者內部的依賴關系。Zhang等人【80】提出了一個跨模態上下文融合和語義精煉網絡（CMCF-SRNet），解決了話語之間語義關系信息不足的局限性。Zhang等人【187】構建了多個特定模態的圖，以建模多模態上下文的異質性。Chen等人【188】提出了一個基于GNN的模型，該模型探索了多變量關系，并通過評估多頻信號的情感差異和共性的不同重要性來捕捉這些關系。

**3) 多模態基于方面的情感分析

在多模態基于方面的情感分析研究中，Yu等人【158】提出了一種無監督的方法，該方法最小化了兩個模態之間的Wasserstein距離，強制兩個編碼器生成更適合最終提取的表示。Xu等人【192】設計并構建了一個多模態中文產品評論數據集（MCPR），以支持MABSA的研究。

**4) 多模態多標簽情感識別

MMS2S【197】是一種多模態序列到集合的模型，用于有效建模標簽依賴和模態依賴。MESGN【198】首次提出了這一任務，該模型同時建模模態到標簽和標簽到標簽的依賴關系。Zhao等人【199】提出了一個通用的多模態對話感知交互框架（MDI），用于建模對話上下文對情感識別的影響。 結論

多模態情感計算（MAC）已成為人工智能領域中的一個重要研究方向，并在理解和解釋情感方面取得了顯著進展。本文綜述了與多模態情感計算相關的多種任務，涵蓋了其研究背景、定義、相關工作、技術方法、基準數據集和評估指標。我們將多模態情感計算中的任務劃分為四類：多任務學習、預訓練模型、增強知識和上下文信息，涉及多模態情感分析（MSA）、多模態對話情感識別（MERC）、多模態基于方面的情感分析（MABSA）和多模態多標簽情感識別（MMER）。此外，我們總結了不同情感計算任務之間的一致性和差異性，并報告了多模態情感分析中固有的挑戰，探索了未來研究和發展的潛在方向。

人工智能（AI）正在迅速改變社會的各個領域，軍事領域也不例外。隨著全球武裝部隊尋求保持技術優勢，人工智能已成為投資和發展的關鍵領域。本文探討了人工智能在不同軍種的多方面應用，研究了人工智能增強的特定武器系統，并分析了與軍事人工智能相關的優勢、劣勢和挑戰。此外，我們還將展望未來趨勢，討論在人工智能驅動的戰爭時代降低風險和維護全球安全的戰略。

人工智能在各軍種的應用

1.陸軍： 陸軍正在利用人工智能提高戰場意識、后勤保障和戰斗力。一些關鍵應用包括

a) 自主地面車輛： 人工智能驅動的無人地面車輛（UGV）可以執行偵察、運輸補給，甚至可以在極少人為干預的情況下參與作戰行動。

b) 預測性維護： 機器學習算法分析車輛和設備的傳感器數據，預測維護需求，從而減少停機時間，提高戰備狀態。

c) 優化士兵表現： 人工智能系統監控士兵的生理數據，優化訓練方案，提高戰斗表現。

2.海軍： 海軍部隊正在利用人工智能改善海上行動、水下作戰和艦隊管理：

a) 自主艦艇和潛艇： 人工智能使無人水面艦艇和水下艦艇能夠進行巡邏、收集情報，并有可能參與戰斗。

b) 反潛戰： 人工智能算法可以處理聲納數據，比人類操作員更有效地探測和跟蹤敵方潛艇。

c) 艦隊管理和后勤： 人工智能優化海軍后勤，預測維護需求，管理海上艦隊的供應鏈。

3.空軍： 人工智能正在徹底改變空戰、偵察和航空航天行動：

a) 自主無人機： 人工智能控制的無人機（UAV）可以執行偵察、攻擊目標，甚至可以成群行動。

b) 飛行員輔助系統： 人工智能副駕駛協助人類飛行員執行復雜任務，并有可能在緊急情況下接管任務。

c) 空中交通管制： 人工智能系統有助于管理日益擁擠的空域，既可用于軍事，也可用于民用。

4.太空部隊：隨著太空成為日益重要的軍事領域，人工智能正發揮著至關重要的作用：

a) 衛星管理：人工智能算法可優化衛星軌道、管理星座并預測與空間碎片的潛在碰撞。

b) 空間態勢感知： 機器學習增強了對在軌物體的跟蹤和識別，提高了空間領域的感知能力。

c) 自主太空飛行器： 人工智能驅動的航天器有可能在太空中開展維護、加油甚至進攻行動。

5.網絡指揮： 在網絡戰領域，人工智能正成為不可或缺的工具：

a）網絡防御： 人工智能系統可實時檢測和應對網絡威脅，保護軍事網絡免受攻擊。

b) 進攻性網絡行動： 人工智能可用于識別敵方系統的漏洞并自動發動網絡攻擊。

c) 信息戰： 機器學習算法可分析和生成心理戰和影響力活動的內容。

人工智能增強型武器系統

1.自主武器系統（AWS）： 這些武器也被稱為 "殺手機器人"，可以在不需要人工控制的情況下選擇并攻擊目標。例子包括

2.導彈防御系統： 人工智能提高了攔截來襲導彈的速度和準確性：

3.電子戰系統： 人工智能提高了干擾、欺騙和電子防護能力：

4.預測性維護系統： 人工智能可優化設備準備狀態，降低維護成本：

軍事人工智能的優勢

1.增強決策能力： 人工智能可以處理大量數據，并向指揮官提供快速、數據驅動的建議。

2.提高態勢感知能力： 人工智能驅動的傳感器和分析工具可提供更全面、更準確的戰場圖像。

3.降低人類風險： 自主系統可以執行危險任務，從而挽救士兵的生命。

4.提高效率： 人工智能可優化后勤、維護和資源分配，降低成本，提高作戰效率。

5.更快的反應時間： 人工智能增強型系統能比人類操作員更快地對威脅做出反應，可能在戰斗中提供關鍵優勢。

6.全天候運行： 與人類操作員不同，人工智能系統可以不疲勞地持續運行，保持警惕。

劣勢與挑戰

1.道德問題： 使用自主武器會引發有關人類決策在戰爭中的作用的重大道德問題。

2.可靠性和不可預測性： 人工智能系統在復雜的真實世界場景中可能會出現不可預測的行為，從而可能導致意想不到的后果。

3.易受黑客攻擊和欺騙： 由人工智能驅動的系統可能會被對手破壞，從而有可能將武器轉向操作者。

4.數據依賴性： 人工智能系統需要大量高質量的數據才能有效運作，而在作戰情況下，這些數據可能并不總是可用的。

5.缺乏人類判斷力： 人工智能可能難以應對需要換位思考、文化理解或復雜道德考量的細微決策。

6.升級風險： 人工智能戰爭的速度和效率可能會導致沖突迅速升級，潛在地增加大規模戰爭的風險。

7.擴散問題： 隨著人工智能技術越來越容易獲得，它有可能落入非國家行為者或流氓國家之手。

8.法律模糊性： 自主武器系統的使用會產生復雜的法律問題，涉及責任和遵守國際法。

軍事人工智能的未來趨勢

1.增強自主性： 未來的人工智能系統可能會擁有更強的決策能力，在運行過程中可能只需極少的人工監督。

2.人機協同： 先進的人工智能將與人類士兵并肩作戰，增強他們的能力和決策過程。

3.蜂群智能： 大批自主無人機或機器人將協調行動，以實現復雜的目標。

4.量子人工智能：量子計算與人工智能的結合將帶來前所未有的處理能力和解決問題的能力。

5.人工智能驅動的高超音速武器： 人工智能可能使高超音速導彈的研發更加精確、機動性更強。

6.認知電子戰： 人工智能將增強電子戰能力，使系統能夠實時適應和對抗敵方戰術。

7.地緣政治事件預測分析： 人工智能可用于預測潛在沖突，為戰略決策提供依據。

維護全球安全的戰略

1.國際法規和條約： 制定全面的國際協議來規范軍事人工智能的發展和使用至關重要。這可包括

a) 為自主武器系統制定明確的定義和類別。

b) 對武器系統所允許的自主水平設定限制。

c) 建立核查和合規機制，確保法規得到遵守。

2.倫理準則和人為控制： 實施強有力的倫理框架并保持人類對人工智能系統的有效控制至關重要：

a) 為軍用人工智能的設計和使用制定明確的道德準則。

b) 確保人類始終 "參與 "關鍵決策，尤其是涉及使用致命武力的決策。

c) 在自主系統中實施故障安全機制和人類控制能力。

3.透明度和建立信任措施： 促進各國在軍事人工智能發展方面的開放和信任：

a) 鼓勵分享有關人工智能能力和局限性的信息。

b) 建立有關軍事人工智能問題的國際對話論壇。

c) 進行聯合演習和模擬，以建立信任和理解。

4.人工智能安全研究： 投資研究以確保軍事人工智能系統的可靠性、穩健性和安全性：

a) 為人工智能系統開發嚴格的測試和驗證方法。

b) 研究使人工智能系統更具可解釋性和可解讀性的方法。

c) 探索使人工智能系統能夠抵御對抗性攻擊和操縱的技術。

5.防擴散工作： 防止先進的軍事人工智能技術擴散到可能破壞穩定的行為體：

a) 對敏感的人工智能技術和知識實施出口管制。

b) 加強國際合作，防止非法轉讓人工智能軍事能力。

c) 提供替代技術和發展援助，阻止一些國家追求軍事人工智能。

6.能力建設與教育： 確保軍事人員、決策者和公眾了解軍事人工智能的影響：

a) 為軍事領導人和軍事人員制定全面的人工智能教育計劃。

b) 促進公眾對軍事人工智能的倫理和安全影響的認識和討論。

c) 促進人工智能研究人員、倫理學家和軍事戰略家之間的跨學科合作。

7.危機溝通機制： 建立強大的溝通渠道，防止誤解和意外升級：

a) 專門為人工智能相關事件創建熱線和安全通信協議。

b) 在人工智能系統出現故障或意外行為時，制定共同的降級協議。

c) 進行定期演習，以測試和改進危機溝通程序。

將人工智能融入軍事系統既帶來了前所未有的機遇，也帶來了巨大的挑戰。雖然人工智能具有增強軍事能力、改善決策和減少人員傷亡的潛力，但它也引發了深刻的道德、法律和安全問題。人工智能在軍事領域的快速發展要求我們采取緊急行動，制定國際規范、法規和安全措施。在我們前進的道路上，必須在利用軍事人工智能的優勢和降低其風險之間取得平衡。這將需要持續的國際合作、強有力的治理框架，以及對保持人類對關鍵決策的控制的承諾。通過積極應對軍事人工智能帶來的挑戰，我們可以努力創造一個技術進步促進全球安全而不是破壞全球安全的未來。

參考來源：Ahmed Banafa's books

將人工智能（AI）融入軍事應用面臨著復雜而多方面的挑戰，其中包括技術進步、政策框架、戰略考慮和倫理問題。為了跟上人工智能技術不斷改進和發展的快節奏，美國國防部（DoD）制定了一項統一的采用戰略，旨在改善組織環境，使國防部領導和作戰人員能夠通過專業地利用高質量數據、高級分析和人工智能做出快速、明智的決策，從而獲得持久的決策優勢。

在軍事和戰場應用中使用人工智能是一個相對較新的現象，但該技術的有限使用已經使作戰人員受益。在這一雛形中，人工智能主要用于信息收集和處理能力。例如，在篩選大量數據和圖像或監控信息源以獲取有意義的信息方面，人工智能要比人類高效得多。

目前比較重要的應用之一是威脅識別和識別，特別是在空戰中。這可以通過定位單個飛機或飛機類型發出的獨特無線電或雷達信號來實現。在過去，這是一項艱巨的任務，需要各種傳感器運行，并記錄來自許多不同來源和頻率范圍的信息。然后由專家對這些傳感器數據進行分析，以找到并識別與個別飛機或飛機類型相關的各種信號。如今，人工智能系統可以在幾毫秒到幾秒鐘內完成由許多人花費幾十或幾百個小時進行的識別工作。

為軍用人工智能提供動力的硬件

軍事人工智能應用中使用了幾種不同的硬件組件。

• 高性能計算（HPC）： 大多數軍事人工智能應用都需要強大的計算資源來實時處理大量數據和執行復雜計算。高性能計算系統（包括但當然不限于超級計算機和高端服務器集群）可提供必要的計算能力。

圍繞這些高性能計算資源的位置問題，已經進行了大量的討論和學術研究。有一種觀點認為，將高性能計算組件放置在遠離戰場的中心區域更為合適。另一種觀點則認為，所有計算都應推向邊緣。

在中心位置執行大部分密集型計算，可使設備和組件的數量和類型大大增加。不過，這也使得網絡或 "管道 "成為人工智能應用中更為關鍵的組成部分。

另外，與外部部署的硬件相比，現場部署的邊緣硬件在尺寸上更受限制。邊緣硬件受限于尺寸，而外部硬件則受限于管道的安全性和強度。

• 圖形處理單元（GPU）： 嚴格來說，GPU 并非必要，但通常用于加速人工智能計算，尤其是在使用機器學習和深度學習算法時。在依賴并行處理的應用中，GPU 大有裨益。軍用人工智能系統通常利用 GPU 完成圖像識別、物體檢測和自主導航等任務。

人工智能算法和用戶界面軟件

• 人工智能算法和模型： 軍事人工智能應用依靠先進的算法和模型來執行圖像識別、自然語言處理、決策制定和預測分析等任務。

• 具有大型數據集的模擬/訓練軟件： 為了訓練人工智能系統和模擬各種場景，需要使用專門的軟件平臺，這些平臺可以對軍事環境、戰術和裝備進行逼真的模擬。為了最好地訓練軍事人工智能，這些模擬需要應用海量數據集--數據越多越好。

• 集成軟件： 軍事人工智能系統需要與現有基礎設施集成，并與其他系統進行無縫、直觀的交互。不能指望戰場上的士兵在軟件平臺中瀏覽具有挑戰性的用戶界面。

美國國防部人工智能政策

在過去幾年中，美國國防部（DoD）一直在通過各種政策和戰略文件戰略性地融入人工智能和機器學習（ML）技術。國防部發布的 "2018 年國防部人工智能戰略 "為發展集中式基礎設施、整合新技術以及在人工智能倫理和安全方面實現國際領先奠定了基礎。隨后的戰略，如 "2020 年國防部數據戰略 "和首席數字與人工智能辦公室（CDAO）的創建，進一步強調了以數據為中心的方法和優化整個國防部人工智能能力的重要性。

2023 年《國防部數據、分析和人工智能采用戰略》中概述的現行指導政策建立在以前政策文件的基礎上，主要側重于速度、敏捷性、學習和責任。該戰略強調權力下放，并在開發人員和最終用戶之間建立緊密的反饋回路，旨在加強國防部內部的決策過程。2023 戰略概述了人工智能的基礎性指導方法，而不是循序漸進的指南。

2023 戰略的關鍵組成部分包括人工智能需求層次（圖 1），該層次優先考慮高質量數據，將其作為具有洞察力的分析和負責任的人工智能開發的基礎。該戰略還推進了對用戶友好型基礎設施的需求，并不斷完善政策和流程，以確保負責任地實施人工智能。

[圖 1 ? 美國國防部人工智能需求等級制度優先考慮高質量數據。圖片由美國國防部提供]。

已部署的人工智能解決方案

目前有許多制造商和承包商正在將人工智能應用于軍事領域。這些制造商和承包商既有波音、通用動力、洛克希德-馬丁、雷神和諾斯羅普-格魯曼這樣的老牌大公司，也有 Anduril 這樣的后起之秀。

射手探測系統： 槍手探測系統雖然不是嚴格意義上的軍事應用，但它已發展出一種人工智能集成解決方案，使急救人員能夠準確定位槍聲的位置。該系統使用一系列聲學和紅外閃光探測傳感器，并集成到視頻、門禁和群發通知系統中。傳感器系統收集的數據通過 I/O 模塊直接輸入人工智能驅動的軟件平臺，該平臺可在 0.5 秒內確定是否發生槍聲、何時發生槍聲、確定槍聲的確切位置、通知當局并發送群發通知。

戰術智能瞄準接入節點（TITAN）： 戰術情報目標訪問節點（TITAN）是一種可擴展的遠征情報地面站，將加快和簡化陸軍訪問和處理海量情報、監視和偵察（ISR）數據的能力。

從外形上看，TITAN（圖 2）是一個移動數據中心，集成了電力、加熱和冷卻、冗余通信和計算平臺，所有這些都建在一個大型卡車平臺上。車載遠征地面站將利用人工智能提供深度感知能力，從而實現現代戰場的遠程精確射擊。利用人工智能，TITAN 將使用人工智能和 ML 執行數據集成、融合、處理和分析功能，以實現自動化并協助陸軍縮短傳感器到射手的時間線。

[圖2 ? 展示的是TITAN ALPHA工作概念車。圖片來源：Palantir.]

Sealevel Relio R1 Rugged嵌入式計算機是TITAN系統的核心。Relio R1 Rugged 監控 TITAN 的整體健康和性能。這臺小巧的計算機可承載多個軟件應用程序，并解釋來自各種內部傳感器的數據。

未來的人工智能

將人工智能融入軍事應用是現代戰爭的一大進步，可增強信息處理、威脅識別和決策過程的能力。人工智能技術的發展與強大的技術基礎設施的發展息息相關，其指導原則是 CDAO 等組織制定的戰略舉措和政策框架。雖然人工智能在提高軍事效率方面具有巨大潛力，但它也提出了有關負責任的開發、部署以及自主系統在沖突場景中的影響等重要問題。制造商和開發人員、決策者和作戰人員之間的持續合作對于確保軍事人工智能應用提高作戰能力和負責任地促進全球安全至關重要。

參考來源：Military Embedded

本文深入探討了當前頂尖的人工智能技術，即生成式人工智能（Generative AI）和大型語言模型（LLMs），如何重塑視頻技術領域，包括視頻生成、理解和流媒體。文章強調了這些技術在制作高度逼真視頻中的創新應用，這是在現實世界動態和數字創造之間架起橋梁的一大飛躍。研究還深入探討了LLMs在視頻理解方面的高級能力，展示了它們在從視覺內容中提取有意義信息方面的有效性，從而增強了我們與視頻的互動。在視頻流媒體領域，本文討論了LLMs如何有助于更高效和以用戶為中心的流媒體體驗，適應內容交付以滿足個別觀眾偏好。這篇全面的綜述貫穿了當前的成就、持續的挑戰和將生成式AI和LLMs應用于視頻相關任務的未來可能性，強調了這些技術為推動視頻技術領域的進步——包括多媒體、網絡和人工智能社區——所持有的巨大潛力。

影響聲明—本文通過研究生成式人工智能和大型語言模型（LLMs）在視頻生成、理解和流媒體中的集成，為視頻技術領域做出了貢獻。對這些技術的探索提供了它們在增強視頻內容的真實性和互動性方面的潛力和局限性的基礎理解。LLMs在視頻理解方面的探索為可訪問性和互動的進步奠定了基礎，有望提高教育工具的效能、改進用戶界面和推進視頻分析應用。此外，文章強調了LLMs在優化視頻流媒體服務中的作用，導致更個性化和帶寬高效的平臺。這可能會顯著惠及娛樂行業，提供適應個人偏好的自適應流媒體解決方案。通過識別關鍵挑戰和未來研究方向，文章指導了將AI與視頻技術融合的持續努力，同時提高了人們對潛在倫理問題的認識。其影響力超越了學術界，鼓勵在視頻技術中負責任地發展AI和制定政策，平衡技術進步與倫理考量。

近年來，由于視頻相關技術的激動人心的進步，視頻內容的創建、分析和傳遞都經歷了重大突破。學術界和工業界已共同推動視頻處理領域可能性的極限，從創建逼真的視頻到理解復雜的視覺環境以及優化視頻流媒體以改善用戶體驗。整合生成式AI和大型語言模型（LLM）可以在視頻相關領域開辟激動人心的可能性。 隨著創造逼真且上下文一致的視頻的能力，視頻創作已成為一個引人入勝的研究領域。研究人員已在利用深度學習方法如生成對抗網絡（GANs）制作揭示細節且捕捉現實世界動態本質的電影剪輯方面取得了重大進展。然而，如長期視頻合成一致性和對生成內容的精細控制等挑戰仍在探索中。

視頻理解方面也有類似的發展，該領域涉及從視頻剪輯中提取重要信息。傳統技術依賴于手工創建的特征和視頻動態的顯式建模。最近在語言和視覺方面的進步取得了顯著進展。像OpenAI的GPT等預訓練的基于變換器的架構在處理和生成文本數據方面展示了令人印象深刻的才能。這些LLM對于視頻理解任務，如字幕、動作識別和時間定位，具有巨大的潛力。

此外，由****于對高質量、高分辨率和低延遲視頻服務的需求日益增加，改善視頻傳遞已變得越來越重要且具有挑戰性。帶寬限制、網絡抖動和不同用戶偏好顯著阻礙了無縫和沉浸式的流媒體體驗。通過提供感知上下文的視頻分發、實時視頻質量改進和根據用戶偏好的自適應流媒體，LLM提供了一個克服這些困難的激動人心的方法。

鑒于這些進展，本研究徹底分析了生成式AI和LLM在生成、理解和流式傳輸視頻方面的潛力。我們回顧了現有工作，試圖回答以下問題： ? 提出了哪些技術，并正在徹底改變上述視頻研究領域？ ? 為了推動上述視頻服務中生成式AI和LLM方法的使用，還有哪些技術挑戰需要解決？ ? 由于采用生成式AI和LLM方法，引發了哪些獨特的關注？ 我們希望吸引多媒體、網絡和人工智能社區的關注，以鼓勵對這一迷人且迅速發展的領域的未來研究。

我們設想生成式AI和大型語言模型（LLM）在視頻的整個生命周期中發揮關鍵作用，從生成、理解到流媒體。該框架跨越了三個主要的計算機科學社區，即人工智能、多媒體和網絡。人工智能社區正在見證前所未有的發展速度，從2021年到2022年僅用了大約一年的時間就從能夠進行文本到圖像生成的模型發展到能夠進行文本到視頻生成的模型。現在甚至有演示展示了僅使用提示就能創建3D視頻的能力。因此，我們可以想象生成式AI將對視頻生成行業變得更為重要，超越甚至完全替代傳統的生成方法。視頻理解在許多情況下都很有用，例如場景分割、活動監控、事件檢測和視頻字幕，這是一個獲得越來越多關注的新興方向。自2023年以來，像GPT-4和Video-ChatGPT [8]這樣的最先進產品也顯著提升了LLM理解圖像和視頻等多模態輸入的能力。就視頻流媒體而言，LLM還有改進流媒體管道幾個關鍵步驟的有趣潛力。例如，一個理解能力改進的模型可以把握視頻場景的語義意義，并通過相應地改變編碼率來優化傳輸。此外，如點云這樣在XR游戲中廣泛使用的3D視頻流媒體，可以從LLM對周圍環境的理解中受益，預測用戶下一刻的視野范圍(FoV)來進行內容預取。

A. 主要組成部分 生成式AI和LLM之間的協同作用已在視頻生成領域開辟了新的前沿，打造與現實幾乎無法區分的視覺效果。這些技術共同豐富了數字景觀，創造了創新內容如下（第IV-A節）： ? 生成對抗網絡（GANs）利用生成網絡和判別網絡之間的創造性對抗過程來理解和復制復雜模式，產生逼真的視頻樣本。 ? 變分自編碼器（VAEs）生成連貫的視頻序列，提供了一個結構化的概率框架，用于無縫地融合敘事上合理的幀。 ? 自回歸模型創建的序列中，每個視頻幀都邏輯上從上一個幀繼承，確保敘事和視覺的連續性，吸引觀眾。 ? 擴散模型將復雜的文本敘述轉換為詳細和高分辨率的視頻，推動文本到視頻合成的界限。 接下來，LLM通過提供富有情境的解釋和描述來增強視頻理解，促進更深入的視頻內容參與（第IV-B節）： ? 視頻字幕使用LLM生成富有洞察力和準確的描述，以自然語言捕捉視覺內容的本質，使視頻更易于搜索和訪問。 ? 視頻問答利用LLM的情境理解能力處理復雜的觀眾詢問，提供增值且深入的觀看體驗的回應。 ? 視頻檢索和分割由LLM革新，它們解析和分類視頻內容為可理解的段落，簡化了龐大視頻庫的可搜索性和導航性。 最后，LLM可以通過優化帶寬使用、個性化內容交付和增強觀眾互動等方式重新定義流媒體景觀（第IV-C節）： ? 帶寬預測通過分析過去和現在的網絡數據的LLM進行改進，預測未來需求以主動分配資源，從而確保流暢的流媒體。 ? 視點預測通過LLM對內容和用戶行為的理解增強，預測視頻中的下一個焦點區域，提供量身定制且沉浸式的觀看體驗。 ? 視頻推薦和資源分配通過LLM的分析能力得到提升，將觀眾偏好與內容匹配并管理網絡資源，提供定制化且高效的流媒體服務。

本文討論了在軍事領域決策過程中使用人工智能（AI）的好處和注意事項。文章側重于三個主要方面：提供更快、更準確信息的能力，掌握情況和減少人為錯誤，以及在使用這種技術時必須考慮的技術和倫理因素。人工智能可以大大改善軍事領域的決策；然而，重要的是要反思與使用人工智能相關的倫理和技術影響。

關鍵詞 人工智能、情境領域、減少人為錯誤、合成環境、顛覆性技術、知情決策。

1 簡介

人工智能（AI）已成為包括軍事在內的各個領域的重要工具。人工智能的定義是開發計算機系統，使其能夠執行通常需要人類典型的理性智能才能完成的任務，包括識別語音、做出決策和解決問題。在軍事領域，人工智能可以通過實時處理有價值的信息，幫助指揮官更快、更準確地做出決策。然而，人工智能在軍事領域的應用也帶來了倫理和技術方面的挑戰，例如在隱私和數據安全等方面對人類的影響。必須了解人工智能在軍事領域的優勢和挑戰，才能有效、負責任地實施人工智能。從這個意義上說，人工智能的應用可以優化指揮官在戰場上及時做出明智決策的能力。此外，對大量信息的即時處理使人們有可能對全景有更全面的了解，這為預測突然變化和可能出現的風險提供了依據，而這些都需要掌握態勢。這也有助于減少個人失誤，擺脫每個人的局限性。不過，有必要考慮在對這一顛覆性技術進行管理時所涉及的倫理問題。

2 人工智能在決策中提供快速準確的信息

在軍事領域使用人工智能并非新概念。然而，在很短的時間內，它已成為一種日益重要和有用的工具。它能夠高速、準確地處理大量數據，并分析模式和趨勢，提供重要信息，幫助指揮員在發生危機時執行措施，而危機需要快速、有效的反應，這在完成任務可能受到影響的情況下非常有用。

此外，人工智能還能識別人類可能忽略的模式和趨勢，從而更好地進行數據分析。這樣就能更全面、更清晰地了解任何情況，使軍方能夠做出更明智的決策。人工智能還能將數據收集和分析等乏味的重復性任務自動化，從而騰出時間實施更相關的行動。

從這個意義上說，人工智能提供信息的速度和質量對軍事決策過程有著積極的影響。指揮官可以擁有一種工具，使他們在行動發展過程中更容易選擇并永久保持認知優勢。所謂 "認知優勢"，是指在戰場上以最有效的方式利用信息和知識的能力。這意味著，人工智能可用于規劃過程、開展行動，甚至在任務完成后提供反饋并鞏固認知優勢。

同樣，在軍事行動規劃中，人工智能可以分析數據、生成情報，并提供需要優先處理的局勢變化信息以及可用資源和其他重要因素。在戰爭實施過程中，人工智能可以提供有關設備變化、通信流量和其他關鍵因素的實時數據。這一優勢將使指揮官有能力在不斷變化的情況下做出快速有效的決策，并確保其部署的資產始終處于有利地位。例如，某國開發了一套自主車輛系統，用于收集戰場信息，其目的是對信息進行處理，以便為決策提供準確的要素；它甚至可以在結果評估方面提供幫助。

3 掌握情況和減少人為錯誤

據西點軍校現代戰爭研究所稱，人工智能的多任務特性使其可以通過與不同決策層的偵察、監視和情報集成手段的實時連接，用于收集和處理信息。人工智能能夠處理大量數據并從中學習，這意味著指揮官可以提高對態勢的掌控能力，減少危急情況下的人為錯誤。

一方面，人工智能可以實時處理信息，全面了解戰場態勢。此外，人工智能還能分析歷史數據和趨勢，在更短的時間內預測局勢并做出更準確的決策。同樣，如果與能夠以自身標準開展行動的自主手段銜接，就可以省去暫停行動的必要，從而有可能對對手保持持續的壓力。例如，人工智能可以分析敵人的行為模式并預測未來的動向，從而用于制定不確定性余地更小、細節更精確的應急計劃。

另一方面，在軍事決策過程中應用人工智能還能減少人為錯誤。從這個意義上說，由于軍事力量的應用所隱含的后果，指揮官的決策能力面臨著需要高度重視的情況。例如，法律方面的考慮，如尊重人權或保護自己的部隊，被證明是涉及道德的因素，最終會對指揮官產生壓力，并可能導致因疲勞、恐懼或缺乏經驗而做出錯誤的決定。在這種情況下，人工智能通過提供準確可靠的信息，有助于最大限度地減少這些錯誤。

此外，人工智能還可用于模擬合成環境中的情況，讓軍事人員在安全可控的環境中練習、積累經驗并提高技能。因此，美國陸軍正在利用人工智能的優勢培訓步兵單元指揮官，根據戰術形勢的變化--面對模擬對手--創建可變場景，對手的反饋和快速決策能力豐富了培訓經驗。這樣就能加強美國陸軍培訓的步兵指揮官的決策和掌握情況的能力。總之，在軍事決策過程中應用人工智能，可以讓負責任的指揮官提高對態勢的掌握能力，減少人為錯誤。

4 技術和倫理方面的考慮

人工智能這一技術正越來越多地應用于軍事領域，目的是提高軍事行動的效力和效率。然而，人工智能的使用也帶來了一些重要的技術和倫理問題，必須認真加以解決。從這個意義上說，不應無視這一現實，也不應無視在使用這些技術時因其顛覆性而涉及的考慮因素。

從技術角度看，在軍事決策過程中使用人工智能有可能提供更快、更準確的信息，提高對態勢的認識，并降低人為錯誤的風險。然而，人工智能的使用也帶來了必須妥善解決的重大挑戰。首先是人工智能所使用數據的質量問題，人工智能的正常運行依賴于準確、高質量的信息。如果不具備這些特征，人工智能除了在訓練中出現錯誤外，還可能做出不正確或不恰當的決定。因此，必須掌握準確的最新數據，以確保人工智能的效率。其次，必須有足夠的基礎設施供其使用。換句話說，人工智能需要大功率的計算基礎設施和可靠的通信網絡才能良好運行。因此，要想在軍事決策過程中充分發揮人工智能的潛力，就必須對基礎設施進行投資。

另一方面，從道德角度來看，使用人工智能會引發重要的思考，例如它對受武裝沖突影響的戰斗人員、非戰斗人員和平民的生活會產生什么影響。因此，必須制定明確和透明的政策，規范在軍事情況下使用人工智能。在這方面，為確保在軍事領域有效使用人工智能，有必要明確以下幾個方面： 首先，必須制定明確透明的人工智能使用政策，并確保所有專家、人工智能操作員都接受過使用、監督和控制該技術的培訓。其次，必須確保提供有效使用人工智能所需的計算和通信基礎設施。這包括購置適當的設備和技術，以及建立安全可靠的通信網絡。因此，要充分利用人工智能在軍事決策中的潛力，就必須對基礎設施進行投資。

結論

人工智能可提高收集信息的速度和準確性，并增強及時做出明智決策的能力，從而提高軍事行動的效力和效率。此外，使用人工智能還有助于減少人員傷亡和附帶損害，從而保護平民和限制軍事行動對非戰斗人員的負面影響。為了充分發揮人工智能在軍事領域的潛力，必須制定清晰透明的使用政策，優先培訓軍事人員使用人工智能，并與學術研究機構簽訂合作交流協議。這將有助于最大限度地降低在軍事行動中使用人工智能的風險，最大限度地提高其效益。在軍事領域的決策過程中使用人工智能的經驗，主要參與者是美國陸軍等，由于不斷競爭以加強其在世界上的存在，他們一直在加速發展這項技術。可以從中汲取重要的經驗教訓，以發展自己的人工智能，并闡明國防方面的需求，特別是在軍事決策過程中。總之，在決策過程中適當實施人工智能，可受益匪淺。這可以通過提供更快、更準確信息的自主系統來實現；也可以通過在模擬器中使用合成環境對指揮官進行決策培訓來實現；最后，還可以通過減少處理過程中的人為錯誤來實現。

參考來源：CEEEP

本文介紹了生成式人工智能（Generative Artificial Intelligence）在虛假信息（數字化社會的主要威脅之一）背景下可以發揮的作用。提出了一個研究框架，用于為虛假信息模擬生成定制的基于智能體的社交網絡，從而在討論公開挑戰的同時理解和評估這些現象。

生成式人工智能（GenAI）的出現從根本上重塑了數字內容創作領域，影響了我們制作圖像、視頻、音頻和文本的方式。目前，人工智能模型可以根據簡單的語言提示所提供的語境制作出非常逼真的內容。GPT-4 (OpenAI)、Claude (Anthropic)、PaLM 和 LaMDA (Google)、LLaMA (Meta AI)、Chinchilla (Deep Mind) 和 Alpaca (Stanford) 等出色的 LLM 極大地增強了根據給定上下文生成文本的能力。同樣，DALLE 2（OpenAI）、Stable Diffusion（Runway）和 IMAGEN（Google）等圖像生成模型也引入了一種新方法，用于創建能準確描繪現實生活場景的圖像。值得注意的是，Phenaki（谷歌）和 Gen-2（Runway）等文本到視頻模型也取得了重大進展[1]。

這些生成技術配備了開源模型和可訪問的界面，對編程、娛樂、教育和藝術等一系列領域的生產力產生了積極影響。在學術和研究領域，特別是對社會科學家而言，這些工具為創建逼真的內容、模擬人類行為或定制行為實驗提供了新的機會[2]。大型企業和大學最近進行的試驗凸顯了這些人工智能工具在自我指導生活模擬、開放世界實驗、心理研究和社會模擬等領域的潛力[3]。

在這種情況下，我們不難認為 GenAI，尤其是大型語言模型（LLMs），是應對當今社交媒體中出現的主要威脅之一（即虛假信息）的有力武器。也就是說，惡意實體利用社會網絡的超級連接性，故意傳播虛假或誤導性信息，欺騙或操縱人們的信仰、觀點或行動。最近的研究表明，這些欺騙技術在社交媒體中非常有效，例如在政治選舉中[4]。

在本研究中，將深入探討 LLMs 作為一種創新方法在受控實驗環境中理解、模擬和評估虛假信息的潛力[5]。在傳統背景下，虛假信息主要圍繞假新聞傳播和影響的理論建模，以及利用社交媒體數據進行檢測和評估。這一領域要解決幾個問題，包括審查事件的復雜性，因為沒有真相基線來確認影響活動的目標、策略和參與者；缺乏各種操縱行為的標記數據集；在第三方平臺測試技術對策的不可行性；或必須有人參與才能衡量欺騙活動的認知影響[6]。

反之，LLM 正被用于用體現人類行為的智能體來真實地統治系統，取代數學模型和靜態實驗[7]。這一進步為創建控制信息交換的上下文、用戶和功能的任何信息環境打開了大門，導致基于智能體的生成式社會網絡成為沙盒。在這些受控場景中，可以對紅色智能體進行編程，以模擬定制的虛假信息攻擊，從而進一步分析其演變過程和對個體網絡的影響。因此，我們認為 LLM 有可能緩解虛假信息領域的一些普遍挑戰。本文深入探討了研究機會，并指出了實現這些設想目標所面臨的尚未解決的突出挑戰。

研究機會

隨著 GenAI（特別是 LLMs）的進步，本文闡明了這些技術在社交媒體和虛假信息研究方面的潛在研究機會。

O1. 基于智能體的生成式社會網絡

基于智能體的社會系統的創建涉及開發和實施計算模型，模擬社會背景下個體的互動和行為[2]。這些系統通常旨在模擬真實世界的社會動態，從而探索和分析復雜的社會現象[7]。

傳統的智能體系統雖然有助于模擬社會動態，但也存在局限性。它們依賴于預定義的規則，這限制了它們模擬現實世界中不可預知性的能力、適應性和可擴展性。然而，LLM 可以增強這些智能體的自主性，讓它們在預設規則的范圍之外做出獨特的反應或行動，從而使模擬更加動態和逼真[3]。此外，它還能模擬錯綜復雜的決策過程或實現 OODA（觀察、定向、決策、行動）循環，使智能體能夠對廣泛的情況和互動做出反應。

LLM 為模擬任意數量的用戶和創建逼真的有機互動提供了一個獨特的機會，這項任務在過去具有相當大的挑戰性，但如今卻可以生成基于智能體的社會網絡。人工智能驅動的智能體具備適應流動場景的能力，能產生連貫、多變和逼真的沙盒[8]。在圖 1 中，使用 GPT4 和三個隨機用戶啟動了一個模擬。從零開始，在沒有任何背景的情況下，每個智能體都能感知模擬的社交網絡，保留其感知和行動的記憶，并據此進行互動或發布內容，從而更新模擬環境。

圖 1. 由 GPT-4 管理的三個智能體用戶的合成社交線程

O2. 可定制的虛假信息環境

基于生成式智能體的社交網絡為再現量身定制的情境（如虛假信息情境）提供了重要機會[9]。這一過程可能涉及三個組成部分：智能體描述和屬性、共同語境信息和邏輯規則。

首先，智能體的描述和屬性是每個智能體個體行為的驅動力。這些因素千差萬別，可能包括智能體的網絡角色（人類用戶、組織或機器人）、背景、簡介、思想、社會人口特征和行為[6]。仔細定義這些屬性，就能產生多種多樣的智能體，準確地代表現實世界社交網絡中的用戶[8]。不僅可以模擬來自不同意識形態、國家或年齡的多樣化用戶，還可以模擬具有惡意目的的用戶，如制造爭議、進行非法互動以支持未經證實的主張或有機生成陰謀內容。關于惡意用戶，DISARM 框架可配置不同類型虛假信息攻擊的戰術、技術和程序（TTPs），例如，計劃戰略和目標、目標受眾分析、開發敘事和內容、建立社會資產和合法性、微目標和選擇渠道、提供內容、最大化曝光和在信息環境中持續存在。

此外，共同背景信息提供了塑造環境的更廣泛的社會和群體方面[10]。它包括事件、事實、社會經濟因素和其他影響智能體在網絡中的行為和互動的要素。例如，上個月失業率大幅上升，戰爭爆發，或由于假新聞的日益猖獗而導致社會兩極分化。此外，還可以誘導虛假信息傳播背后的因素，如情緒因素、不確定性、缺乏控制或偏見。多種變量和因素的結合有助于制作一個特定的真實場景，模擬虛假信息是如何傳播的。

同時，邏輯規則決定了信息環境的設置和運行，從而迫使這些復雜系統在真實世界中運行[7]。生成信息的數量和用戶參與互動的概率可以是高級參數，用于影響社交網絡的動態、影響力、擴散以及信息在網絡中共享和傳播的其他方面[11]。這些規則配置智能體的行為，從而影響社交網絡的整體動態。

考慮一個選舉舞弊場景。首先，定義智能體屬性，包括普通公民、政治活動家、散布虛假信息的機器人和官方選舉賬戶的特征，每個人都有獨特的特征和行為。這就為 LLM 所利用的每個用戶創建了特定的上下文。其次，LLM 在交互過程中還會考慮到背景信息，如選舉在即、潛在的投票違規行為和當前的政治氣候。最后，還設定了管理信息共享、影響確定和網絡對新信息的響應的邏輯規則，以編制模擬和 LLM 使用的工作流程。

O3. 評估虛假信息的影響

使用 LLM 和基于智能體的社會場景為在受控場景內研究虛假信息提供了一個難得的機會，這主要是由于在真實世界環境中評估這些攻擊的復雜性。具體來說，根據上述 DISARM 框架，虛假信息攻擊的最后階段是評估效果。

具體來說，虛假信息策略往往與常規信息流交織在一起，因此區分、隔離和分析其實際影響具有挑戰性。另一方面，模擬環境提供了一個安全可控的環境，可以引入和研究不同類型的虛假信息攻擊，而不受現實世界的相關限制[11]。它還為實驗新的欺騙理念提供了一個獨特的試驗場。事實上，從這些研究框架中可以生成合成的標注數據集，不過需要人工審核或半自動系統對其進行評估[12]。

此外，在虛擬沙盒中，可以調整和跟蹤各種變量，如 TTP、強度和操縱操作的性質，以及智能體的屬性和上下文。通過采用適當的框架和模型，可以估算出特定虛假信息策略的有效性。此外，還可以仔細研究智能體概況或情景背景等變量的影響[5]。

圖 3 展示了兩個智能體在面臨選舉舞弊威脅時的觀點演變過程，這兩個智能體分別是 40 歲的公民和憤怒的青少年。每個人一開始都對選舉結果有自己的看法。成人起初保持中立，盡管受到了虛假信息的干擾，但他仍然對系統抱有信心，因為他的觀點更加詳盡。相反，預先設定了憤怒情緒的青少年在與社交網絡互動后，反映更為簡單，并開始質疑選舉結果的合法性。這個例子表明，情緒狀態、年齡和對預期結果的確認偏差等因素會在很大程度上影響對虛假信息的易感性和觀點的改變。

圖 3. GPT-4對智能體意見管理中虛假信息的影響

O4. 技術反制措施測試

在基于智能體的社交網絡中，可以模擬并獨立配置針對虛假信息的技術反制措施（對策），而無需依賴大型公司[9]。DISARM 框架提出了應對技術措施，如內容靜音、刪除、限制相同內容的傳播率、創建競爭性敘述、實時事實核查或為內容添加元數據。也就是說，所有這些應對措施都可以在模擬中進行測試。

從這個意義上說，LLM 具有創建良性智能體的優勢，而這些智能體可以作為打擊虛假信息的有力輔助工具。這些智能體可以提供另一種說法，為誤導性信息添加上下文，根據可信度、情感或真實性對信息進行實時檢查，并利用其分類能力標記可疑內容[12]。在圖 4 中，我們命令 GPT-4 模擬對第一條投票舞弊信息進行事實檢查，并為巨魔帖子添加上下文橫幅。此外，它還會根據情感和真實性對每條信息進行分類。兩個智能體的意見不再受到有關選舉的陰謀論的干擾，在兩種情況下都對民主結果保持信心。

上述模擬緩解技術可在受控沙盒中進行評估，以證明其在虛假信息環境中的有效性。在沒有保護措施的情況下（圖 3）和有反制措施的情況下（圖 4），對智能體接觸虛假信息時的信念和反應進行比較，可以證明應對策略的有效性。從這個意義上說，事實核查、上下文信息和內容標記等保護機制消除了成年公民的不確定性或青少年表達的疑慮。此類比較研究可為制定更有效的反虛假信息戰略提供寶貴的見解。

圖 4. 在 GPT-4 管理的虛假信息環境中采取反制措施的效果

O5. 輔助個性化認知培訓

網絡安全意識和認知培訓為提高人類能力提供了解決方案，特別是在使用云、移動、物聯網和社交網絡等技術生成的復雜系統中，因為這些技術會產生海量信息。意識是一個在心理學中定義明確的概念，已成為多項研究的主題，旨在將其原理轉化到網絡安全領域。特別是，需要采取教育干預措施，在社交媒體和虛假信息場景中培養這種意識。通過評估安全指標，可以了解網絡安全的現狀，預測安全風險、潛在攻擊以及隨著時間推移可能產生的影響[9]。

在這種情況下，基于智能體的生成式社交網絡可以成為旨在改進社交媒體安全培訓和認知意識課程的教育框架的基礎。具體來說，現實世界中的受訓者可以在這些真實場景中學會識別誤導性信息、識別潛在偏見或辨別兩極分化的情況。此外，虛假信息環境可以由 LLM 支持，以適應特定個人或群體的需求，在培訓期間提供明確的幫助，并根據學生的行動、反應和表現，在網絡演練過程中允許一定程度的靈活性。

圖 5 顯示了 GPT-4 根據兩個不同用戶的個人需求量身定制的基于選舉舞弊的指導性培訓練習，這兩個用戶分別是第一次參加投票且不習慣使用社交媒體的青少年和每天在社交網絡上花費八小時的資深政治影響者。前者缺乏經驗，不了解政治話語的復雜性，可能尚未發展出批判性思維來辨別誤導性和情緒化的說法。后者意識到了政治的復雜性和當前的兩極分化，需要提高認識才能正確行事，避免進一步助長社會分裂。出于教育目的，該系統可以利用 LLM，在飛行過程中根據個人描述進行調整，提供實用的背景標語，并顯示精確的理論課程。這種適應性可確保實際情況的復雜性不斷變化，以應對學生在連續練習中回答問題時發現的挑戰，從而實現持續學習。

圖 5. 基于 GPT-4 的智能體對人類進行虛假信息培訓

開放性挑戰

如前所述，LLM 為推動虛假信息研究提供了令人興奮的機遇。此外，所述機遇可以映射到基于智能體的生成式社交網絡的高級框架中。具體來說，圖 6 所示的框架由五個相互關聯的模塊組成，每個模塊都具有一定的特性和功能。首先，"定義 "組件負責對組成框架的實體進行建模，然后在模擬環境中重新創建。也就是說，模擬塊包含模擬實體，即 LLM 驅動的智能體、社交網絡本身和虛假信息模塊，而虛假信息模塊又包括進攻和防御框架。值得注意的是，機會 O1 與生成智能體和社交網絡的模擬有關，而進攻框架則與機會 O2 綁定。然后，仿真模塊負責從認知、社會和防御角度評估模擬環境中的整體情況。在這里，認知和防御評估分別與機會 O3 和 O4 對應。最后但同樣重要的是，"開發 "模塊將該框架與其他有價值的工具連接起來，以充分發揮其潛力，并從不同角度讓人類行動者參與其中。在我們的設想中，這樣一個組件包含可視化模塊、社交媒體可視化界面、培訓平臺（即與機遇 O5 相關的網絡范圍）和實時網絡態勢感知（CSA）模塊。

事實上，圖 6 顯示了擬議概念框架與分析機會之間的緊密聯系。然而，將這些機遇整合到虛假信息領域也會面臨一些挑戰，需要認真考慮。圖 6 也突出顯示了這些挑戰，包括每個模擬實體。在本節中，將對主要挑戰進行細致描述，并添加提示以幫助研究人員解決這些挑戰，從而研究并在可能的情況下減輕數字環境中的虛假信息威脅。

圖 6. 基于智能體的生成式社交網絡的機遇與挑戰概念框架

C1. 智能體建模、模擬和評估

首先，對 LLM 驅動的智能體在虛假信息背景下的行為建模可以說是一個難題。事實上，這種建模應考慮與模擬智能體的不同個性有關的幾個方面。從這個意義上說，必須定義每個智能體的個人特征，如年齡、性別、興趣和個人信仰等。這些特征至關重要，可能會影響智能體在模擬社交網絡中的行為和態度，這一點已在前面有關研究機會的示例中說明。此外，每個智能體都應具備屬性和目標，并將利用這些屬性和目標做出決策、形成觀點以及與總體模擬進行交互。也就是說，還應考慮智能體的異質性，如不同程度的影響力、可信度和易受說服性。從這個意義上說，有效的提示設計對于溝通和塑造 LLM 驅動的智能體至關重要。特別是，最好能結合上下文信息來促進智能體的行為，并在提供極其具體的指示與允許創造性和動態性之間取得平衡。然而，由于 LLM 的內部過程是隨機的，因此以清晰、可解釋的方式設計和實施行為是一項艱巨的任務。

此外，模擬這些智能體也是一項挑戰。在圖 6 中，我們將模擬生成智能體與模擬環境進行持續互動。特別是，它們會感知來自社交網絡的一些信息，并因此根據自身特點采取行動。從這個意義上說，虛假信息研究中最重要的問題之一在于理解和模擬虛假信息是如何在社交網絡中傳播并影響個體的。從這個意義上說，將心理模型和認知理論整合到 LLM 中，為模擬和研究驅動人類接收、分析和傳播虛假信息的心理機制提供了一個難得的機會[9]。

一個明顯的例子是利用認知偏差來塑造生成智能體的個性，如確認偏差或可得性偏差[13]，這將對研究人員大有裨益，他們將能夠重新生成與預先存在的信念或容易獲取的信息相一致的有機虛假信息內容。例如，可以對 LLM 進行編程，使其生成有說服力的虛假（或半真實）敘述，從而利用個人的確認偏差，強化其現有觀點，進而影響其決策過程。通過這種方式，該模型可以生成與特定目標受眾相呼應的量身定制的虛假信息，從而提高虛假信息被消費和傳播的總體概率。此外，LLM 還可以借助認知理論來識別人類決策過程中的漏洞。具體來說，法律信息模型可以模擬人類內在的認知限制或啟發式方法，例如有界理性（影響次優決策）或可用性啟發式方法（影響情感決策過程）。這樣，LLMs 就能生成威脅性的虛假信息，試圖利用這些弱點作為最終目標。舉例來說，虛假信息內容可以利用個人有限的注意力，使他們由于時間限制和缺乏詳盡的事實核查而更容易受到這種威脅。盡管如此，這些認知機制對智能體的模擬和行動的影響也應加以衡量（最好加以調整），以實現逼真的模擬。

C2. 社交網絡建模、模擬和監測

為了研究在虛假信息背景下使用 LLM 的情況，并在可能的情況下打擊這種現象，必須對現實的社交網絡進行模擬和建模。顯然，這些過程相當復雜，因為現代社交網絡包含一些固有特征，在模擬時需要特別注意。從這個意義上說，如圖 6 所示，信息環境是概念框架的核心組成部分。具體來說，它與智能體雙向互動（通過通知相關社會事件和接收更新），并從紅色框架（注入虛假信息）和藍色框架（通過部署技術對策保護信息生態系統）獲得輸入。

特別是，研究人員應設計和開發有意義的模型，模擬用戶互動和交流模式，以捕捉社交網絡的復雜性[7]。開發包含互動、推薦、傳播和社會影響動態的代表性社交網絡模型，對于準確模擬虛假信息在社區內的傳播至關重要。這項任務主要包括分析以下內容：

• 直接交流： 捕捉用戶如何通過消息、評論或直接互動進行直接交流。這一特征反映了社交網絡中的個人聯系和對話。
• 信息共享： 模擬用戶之間如何共享和傳播（非）信息。這包括在網絡中分享鏈接、文章或任何其他內容。
• 用戶參與： 捕捉用戶對不同類型內容的參與。這包括用戶與不同帖子、評論或討論的互動。

顯然，所有這些事件都應通知到智能體，由其感知信息并動態調整自己的行為，從而執行相應的操作。在這一循環中，強迫智能體采取特定的微調行為顯然是復雜的，尤其是考慮到復雜的社交網絡中同時存在大量事件和多個模擬用戶。另一方面，信息環境是紅色框架的目標，例如，根據 DISARM 分類法生成虛假信息。當然，這種威脅也可能是由參與社會環境的 LLM 智能體產生的。在這種情況下，模擬網絡應能適應虛假信息的注入，修改上述用戶之間的互動和交流模式。此外，作為虛假信息活動的后果，藍色框架會部署技術反制措施。從這個角度看，社交圖譜也應能夠根據所選反制措施的性質進行動態調整。

最后但并非最不重要的一點是，必須研究和評估虛假信息的擴散和放大，如影響力和回音室。更具體地說，信息擴散是指信息通過社會網絡從一個實體傳播到另一個實體的過程。就虛假信息研究而言，評估虛假信息內容如何在社交網絡中傳播和放大尤為重要。要實現這一宏偉目標，考慮到大量用戶和關系，每當發起虛假信息活動時，監控整個社交圖譜的狀態至關重要。

C3. 虛假信息建模、模擬和評估

要充分利用虛假信息研究的能力，可以說，對虛假信息活動進行建模和模擬是該框架的核心要素。然而，從設計和技術角度來看，這些過程都具有挑戰性。

從第一項任務開始，虛假信息建模顯然是文獻中眾所周知的研究課題。然而，正如圖 6 所示，它與智能體之間的關系也提供了巨大的研究機會和挑戰。具體來說，設計虛假信息攻擊和反制措施至關重要，因為它們應該在社交網絡中真實模擬，以研究其動態并衡量其影響。一方面，必須確定虛假信息攻擊的主要目標和范圍。在這方面，所涉及的人群（及其內在屬性）、目標社交渠道和攻擊持續時間對于創建一個逼真的模型至關重要。一旦確定了目標，該模型就應能夠創建與目標相一致的虛假信息內容，同時考慮到信息的含義（如文章、帖子等）和信息本身（如語氣、風格等）。在這一階段，DISARM 框架可以幫助塑造虛假信息攻擊，此外，還可以使模型具有可復制性，并隨時與研究界共享。

另一方面，我們也考慮了防御的觀點，因為我們相信模擬智能體可以成為部署反制虛假信息攻擊的主要行動者。與紅色框架相反，藍色框架無法與通用框架聯系起來，因此，除傳統的事實核查、媒體審查、內容刪除等措施外，提出更多的應對措施也是這一過程的挑戰之一。一旦正確建模，就必須在社交網絡中模擬防御行動，以便可能發現智能體的行為差異和反應，例如，反制措施有效，智能體理解了虛假信息攻擊，或者相反，他們拒絕反制措施，信任虛假信息宣傳。觸發臨時和無代理反制措施的可能性也很吸引人，以便觀察是否出現任何社會動態變化。

建模和模擬階段結束后，評估社會圖譜中虛假信息攻擊和反制措施的有效性或低效性至關重要[14]。要實現這一目標，第一站就是創建有意義的指標，以衡量其對生成智能體的行為和動態的影響。例如，從個體和群體的角度評估不同的虛假信息攻擊（如針對不同主題、具有不同模式等）對智能體的感知和隨之采取的行動的影響將是有益的。從這個意義上說，要完成這項任務顯然是很困難的，這主要是由于社會互動的復雜性、行為模擬的多樣性以及可能的攻擊等等。同樣，每當啟動一項反制措施時，系統都需要對其有效性進行監控和評估。即使在這種情況下，社交網絡的內在特性也會使任務更加艱巨。此外，可以說不同的反制措施（如社區標簽、事實核查等）會對社交互動產生不同的影響，從而增加了評估過程。然后，應評估攻擊-防御模式的效果。具體來說，一旦虛假信息攻擊和補救措施的模型和模擬都取得成功，交替執行不同模式的紅藍任務就值得關注。

結論

本文討論了 LLM 對虛假信息研究的影響。從生成可定制的虛假信息環境，到基于這些環境對用戶進行意識培訓，有許多研究方向可能真正具有開創性。不過，文獻也指出了使用這些技術的一些倫理問題。其中有些是很普遍的問題，比如將其用于欺騙目的或傳播社會偏見[14]，而另一些則可能是虛假信息領域特有的問題，比如它有可能將這項研究武器化。

一般來說，使用 LLMs 存在固有風險。正如由專家和公眾人物簽署的《人工智能風險聲明》所反映的那樣，欺騙性風險是多方面的、復雜的。這對社交工程、社交媒體和認知安全的影響尤為明顯，這些領域由于依賴數字內容和用戶的內在信任而十分脆弱。主要威脅可能包括人工智能驅動的魚叉式網絡釣魚、深度假冒、大規模虛假信息活動或人工智能驅動的系統漏洞利用[15]。生成性誤用能夠為欺騙目的制造超逼真的內容，對網絡生態系統構成新的威脅[14]。其危險性在于它們不僅能制作逼真的內容，還能制作符合語境和針對受眾的內容，從而增加成功欺騙的可能性。2023 年 6 月的一個案例是普京令人信服的深度偽造視頻，其目的是虛構烏克蘭入侵俄羅斯領土的動員信息，并成功滲入主流新聞頻道。更具體地說，這項研究的潛在發展也可用于負面目的，例如將模擬環境與真實社交網絡連接起來，以策劃虛假信息宣傳活動，或分析哪種虛假信息攻擊能對某些總統候選人的投票產生最大影響。

這種緊張關系經常出現在適用雙重用途困境的研究場景中，例如在網絡安全方面，研究網絡攻擊以找到適當的防御方法，或試驗可用于治療的新藥物。因此，考慮到目前存在的倫理問題，在這種背景下開展的研究應仔細論證，并以有益于社會的應用為目標，例如調查技術或人為對策的效果，以減少虛假信息的傳播，或開發提高認識的培訓工具，以提高我們普通民眾的信息素養技能。最終，這些應用將需要被最終用戶所采用，因此，我們應采用以人為本的方法，并掌握使用這些工具所需的掃盲技能。

總之，本文認為，虛假信息和 LLM 是一個很好的組合，有許多潛在的研究應用，可以發展成為有影響力的工具。然而，技術、人類和倫理方面的挑戰也是巨大的，需要在未來十年開展前沿研究，以超越上述差距。如果研究得當，這項多學科研究將有助于對抗對 21 世紀社會構成重大威脅的虛假信息危險。

機器學習是現代戰爭系統的關鍵組成部分。本文探討了人工智能的 7 個關鍵軍事應用。

機器學習已成為現代戰爭的重要組成部分，也是我（Nicholas Abell）作為陸軍退伍軍人和數據科學家的主要興趣點。與傳統系統相比，配備人工智能/機器學習的軍事系統能夠更有效地處理大量數據。此外，人工智能由于其固有的計算和決策能力，提高了作戰系統的自我控制、自我調節和自我驅動能力。

人工智能/機器學習幾乎被部署在所有軍事應用中，軍事研究機構增加研發資金有望進一步推動人工智能驅動系統在軍事領域的應用。

例如，美國國防部 (DoD) 的國防高級研究計劃局 (DARPA) 正在資助一種機器人潛艇系統的開發，該系統預計將用于從探測水下水雷到參與反潛行動的各種應用。此外，美國國防部在 2017 財年在人工智能、大數據和云計算方面的總體支出為 74 億美元。預計到 2025 年，軍事 ML 解決方案的市場規模將達到 190 億美元。

以下是機器學習將在未來幾年證明其重要性的七種主要軍事應用。

1. 作戰平臺

來自全球不同國家的國防軍隊正在將人工智能嵌入陸地、海軍、空中和太空平臺上使用的武器和其他系統中。

在基于這些平臺的系統中使用人工智能，可以開發出更少依賴人工輸入的高效作戰系統。它還增加了協同作用，提高了作戰系統的性能，同時需要更少的維護。人工智能還有望使自主和高速武器能夠進行協作攻擊。

2. 網絡安全

軍事系統通常容易受到網絡攻擊，這可能導致機密軍事信息丟失和軍事系統損壞。然而，配備人工智能的系統可以自主保護網絡、計算機、程序和數據免受任何未經授權的訪問。

此外，支持人工智能的網絡安全系統可以記錄網絡攻擊的模式，并開發反擊工具來應對它們。

3. 物流運輸

人工智能有望在軍事后勤和運輸中發揮關鍵作用。貨物、彈藥、武器和部隊的有效運輸是成功軍事行動的重要組成部分。

將人工智能與軍事運輸相結合可以降低運輸成本并減少人力工作負荷。它還使軍用艦隊能夠輕松檢測異常并快速預測組件故障。最近，美國陸軍與 IBM 合作，使用其 Watson 人工智能平臺來幫助預先識別 Stryker 戰車的維護問題。

4. 目標識別

正在開發人工智能技術以提高復雜戰斗環境中目標識別的準確性。這些技術使國防軍隊能夠通過分析報告、文檔、新聞提要和其他形式的非結構化信息來深入了解潛在的作戰領域。此外，目標識別系統中的人工智能提高了這些系統識別目標位置的能力。

支持人工智能的目標識別系統能力包括基于概率的敵人行為預測、天氣和環境條件匯總、潛在供應線瓶頸或漏洞的預測和標記、任務方法評估以及建議的緩解策略。機器學習還用于從獲得的數據中學習、跟蹤和發現目標。

例如，DARPA 的競爭環境中的目標識別和適應 (TRACE) 計劃使用機器學習技術在合成孔徑雷達 (SAR) 圖像的幫助下自動定位和識別目標。

5. 戰場醫療

在戰區，人工智能可以與機器人手術系統 (RSS) 和機器人地面平臺 (RGP) 集成，以提供遠程手術支持和疏散活動。美國尤其參與了 RSS、RGP 和其他各種用于戰場醫療保健的系統開發。在困難條件下，配備人工智能的系統可以挖掘士兵的病歷并協助進行復雜的診斷。

例如，IBM 的 Watson 研究團隊與美國退伍軍人管理局合作開發了一種稱為電子病歷分析器 (EMRA) 的臨床推理原型。這項初步技術旨在使用機器學習技術來處理患者的電子病歷，并自動識別和排列他們最嚴重的健康問題。

6. 戰斗模擬與訓練

模擬與訓練是一個多學科領域，它將系統工程、軟件工程和計算機科學結合起來構建計算機模型，使士兵熟悉在軍事行動中部署的各種作戰系統。美國正在越來越多地投資于模擬和訓練應用。

美國海軍和陸軍都在進行戰爭分析，啟動了幾個傳感器模擬程序項目。美國海軍已經招募了 Leidos、SAIC、AECOM 和 Orbital ATK 等公司來支持他們的計劃，而美國陸軍的計劃得到了包括 SAIC、CACI、Torch Technologies 和 Millennium Engineering 在內的公司的支持。

7. 威脅監控和態勢感知

威脅監控和態勢感知在很大程度上依賴于情報、監視和偵察 (ISR) 工作。ISR 行動用于獲取和處理信息以支持一系列軍事活動。

用于執行 ISR 任務的無人系統既可以遠程操作，也可以按照預先定義的路線發送。為這些系統配備人工智能有助于防御人員進行威脅監控，從而提高他們的態勢感知能力。

具有集成 AI 的無人駕駛飛行器 (UAV) - 也稱為無人機 - 可以巡邏邊境地區，識別潛在威脅，并將有關這些威脅的信息傳輸給響應團隊。因此，使用無人機可以加強軍事基地的安全，并提高軍事人員在戰斗中或偏遠地區的安全性和效率。

結論

人工智能在軍事技術硬件和軟件的大規模采用，向我們展示了現代戰爭中令人難以置信和可怕的范式轉變。毫不奇怪，世界上最大的軍隊比其他任何事情都更加關注這項技術，而這場技術競賽的獲勝者可能會比美國在研制原子彈后擁有更多的全球影響力。 （作者：Nicholas Abell，美國陸軍退伍軍人）

摘要：近日，來自蒂賓根大學等機構的研究者進行了一項表格數據 SOTA 深度學習方法的調查研究。該研究首先將這些方法分為三組：數據轉換、專用架構和正則化模型，然后全面概述了每個組中的主要方法。

通過解釋表格數據上的深度學習模型，該研究對生成表格數據的深度學習方法展開了詳細的討論。該研究的主要貢獻是對領域內的主要研究流派和現有方法進行分類，同時突出相關挑戰和開放型研究問題。這是領域內首個深入研究基于表格數據的深度學習方法的工作，可作為表格數據深度學習研究者和從業者的寶貴指南。

該調查的目的是為了提供：

1. 對現有關于表格數據深度學習的科學文獻的徹底審查；
2. 對異構表格數據進行分類和回歸任務的可用方法的分類學分類；
3. 最先進技術的介紹以及對生成表格數據的有希望的路徑的展望；
4. 表格數據深層模型的現有解釋方法概述；
5. 關于表格數據深度學習成功有限的主要原因的討論；
6. 與表格數據深度學習相關的開放挑戰列表。

基于此，數據科學從業者和研究人員將能夠快速為用例或研究問題確定起點和指導。