亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能（AI）在自動駕駛（AD）的感知和規劃任務中展現出了令人期待的應用前景，與傳統方法相比，其優越的性能更是不言而喻。然而，難以解讀的AI系統加劇了AD安全保障的現有挑戰。解決這一挑戰的方法之一是利用可解釋AI（XAI）技術。為此，我們呈現了第一個關于安全可信賴AD的可解釋方法的全面系統的文獻綜述。我們從分析AD中AI的需求開始，重點關注三個關鍵方面：數據、模型和代理。我們發現XAI對于滿足這些需求至關重要。基于此，我們解釋了AI中解釋的來源，并描述了一個XAI的分類體系。然后，我們確定了XAI在AD中實現安全可信AI的五個關鍵貢獻，分別是可解釋設計、可解釋替代模型、可解釋監控、輔助解釋和可解釋驗證。最后，我們提出了一個名為SafeX的模塊化框架，以整合這些貢獻，實現向用戶提供解釋的同時確保AI模型的安全。

人工智能（AI）在過去幾十年里在各個技術領域獲得了大量關注。特別是，基于深度神經網絡（DNNs）的深度學習（DL）因其數據驅動的高維學習能力，在某些任務上提供了與人類相當乃至更好的性能[1]，[2]，因此自然而然地成為自動駕駛（AD）領域的一個重要組成部分。然而，深度學習缺乏透明度。它表現出黑盒行為，使其內部運作的洞察變得模糊。這種不透明性使得識別問題和確定哪些AI應用在現實世界中是可接受的變得更加困難。然而，在諸如AD這樣的安全相關領域中，開發安全可信的AI至關重要。雖然存在幾種緩解AI安全問題的過程，如合理的數據獲取[3]，但這些措施確保足夠安全性的充分性仍是一個懸而未決的問題，這突出了進一步方法的需求。此外，目前沒有標準明確指出在AD中使用數據驅動的AI。現有的安全標準ISO 26262 - 道路車輛 - 功能安全[4]并非專門為數據驅動的AI系統及其獨特特性[5]而開發。標準ISO 21448 - 預期功能的安全性（SOTIF）[6]旨在確保由系統功能不足引起的危險沒有不合理的風險，并且需要為每個危險制定定量的接受標準或驗證目標。這一概念可以應用于基于AI的功能，但這些接受標準并沒有明確定義[7]。此外，缺乏針對設計基于AI功能的具體指導。因此，這些標準在解決數據驅動深度學習系統的安全要求方面面臨挑戰[8]。盡管ISO/AWI PAS 8800 - 道路車輛 - 安全性和人工智能[9]的工作正在進行中，但由于它仍處于開發階段，其范圍和指導仍不清晰。總的來說，社會對AD也存在相對較高的不信任水平。美國汽車協會關于自動駕駛車輛（AV）的調查表明，美國68%的駕駛員對AV持謹慎態度[10]，并且AI被認為是社會不接受AV的關鍵因素之一[11]。解決這些問題的一個有希望的方法是可解釋AI（XAI）。XAI旨在提供人類可理解的AI行為洞察，開發XAI方法對不同利益相關者可能是有益的[12]。首先，它可能成為AI開發人員識別和調試故障的必要工具[13]。其次，XAI可以幫助用戶根據AV的實際能力正確校準他們對自動化系統的信任[14]，從而防止誤用。最后，保險公司和監管機構也可能受益，因為XAI增加的透明度可以實現可追溯性，允許更準確地評估事故責任[15]。Muhammad等[16]甚至表示，未來在DL的AD中，包括公平性、責任性和透明度在內的監管合規性可能需要XAI。鑒于特別是針對AD的XAI文獻不斷增加，有必要系統地回顧哪些XAI技術存在以及它們如何被應用于增強AD的安全性和可信度。

A. 關于AD的XAI的先前回顧 我們注意到已經存在一些關于AD的XAI的回顧，我們在本小節中簡要概述每個回顧。這些工作提供了該領域的挑戰和利益相關者的良好概述，但存在一些關鍵缺陷：

1. 缺乏系統和可復制的文獻回顧方法論，導致可能的偏差和覆蓋不完整；

2. 沒有專注于XAI在AD的安全性和可信度方面的具體益處和缺點；

3. 沒有回顧用于將XAI與AD集成的框架。Omeiza等人[17]的工作是該領域的第一個值得注意的綜述。他們提供了AD中XAI的全面看法，涵蓋了解釋的不同需求、法規、標準和利益相關者，以及在AD中應用的一些解釋性方法的概述。他們回顧了為AD設計有用的XAI系統所涉及的挑戰及相關文獻，然而，這個回顧既不可復制也不完整，特別是對于感知和規劃任務。此外，Atakishiyev等人[18]覆蓋了與Omeiza等人非常相似的主題，但對最近的XAI技術在AV感知和規劃方面有稍微廣泛的覆蓋。獨特地，他們是第一個提出將XAI與現有AD技術集成的端到端框架的，然而，他們沒有進一步探索這個方向。他們的文獻回顧也以一種不可復制的方式進行。最后，Zablocki等人[19]的文獻回顧識別了潛在的利益相關者以及為什么他們可能需要解釋、對他們有用的解釋類型以及何時需要提供解釋。基于此，他們檢查了文獻中的不同方法。然而，他們沒有專注于XAI在滿足安全和可信AI要求方面的影響。此外，綜述在完整性方面存在一些缺陷，因為他們只關注了端到端系統的基于視覺的方法。因此，他們沒有考慮可以應用于模塊化AD管道的XAI方法和感知規劃。

B. 主要貢獻鑒于現有作品和XAI對AD日益增長的重要性，我們做出以下貢獻：

1. 我們討論了AD中AI的詳細要求，并強調了XAI在滿足這些要求中的重要性。
2. 我們提供了一個結構化、系統化和可復制的關于AD中應用XAI的回顧，重點關注環境感知、規劃和預測以及控制；
3. 根據我們的回顧，我們確定了五種應用于安全和可信AD的XAI技術范式，包括可解釋設計、可解釋替代模型、可解釋監控、輔助解釋和可解釋驗證。此外，我們使用具體示例討論每個范式；
4. 我們分析了現有模塊化XAI框架在AD中的局限性，然后提出了一個更具體和可操作的安全可解釋AI框架，稱為SafeX，基于總結的XAI技術。C. 范圍和結構 我們的研究提供了AD當前最先進的XAI方法的全面視圖，包括模塊化和端到端管道，重點關注感知、規劃和預測以及控制。基于我們回顧的方法，我們還提出了一個模塊化框架，將XAI納入AV設計。然而，我們的調查沒有識別利益相關者，也不旨在提供DNNs或強化學習等數學基礎的背景。對于這些，第I-A節中的現有綜述提供了良好的覆蓋。我們的調查結構如圖1所示。在第II部分，我們提供基礎，在這里我們定義了可信AI并確定了應用AD中AI的要求。此外，我們描述了AI系統的各種解釋來源，并引入了XAI概念以及AD組件的術語分類。第III部分描述了我們的研究問題和調查方法論，確保可復制性。第IV部分調查了文獻，分為可解釋設計、可解釋監控、可解釋替代模型、輔助解釋和可解釋驗證。在第V部分，我們回顧了AD中現有的XAI框架，并提出了我們的框架SafeX。在第VI和第VII部分，我們根據我們的調查結果討論我們的發現，并確定未來的方向。II. 基礎 我們在這一節開始探索可信AI的需求。然后我們檢查應用AD中可信AI的要求。我們的分析強調了XAI在滿足這些要求中的關鍵作用，并識別了AI系統中解釋的來源。我們通過回顧XAI的分類以及AD組件的詳細術語來結束。A. 可信AI 在我們開始討論AD中的XAI時，了解AI中解釋需求的來源很重要。歷史上，AI是基于符號表示的，其中信息使用定義明確的數學符號編碼，如命題邏輯或程序歸納。AI應用的第一個成功實例是專家系統[104]，它依賴于此類符號表示，這使它們在不同程度上具有固有的可解釋性，通常以推理的因果鏈的形式表現出來。相比之下，當前的神經AI方法依賴于子符號表示。在這一范式下，輸入數據通過從大量訓練數據中學習數百萬個參數來數學轉化為輸出。這種方法允許模擬高度復雜的多維關系，從而產生高性能。然而，由于其龐大的規模和高度的抽象，子符號系統的輸出不具可解釋性。因此，它們通常被視為缺乏透明度的黑盒。盡管這種效率與透明度的權衡有時是可以接受的（甚至可以說不存在[105]），但如AD這樣的高度復雜的安全相關系統不能完全依賴于黑盒系統，因為它們不容易獲得安全認證。這還包括無數的倫理、社會和法律原因，為什么神經方法也可能是可疑的[106]。

本文討論了在軍事領域決策過程中使用人工智能（AI）的好處和注意事項。文章側重于三個主要方面：提供更快、更準確信息的能力，掌握情況和減少人為錯誤，以及在使用這種技術時必須考慮的技術和倫理因素。人工智能可以大大改善軍事領域的決策；然而，重要的是要反思與使用人工智能相關的倫理和技術影響。

關鍵詞 人工智能、情境領域、減少人為錯誤、合成環境、顛覆性技術、知情決策。

1 簡介

人工智能（AI）已成為包括軍事在內的各個領域的重要工具。人工智能的定義是開發計算機系統，使其能夠執行通常需要人類典型的理性智能才能完成的任務，包括識別語音、做出決策和解決問題。在軍事領域，人工智能可以通過實時處理有價值的信息，幫助指揮官更快、更準確地做出決策。然而，人工智能在軍事領域的應用也帶來了倫理和技術方面的挑戰，例如在隱私和數據安全等方面對人類的影響。必須了解人工智能在軍事領域的優勢和挑戰，才能有效、負責任地實施人工智能。從這個意義上說，人工智能的應用可以優化指揮官在戰場上及時做出明智決策的能力。此外，對大量信息的即時處理使人們有可能對全景有更全面的了解，這為預測突然變化和可能出現的風險提供了依據，而這些都需要掌握態勢。這也有助于減少個人失誤，擺脫每個人的局限性。不過，有必要考慮在對這一顛覆性技術進行管理時所涉及的倫理問題。

2 人工智能在決策中提供快速準確的信息

在軍事領域使用人工智能并非新概念。然而，在很短的時間內，它已成為一種日益重要和有用的工具。它能夠高速、準確地處理大量數據，并分析模式和趨勢，提供重要信息，幫助指揮員在發生危機時執行措施，而危機需要快速、有效的反應，這在完成任務可能受到影響的情況下非常有用。

此外，人工智能還能識別人類可能忽略的模式和趨勢，從而更好地進行數據分析。這樣就能更全面、更清晰地了解任何情況，使軍方能夠做出更明智的決策。人工智能還能將數據收集和分析等乏味的重復性任務自動化，從而騰出時間實施更相關的行動。

從這個意義上說，人工智能提供信息的速度和質量對軍事決策過程有著積極的影響。指揮官可以擁有一種工具，使他們在行動發展過程中更容易選擇并永久保持認知優勢。所謂 "認知優勢"，是指在戰場上以最有效的方式利用信息和知識的能力。這意味著，人工智能可用于規劃過程、開展行動，甚至在任務完成后提供反饋并鞏固認知優勢。

同樣，在軍事行動規劃中，人工智能可以分析數據、生成情報，并提供需要優先處理的局勢變化信息以及可用資源和其他重要因素。在戰爭實施過程中，人工智能可以提供有關設備變化、通信流量和其他關鍵因素的實時數據。這一優勢將使指揮官有能力在不斷變化的情況下做出快速有效的決策，并確保其部署的資產始終處于有利地位。例如，某國開發了一套自主車輛系統，用于收集戰場信息，其目的是對信息進行處理，以便為決策提供準確的要素；它甚至可以在結果評估方面提供幫助。

3 掌握情況和減少人為錯誤

據西點軍校現代戰爭研究所稱，人工智能的多任務特性使其可以通過與不同決策層的偵察、監視和情報集成手段的實時連接，用于收集和處理信息。人工智能能夠處理大量數據并從中學習，這意味著指揮官可以提高對態勢的掌控能力，減少危急情況下的人為錯誤。

一方面，人工智能可以實時處理信息，全面了解戰場態勢。此外，人工智能還能分析歷史數據和趨勢，在更短的時間內預測局勢并做出更準確的決策。同樣，如果與能夠以自身標準開展行動的自主手段銜接，就可以省去暫停行動的必要，從而有可能對對手保持持續的壓力。例如，人工智能可以分析敵人的行為模式并預測未來的動向，從而用于制定不確定性余地更小、細節更精確的應急計劃。

另一方面，在軍事決策過程中應用人工智能還能減少人為錯誤。從這個意義上說，由于軍事力量的應用所隱含的后果，指揮官的決策能力面臨著需要高度重視的情況。例如，法律方面的考慮，如尊重人權或保護自己的部隊，被證明是涉及道德的因素，最終會對指揮官產生壓力，并可能導致因疲勞、恐懼或缺乏經驗而做出錯誤的決定。在這種情況下，人工智能通過提供準確可靠的信息，有助于最大限度地減少這些錯誤。

此外，人工智能還可用于模擬合成環境中的情況，讓軍事人員在安全可控的環境中練習、積累經驗并提高技能。因此，美國陸軍正在利用人工智能的優勢培訓步兵單元指揮官，根據戰術形勢的變化--面對模擬對手--創建可變場景，對手的反饋和快速決策能力豐富了培訓經驗。這樣就能加強美國陸軍培訓的步兵指揮官的決策和掌握情況的能力。總之，在軍事決策過程中應用人工智能，可以讓負責任的指揮官提高對態勢的掌握能力，減少人為錯誤。

4 技術和倫理方面的考慮

人工智能這一技術正越來越多地應用于軍事領域，目的是提高軍事行動的效力和效率。然而，人工智能的使用也帶來了一些重要的技術和倫理問題，必須認真加以解決。從這個意義上說，不應無視這一現實，也不應無視在使用這些技術時因其顛覆性而涉及的考慮因素。

從技術角度看，在軍事決策過程中使用人工智能有可能提供更快、更準確的信息，提高對態勢的認識，并降低人為錯誤的風險。然而，人工智能的使用也帶來了必須妥善解決的重大挑戰。首先是人工智能所使用數據的質量問題，人工智能的正常運行依賴于準確、高質量的信息。如果不具備這些特征，人工智能除了在訓練中出現錯誤外，還可能做出不正確或不恰當的決定。因此，必須掌握準確的最新數據，以確保人工智能的效率。其次，必須有足夠的基礎設施供其使用。換句話說，人工智能需要大功率的計算基礎設施和可靠的通信網絡才能良好運行。因此，要想在軍事決策過程中充分發揮人工智能的潛力，就必須對基礎設施進行投資。

另一方面，從道德角度來看，使用人工智能會引發重要的思考，例如它對受武裝沖突影響的戰斗人員、非戰斗人員和平民的生活會產生什么影響。因此，必須制定明確和透明的政策，規范在軍事情況下使用人工智能。在這方面，為確保在軍事領域有效使用人工智能，有必要明確以下幾個方面： 首先，必須制定明確透明的人工智能使用政策，并確保所有專家、人工智能操作員都接受過使用、監督和控制該技術的培訓。其次，必須確保提供有效使用人工智能所需的計算和通信基礎設施。這包括購置適當的設備和技術，以及建立安全可靠的通信網絡。因此，要充分利用人工智能在軍事決策中的潛力，就必須對基礎設施進行投資。

結論

人工智能可提高收集信息的速度和準確性，并增強及時做出明智決策的能力，從而提高軍事行動的效力和效率。此外，使用人工智能還有助于減少人員傷亡和附帶損害，從而保護平民和限制軍事行動對非戰斗人員的負面影響。為了充分發揮人工智能在軍事領域的潛力，必須制定清晰透明的使用政策，優先培訓軍事人員使用人工智能，并與學術研究機構簽訂合作交流協議。這將有助于最大限度地降低在軍事行動中使用人工智能的風險，最大限度地提高其效益。在軍事領域的決策過程中使用人工智能的經驗，主要參與者是美國陸軍等，由于不斷競爭以加強其在世界上的存在，他們一直在加速發展這項技術。可以從中汲取重要的經驗教訓，以發展自己的人工智能，并闡明國防方面的需求，特別是在軍事決策過程中。總之，在決策過程中適當實施人工智能，可受益匪淺。這可以通過提供更快、更準確信息的自主系統來實現；也可以通過在模擬器中使用合成環境對指揮官進行決策培訓來實現；最后，還可以通過減少處理過程中的人為錯誤來實現。

參考來源：CEEEP

本文介紹了生成式人工智能（Generative Artificial Intelligence）在虛假信息（數字化社會的主要威脅之一）背景下可以發揮的作用。提出了一個研究框架，用于為虛假信息模擬生成定制的基于智能體的社交網絡，從而在討論公開挑戰的同時理解和評估這些現象。

生成式人工智能（GenAI）的出現從根本上重塑了數字內容創作領域，影響了我們制作圖像、視頻、音頻和文本的方式。目前，人工智能模型可以根據簡單的語言提示所提供的語境制作出非常逼真的內容。GPT-4 (OpenAI)、Claude (Anthropic)、PaLM 和 LaMDA (Google)、LLaMA (Meta AI)、Chinchilla (Deep Mind) 和 Alpaca (Stanford) 等出色的 LLM 極大地增強了根據給定上下文生成文本的能力。同樣，DALLE 2（OpenAI）、Stable Diffusion（Runway）和 IMAGEN（Google）等圖像生成模型也引入了一種新方法，用于創建能準確描繪現實生活場景的圖像。值得注意的是，Phenaki（谷歌）和 Gen-2（Runway）等文本到視頻模型也取得了重大進展[1]。

這些生成技術配備了開源模型和可訪問的界面，對編程、娛樂、教育和藝術等一系列領域的生產力產生了積極影響。在學術和研究領域，特別是對社會科學家而言，這些工具為創建逼真的內容、模擬人類行為或定制行為實驗提供了新的機會[2]。大型企業和大學最近進行的試驗凸顯了這些人工智能工具在自我指導生活模擬、開放世界實驗、心理研究和社會模擬等領域的潛力[3]。

在這種情況下，我們不難認為 GenAI，尤其是大型語言模型（LLMs），是應對當今社交媒體中出現的主要威脅之一（即虛假信息）的有力武器。也就是說，惡意實體利用社會網絡的超級連接性，故意傳播虛假或誤導性信息，欺騙或操縱人們的信仰、觀點或行動。最近的研究表明，這些欺騙技術在社交媒體中非常有效，例如在政治選舉中[4]。

在本研究中，將深入探討 LLMs 作為一種創新方法在受控實驗環境中理解、模擬和評估虛假信息的潛力[5]。在傳統背景下，虛假信息主要圍繞假新聞傳播和影響的理論建模，以及利用社交媒體數據進行檢測和評估。這一領域要解決幾個問題，包括審查事件的復雜性，因為沒有真相基線來確認影響活動的目標、策略和參與者；缺乏各種操縱行為的標記數據集；在第三方平臺測試技術對策的不可行性；或必須有人參與才能衡量欺騙活動的認知影響[6]。

反之，LLM 正被用于用體現人類行為的智能體來真實地統治系統，取代數學模型和靜態實驗[7]。這一進步為創建控制信息交換的上下文、用戶和功能的任何信息環境打開了大門，導致基于智能體的生成式社會網絡成為沙盒。在這些受控場景中，可以對紅色智能體進行編程，以模擬定制的虛假信息攻擊，從而進一步分析其演變過程和對個體網絡的影響。因此，我們認為 LLM 有可能緩解虛假信息領域的一些普遍挑戰。本文深入探討了研究機會，并指出了實現這些設想目標所面臨的尚未解決的突出挑戰。

研究機會

隨著 GenAI（特別是 LLMs）的進步，本文闡明了這些技術在社交媒體和虛假信息研究方面的潛在研究機會。

O1. 基于智能體的生成式社會網絡

基于智能體的社會系統的創建涉及開發和實施計算模型，模擬社會背景下個體的互動和行為[2]。這些系統通常旨在模擬真實世界的社會動態，從而探索和分析復雜的社會現象[7]。

傳統的智能體系統雖然有助于模擬社會動態，但也存在局限性。它們依賴于預定義的規則，這限制了它們模擬現實世界中不可預知性的能力、適應性和可擴展性。然而，LLM 可以增強這些智能體的自主性，讓它們在預設規則的范圍之外做出獨特的反應或行動，從而使模擬更加動態和逼真[3]。此外，它還能模擬錯綜復雜的決策過程或實現 OODA（觀察、定向、決策、行動）循環，使智能體能夠對廣泛的情況和互動做出反應。

LLM 為模擬任意數量的用戶和創建逼真的有機互動提供了一個獨特的機會，這項任務在過去具有相當大的挑戰性，但如今卻可以生成基于智能體的社會網絡。人工智能驅動的智能體具備適應流動場景的能力，能產生連貫、多變和逼真的沙盒[8]。在圖 1 中，使用 GPT4 和三個隨機用戶啟動了一個模擬。從零開始，在沒有任何背景的情況下，每個智能體都能感知模擬的社交網絡，保留其感知和行動的記憶，并據此進行互動或發布內容，從而更新模擬環境。

圖 1. 由 GPT-4 管理的三個智能體用戶的合成社交線程

O2. 可定制的虛假信息環境

基于生成式智能體的社交網絡為再現量身定制的情境（如虛假信息情境）提供了重要機會[9]。這一過程可能涉及三個組成部分：智能體描述和屬性、共同語境信息和邏輯規則。

首先，智能體的描述和屬性是每個智能體個體行為的驅動力。這些因素千差萬別，可能包括智能體的網絡角色（人類用戶、組織或機器人）、背景、簡介、思想、社會人口特征和行為[6]。仔細定義這些屬性，就能產生多種多樣的智能體，準確地代表現實世界社交網絡中的用戶[8]。不僅可以模擬來自不同意識形態、國家或年齡的多樣化用戶，還可以模擬具有惡意目的的用戶，如制造爭議、進行非法互動以支持未經證實的主張或有機生成陰謀內容。關于惡意用戶，DISARM 框架可配置不同類型虛假信息攻擊的戰術、技術和程序（TTPs），例如，計劃戰略和目標、目標受眾分析、開發敘事和內容、建立社會資產和合法性、微目標和選擇渠道、提供內容、最大化曝光和在信息環境中持續存在。

此外，共同背景信息提供了塑造環境的更廣泛的社會和群體方面[10]。它包括事件、事實、社會經濟因素和其他影響智能體在網絡中的行為和互動的要素。例如，上個月失業率大幅上升，戰爭爆發，或由于假新聞的日益猖獗而導致社會兩極分化。此外，還可以誘導虛假信息傳播背后的因素，如情緒因素、不確定性、缺乏控制或偏見。多種變量和因素的結合有助于制作一個特定的真實場景，模擬虛假信息是如何傳播的。

同時，邏輯規則決定了信息環境的設置和運行，從而迫使這些復雜系統在真實世界中運行[7]。生成信息的數量和用戶參與互動的概率可以是高級參數，用于影響社交網絡的動態、影響力、擴散以及信息在網絡中共享和傳播的其他方面[11]。這些規則配置智能體的行為，從而影響社交網絡的整體動態。

考慮一個選舉舞弊場景。首先，定義智能體屬性，包括普通公民、政治活動家、散布虛假信息的機器人和官方選舉賬戶的特征，每個人都有獨特的特征和行為。這就為 LLM 所利用的每個用戶創建了特定的上下文。其次，LLM 在交互過程中還會考慮到背景信息，如選舉在即、潛在的投票違規行為和當前的政治氣候。最后，還設定了管理信息共享、影響確定和網絡對新信息的響應的邏輯規則，以編制模擬和 LLM 使用的工作流程。

O3. 評估虛假信息的影響

使用 LLM 和基于智能體的社會場景為在受控場景內研究虛假信息提供了一個難得的機會，這主要是由于在真實世界環境中評估這些攻擊的復雜性。具體來說，根據上述 DISARM 框架，虛假信息攻擊的最后階段是評估效果。

具體來說，虛假信息策略往往與常規信息流交織在一起，因此區分、隔離和分析其實際影響具有挑戰性。另一方面，模擬環境提供了一個安全可控的環境，可以引入和研究不同類型的虛假信息攻擊，而不受現實世界的相關限制[11]。它還為實驗新的欺騙理念提供了一個獨特的試驗場。事實上，從這些研究框架中可以生成合成的標注數據集，不過需要人工審核或半自動系統對其進行評估[12]。

此外，在虛擬沙盒中，可以調整和跟蹤各種變量，如 TTP、強度和操縱操作的性質，以及智能體的屬性和上下文。通過采用適當的框架和模型，可以估算出特定虛假信息策略的有效性。此外，還可以仔細研究智能體概況或情景背景等變量的影響[5]。

圖 3 展示了兩個智能體在面臨選舉舞弊威脅時的觀點演變過程，這兩個智能體分別是 40 歲的公民和憤怒的青少年。每個人一開始都對選舉結果有自己的看法。成人起初保持中立，盡管受到了虛假信息的干擾，但他仍然對系統抱有信心，因為他的觀點更加詳盡。相反，預先設定了憤怒情緒的青少年在與社交網絡互動后，反映更為簡單，并開始質疑選舉結果的合法性。這個例子表明，情緒狀態、年齡和對預期結果的確認偏差等因素會在很大程度上影響對虛假信息的易感性和觀點的改變。

圖 3. GPT-4對智能體意見管理中虛假信息的影響

O4. 技術反制措施測試

在基于智能體的社交網絡中，可以模擬并獨立配置針對虛假信息的技術反制措施（對策），而無需依賴大型公司[9]。DISARM 框架提出了應對技術措施，如內容靜音、刪除、限制相同內容的傳播率、創建競爭性敘述、實時事實核查或為內容添加元數據。也就是說，所有這些應對措施都可以在模擬中進行測試。

從這個意義上說，LLM 具有創建良性智能體的優勢，而這些智能體可以作為打擊虛假信息的有力輔助工具。這些智能體可以提供另一種說法，為誤導性信息添加上下文，根據可信度、情感或真實性對信息進行實時檢查，并利用其分類能力標記可疑內容[12]。在圖 4 中，我們命令 GPT-4 模擬對第一條投票舞弊信息進行事實檢查，并為巨魔帖子添加上下文橫幅。此外，它還會根據情感和真實性對每條信息進行分類。兩個智能體的意見不再受到有關選舉的陰謀論的干擾，在兩種情況下都對民主結果保持信心。

上述模擬緩解技術可在受控沙盒中進行評估，以證明其在虛假信息環境中的有效性。在沒有保護措施的情況下（圖 3）和有反制措施的情況下（圖 4），對智能體接觸虛假信息時的信念和反應進行比較，可以證明應對策略的有效性。從這個意義上說，事實核查、上下文信息和內容標記等保護機制消除了成年公民的不確定性或青少年表達的疑慮。此類比較研究可為制定更有效的反虛假信息戰略提供寶貴的見解。

圖 4. 在 GPT-4 管理的虛假信息環境中采取反制措施的效果

O5. 輔助個性化認知培訓

網絡安全意識和認知培訓為提高人類能力提供了解決方案，特別是在使用云、移動、物聯網和社交網絡等技術生成的復雜系統中，因為這些技術會產生海量信息。意識是一個在心理學中定義明確的概念，已成為多項研究的主題，旨在將其原理轉化到網絡安全領域。特別是，需要采取教育干預措施，在社交媒體和虛假信息場景中培養這種意識。通過評估安全指標，可以了解網絡安全的現狀，預測安全風險、潛在攻擊以及隨著時間推移可能產生的影響[9]。

在這種情況下，基于智能體的生成式社交網絡可以成為旨在改進社交媒體安全培訓和認知意識課程的教育框架的基礎。具體來說，現實世界中的受訓者可以在這些真實場景中學會識別誤導性信息、識別潛在偏見或辨別兩極分化的情況。此外，虛假信息環境可以由 LLM 支持，以適應特定個人或群體的需求，在培訓期間提供明確的幫助，并根據學生的行動、反應和表現，在網絡演練過程中允許一定程度的靈活性。

圖 5 顯示了 GPT-4 根據兩個不同用戶的個人需求量身定制的基于選舉舞弊的指導性培訓練習，這兩個用戶分別是第一次參加投票且不習慣使用社交媒體的青少年和每天在社交網絡上花費八小時的資深政治影響者。前者缺乏經驗，不了解政治話語的復雜性，可能尚未發展出批判性思維來辨別誤導性和情緒化的說法。后者意識到了政治的復雜性和當前的兩極分化，需要提高認識才能正確行事，避免進一步助長社會分裂。出于教育目的，該系統可以利用 LLM，在飛行過程中根據個人描述進行調整，提供實用的背景標語，并顯示精確的理論課程。這種適應性可確保實際情況的復雜性不斷變化，以應對學生在連續練習中回答問題時發現的挑戰，從而實現持續學習。

圖 5. 基于 GPT-4 的智能體對人類進行虛假信息培訓

開放性挑戰

如前所述，LLM 為推動虛假信息研究提供了令人興奮的機遇。此外，所述機遇可以映射到基于智能體的生成式社交網絡的高級框架中。具體來說，圖 6 所示的框架由五個相互關聯的模塊組成，每個模塊都具有一定的特性和功能。首先，"定義 "組件負責對組成框架的實體進行建模，然后在模擬環境中重新創建。也就是說，模擬塊包含模擬實體，即 LLM 驅動的智能體、社交網絡本身和虛假信息模塊，而虛假信息模塊又包括進攻和防御框架。值得注意的是，機會 O1 與生成智能體和社交網絡的模擬有關，而進攻框架則與機會 O2 綁定。然后，仿真模塊負責從認知、社會和防御角度評估模擬環境中的整體情況。在這里，認知和防御評估分別與機會 O3 和 O4 對應。最后但同樣重要的是，"開發 "模塊將該框架與其他有價值的工具連接起來，以充分發揮其潛力，并從不同角度讓人類行動者參與其中。在我們的設想中，這樣一個組件包含可視化模塊、社交媒體可視化界面、培訓平臺（即與機遇 O5 相關的網絡范圍）和實時網絡態勢感知（CSA）模塊。

事實上，圖 6 顯示了擬議概念框架與分析機會之間的緊密聯系。然而，將這些機遇整合到虛假信息領域也會面臨一些挑戰，需要認真考慮。圖 6 也突出顯示了這些挑戰，包括每個模擬實體。在本節中，將對主要挑戰進行細致描述，并添加提示以幫助研究人員解決這些挑戰，從而研究并在可能的情況下減輕數字環境中的虛假信息威脅。

圖 6. 基于智能體的生成式社交網絡的機遇與挑戰概念框架

C1. 智能體建模、模擬和評估

首先，對 LLM 驅動的智能體在虛假信息背景下的行為建模可以說是一個難題。事實上，這種建模應考慮與模擬智能體的不同個性有關的幾個方面。從這個意義上說，必須定義每個智能體的個人特征，如年齡、性別、興趣和個人信仰等。這些特征至關重要，可能會影響智能體在模擬社交網絡中的行為和態度，這一點已在前面有關研究機會的示例中說明。此外，每個智能體都應具備屬性和目標，并將利用這些屬性和目標做出決策、形成觀點以及與總體模擬進行交互。也就是說，還應考慮智能體的異質性，如不同程度的影響力、可信度和易受說服性。從這個意義上說，有效的提示設計對于溝通和塑造 LLM 驅動的智能體至關重要。特別是，最好能結合上下文信息來促進智能體的行為，并在提供極其具體的指示與允許創造性和動態性之間取得平衡。然而，由于 LLM 的內部過程是隨機的，因此以清晰、可解釋的方式設計和實施行為是一項艱巨的任務。

此外，模擬這些智能體也是一項挑戰。在圖 6 中，我們將模擬生成智能體與模擬環境進行持續互動。特別是，它們會感知來自社交網絡的一些信息，并因此根據自身特點采取行動。從這個意義上說，虛假信息研究中最重要的問題之一在于理解和模擬虛假信息是如何在社交網絡中傳播并影響個體的。從這個意義上說，將心理模型和認知理論整合到 LLM 中，為模擬和研究驅動人類接收、分析和傳播虛假信息的心理機制提供了一個難得的機會[9]。

一個明顯的例子是利用認知偏差來塑造生成智能體的個性，如確認偏差或可得性偏差[13]，這將對研究人員大有裨益，他們將能夠重新生成與預先存在的信念或容易獲取的信息相一致的有機虛假信息內容。例如，可以對 LLM 進行編程，使其生成有說服力的虛假（或半真實）敘述，從而利用個人的確認偏差，強化其現有觀點，進而影響其決策過程。通過這種方式，該模型可以生成與特定目標受眾相呼應的量身定制的虛假信息，從而提高虛假信息被消費和傳播的總體概率。此外，LLM 還可以借助認知理論來識別人類決策過程中的漏洞。具體來說，法律信息模型可以模擬人類內在的認知限制或啟發式方法，例如有界理性（影響次優決策）或可用性啟發式方法（影響情感決策過程）。這樣，LLMs 就能生成威脅性的虛假信息，試圖利用這些弱點作為最終目標。舉例來說，虛假信息內容可以利用個人有限的注意力，使他們由于時間限制和缺乏詳盡的事實核查而更容易受到這種威脅。盡管如此，這些認知機制對智能體的模擬和行動的影響也應加以衡量（最好加以調整），以實現逼真的模擬。

C2. 社交網絡建模、模擬和監測

為了研究在虛假信息背景下使用 LLM 的情況，并在可能的情況下打擊這種現象，必須對現實的社交網絡進行模擬和建模。顯然，這些過程相當復雜，因為現代社交網絡包含一些固有特征，在模擬時需要特別注意。從這個意義上說，如圖 6 所示，信息環境是概念框架的核心組成部分。具體來說，它與智能體雙向互動（通過通知相關社會事件和接收更新），并從紅色框架（注入虛假信息）和藍色框架（通過部署技術對策保護信息生態系統）獲得輸入。

特別是，研究人員應設計和開發有意義的模型，模擬用戶互動和交流模式，以捕捉社交網絡的復雜性[7]。開發包含互動、推薦、傳播和社會影響動態的代表性社交網絡模型，對于準確模擬虛假信息在社區內的傳播至關重要。這項任務主要包括分析以下內容：

• 直接交流： 捕捉用戶如何通過消息、評論或直接互動進行直接交流。這一特征反映了社交網絡中的個人聯系和對話。
• 信息共享： 模擬用戶之間如何共享和傳播（非）信息。這包括在網絡中分享鏈接、文章或任何其他內容。
• 用戶參與： 捕捉用戶對不同類型內容的參與。這包括用戶與不同帖子、評論或討論的互動。

顯然，所有這些事件都應通知到智能體，由其感知信息并動態調整自己的行為，從而執行相應的操作。在這一循環中，強迫智能體采取特定的微調行為顯然是復雜的，尤其是考慮到復雜的社交網絡中同時存在大量事件和多個模擬用戶。另一方面，信息環境是紅色框架的目標，例如，根據 DISARM 分類法生成虛假信息。當然，這種威脅也可能是由參與社會環境的 LLM 智能體產生的。在這種情況下，模擬網絡應能適應虛假信息的注入，修改上述用戶之間的互動和交流模式。此外，作為虛假信息活動的后果，藍色框架會部署技術反制措施。從這個角度看，社交圖譜也應能夠根據所選反制措施的性質進行動態調整。

最后但并非最不重要的一點是，必須研究和評估虛假信息的擴散和放大，如影響力和回音室。更具體地說，信息擴散是指信息通過社會網絡從一個實體傳播到另一個實體的過程。就虛假信息研究而言，評估虛假信息內容如何在社交網絡中傳播和放大尤為重要。要實現這一宏偉目標，考慮到大量用戶和關系，每當發起虛假信息活動時，監控整個社交圖譜的狀態至關重要。

C3. 虛假信息建模、模擬和評估

要充分利用虛假信息研究的能力，可以說，對虛假信息活動進行建模和模擬是該框架的核心要素。然而，從設計和技術角度來看，這些過程都具有挑戰性。

從第一項任務開始，虛假信息建模顯然是文獻中眾所周知的研究課題。然而，正如圖 6 所示，它與智能體之間的關系也提供了巨大的研究機會和挑戰。具體來說，設計虛假信息攻擊和反制措施至關重要，因為它們應該在社交網絡中真實模擬，以研究其動態并衡量其影響。一方面，必須確定虛假信息攻擊的主要目標和范圍。在這方面，所涉及的人群（及其內在屬性）、目標社交渠道和攻擊持續時間對于創建一個逼真的模型至關重要。一旦確定了目標，該模型就應能夠創建與目標相一致的虛假信息內容，同時考慮到信息的含義（如文章、帖子等）和信息本身（如語氣、風格等）。在這一階段，DISARM 框架可以幫助塑造虛假信息攻擊，此外，還可以使模型具有可復制性，并隨時與研究界共享。

另一方面，我們也考慮了防御的觀點，因為我們相信模擬智能體可以成為部署反制虛假信息攻擊的主要行動者。與紅色框架相反，藍色框架無法與通用框架聯系起來，因此，除傳統的事實核查、媒體審查、內容刪除等措施外，提出更多的應對措施也是這一過程的挑戰之一。一旦正確建模，就必須在社交網絡中模擬防御行動，以便可能發現智能體的行為差異和反應，例如，反制措施有效，智能體理解了虛假信息攻擊，或者相反，他們拒絕反制措施，信任虛假信息宣傳。觸發臨時和無代理反制措施的可能性也很吸引人，以便觀察是否出現任何社會動態變化。

建模和模擬階段結束后，評估社會圖譜中虛假信息攻擊和反制措施的有效性或低效性至關重要[14]。要實現這一目標，第一站就是創建有意義的指標，以衡量其對生成智能體的行為和動態的影響。例如，從個體和群體的角度評估不同的虛假信息攻擊（如針對不同主題、具有不同模式等）對智能體的感知和隨之采取的行動的影響將是有益的。從這個意義上說，要完成這項任務顯然是很困難的，這主要是由于社會互動的復雜性、行為模擬的多樣性以及可能的攻擊等等。同樣，每當啟動一項反制措施時，系統都需要對其有效性進行監控和評估。即使在這種情況下，社交網絡的內在特性也會使任務更加艱巨。此外，可以說不同的反制措施（如社區標簽、事實核查等）會對社交互動產生不同的影響，從而增加了評估過程。然后，應評估攻擊-防御模式的效果。具體來說，一旦虛假信息攻擊和補救措施的模型和模擬都取得成功，交替執行不同模式的紅藍任務就值得關注。

結論

本文討論了 LLM 對虛假信息研究的影響。從生成可定制的虛假信息環境，到基于這些環境對用戶進行意識培訓，有許多研究方向可能真正具有開創性。不過，文獻也指出了使用這些技術的一些倫理問題。其中有些是很普遍的問題，比如將其用于欺騙目的或傳播社會偏見[14]，而另一些則可能是虛假信息領域特有的問題，比如它有可能將這項研究武器化。

一般來說，使用 LLMs 存在固有風險。正如由專家和公眾人物簽署的《人工智能風險聲明》所反映的那樣，欺騙性風險是多方面的、復雜的。這對社交工程、社交媒體和認知安全的影響尤為明顯，這些領域由于依賴數字內容和用戶的內在信任而十分脆弱。主要威脅可能包括人工智能驅動的魚叉式網絡釣魚、深度假冒、大規模虛假信息活動或人工智能驅動的系統漏洞利用[15]。生成性誤用能夠為欺騙目的制造超逼真的內容，對網絡生態系統構成新的威脅[14]。其危險性在于它們不僅能制作逼真的內容，還能制作符合語境和針對受眾的內容，從而增加成功欺騙的可能性。2023 年 6 月的一個案例是普京令人信服的深度偽造視頻，其目的是虛構烏克蘭入侵俄羅斯領土的動員信息，并成功滲入主流新聞頻道。更具體地說，這項研究的潛在發展也可用于負面目的，例如將模擬環境與真實社交網絡連接起來，以策劃虛假信息宣傳活動，或分析哪種虛假信息攻擊能對某些總統候選人的投票產生最大影響。

這種緊張關系經常出現在適用雙重用途困境的研究場景中，例如在網絡安全方面，研究網絡攻擊以找到適當的防御方法，或試驗可用于治療的新藥物。因此，考慮到目前存在的倫理問題，在這種背景下開展的研究應仔細論證，并以有益于社會的應用為目標，例如調查技術或人為對策的效果，以減少虛假信息的傳播，或開發提高認識的培訓工具，以提高我們普通民眾的信息素養技能。最終，這些應用將需要被最終用戶所采用，因此，我們應采用以人為本的方法，并掌握使用這些工具所需的掃盲技能。

總之，本文認為，虛假信息和 LLM 是一個很好的組合，有許多潛在的研究應用，可以發展成為有影響力的工具。然而，技術、人類和倫理方面的挑戰也是巨大的，需要在未來十年開展前沿研究，以超越上述差距。如果研究得當，這項多學科研究將有助于對抗對 21 世紀社會構成重大威脅的虛假信息危險。

人工智能（AI）究竟是什么？它與電子戰（EW）的未來有什么關系？人工智能正在改變我們所做的一切嗎？如果忽視人工智能，那將是一個錯誤。眾所周知，特斯拉采用了人工智能算法，特別是卷積神經網絡、遞歸神經網絡和強化學習。從根本上說，這些算法可以匯編來自多個傳感器的數據，分析這些數據，然后做出決策或向最終用戶提供信息，從而以驚人的速度做出決策。這一過程以指數級的速度發生，超過了人腦的處理速度。因此，從根本上說，人工智能是機器像人類一樣執行認知功能的能力。

人工智能可以駕駛汽車、撰寫學期論文、以適當的語氣幫你創建電子郵件，因此，它在軍事領域的潛在應用也是理所當然的。具體來說，就是整合人工智能電子戰及其提供的潛在能力轉變。雖然 "電子戰 "一詞已經使用了相當長的一段時間，但將人工智能注入這一領域為提高速度和殺傷力和/或保護開辟了新的途徑。

電子戰包含一系列與控制電磁頻譜有關的活動，傳統上一直依賴人類的專業知識來探測、利用和防御電子信號。然而，現代戰爭的速度和復雜性已經超出了人類操作員的能力。這正是人工智能的優勢所在，它帶來的一系列優勢將徹底改變電子戰的格局。

將人工智能融入電子戰的首要好處之一是增強了實時處理和分析海量數據的能力。在數字時代，戰場上充斥著來自通信網絡、雷達系統和電子設備等各種來源的大量信息。人工智能算法可以迅速篩選這些數據，識別出人類操作員可能無法識別的模式、異常情況和潛在威脅。這種能力不僅能提高威脅檢測的準確性，還能大大縮短響應時間，使友軍在快速演變的局勢中獲得關鍵優勢。

在這種情況下，人工智能賦能的兵力倍增器就出現了，它能在面對復雜多變的局勢時做出更高效、更有效的決策。現代戰場會產生大量電子信號，需要快速準確地識別。人工智能驅動的算法擅長篩選這些數據、辨別模式，并識別在以往場景中可能被忽視的信息。這使兵力能夠迅速做出反應，以更快的速度做出關鍵決策。

此外，人工智能還具有適應和學習新信息的能力，這一特性在電子戰領域尤為有利。電子威脅和反制措施處于不斷演變的狀態，需要反應迅速和靈活的策略。人工智能驅動的系統可以根據不斷變化的情況迅速調整戰術，持續優化性能，而無需人工干預。這種適應性對于對抗復雜的電子攻擊和領先對手一步至關重要。

人工智能與電子戰的融合還為指揮官提供了更先進的決策工具，比歷史標準更詳細、更快速。人工智能算法可以分析各種場景，考慮地形、天氣以及友軍和敵軍兵力等因素。這種分析為指揮官提供了全面的戰場情況，使他們能夠在充分了解情況的基礎上做出決策，最大限度地提高任務成功的概率，最大限度地降低潛在風險。此外，人工智能驅動的模擬可以演繹不同的場景，使軍事規劃人員能夠完善戰略，評估不同行動方案的潛在結果。美國今年早些時候進行了一次以印度洋-太平洋地區為重點的演習，將大語言模型（LLM）作為規劃和決策過程的一部分。一位演習成員稱贊了系統 "學習 "的成功和速度，以及系統成為戰場上可行資源的速度。另一個例子是，利用已輸入人工智能系統的數據對目標清單進行優先排序，人工智能系統能夠考慮瞄準行動、網絡，從而比操作人員更快、更全面地了解戰區情況。

不過，必須承認，要完成人工智能整合，還存在一些潛在的障礙。首先，美國防部大多數實體無法直接獲得人工智能技術。大多數從事前沿人工智能工作的組織都是商業公司，它們必須與軍事系統合作或集成。這可能會受到美國現行預算和研發流程的阻礙。此外，美國的這些流程進展緩慢，人工智能技術很有可能無法融入美國兵力。還有潛在的道德和安全考慮。隨著人工智能系統在探測和應對威脅方面承擔更多責任，人類的監督和控制水平也會出現問題。為了與戰爭法則保持一致，需要有人工參與，而不是完全依賴人工智能來做出攻擊決策。任何時候，只要有可能造成人員傷亡、附帶損害或其他問題，就需要人類做出有意識的知情決策，而不能任由人工智能自生自滅。在人工智能自主決策和人工干預之間取得適當的平衡至關重要，以防止意外后果或機器在沒有適當問責的情況下做出生死攸關的選擇。

最后，人工智能的整合引發了對潛在網絡漏洞的擔憂。雖然人工智能可以提高電子戰的速度和準確性，但它也為試圖操縱或破壞人工智能系統的惡意行為者帶來了新的攻擊途徑。要保護這些系統免受網絡威脅，就必須采取強有力的整體網絡安全方法，同時考慮到人工智能驅動的電子戰的硬件和軟件層。

最后，不可否認，將人工智能融入戰爭預警的潛在戰略利益是巨大的。人工智能處理海量數據、適應不斷變化的條件和支持決策過程的能力有可能重塑現代戰爭的格局。隨著兵力越來越依賴技術來保持在數字化作戰空間中的優勢，負責任地開發和部署人工智能驅動的預警系統將是必要的。 如何在技術創新、人工監督和安全措施之間取得適當平衡，將決定能在多大程度上實現這些優勢，同時又不損害戰略目標或道德考量。美國采購系統面臨的挑戰也將在人工智能集成中發揮關鍵作用。人工智能在電子戰中的變革力量有可能改變游戲規則。問題是：它會嗎？人工智能將如何融入新型 EC-37B Compass Call 和 NexGen 干擾機等未來平臺？陸軍是否會將人工智能納入其推動營級決策的努力中？這些都是值得探討的問題，但有一點是肯定的：電磁作戰界必須繼續接受創新思維，因為我們知道未來的戰斗將在電磁頻譜中開始和結束。人工智能將在現代戰爭的新時代發揮關鍵作用。

高度靈活、可重用的人工智能(AI)模型的異常快速發展可能會在醫學中引入新的能力。本文提出一種醫學人工智能的新范式，稱為全科醫學人工智能(GMAI)。GMAI模型將能夠使用很少或沒有特定任務的標記數據來執行一系列不同的任務。GMAI通過在大型、多樣化的數據集上進行自監督而建立，將靈活地解釋不同的醫療模式組合，包括來自圖像、電子健康記錄、實驗室結果、基因組學、圖或醫學文本的數據。反過來，模型將產生表現力的輸出，如自由文本解釋、口頭建議或圖像注釋，這些顯示了先進的醫學推理能力。本文確定了GMAI的一組高影響的潛在應用，并列出了實現它們所需的特定技術能力和訓練數據集。我們預計，支持GMAI的應用程序將挑戰目前監管和驗證醫療人工智能設備的策略，并將改變與大型醫療數據集收集相關的實踐。

在過去的幾年中，在自然語言處理(NLP)和計算機視覺(CV)中使用的方法取得了一些突破。除了這些對單模態模型的改進之外，大規模的多模態方法已經成為一個非常活躍的研究領域。

這本書是一個研討會的結果，在會上，我們回顧了多模態方法，并試圖創建一個該領域的堅實概述，從深度學習的兩個子領域的當前最先進的方法開始。此外，還討論了一種模態轉換為另一種模態的建模框架，以及利用一種模態來增強另一種模態的表示學習的模型。為總結第二部分，介紹了專注于同時處理兩種模態的架構。最后，還介紹了其他模態以及通用多模態模型，這些模型能夠在一個統一的架構內處理不同模態上的不同任務。

1. 引言

人類有五種基本的感官:聽覺、觸覺、嗅覺、味覺和視覺。擁有這五種模態，我們就能夠感知和理解周圍的世界。因此，“多模態”意味著同時結合不同的信息通道來理解我們的環境。例如，當幼兒學習單詞“cat”時，他們使用不同的模態，大聲說出這個單詞，指著貓，發出“喵”的聲音。利用人類的學習過程作為角色模型，人工智能(AI)研究人員還嘗試結合不同的模態來訓練深度學習模型。從表面上看，深度學習算法是基于一個神經網絡，該神經網絡被訓練來優化一些通過所謂的損失函數在數學上定義的目標。優化，即最小化損失，是通過稱為梯度下降的數值過程來完成的。因此，深度學習模型只能處理數值輸入，并且只能產生數值輸出。然而，在多模態任務中，我們經常面臨圖片或文本等非結構化數據。因此，第一個主要問題是如何用數字表示輸入。關于多模態任務的第二個問題是如何準確地結合不同的模態。例如，一個典型的任務可能是訓練一個深度學習模型來生成一張貓的圖片。首先，計算機需要理解輸入的文本“貓”，然后以某種方式將這些信息轉換為特定的圖像。因此，需要識別文本輸入中單詞之間的上下文關系和圖像輸出中像素之間的空間關系。對學齡前兒童來說可能很容易的事情，對電腦來說卻是一個巨大的挑戰。雙方都必須了解“貓”這個詞，它包含了動物的含義和外觀。現代深度學習中的一種常見方法是生成嵌入，將貓以數字形式表示為某些潛空間中的向量。然而，為了實現這一點，近年來開發了不同的方法和算法架構。本書概述了最先進的(SOTA)多模態深度學習中使用的不同方法，以克服來自非結構化數據和組合不同模態輸入的挑戰。

**由于多模態模型通常使用文本和圖像作為輸入或輸出，因此第2章將介紹自然語言處理(NLP)和計算機視覺(CV)方法作為基礎。**NLP領域的方法試圖處理文本數據，而CV處理的是圖像處理。關于NLP(第2.1節)，一個重要的概念是所謂的詞嵌入，這是當今(幾乎)所有多模態深度學習架構的一個重要部分。這一概念也為基于transformer的模型奠定了基礎，如BERT (Devlin等人，2018a)，它在幾個NLP任務中取得了巨大的改進。特別是transformer的(自)注意力機制(Vaswani et al., 2017a)徹底改變了NLP模型，這就是為什么大多數模型都依賴transformer作為骨干。在計算機視覺(第2.2小節)中，將介紹不同的網絡架構，即ResNet (He等人，2015)、EfficientNet (Tan和Le, 2019a)、SimCLR (Chen等人，2020a)和BYOL (Grill等人，2020b)。在這兩個領域，比較不同的方法及其在具有挑戰性的基準上的性能是非常有趣的。因此，第2章的最后2.3小節對CV和NLP的不同數據集、預訓練任務和基準進行了總體概述。 第二章(見3)側重于不同的多模態架構，涵蓋了文本和圖像如何結合的各種各樣。所提出的模型結合并改進了NLP和CV的不同方法。首先，查看Img2Text任務(第3.1小節)，介紹用于物體識別的數據集Microsoft COCO (Lin等人，2014a)和用于圖像描述的網格記憶transformer (M2 transformer) (Cornia等人，2019)。相反，研究人員開發了基于短文本提示(第3.2節)的圖像生成方法。完成這項任務的第一個模型是生成對抗網絡(GANs) (Goodfellow等人，2014b)和變分自編碼器(vae) (Kingma和Welling, 2019)。這些方法是近年來改進的，今天的SOTA transformer架構和文本引導擴散模型，如DALL-E (Ramesh et al.， 2021a)和GLIDE (Nichol et al.， 2021a)取得了顯著的結果。另一個有趣的問題是如何利用圖像來支持語言模型(第3.3節)。這可以通過順序嵌入、更高級的接地嵌入或transformer內部來實現。另一方面，也可以查看支持CV模型的文本，如CLIP (Radford et al.， 2021b)、ALIGN (Jia et al.， 2021a)和Florence (Yuan et al.， 2021)(第3.4小節)。他們使用基礎模型，這意味著重用模型(例如DALL-E 2中的CLIP)以及用于連接文本和圖像的對比損失。此外，零樣本使對新的和未見過的數據進行分類成為可能，而無需昂貴的微調。特別是用于圖像分類和生成的開源架構CLIP (Radford et al.， 2021b)去年吸引了很多關注。在第二章的最后，我們會介紹一些可以同時處理文本和圖像的架構(第3.5節)。例如，Data2Vec對語音、視覺和語言使用相同的學習方法，以這種方式旨在找到一種通用方法來處理一個架構中的不同模態。此外，VilBert (Lu等人，2019a)擴展了流行的BERT架構，通過實現共同注意力(co-attention)來處理圖像和文本作為輸入。該方法也用于谷歌的Deepmind Flamingo (Alayrac等人，2022)。此外，Flamingo旨在通過少樣本學習和凍結預訓練的視覺和語言模型，用單個視覺語言模型解決多個任務。

在最后一章(見4)中，介紹了能夠處理文本和圖像以外的模態的方法，如視頻、語音或表格數據。這里的總體目標是基于挑戰而不是模態找到一個通用的多模態架構。因此，人們需要處理多模態融合和對齊的問題，并決定是使用連接表示還是協調表示(第4.1節)。此外，我們將更詳細地討論如何準確地組合結構化和非結構化數據(第4.2節)。因此，將提出近年來發展起來的不同融合策略。本書通過生存分析和經濟學中的兩個用例說明了這一點。除此之外，另一個有趣的研究問題是如何在一個所謂的多用途模型(第4.3小節)中解決不同的任務，就像谷歌研究人員(Barham et al.， 2022)在他們的“路徑”模型中所打算創建的那樣。展示了多模態深度學習在藝術場景中的一個示例應用，其中DALL-E (Ramesh et al., 2021a)等圖像生成模型被用于生成藝術領域的藝術作品(第4.4節)。

社會對人工智能(AI)的信任以及可信任的人工智能系統和生態系統的發展，對于人工智能技術在醫學領域的進步和實施至關重要。隨著人工智能在各種醫療和成像應用領域的應用日益廣泛，使這些系統更加可靠和值得信賴變得比以往任何時候都重要。本文考慮了14個核心原則，旨在將針更接近于準確、有彈性、公平、可解釋、安全和透明的系統:面向可信的AI。 //pubmed.ncbi.nlm.nih.gov/34809860/ 問題不再是人工智能(AI)是否會影響醫學的未來，而是“由誰、如何、在何處以及何時感受到這種有益或有害的影響”。基于人工智能的新技術和增強技術的發展速度正在加快，并滲透到每個行業。人工智能在改善人類生活和我們周圍的環境方面有著巨大的潛力;但是，我們必須小心地向前走，以便認識到它提供的機會和避免潛在的陷阱。

Andrew Ng是機器學習的先驅、Landing AI的創始人兼首席執行官，也是谷歌Brain的前團隊負責人。最近，他在未來以數據為中心的人工智能虛擬會議上發表演講，討論了一些負責任的以數據為中心的人工智能開發的實用技巧。

本演講將深入探討適用于非結構化數據的以數據為中心的AI技巧。

一個人工智能系統由兩部分組成:模型-算法或一些代碼-數據。對于大多數數據科學家(包括我自己)來說，機器學習研究人員的主導模式是下載一個固定的數據集，并在模型上進行迭代。這已經成為一種慣例，這是對這種以模型為中心的方法的成功的肯定。多虧了這種以模型為中心的AI開發模式，今天的“代碼”或模型基本上是一個已解決的問題。

這種對模型的強調將我們帶到了高性能模型架構被廣泛使用的地方。然而，系統工程數據集的方法是滯后的。今天，我發現使用工具、流程和原則來系統地設計數據來提高人工智能系統的性能要有用得多。就在過去的4-5個月里，以數據為中心的人工智能運動獲得了很大的發展勢頭，現在“以數據為中心的人工智能”這個術語出現在許多公司的主頁上，而在此之前它幾乎是不存在的。