亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大型語言模型（LLM）被譽為人工智能領域的重大突破。LLMs 處理和生成文本的能力通常與人類認知水平相當，因此對于包括國防在內的所有領域都具有巨大的應用潛力。與此同時，這項新技術在穩健性和可靠性方面也存在許多未決問題，任何希望利用 LLMs 的組織都面臨著巨大的技術挑戰。本報告旨在展示如何訓練 LLM，使其適應國防領域，并評估此類項目是否值得投入。為此，本文創建了一個基于國防領域瑞典語和英語文本的數據集，并用來訓練（微調）兩個最先進的LLM。然后對模型進行定性和定量評估。結果表明， 訓練后的LLM在與國防有關的文本任務中表現出更高的性能。本文詳細描述了訓練過程，可以為有興趣開展類似項目的讀者提供指導。訓練中的障礙主要與資源限制有關，如硬件、數據和時間，這些限制難以克服，但至少人們對它們有了相對充分的了解。對 LLM 的評估卻并非如此：模型具有令人驚訝的能力，但也可能以令人驚訝的方式失敗。報告對 LLM 的不同方面進行測試來評估其能力和失敗原因，但只能觸及表面。總之，大型語言模型已經發展到一個階段，國防利益相關者可以，也應該開始調整和測試該技術。本報告提供了對陷阱、解決方案和經驗教訓的見解，對此有所幫助。與此同時，建議對大型語言模型采取冷靜的態度，因為對此類模型的評估仍應被視為一個未決問題。

關鍵詞：人工智能、大型語言模型、微調、參數高效微調、低階自適應（LoRA）

人工智能（AI）是計算機科學的一個分支，其研究對象是開發能夠解決通常需要人類認知的問題的機器。其中一個挑戰就是處理人類語言，即讓計算機能夠理解文本輸入并做出有說服力的回應。對人類來說，這個簡單得令人難以置信的問題可能顯得微不足道，而且人們最初認為其很容易通過算法解決。20 世紀 50 年代，隨著科學家們開始認識到這項任務的復雜性，早期的機器翻譯嘗試很快就碰壁了。傳統上，計算語言學（CL）試圖通過研究支配人類語言的規則，并以適合計算機的方式將其形式化來解決這一問題。另一方面，自然語言處理（NLP）則采取了更加務實的方法，通常是統計方法，其重點是開發能夠實際執行某些語言任務的系統，即使范圍有限。實際上，幾十年來，這兩個領域之間的區別已經變得相當模糊，但在很長一段時間里，共同的目標仍然難以實現。

然而，近年來，深度學習（DL）的興起加速了人工智能領域許多挑戰難題的突破性進展，包括語言。硬件的增強和數字數據集的不斷擴大，使得在數百萬文本上訓練擁有數十億參數的深度神經網絡成為可能。深度神經網絡可以學習詞語在上下文中出現的概率，從而建立大型自然語言統計模型。大型語言模型（LLM）就能夠處理文本輸入，并生成新的文本，而這些文本似乎可以與人類的理解和書寫相媲美。OpenAI 的 ChatGPT 等功能強大的 LLM 引起了媒體和公眾的廣泛關注，既有贊譽也有擔憂，認為這是人工智能的重大突破，但其后果尚不清楚。然而，在撰寫本文時，LLMs 的應用仍處于探索階段，迄今為止主要以聊天機器人或辦公軟件中的文本助手的形式出現。此外，軍事應用的潛力仍然難以估計。LLM 可以服務于國防和情報的所有領域，例如，作為用戶界面的一部分、信息融合器、文檔輔助工具，以及通過建議和解釋行動方案的系統進行決策。

LLM 可以產生令人印象深刻的結果，但也可能以令人驚訝的方式失敗。人們對 LLM 的能力、局限性和可靠性還不甚了解，而且隨著開發的進展，LLM 也會迅速發生變化。采用 LLM 的另一個障礙是訓練和運行 LLM 所需的成本。最強大的 LLM 是在大型超級計算機上創建的，這對許多國家行為者來說也是遙不可及的。其中一些 LLM 只能以在線服務的形式訪問，在外國領土上的商業服務器上運行，因此當安全問題至關重要時，使用這些 LLM 是值得懷疑的。還有一些可以在本地獲得和運行，也有可能對其進行進一步訓練，使其適應特定任務（微調），但最初的創建仍依賴于少數擁有充足資源的組織。這也意味著，初始訓練語料庫的文本選擇超出了大多數 LLM 用戶的控制范圍，影響了文本在主題和質量方面的平衡，限制了所支持的語言，而且如果 LLM 原始創建者沒有確保其對所有訓練文本的使用都在知識產權范圍內，則有可能產生法律后果。

目前，有關 LLM 的情況既樂觀又不確定。一方面，LLM 可能即將徹底改變無數人類認知被認為是必要條件的過程，無論是在民用領域還是軍事領域。另一方面，LLM的可靠性尚不明確，各組織有可能被突破性技術的熱情所沖昏頭腦，將 LLM強加到它們（尚）不適合的應用中。 本報告介紹了如何謹慎地將 LLM 用于與國防相關的目的。詳細介紹了幾種現代 LLM 的訓練過程。然后對 LLM 的魯棒性和輸出質量進行了評估。國防領域涵蓋了廣泛而多樣的主題，而 LLM 在某一主題上的性能取決于是否準備了大量具有高質量和相關性文本的訓練語料庫。因此，由于資源有限，本報告縮小了訓練領域的范圍，將重點放在旨在為安全政策分析人員提供支持的 LLM 示例上。

1.1 目標和范圍

本報告的重點是旨在為安全政策國防領域內的分析人員提供支持性LLM。LLM需要對文本進行總結，回答與安全政策相關的問題，并根據給定的關鍵短語列表編寫文本。類似的任務在其他領域也同樣適用，因此，僅限于安全政策領域并不意味著按照類似思路訓練的 LLM 可用于其他領域。此外，訓練和實施的基本原則也適用于其他主題和更廣泛的范圍。

本報告的目的是探討在國防背景下部署和運行 LLM 所面臨的技術挑戰，以訓練 LLM 為安全政策分析員提供支持為例進行說明，并評估有效性。具體方法如下：

1.針對國防領域的應用訓練（微調）LLM，包括準備訓練數據、選擇基礎模型、設置訓練環境和訓練過程；

2.評估經過訓練的 LLM 的性能，包括根據不同指標得出的輸出文本的質量、模型對提示變化和其他因素的敏感性，以及微調成本是否被基礎模型的顯著改進所抵消。

本報告的重點是 LLM 技術的核心問題，即模型本身、模型的訓練和模型的能力。因此，本報告將不對特定應用的實現進行研究，例如如何在 RAG 系統（檢索增強生成）中利用 LLM，即從數據庫中檢索外部知識并將其插入提示中，從而使 LLM 能夠解決需要當前信息的查詢問題。雖然這種方法和其他方法是使用 LLM有前途的方法，但它們確實增加了自己的研究問題。此外，任何使用 LLM的方法都得益于對模型的良好訓練和理解，因此超出這些核心基本問題的研究將不在本報告的討論范圍之內。

另一個僅涉及的問題是提示工程。LLM 對提問的措辭很敏感，如果重新表述提問，有時會提供更有用的響應。甚至有人觀察到，通過添加鼓勵性詞語（例如“你是一個聰明的模型，請認真思考下面的問題......”）可以提高性能。這推動了直觀優化提示的大量嘗試。

然而，添加任何直觀提示都會減少適合 LLM 有限輸入窗口的實際提問詞的數量。此外，提示工程的好處并不一致，這些方法有時實際上會降低性能。轉述和修改的組合空間實際上是無限的，而且越來越多的證據表明，最佳提示可能根本不直觀，因此不可能由人類提示工程師來制定。鑒于提示工程目前的不確定狀態，在撰寫本文時還無法提出任何可靠的建議，因此該主題主要歸于未來的工作。

1.2 目標讀者

本報告面向國防部門中希望在軍事或情報應用中調整和部署大型語言模型的人員。這既包括評估大型語言模型是否適合預期應用的決策者，也包括訓練和實施基于大型語言模型的解決方案的技術團隊。

1.3 閱讀說明

一般來說，本報告的寫作水平應該是任何對人工智能和大型語言模型感興趣的讀者都能讀懂的。報告偶爾會深入探討一些細節，但喜歡跳讀的讀者應該不難理解報告的整體內容。如果讀者希望進一步了解使用深度神經網絡進行自然語言處理的理論背景，建議閱讀《使用深度神經網絡進行自然語言處理》（Natural Language Processing Using Deep Neural Networks）報告中的第 3 章。

1.4 提綱

第 2 章介紹了本報告的理論背景。介紹了大型語言模型這一技術最重要的概念和原理。此外，讀者還將了解本報告將使用的具體訓練優化方法，包括其背景。最后，本節介紹了如何評估處理和生成自然語言的系統這一長期挑戰。評估必須被視為一個開放性的研究問題，相關問題在大型語言模型時代仍然具有現實意義，并影響著本報告中的評估嘗試。

第 3 章介紹了第一個目標：創建國防領域大型語言模型。該章分步描述了選擇合適的基礎大型語言模型、準備合適的訓練數據和訓練模型的過程。因此，本章也可為希望開展類似項目的讀者提供指導。 第 4 章是第二個目標：使用各種定量和定性方法和指標對訓練好的大型語言模型進行評估。前面提到的這一領域的挑戰意味著本節只是對解決這一問題的廣泛嘗試的一個介紹，詳盡的大規模評估將留待今后的工作中進行。

第 5 章討論了評估結果，以及在國防背景下使用大型語言模型的更廣泛影響，包括見解和經驗教訓。 最后，第 6 章總結了評估結果，并對今后可能開展的工作進行了簡要展望。

人工智能（AI）有可能為研究人員提供加速科學發現和技術進步的工具，從而徹底改變應對人類最緊迫挑戰的能力。生成式人工智能可以在龐大的數據集和大量計算的基礎上創建內容，其變革性尤為明顯。生成式人工智能的例子包括大型語言模型、圖像生成模型和生成式科學模型。拜登總統在 2023 年 10 月 30 日發布的《關于安全、可靠地開發和使用人工智能的綜合行政命令》中，責成 PCAST 報告 "人工智能......在旨在應對重大社會和全球挑戰的研究中的潛在作用"。

通過精心設計、公平共享和負責任地使用基礎設施，人工智能將使科學家能夠應對緊迫的挑戰，包括改善人類健康和加強氣候變化時期的天氣預測。人工智能可以幫助探索長期存在的科學奧秘，激發和拓展人類的創造力，例如揭開宇宙的起源和進化。人工智能還將幫助研究人員滿足國家的持續需求，從加速半導體芯片設計到發現新材料以滿足能源需求。此外，人工智能正開始消除使科學研究變得緩慢和昂貴的障礙，例如，它提供了快速確定最佳候選藥物的方法（從而減少了昂貴的實驗室試驗數量），幫助優化實驗設計，并比人工或使用傳統數據科學方法更有效地發現數據中的聯系。如果基礎人工智能資源、經過驗證的數據以及科學工具和培訓能夠被廣泛獲取，人工智能技術就有可能實現科學知識的大眾化，將相互關聯的技術概念帶給更多的人，使不同的研究人員能夠將他們的專業知識和觀點用于應對社會和全球挑戰。

與任何其他新工具或技術一樣，要實現人工智能的潛力，就必須解決其局限性。這些問題包括：誤導性或不正確的結果、偏見或不公平的長期存在以及模型訓練數據中蘊含的模式所產生的抽樣誤差、獲取高質量訓練數據的途徑有限、保護知識產權和隱私所面臨的挑戰、訓練或部署模型或運行人工智能算法所需的大量精力，以及壞人或邪惡行為者出于惡意目的使用現成人工智能工具的風險。許多解決這些問題的公共和私營部門活動已經在進行中，包括政府根據 2023 年 10 月的人工智能行政命令所做的努力。可重復性和驗證是科學誠信和科學方法的關鍵原則，在發展負責任地使用人工智能和對人工智能應用進行專業人工監管的文化時，必須繼續高度重視。

人工智能有可能改變每一個科學學科以及進行科學研究的方式的許多方面。科學家們已經在利用人工智能創造目前還不知道如何設計的新型功能材料，其中包括超導體和熱電材料，它們不僅能提高能源效率，還能減少碳足跡。同樣，人工智能模型正在幫助研究人員為制造工藝和產品進行新的設計，并開發新的藥物療法，從而在未來實現對特定癌癥和病毒的個體化治療。人工智能模型還在幫助工程師設計半導體芯片，以更少的人力和時間做出更好的設計。在醫療保健領域，人工智能技術正在創造新的方法來分析廣泛的醫療數據，用于疾病的早期診斷，以便及時干預和發現醫療失誤。PCAST 還預測，人工智能將廣泛提供針對特定個人和疾病過程的超個性化醫療服務，其中包括詳細的病史、遺傳信息和信號，如健康和不健康細胞的行為方式。

人工智能還通過改進科學模型來改變科學。在氣候科學領域，人工智能模型正開始加強天氣預測，并推進水資源管理、溫室氣體監測和災難影響預測的全地球模型。科學家們已經利用人工智能成功預測了蛋白質的結構；新的基礎模型將揭開細胞生物學的更多秘密，并為細胞內相互作用的計算機模擬提供動力，這些模擬可用于探索新療法。人工智能模型有望幫助了解宇宙的起源，能夠通過快速模擬測試眾多宇宙學假設。這種人工智能建模甚至可以幫助科學家發現新的物理定律。

人工智能將使社會科學取得前所未有的進步，用新的定量技術補充定性方法，分析現有數據，開發和分析更新類型的數據，如智能手機上的步數、經許可從搜索和瀏覽中提取的匿名數據或社交媒體上發布的圖像。人工智能可以為使用龐大數據集的研究提供更多動力，例如聯邦統計機構長期以來收集和整理的數據集--最好輔以私營部門掌握的數據集--作為設計有效聯邦政策的輸入。將人工智能應用于這些歷史悠久的和較新的社會科學數據集，可以促進更有效、反應更迅速、更公平的數據驅動型決策和服務的提供。

以上幾個人工智能輔助研究的例子說明，通過負責任地使用人工智能技術，人類科學家將有能力實現變革性的發現。此外，PCAST 還希望，負責任地共享基礎人工智能資源將有助于科學大眾化，并應對重大的社會和全球挑戰。

在全球范圍內，將人工智能用于科學和技術研究的速度正在迅速加快，因此需要致力于在這一強大的新工具的應用方面發揮美國的領導作用。在拜登政府所做工作的基礎上，美國必須大膽而深思熟慮地采取行動，以保持在研究、人工智能的創新應用以及為安全和負責任地使用人工智能建立框架和規范方面的領先地位。在本報告中，PCAST 提出了五項具體的研究成果和行動建議，這將有助于美國充分利用人工智能的潛力。

建議概要

• 建議 1：擴大現有工作，廣泛共享基礎人工智能資源。

廣泛支持可廣泛訪問的共享模型、數據集、基準和計算資源，對于確保學術研究人員、國家和聯邦實驗室、小型公司和非營利組織利用人工智能為國家創造效益至關重要。在美國，這方面最有希望的努力是國家人工智能研究資源（NAIRR），該資源目前是一個試點項目。PCAST 建議盡快將 NAIRR 試點項目擴大到 NAIRR 特別工作組所設想的規模，并為其提供充足資金。全面的 NAIRR，連同聯邦和州一級的行業伙伴關系和其他人工智能基礎設施努力，可作為國家或國際一級人工智能基礎設施項目的墊腳石，以促進高影響力的研究。

• 建議 2：擴大對聯邦數據集的安全訪問，以滿足經批準的關鍵研究需求，并提供適當的保護和保障措施。

允許經批準的研究人員有限、安全地訪問聯邦數據集，并允許向諸如 NAIRR 這樣的資源中心發布經過仔細匿名處理的此類數據集，這樣做的好處是巨大的。PCAST 極力鼓勵擴大現有的安全數據訪問試點計劃，并制定聯邦數據庫管理指南，將現有的尖端隱私保護技術納入其中。利用現代人工智能技術實現此類數據集整理工作自動化的潛力巨大。PCAST 鼓勵將使用人工智能改進數據整理作為聯邦數據共享計劃（如 data.gov）的長期目標。

PCAST 支持聯邦機構要求對其資助或開展的研究中產生的數據集進行負責任的共享。鼓勵進一步執行此類任務，包括共享在聯邦資助的研究數據基礎上訓練的人工智能模型，同時提供充足的資源來支持所需的行動。

• 建議 3：支持人工智能領域的基礎研究和應用研究，這些研究涉及學術界、產業界、國家和聯邦實驗室以及聯邦機構之間的合作，正如 NAIRR 工作組為 NAIRR 制定的愿景所概述的。

聯邦政府資助的學術研究與私營部門研究之間的界限并不清晰。許多研究人員游走于學術機構、非營利組織和/或私營公司之間，而目前所有人工智能研發（R&D）中的很大一部分是由私營公司支持的。要充分利用人工智能對科學的潛在益處，就必須支持涉及各種有前景、有成果的假設和方法的研究。這可能需要資助機構在如何與產業界合作以及哪些研究人員可以得到支持方面放寬姿態，以促進創新研究工作和不同部門之間的合作。此類合作的例子可包括從多個來源創建高質量的公共科學數據集或創建多模式基礎模型。

• 建議 4：在科學研究過程的所有階段采用負責任、透明和可信的人工智能使用原則。

應在研究項目的初始階段就對人工智能的科學使用所產生的不準確、有偏見、有害或不可復制的研究結果的風險進行管理，而不是事后才考慮。PCAST 建議聯邦資助機構考慮更新其負責任的研究行為指南，要求研究人員制定負責任地使用人工智能的計劃。這些計劃應包括機構辦公室和委員會推薦的最佳實踐，以應對潛在的人工智能相關風險，并說明使用任何自動化流程的監督程序。為了最大限度地減少研究人員的額外行政負擔并建立負責任的文化，在列舉主要風險之后，各機構應提供風險緩解的示范流程。

與此同時，美國國家科學基金會（NSF）和國家標準與技術研究院（NIST）等機構應繼續支持負責任和可信賴的人工智能科學基礎研究。這項研究應包括制定標準基準來衡量人工智能模型的特性，如準確性、可重復性、公平性、彈性和可解釋的人工智能，以及監測自身這些特性的人工智能算法，并在基準不符合規定規范時進行調整。此類研究的另一個目標應該是開發工具，以評估數據集的偏差，并區分合成數據與真實世界的數據。

• 建議 5：鼓勵采用創新方法，將人工智能輔助工具融入科學工作流程。

科學組織實體是一個極好的 "沙盒"，可以在其中實踐、研究和評估人類與人工智能助手之間合作的新模式。目標不應該是最大限度地提高自動化程度，而是讓人類研究人員在負責任地利用人工智能輔助工具的同時，實現高質量的科學研究。

資助機構應認識到這些新工作流程的出現，并設計靈活的程序、衡量標準、資助模式和挑戰問題，鼓勵戰略性地嘗試新的人工智能輔助方式來組織和執行科學項目。這些工作流程的實施也為各種學科的研究人員提供了機會，如人為因素、工業和組織心理學等，以促進在人機協作領域的知識。

更廣泛地說，資助機構、學術界和學術出版業的激勵結構可能需要更新，以支持更廣泛的科學貢獻，如策劃高質量和廣泛可用的數據集，而傳統的研究生產力指標可能無法充分認可這些貢獻。

圖 1. 負責任地使用、共享資源和增強能力的良性循環，以利用人工智能加速科學研究。本報告從多個方面探討了這種相互作用。

人工智能（AI）被視為當今時代最具顛覆性的技術。科學界和商業界正在對它進行大量投資和深入研究。它已在許多小工具和設備（如手機、電腦、網絡應用服務器等）中顯示出初步的商業用途，如搜索輔助、需求預測、數據分析和驗證、建模和模擬、語言學、心理學等。谷歌、微軟和亞馬遜等商業巨頭正在利用人工智能進行消費者行為預測。自 2011 年以來，我們一直生活在被稱為 "認知時代 "的時代，因為人工智能正越來越多地融入每個人的日常生活。IBM 的沃森（Watson）可能是首個用于解決各領域問題的人工智能商業應用，于 2013 年推出。2011 年，沃森在 "危險 "游戲中擊敗了有史以來排名最高的兩位選手，從而備受矚目。此后，沃森得到了進一步改進。

據預測，人工智能將在十年左右的時間內滲透到所有主要民用系統和小工具中，形成其軟件基礎。此外，據預測，在二三十年內，人工智能將徹底改變世界的運行方式。美國（US）、歐盟（EU）和中國等主要大國、區域已經出臺了在各個領域開發、采用和推廣人工智能的政策文件和路線圖。

不同的專家對人工智能提出了不同的定義。所有這些定義都趨向于機器獲得類似人類智能的概念，通常遵循一個被稱為感知-認知-行動（或決策）信息處理循環的順序。人工智能的程序同樣遵循這一循環，即人工智能計算機感知周圍的世界，通過優化和驗證算法處理接收到的信息，并以類似于人類的方式做出行動選擇。目前，各種先進的人工智能能力正處于不同的開發和使用階段，包括自然語言處理、信息搜索、面部、物體或手勢識別、自適應學習、直觀感知、綜合推理、混合智能（人機結合智能）、集體蜂群智能、問題解決、預測和響應等。

人工智能在軍事上的應用雖然是人工智能發展的必然產物，具有巨大的潛力和優勢，但一直是一個有爭議的問題，也是科學界經常產生分歧的話題。隨著人工智能的迅猛發展及其進入軍事領域，人工智能已經在以一種重要的方式重塑軍隊的運作。可以預見，它將從根本上改變未來的戰爭和軍事行動。與此同時，由于技術的飛速發展，戰爭本身也在概念層面發生著變化。未來人工智能將如何塑造戰爭，專家學者們仍在探討。

本文旨在根據人工智能的發展軌跡以及圍繞其未來軍事用途的主要問題，確定人工智能在不久的將來--預計未來十年或二十年--在戰爭中的擴散情況。本文還為印度尋找了一種衍生工具。本文以 "人工智能系統分類 "一節開篇，帶領讀者略微深入地了解人工智能，以便客觀分析人工智能的發展和應用軌跡。非凡壯舉 "部分揭示了該技術的顛覆性。未來的表現 "一節討論了人工智能未來的發展和普及。這一部分還強調了與人工智能相關的各種問題，同時建立了對人工智能的總體認識。在 "人工智能推動戰爭 "一節中，試圖推導出人工智能將浸漬軍事系統并重塑戰爭，包括概念和條令。然后，本文重點討論了影響人工智能應用情況的一個主要問題 "不確定性談判"，并從這個角度分析了人工智能在作戰空間的應用。下一節分析了與人工智能系統軍事應用相關的 "挑戰"。關于 "全球領導力競賽 "的部分強調了人工智能軍事應用的全球趨勢，隨后分析了 "印度的立場"，并向印度決策者提出了一些建議。

在過去十年中，人工智能（AI）變得越來越流行，尤其是聊天機器人的使用，如 ChatGPT、谷歌的雙子座和 DALL-E。隨著人工智能的興起，大型語言模型（LLM）和生成式人工智能（GenAI）在日常使用中也變得越來越普遍。這些進步加強了網絡安全的防御態勢，同時也為對手開辟了新的攻擊途徑。本文全面概述了當前最先進的 GenAI 部署，涵蓋攻擊、越獄以及提示注入和逆反心理的應用。本文還介紹了 GenAI 在網絡犯罪中的各種應用，如自動黑客攻擊、釣魚郵件、社交工程、反向密碼學、創建攻擊有效載荷和創建惡意軟件。通過數據集構建、安全代碼開發、威脅情報、防御措施、報告和網絡攻擊檢測等策略，GenAI 可以大大提高防御性網絡安全流程的自動化程度。在本研究中，我們建議未來的研究應側重于制定健全的道德規范和創新的防御機制，以解決 GenAI 目前造成的問題，并進一步鼓勵以公正的方式將其應用于網絡安全領域。此外，我們強調跨學科方法的重要性，以進一步彌合科學發展與倫理考慮之間的差距。

圖 1 GenAI 開發時間表。

過去十年見證了數字領域的變革性飛躍，人工智能（AI）、大型語言模型（LLM）和自然語言處理（NLP）的進步對其產生了重大影響。從最基礎的監督學習開始，人工智能和機器學習（ML）迅速擴展到更復雜的領域，包括無監督、半監督、強化、LLM、NLP 和深度學習技術[1]。這一演變過程中的最新突破是生成式人工智能（GenAI）技術的出現。這些技術利用深度學習網絡來分析和理解龐大數據集中的模式，從而能夠創建與原始數據相似的新內容。GenAI 用途廣泛，可以生成文本、視覺效果、編程代碼等各種內容。在網絡安全領域，GenAI 的影響是巨大的，為該領域提供了新的維度。預計 GenAI 將增強漏洞掃描工具的能力，提供超越傳統靜態應用程序安全測試 (SAST) 方法的深度漏洞分析 [2]。在 GenAI 能力的增強下，這一演變對未來的網絡安全實踐充滿希望[3]。谷歌的 Gemini 和 OpenAI 的 Chat-Generative Pre-trained Transformer (ChatGPT) 等創新處于這一進步的前沿。

Yandex 已將下一代大型語言模型 YandexGPT 集成到其虛擬助手 Alice 中[4]，使其成為全球首家增強虛擬助手功能的公司，可通過各種設備和應用程序生成類人文本和集思廣益。一些 GenAI 工具的主要目的是幫助人們提高能力，但有時卻表現出相反的行為，比如微軟的聊天機器人 Tay。微軟的聊天機器人Tay在推出后因被協同攻擊利用漏洞而發布攻擊性推文而下線，這促使該公司解決這一問題，并從以往的經驗中吸取教訓改進人工智能，包括中國的XiaoIce，以確保未來的互動在不冒犯他人的情況下反映人性的優點[5]。此外，一些 GenAI 工具的開發也有不同目的。例如，麻省理工學院的諾曼（Norman）是世界上第一個被描述為精神病患者的人工智能[6]，它是利用一個有爭議的 subreddit 上的標題進行訓練的，強調了有偏見的數據如何導致人工智能解釋帶有令人不安的標題的圖像，揭示了數據對人工智能行為的影響[7]。

近年來，GenAI 經歷了一場引人注目的變革，其標志是非凡的創新和快速的進步[8] [9]。人工智能的時間軸始于二十世紀四五十年代人工智能作為一門概念性科學學科的出現。上世紀六七十年代誕生的 ELIZA 聊天機器人是第一個聲名鵲起的 GenAI。這一革命性的演示凸顯了機器人模仿人類語言的能力。80 年代和 90 年代，隨著先進的模式識別方法越來越流行，人工智能在分析連續數據和模式方面的發展變得更加復雜，因此也更加有效。第一個變異自動編碼器（VAE）在自然語言翻譯方面表現出了非凡的能力。OpenAI 在 2000 至 2010 年代開發了 GPT。與此同時，GenAI 模型也得到了發展，并在 20 世紀 20 年代推出了一系列創新平臺和技術，包括 DALL-E、谷歌的雙子座、獵鷹 AI 和 Open AI 的 GPT-4。這些進步代表著這門學科的成熟，為內容制作、解決問題以及模擬人類智能和創造力帶來了前所未有的能力。它們也為這一學科的進一步發展鋪平了道路。GenAI 的發展時間表見圖 1。

語言模型在商業、醫療保健和網絡安全等許多領域都至關重要。從基本的統計方法到復雜的神經網絡，它們的發展呈現出一條具體的路徑[10], [11]。LLM 的使用極大地促進了 NLP 技能的發展。然而，盡管取得了這些進步，仍然存在一些問題，包括道德難題、降低錯誤率的要求，以及確保這些模型符合我們的道德價值觀。要解決這些問題，需要進行道德監督和持續發展。

第 2 節在概述、分析不同的攻擊路徑及其后果之后，探討了用于利用 GenAI 技術的技術。第 3 節探討了網絡威脅的設計和自動化，重點關注 GenAI 所帶來的攻擊能力。不過，第 4 節深入探討了 GenAI 在加強網絡防御方面的功能，概述了最先進的威脅檢測、響應和緩解技術。我們將在第 5 節進一步闡述這一主題，強調將 GenAI 納入網絡安全程序的重要道德、法律和社會影響。第 6 節討論了 GenAI 對網絡安全的影響，并對重要發現進行了總結。本文在第 7 節中結束。

計算力（或稱 "計算"）對于開發和部署人工智能（AI）能力至關重要。因此，政府和公司開始利用計算作為管理人工智能的手段。例如，政府正在投資國內計算能力，控制計算向競爭國家的流動，并對某些行業的計算訪問提供補貼。然而，這些工作只是從表面上了解了如何利用計算來管理人工智能的開發和部署。與人工智能的其他關鍵投入（數據和算法）相比，人工智能相關計算是一個特別有效的干預點：它是可檢測、可排除、可量化的，并且是通過極其集中的供應鏈生產出來的。這些特點，加上計算對尖端人工智能模型的獨特重要性，表明對計算的管理有助于實現共同的政策目標，如確保人工智能的安全和有益使用。更確切地說，政策制定者可以利用計算促進人工智能的監管可見性，分配資源以促進有益的結果，并對不負責任或惡意的人工智能開發和使用實施限制。然而，雖然基于計算的政策和技術有可能在這些領域提供幫助，但其實施的準備程度卻存在很大差異。一些想法目前正在試行，而另一些則因需要進行基礎研究而受到阻礙。此外，在隱私、經濟影響和權力集中等領域，樸素或范圍不清的計算治理方法會帶來巨大風險。最后，我們將提出一些建議，以最大限度地降低計算治理的這些風險。

圖 1：報告中的核心概念摘要。計算因其四種特性而對政策制定具有吸引力。可以利用這些特性來設計和實施政策，從而實現人工智能治理的三種關鍵能力。

在第 2 節 "人工智能能力、人工智能治理和計算概述 "中，我們提供了幾個主題的基本背景，作為后面章節的基礎。我們討論了作為人工智能發展關鍵投入的人力資本、數據、算法和計算。然后，我們描述了人工智能生命周期的各個步驟（包括設計、培訓、增強和部署）--其中每個步驟都是可能的干預點（并具有獨特的計算足跡）。我們接著討論了人工智能可能對社會產生的影響，以說明負責任治理的重要性。隨后，我們將回顧目前在治理計算方面所做的努力，以便為后面的章節提供背景資料。

在第 3 節 "為什么計算治理對決策具有吸引力 "中，將解釋計算的特點，這些特點使其成為人工智能治理的一個有吸引力的工具。這源于計算對前沿模型的獨特重要性，以及計算作為一種治理策略所具有的增強功效的若干特性。

讀者如果已經確信計算的重要性和特殊屬性，但又想知道如何將計算治理擴展到現有工作之外，可以考慮跳到第 4 節 "計算可以增強三種人工智能治理能力"，在這一節中，我們將探討如何利用計算來增強關鍵的治理能力：（a）通過監控計算來提高人工智能發展的可見性；（b）改變計算的分配以實現有益的發展；以及（c）利用計算來執行人工智能相關規范和法規。

在第 5 節 "計算治理的風險與可能的緩解措施 "中，我們總結了之前關于計算治理可能存在的局限性的討論。

由 ChatGPT 提供的國防大型語言模型

像 GPT-3 這樣的大型語言模型 (LLM) 在國防領域有著廣泛的潛在應用。以下是LLM在國防相關領域的一些應用方式：

• 自然語言理解：LLM可用于增強各種國防應用中的自然語言理解能力。這包括用于情報分析的文檔摘要、情感分析和主題建模等任務。
• 自動報告生成：可利用LLM從大量文本數據中自動生成報告和摘要，從而加快決策速度并減輕人類分析人員的負擔。
• 信息檢索和知識管理：LLM可協助從大型數據庫中檢索相關信息，從而實現更有效的知識管理和數據利用。
• 網絡安全和威脅檢測：LLM可用于分析和檢測網絡安全威脅的模式，幫助識別潛在漏洞和降低風險。
• 與自主系統的自然語言交互：LLM可促進人類操作員與自主系統之間的交流，使軍事人員更容易與無人機、機器人和其他人工智能平臺進行互動。
• 機器翻譯：LLM可用于改進機器翻譯系統，使軍事人員能夠與外國合作伙伴進行有效溝通，并更高效地分析外語文件。
• 社交媒體監測與分析：LLM可用于監控和分析社交媒體平臺，以了解情況和進行情感分析，尤其是在危機局勢或內亂期間。
• 對抗式機器學習：LLM可用于增強人工智能系統的對抗性攻擊防御，確保人工智能驅動的防御應用的穩健性和可靠性。
• 模擬和培訓：LLM可用于模擬環境，創建逼真的動態場景，用于培訓軍事人員和進行兵棋推演。
• 政策和戰略分析：LLM可協助國防分析人員處理和分析復雜的政策文件，并根據大量文本信息制定戰略。

由Bing提供的國防大型語言模型

• 大型語言模型可用于識別社交媒體數據中可能與國家安全相關的模式和趨勢。例如，它們可用于監控社交媒體平臺，以發現動亂或政治不穩定的跡象。

• 大型語言模型還可用于分析各種來源的新聞文章，以識別新出現的威脅和趨勢。例如，它們可用于監控新聞文章，以發現恐怖活動或網絡攻擊的跡象。

• 大型語言模型還可用于分析政府報告和其他官方文件，以識別潛在威脅和趨勢。例如，它們可用于分析情報機構或軍事組織的報告，以識別新出現的威脅。

• 大型語言模型還可用于生成這些數據的報告和摘要，幫助決策者更輕松地理解信息。例如，它們可用于生成每日或每周報告，介紹可能與國家安全相關的新興威脅和趨勢。

近年來，人工智能（AI）系統有了長足的進步，其功能也在不斷擴展。特別是被稱為 "生成式模型 "的人工智能系統在自動內容創建方面取得了巨大進步，例如根據文本提示生成圖像。其中一個發展尤為迅速的領域是能夠生成原始語言的生成模型，這可能會給法律和醫療保健等多個領域帶來益處。

不過，生成式語言模型（簡稱 "語言模型"）也可能存在負面應用。對于希望傳播宣傳信息--旨在塑造觀念以促進行為者利益的惡意行為者來說，這些語言模型帶來了自動創建有說服力和誤導性文本以用于影響力行動的希望，而不必依賴人力。對社會而言，這些發展帶來了一系列新的擔憂：那些試圖暗中影響公眾輿論的人可能會開展高度可擴展、甚至極具說服力的活動。

本報告旨在評估：語言模型的變化會如何塑造影響力行動，以及可以采取哪些措施來減輕這些威脅？由于人工智能和影響力行動都在迅速變化，這項任務本質上是推測性的。

作者于 2021 年 10 月召集了 30 位人工智能、影響力行動和政策分析領域的專家，討論語言模型對影響力行動的潛在影響，該研討會為報告中的許多觀點提供了參考。由此產生的報告并不代表研討會與會者的共識。

希望這份報告對那些對新興技術的影響感興趣的虛假信息研究人員、制定政策和投資的人工智能開發人員以及準備應對技術與社會交叉領域的社會挑戰的政策制定者有所幫助。

語言模型在影響力行動方面的潛在應用

分析了生成式語言模型對影響力行動三個眾所周知的方面——發起行動的行為體、作為戰術的欺騙行為以及內容本身——的潛在影響，并得出結論：語言模型可能會極大地影響未來影響力行動的發起方式。表 1 總結了這些變化。

語言模型有可能以較低的成本與人類撰寫的內容相媲美，這表明這些模型與任何強大的技術一樣，可以為選擇使用它們的宣傳者提供獨特的優勢。這些優勢可以擴大與更多行為者的接觸，實現新的影響策略，并使競選活動的信息傳遞更有針對性和潛在的有效性。

表 1：語言模型如何塑造影響力行動

1、行為體

由于生成AI文本的潛在變化

• 涌現出更多和更多樣化的行為體。
• 外包公司變得更加重要。

對變化的解釋

• 隨著生成式模型降低宣傳成本，更多行為體可能會發現開展影響力行動的吸引力。
• 自動生成文本的雇傭宣傳者可能會獲得新的競爭優勢。

2、行為

由于生成AI文本的潛在變化

• 內容制作自動化可擴大宣傳活動的規模。
• 現有行為變得更有效率。
• 新策略層出不窮

對變化的解釋

• 文本自動生成后，宣傳活動將更容易擴大規模。
• 有了語言模型，跨平臺測試等昂貴的策略可能會變得更便宜
• 語言模型可實現動態、個性化和實時內容生成，如一對一聊天機器人。

3、內容

由于生成AI文本的潛在變化

• 信息更可信、更有說服力。
• 宣傳不易被發現。

對變化的解釋

• 與缺乏目標語言或文化知識的宣傳人員撰寫的文本相比，生成式模型可以改進信息傳遞。
• 現有的宣傳活動經常因使用復制粘貼文本（copypasta）而被發現，但語言模型可以制作出語言獨特的信息。

影響力行動的進展和關鍵未知因素

語言模型的技術進步不可能停止，因此任何試圖了解語言模型將如何影響未來影響行動的嘗試都需要考慮到預期的進步。語言模型可能會變得更加可用（使模型更容易應用于任務）、可靠（減少模型產生明顯錯誤輸出的機會）和高效（提高應用語言模型進行影響行動的成本效益）。

這些因素促使我們做出高度自信的判斷，即語言模型在未來的影響力行動中將大有用武之地。然而，其應用的確切性質尚不明確。

有幾個關鍵的未知因素將塑造影響力行動如何以及在多大程度上采用語言模型。這些未知因素包括：

• 哪些新的影響力能力將作為善意研究的副作用而出現？傳統的研究過程以更廣泛的語言任務為目標，其結果是產生了可應用于影響力行動的系統。未來可能會出現新的能力，如制作長篇有說服力的論據。這些新出現的能力很難通過生成模型來預測，但可以決定宣傳人員將使用語言模型來執行哪些具體任務。

• 為影響力行動設計特定的語言模型是否比應用通用模型更有效？雖然目前大多數模型都是為通用任務或具有科學或商業價值的任務而建立的，但宣傳人員可以建立或調整模型，使其直接用于說服和社會工程等任務。例如，宣傳人員可以對一個較小、能力較弱的模型進行調整，這一過程被稱為微調。這很可能比建立一個更大、更通用的模型更便宜，盡管還不能確定會便宜多少。此外，對最先進的模型進行微調可以使宣傳者更容易獲得新的影響能力。

• 隨著時間的推移，參與者是否會對語言模型進行大量投資？如果許多參與者都投資并創建了大型語言模型，這將增加宣傳者獲取語言模型（合法或通過盜竊）的可能性。宣傳者本身也可以投資創建或微調語言模型，納入定制數據--如用戶參與數據--以優化其目標。

• 政府或特定行業是否會制定禁止將模型用于宣傳目的的規范？正如使用規范會限制其他技術的濫用一樣，它們也可能會限制語言模型在影響力行動中的應用。一個同意不將語言模型用于宣傳目的的國家聯盟可以讓那些不遵守的國家付出代價。在次國家層面，研究團體和特定行業可以制定自己的規范。

• 何時才能公開提供易于使用的文本生成工具？語言模型的熟練使用仍然需要操作知識和基礎設施。易于使用的工具可以生成推文或段落長度的文本，這可能會讓缺乏機器學習知識的現有宣傳人員依賴語言模型。

由于這些關鍵的可能性可能會改變語言模型對影響力行動的影響，因此為減少不確定性而開展更多研究是非常有價值的。

如何減輕潛在威脅？

在2021 年 10 月召開的研討會的基礎上，對現有的大量文獻進行了調查、 試圖為各種可能的緩解戰略提供一個殺傷鏈框架，并對其類型進行調查。目的不是認可具體的緩解策略，而是展示緩解策略如何針對影響力行動流水線的不同階段。

表 2：緩解措施實例摘要

宣傳者的要求

1.能夠生成真實文本的語言模型

2.可靠地獲取此類模型

3.分發生成內容的基礎設施

4.易受影響的目標受眾

干預階段

1.模型設計與制作

2.模型接入

3.內容傳播

4.信念形成

說明性的緩解措施

1.1 人工智能開發人員建立對事實更敏感的模型
1.2 開發人員傳播擴散性數據，使生成模型可被檢測到
1.3 對數據收集施加限制
1.4 對人工智能硬件實施訪問控制
2.1 人工智能供應商對語言模型實施更嚴格的使用限制
2.2 人工智能開發者圍繞模型發布制定新規范
3.1 平臺和人工智能供應商協調識別人工智能內容
3.2 平臺要求發布"個人身份證明"
3.3 依賴公眾意見的實體采取措施減少誤導性人工智能內容的風險
3.4 數字出處標準得到廣泛采用
4.1 機構參與媒體掃盲運動
4.2 開發人員提供以消費者為中心的人工智能工具

上表表明，沒有什么靈丹妙藥能徹底消除影響力行動中語言模型的威脅。一些緩解措施可能在社會上不可行，而另一些則需要技術突破。還有一些可能會帶來不可接受的負面風險。相反，要有效減輕威脅，很可能需要一種結合多種緩解措施的全社會方法。

此外，有效的管理還需要不同機構之間的合作，如人工智能開發者、社交媒體公司和政府機構。只有這些機構通力合作，許多建議的緩解措施才能產生有意義的影響。除非社交媒體公司能與人工智能開發人員合作，將文本歸屬于某個模型，否則他們很難知道某個虛假信息活動是否使用了語言模型。最激進的緩解措施--比如在互聯網協議中加入內容出處標準--需要極度的協調，如果它們是可取的話。

也許最重要的是，強調的緩解措施需要更多的開發、審查和研究。對其有效性和穩健性的評估值得認真分析。

圖 4：人工智能賦能的影響力行動的干預階段。為了阻止宣傳者利用語言模型實施影響力行動，可針對以下四個階段采取緩解措施：(1) 模型設計與構建；(2) 模型獲取；(3) 內容傳播；(4) 信念形成。最終，在這些階段進行干預可減輕影響行動的直接和間接影響。

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

近年來，針對工業生態系統的高級持續性威脅（APT）的復雜性急劇增加。這使得開發超越傳統解決方案的高級安全服務成為必須，輿論動力學（Opinion Dynamics）就是其中之一。這種新穎的方法提出了一個多智能體協作框架，允許跟蹤APT的整個生命周期。在本文中，我們介紹了TI&TO，這是一個攻擊者和防御者之間的雙人博弈，代表了一個現實的場景，雙方都在爭奪現代工業結構中的資源控制權。通過使用博弈論來驗證這種技術，我們證明，在大多數情況下，輿論動力學包括有效的第一項措施，以阻止和減少APT對基礎設施的影響。為了實現這一目標，攻擊者和防御者的模型都被標準化，并應用了一個公平的評分系統，后者用不同的策略和網絡配置運行了幾個模擬測試案例。

引言

世界各地的公司面對的網絡安全攻擊數量明顯增長，導致了巨大的經濟損失[2]。當涉及到關鍵的基礎設施（即核電站、電網、運輸和制造系統）時，這種情況變得更加嚴重，其工業控制系統必須在所有條件下保持工作。在這里，我們處理的是SCADA（監督控制和數據采集）系統，幾十年來一直在與外部網絡隔離的情況下工作；反過來，如今它們正越來越多地整合新技術，如物聯網（IoT）或云計算，在削減成本的同時外包各種服務。因此，需要做出更大的努力來跟上這種進步，以應對這些系統可能帶來的最新的攻擊載體和可利用的漏洞。

近年來最關鍵的問題之一是高級持續性威脅（APTs），這是一種復雜的攻擊，特別是針對目標基礎設施，由一個資源豐富的組織實施。它們的特點是利用零日漏洞（零時差攻擊），采用隱蔽技術，使威脅在受害者網絡中長期無法被發現。Stuxnet是第一個報道的這種性質的威脅[6]，但許多其他的威脅在之后被發現，通常是在攻擊完全執行后的幾個月[7]。在網絡安全方面，只是提出了一些機制來從整體上解決這個問題，超越了傳統的機制（如防火墻、入侵防御系統（IPS）、入侵檢測系統（IDS）、防病毒），這些機制只代表了在第一階段對APT的準時保護[21]。

在這些新穎的機制中，輿論動力學（Opinion Dynamics）[15]包括一個多智能體協作系統，通過分布式異常關聯，使攻擊的整個生命周期都可以被追蹤。在本文中，我們提出了一個理論但現實的方案，以證明該方法在不同類型的攻擊模式下的有效性，使用結構可控性領域[8]和博弈論[14]支持的概念。為了這個目標，我們開發了TI&TO，這是一個雙人博弈，攻擊者和防御者為控制現代工業結構中的資源而競爭。兩個玩家都有自己的動作和相關的分數，分別根據APT和基于Opinion Dynamics的檢測系統的行為。這個博弈最終在不同的模擬中運行，旨在展示算法的能力，同時也建議將該技術與其他防御方案結合起來進行最佳配置。因此，我們可以把我們的貢獻總結為：

• 正式定義TI&TO博弈，指定游戲板、每個玩家的目標和得分規則。
• 設計一個攻擊者模型，以一組階段的形式，靈活地表示APT的各個階段，以表示攻擊者的行動，這些行動受制于一個確定的分數。
• 設計一個基于使用意見動態和響應技術（即本地檢測、冗余鏈接、蜜罐）的防御者模型，以減少APT在網絡中的影響，這也意味著博弈中的相關得分。
• 進行的實驗驗證了該算法，并推薦了返回最佳結果的防御者的配置。

本文的其余部分組織如下。第2節介紹了 "輿論動力學"的概念，并強調了應用博弈論來檢測網絡攻擊的建議。在第3節中，定義了博弈，包括規則以及攻擊和防御模型。然后，進行了幾次模擬，并在第4節進行了討論。最后，在第5節中提出了結論和未來的工作。