歷史趨勢無法完全決定AI的未來走向。盡管本系列報告首篇強調歷史經驗的重要性,但仍可通過主動選擇塑造未來。期望《應對AI合規挑戰(下篇):防范未來風險》能指導決策者在避免重蹈覆轍的同時,培育社會對AI系統的信任。
作為系列報告的第二部分,本文提出39項風險緩解策略(詳見《防范未來風險的緩解策略》),旨在規避AI系統的制度性、流程性與性能性故障。這些策略致力于增強用戶對AI系統的信任并最大化產品效用。AI構建者與使用者(包括AI實驗室、部署AI系統的企業及州與地方政府)可根據需求與風險承受度,選擇性實施22項技術導向與17項政策導向的策略。
通過落實這些實踐,相關機構不僅能降低監管風險、構建產品信任度,還將獲得吸引頂尖人才、提升競爭優勢、改善財務表現與延長方案生命周期的綜合效益。基于研究及利益相關方調研結果,我們向AI構建者與使用者重點推薦39項策略中的以下九項核心建議:
? 實施分級合規措施應對高影響AI應用:AI構建者與使用者需針對敏感或高影響領域(如國家安全、醫療、金融等關鍵行業)的AI系統開發部署,根據預期用途、潛在風險與應用場景(從娛樂至關鍵領域)的差異,制定分級的合規方案。
? 認知并管控AI開發部署的可接受風險:應將意外后果與合規失敗區別對待。開發方、構建者與監管機構需在考量攻擊面擴大及AI未知特性引發的風險閾值時,明確承認非預期影響的客觀存在。
? 優先落實數據管理與隱私保護實踐:采用隱私保護技術、內容溯源功能與用戶授權機制等措施,可緩解流程性故障,在遵守數據法規的同時維護用戶權益與信任。
? 部署強健網絡安全防護體系:通過網絡安全控制、紅隊測試、故障保護機制等手段,抵御針對AI系統的攻擊,并在多元場景中提升系統可靠性。安全護欄設計可同步預防性能性與流程性故障。
? 運用安全風險評估機制前瞻性規避危害:建立涵蓋事件報告框架與全生命周期AI安全基準的評估流程,在危害發生前識別并緩解風險,有效應對流程性與性能性雙重故障。
? 開展全員合規與AI素養培訓:從數據供應商至模型開發者與部署者的全AI供應鏈員工,均需接受強制性培訓。所有涉及AI工具使用的員工應通過培訓掌握基礎AI素養技能。
? 構建透明度機制強化信任基礎:采用模型卡片、數據卡片與信息披露框架等透明化與可解釋性工具,是建立用戶/利益相關方信任、落實問責機制與支撐知情決策的必要條件。
? 優化AI可解釋性與披露框架:通過強化系統可解釋性并配套模型評估披露機制,使構建者與使用者深入理解AI行為模式與輸出邏輯,從而防范性能性故障。
? 推行非歧視性AI保障策略:在模型訓練、數據采集與持續監測環節實施偏差緩解策略,結合對抗性去偏技術,可預防性能性故障,確保系統公平性并消除歧視性結果。
本報告旨在通過推演通用人工智能(AGI)治理的未來情景及其對全球權力格局的影響,促使政策制定者深入思考AGI發展對地緣政治與國際秩序的可能沖擊。作者聚焦于AGI研發部署可能引發的多維度影響——其中部分情形雖概率較低但意義重大——這些影響將從根本上改變現有地緣政治秩序。
為深入探究這些可能重塑世界的潛在影響,作者基于AGI研發集中化程度及其地緣政治結果構建了八種示范性情景。這些情景涵蓋:使美國占據優勢地位的AGI影響、增強美國競爭對手的AGI影響、引發重大地緣政治格局變遷的影響、以及導致AGI發展中斷的影響。
這些情景旨在揭示AGI研發的集中化程度是實現特定地緣政治結果的關鍵決定因素。在高度集中化情景中,美國或其競爭對手可能獲得顯著優勢;而分散化發展路徑可能導致多邊治理模式,甚至因非國家行為體借助AGI大幅增強實力而引發地緣政治失穩。
決定未來AGI地緣政治格局的關鍵因素持續顯現:
? 集中化程度可能是AGI發展最核心的影響要素。高度集中化研發有利于擁有雄厚資源的傳統強國;分散化路徑雖可賦能多元主體,但會增加擴散風險。出口管制、研究經費分配及國際治理框架構成影響AGI研發相對集中化程度的潛在調控杠桿。
? 國家與私營企業的關系成為另一關鍵決定因素。公私密切合作的情景與缺乏協調的情景產生截然不同的結果。專家一致強調:無論是國家還是企業都無法單獨有效管控AGI發展,建立平衡的合作關系至關重要。
? 即使在地緣政治因素有利的條件下,確保AGI系統可靠追求人類兼容目標的內在難度仍構成重大風險。緩解該風險通常需要開展國際合作,旨在限制危險行為體獲取AGI技術,并應對可能災難性的AGI系統失控局面。
? AGI部署引發的經濟社會動蕩給技術發展管理帶來嚴峻挑戰。社會能否適應快速自動化進程、信息操控及潛在的就業崗位更替,將直接影響最終結果對現有權力結構的鞏固或削弱效應。
本文剖析了擬議中用于探測、監控及對抗“認知戰”的人工智能系統,批判性審視此類系統對基本權利與價值觀的影響。在闡釋當代公共安全話語中的“認知戰”概念后,文章指出人工智能作為新興工具,可能加劇針對社會在線信息生態系統的惡意活動。為應對此挑戰,研究者與決策者提議利用人工智能制定反制措施——從基于人工智能的預警系統到政府主導的全網絡內容審核工具。然而這些干預措施在不同程度上干預了隱私權、言論自由、信息自由與自決權等基本權利與價值觀。所提出的人工智能系統缺乏充分考量當代在線信息生態系統的復雜性,尤其未能解決“認知戰”活動與不良后果間因果關系的固有判定難題。其后果在于,利用人工智能對抗“認知戰”反而可能損害本應受保護的基本權利與價值觀。決策者應減少對看似立竿見影的技術解決方案的過度關注,轉而投入構筑立足于保障基本權利的長效策略,以應對數字傳播生態系統中的信息失序問題。
歷史總在當下與未來產生回響。本報告通過審視核能、金融服務等跨行業合規失敗案例,揭示AI生態系統的潛在風險,提供定義框架與經驗教訓,助力AI構建者與使用者在復雜合規環境中穩健前行。
基于對AI關聯行業11個案例的研究,識別出三類故障模式:制度性、流程性與性能性。制度性故障源于管理層缺乏建立合規文化、制定必要政策或通過組織結構賦能的承諾,導致可預見性故障;流程性故障表現為機構既定政策與內部執行流程、員工培訓間的錯位;性能性故障則由員工未遵循既定流程或自動化系統偏離預期功能引發。
跨行業失敗案例研究提煉出風險評估、安全協議與監督機制等關鍵經驗,為AI創新者提供指引。最顯著風險在于企業往往優先追求創新速度與市場優勢,忽視安全考量。案例表明亟需構建透明度機制、強健的第三方驗證與評估體系及全面數據治理實踐。此外,對AI部署企業的訴訟分析揭示:隱私合規、反歧視與透明度保障必須成為開發流程的根基,而非事后補救。
盡管當前AI監管框架仍呈碎片化,我們識別出五大治理支柱——法律法規、政策指引、行業規范、技術標準與組織內控,為AI安全可信開發指明方向。鑒于美國尚未出臺綜合性聯邦AI立法,我們將AI生態系統的合規失敗定義為:未能遵循既有法律、政府指引、全球共識規范、標準、自愿承諾及(公開或內部)組織政策中關于負責任AI治理的要求。
報告最終聚焦AI技術演進與復雜性衍生的獨特合規挑戰。模糊的安全定義與快速迭代特性加大治理難度,甚至影響受監管行業的AI應用采納;可解釋性不足阻礙合規機制建設,而AI代理技術則模糊自動化世界的責任邊界。隨著機構面臨從輕微違規到跨行業災難性故障的風險譜系,有效監管的緊迫性持續攀升。缺乏適當防護將侵蝕公眾信任,催生"速度優先于安全"的行業慣例——其影響遠超出AI領域,波及整體創新生態與社會福祉。歷史警示我們:高度復雜系統易發多維度故障。構建日益強大的AI系統時,必須汲取歷史教訓,避免重蹈覆轍。
隨著高度先進的人工智能(AI)系統日益融入醫療、金融、交通與國家安全等社會關鍵領域,政策制定者及社會各界正密切關注其開發部署的潛在風險。安全與技術研究所(IST)2023年12月發布的尖端AI基礎模型風險與機遇報告,識別出六類風險并評估模型開放程度對各風險的影響。后續研究中,IST提出AI風險緩釋的"生命周期方法",深入剖析六類風險之一的惡意使用風險,并提出具體技術政策應對策略。
基于此基礎,本報告聚焦2023年12月報告識別的另一類風險——合規失敗風險(定義為"無力或無意遵守既有安全規程、驗證機制與法律要求")。這些必須遵守的要求與規程具體為何?制定主體是誰?答案并不明晰,因全球AI治理框架快速演變且迄今呈現碎片化格局。或許我們可從其他成熟領域汲取經驗?
作為系列報告的首篇,本文旨在: ? 提供關聯行業的合規失敗歷史背景;
? 定義AI生態系統中的合規失敗并闡釋其語境;
? 分析AI合規失敗趨勢現狀及AI系統特有的合規挑戰;
? 探討AI生態合規失敗的潛在影響。
計劃于2025年初發布的第二篇報告將提出可操作風險緩釋策略,并建議AI生態多方參與者實施廣泛干預措施。
通過本系列報告及配套研討活動,我們致力于推動AI治理對話,為政策制定者、行業領袖與研究機構提供洞見,助力AI技術優化開發與部署。理解合規失敗的歷史與當下模式,有助于構建預測模型以預判AI生態風險管理的薄弱環節及其潛在后果。盡管我們謹慎避免做出明確未來預測,但本報告強調:技術迅猛發展與人因決策的復雜交互,要求建立有效AI治理與強健安全框架——這些因素正給任何長期預測帶來重大不確定性。
本報告是系列研究之一,旨在分析新興技術對美國國土安全部(DHS)任務與能力的影響。作為研究組成部分,作者團隊開發一套技術與風險評估方法論,用于評估新興技術并理解其在國土安全背景下的潛在影響。該方法論與分析為DHS提供了理解新興技術及其風險的基礎框架。
確保太空關鍵通道的可靠接入已成為經濟與國家安全的重要命題。鑒于DHS廣泛的國土安全職責與權限(作為美國政府最大的執法機構),該部門在諸多依賴太空可靠接入的活動中具有核心利益,特別是在與16個關鍵基礎設施部門相關或位于其中的領域。
在技術評估中,作者團隊考察了四個維度:技術可用性,以及風險與情景(細分為威脅、脆弱性和后果)。風險與情景分析由DHS科技政策辦公室和DHS政策辦公室提供。研究團隊將這四個維度置于三個時間段進行比較——短期(最多三年)、中期(三至五年)和長期(五至十年)。具體而言,研究聚焦未來十年內通信與成像衛星、太空數據中心與存儲設施、太空研發、太空增材制造、商業能源生產及太空采礦等領域的技術進展。
云計算已成為全球數字經濟的基礎要素,釋放出前所未有的創新和連接水平。為了解這一關鍵使能技術對國際安全的深遠影響,本報告概述了云計算的相關用例、益處和風險,以及其關鍵治理挑戰和對軍備控制的影響。本報告分為兩部分--技術入門和治理入門--提供技術見解和政策分析。
本文對技術進行了通俗易懂的描述,解讀了技術的各個組成部分,同時概述了選定的優勢、風險和相關的國際安全應用。云計算實現了計算資源的可擴展性和靈活性,以及成本效益和實時數據處理與共享。與此同時,云計算也會加劇網絡安全威脅,增加跨境管轄問題,增加對少數大型服務提供商的依賴。
該技術入門指南還將云計算置于更廣泛的人工智能(AI)背景下,強調了云計算在促進和加速人工智能發展方面的作用。隨著國防、關鍵基礎設施和人道主義部門等與國際安全有交集的部門越來越多地采用云計算解決方案,謹慎平衡風險與收益至關重要。
有鑒于此,治理入門概述了與國際安全相關的關鍵治理挑戰。這些挑戰源于技術和商業模式本身的固有因素,以及與云計算交織在一起的地緣政治和國際安全現實相關的更廣泛因素。這些挑戰包括云計算的復雜性、數字主權、市場和地理集中度、與其他技術治理工作的交叉,以及軍事領域使用增加所帶來的治理挑戰。
最后,本報告探討了云計算對軍備控制的影響。它為討論軍備控制討論如何更好地考慮云計算帶來的問題,以及傳統軍備控制機制(如出口控制)如何受到新技術現實的影響提供了一個跳板。
本文探討了基礎模型的雙重用途挑戰及其對國際安全構成的風險。隨著人工智能(AI)模型越來越多地在民用和軍用領域進行測試和部署,區分這些用途變得更加復雜,有可能導致國家間的誤解和意外升級。基礎模型的廣泛能力降低了將民用模型轉用于軍事用途的成本,從而難以辨別另一個國家開發和部署這些模型背后的意圖。隨著人工智能對軍事能力的增強,這種辨別能力對于評估一個國家構成軍事威脅的程度至關重要。因此,區分這些模型的軍用和民用應用的能力是避免潛在軍事升級的關鍵。本文通過基礎模型開發周期中的四個關鍵因素分析了這一問題:模型輸入、能力、系統用例和系統部署。這一框架有助于闡明民用與軍事應用之間可能產生歧義的點,從而導致潛在的誤解。本文以《中程核力量條約》(INF)為案例,提出了幾項降低相關風險的策略。這些策略包括為軍事競爭劃定紅線、加強信息共享協議、采用基金會模式促進國際透明度,以及對特定武器平臺施加限制。通過有效管理雙重用途風險,這些戰略旨在最大限度地減少潛在的升級,并解決與日益通用的人工智能模型相關的權衡問題。
先進人工智能(AI)與當代各部門和各行業的融合不僅僅是技術升級,更是一場具有深遠影響的變革。本文探討了與先進人工智能在社會、經濟和政治系統中的快速融合相關的結構性風險概念。這一框架挑戰了主要關注人工智能直接威脅(如事故和誤用)的傳統觀點,并提出這些更近似的風險是相互關聯的,并受到更大的社會技術系統的影響。通過分析技術進步與社會動態之間的復雜互動,本研究確定了結構性風險的三個主要類別:前因結構、前因人工智能系統和有害反饋回路。我們提出了一個全面的框架來理解驅動這些風險的因果鏈,強調了社會規模的結構性力量與誤用、系統故障和錯位系統擴散等更近似的風險之間的相互依存關系。本文闡述了不加控制的人工智能進步如何重塑權力動態、信任和激勵結構,從而導致深刻且往往不可預測的社會變革。介紹了繪制、模擬和推演這些動態的方法論研究議程,旨在讓政策制定者和國家安全專業人員做好準備,應對下一代人工智能技術帶來的挑戰。本文最后提出了政策建議,通過將對人工智能-社會技術關系的細致理解納入戰略規劃和國際治理,來降低這些風險。
技術的開發和應用不是孤立的,而是與人類的需求、動機和環境緊密聯系在一起的。人工智能系統尤其如此--經過訓練的適應性學習技術,能夠與社會和物理世界融合互動。這種社會技術生態通過人機互動不斷發展,在改變社會結構(文化、經濟和政治)的同時推動技術加速發展(Valverde,2016 年)。因此,研究人員越來越多地從復雜系統的角度來評估人工智能,重點關注其結構、功能以及與平行系統的關系如何影響風險動態(Lazar & Nelson, 2023; Weidinger et al.) 越來越多的文獻研究了人工智能在技術、人類和系統層面的安全性,指出了反饋回路(Weidinger 等,2023 年;Anwar 等,2024 年)和社會適應(Bernardi 等,2024 年)的重要性。人工智能治理研究人員將這類風險稱為結構性風險:技術如何塑造或被更廣泛的環境塑造(Zwetsloot 等人,2019 年;Dafoe,2020 年)。盡管如此,對人工智能結構性風險動態的研究仍然有限,只有戰略武器和威懾(Avin & Amadae, 2019; Flournoy et al., 2020; Wong et al., 2020; Johnson et al., 2023)和快速社會變革(Ward, 2022)領域有明顯的例外。
圖 1. 人工智能風險格局。事故風險和誤用都與自我強化動態有著廣泛的重疊。誤用人工智能系統會讓技術安全問題顯現出來,而結構性力量(如經濟或地緣政治)會促使未經測試的系統過早發布,改變權力動態(改變攻防平衡),或降低進入門檻。
結構性風險可定義為在更廣泛的社會技術系統中開發和部署先進人工智能技術所產生的動態變化,包括互為因果的事件鏈、激勵結構和權力不對稱。對結構性風險的研究將分析重點從因果鏈末端的威脅--近因和事件,如無法控制的美國空軍人工智能無人機系統--轉移到潛在的結構性力量、它們之間的相互作用以及意想不到的后果。因此,雖然結構性風險有別于人工智能帶來的其他更直接的威脅(如目標錯位或網絡威脅),但它們是其特征和嚴重性的基礎。因此,大多數人工智能風險都具有間接因果途徑的結構性基礎(圖 1)。例如,過早部署一個功能強大、潛在不安全的系統可能會對事故產生直接影響,如系統故障,或部署錯位系統,或間接改變進攻-防御力量的對稱性(如增強進攻性網絡能力),導致國家間關系緊張,甚至沖突。事實上,新能力的提升會影響到更廣泛的社會和政治環境,同時也會受其影響。這種框架導致一些研究人員認為,大多數人工智能風險本質上都是結構性的(Krueger,2023 年;Clarke,2022 年)。
為了進一步闡明間接風險這一點,可以考慮采用化石燃料的歷史例子。雖然人類使用化石燃料已有數千年的歷史,但在 19 世紀,化石燃料的廣泛傳播造成了人口和工業的爆炸性增長,推動了工業革命的空前發展(Jianfen,2021;Wrigley,2013)。化石燃料使用的外部效應導致了廣泛的健康影響(如污染、工廠作業)、城市和國防工業基地的快速擴張以及大氣中二氧化碳的持續增加。因此,從第一批燃煤發電廠和鐵路到內燃機以及二戰前線軍事裝備的開發和運輸,都可以追溯到間接的因果聯系(布萊克,2017;達福,2020)。技術如何改變支撐發展和國際安全的結構性力量,推動社會組織和沖突的特征進入二十世紀。
權力動態和對對手的不信任會推動新技術快速融入全球軍事,導致以前無法想象的沖突形式,如一戰中的無限制潛艇戰、閃電戰戰術,以及二戰中第一顆原子彈的使用。雖然技術進步與沖突之間沒有直接的因果關系,但驚人的能力確實改變了可能的平衡,而權力不平衡、不信任和維持統治地位的動機又加劇了這種平衡。這些力量會形成危險的反饋循環,扭曲價值結構,加速競爭,增加事故和濫用的風險。在德國決定在一戰中實施無限制潛艇戰之前,各方都認為在戰爭中使用這種戰術是不可想象的(Gompert,2014);然而,首次使用引發了各方參與,導致美國卷入一戰。今天,關于完全自主武器系統的倫理和禁止問題也有類似的討論(Kallenborn, 2020)。然而,歷史的教訓表明,新的能力與正確的激勵措施相結合,可以從根本上改變可允許性的結構動態。
這些動態的一個當代例子是圍繞人工智能發展的經濟和地緣政治競賽動態,推動公司和國家加快部署時間表。另一個例子是社交媒體算法對人類社會組織和決策的影響,導致整個政治制度和個人傷害的轉變。此外,對武器系統(戰略、戰術或指揮控制系統)自主性的信任螺旋式上升,導致緊張局勢加劇和技術升級(Avin & Amadea, 2019)。隨著系統越來越強大,社會和技術世界變得越來越相互依存,結構性風險可能會出現新的表現形式。事實上,人工智能內容選擇算法對青少年自殺或投票行為的影響,在達到人工智能復雜性的特定門檻之前,并沒有人注意到。在一些尚未考慮的領域,情況可能也是如此。正如在 1945 年北卡羅來納州洛斯阿拉莫斯的特尼狄核彈試驗之前,核輻射的影響還相對遙遠一樣,人工智能的結構性風險也存在著一個巨大的、不確定的問題空間,目前還在視線之外。
本報告是關于新興技術對美國國土安全部(DHS)任務和能力影響的系列分析報告之一。作為這項研究的一部分,作者負責開發一種技術和風險評估方法,用于評估新興技術并了解其對國土安全的影響。該方法和分析為國土安全部更好地了解新興技術及其帶來的風險奠定了基礎。
本報告重點關注人工智能(AI),尤其是與關鍵基礎設施相關的人工智能。作者借鑒了有關智能城市的文獻,在評估技術時考慮了幾個屬性:技術可用性、風險和情景(作者將其分為威脅、脆弱性和后果)。本分析中考慮的風險和情景與影響關鍵基礎設施的人工智能使用有關。這些用例可以是用于監控關鍵基礎設施,也可以是對手利用人工智能對關鍵基礎設施進行非法活動和邪惡行為。風險和場景由國土安全部科技局和國土安全部政策辦公室提供。作者比較了短期(最多三年)、中期(三至五年)和長期(五至十年)三個時期的屬性,以評估人工智能關鍵基礎設施的可用性和相關風險。
人工智能(AI)的快速發展引發了專家、政策制定者和世界領導人對日益先進的人工智能系統可能帶來災難性風險的日益擔憂。雖然許多風險已被單獨詳述,但目前迫切需要對潛在危險進行系統的討論和說明,以便更好地為減輕這些危險提供信息。本文概述了人工智能災難性風險的主要來源,將其分為四類:惡意使用,即個人或團體故意使用人工智能造成傷害;人工智能競賽,即競爭環境迫使行為者部署不安全的人工智能或將控制權讓給人工智能;組織風險,強調人為因素和復雜系統如何增加災難性事故的幾率;流氓人工智能,描述控制遠比人類智能的代理固有的困難。對于每一類風險,我們都描述了具體的危害,介紹了說明性故事,設想了理想場景,并提出了減輕這些危險的實用建議。我們的目標是促進對這些風險的全面了解,并激發集體的積極努力,確保以安全的方式開發和部署人工智能。最終,我們希望這將使我們能夠實現這一強大技術的益處,同時將災難性后果的可能性降至最低。
圖:本文將介紹四類人工智能風險,并討論如何降低這些風險。
近年來,人工智能(AI)突飛猛進,引起了人工智能專家、政策制定者和世界領導人對先進人工智能所帶來的潛在風險的擔憂。與所有強大的技術一樣,人工智能必須以高度的責任感來管理風險,并利用其潛力來改善社會。然而,關于災難性或生存性的人工智能風險可能如何發生或如何應對,可獲得的信息非常有限。雖然有關這一主題的資料很多,但往往分散在各種論文中,而且通常針對的受眾面較窄,或側重于特定的風險。在本文中,我們將概述災難性人工智能風險的主要來源,并將其分為四類:
惡意使用。行為者可能故意利用強大的人工智能造成廣泛傷害。具體風險包括人工智能賦能的生物恐怖主義,它可以幫助人類制造致命的病原體;蓄意傳播不受控制的人工智能制劑;以及利用人工智能能力進行宣傳、審查和監視。為了降低這些風險,我們建議改善生物安全,限制獲取最危險的人工智能模型,并讓人工智能開發者為其人工智能系統造成的損害承擔法律責任。
人工智能競賽。競爭可能會迫使國家和企業匆忙開發人工智能,并將控制權拱手讓給人工智能系統。軍方可能會面臨開發自主武器的壓力,并將人工智能賦能的網絡戰,從而實現一種新的自動化戰爭,在這種戰爭中,事故可能會在人類有機會干預之前就失控。企業也將面臨類似的激勵,促使人類勞動自動化,并將利潤置于安全之上,從而可能導致大規模失業和對人工智能系統的依賴。我們還討論了從長遠來看,進化壓力可能會如何塑造人工智能。人工智能之間的自然選擇可能會導致自私的特性,而人工智能相對于人類的優勢最終可能導致人類被取代。為了降低人工智能競賽帶來的風險,建議對通用人工智能實施安全監管、國際協調和公共控制。
組織風險。組織事故造成的災難包括切爾諾貝利、三里島和挑戰者號航天飛機災難。同樣,開發和部署先進人工智能的組織也可能遭受災難性事故,特別是如果它們沒有強大的安全文化。人工智能可能會意外泄露給公眾或被惡意行為者竊取。各組織可能無法投資于安全研究,不了解如何以比一般人工智能能力更快的速度可靠地提高人工智能的安全性,或者壓制內部對人工智能風險的擔憂。為了降低這些風險,可以建立更好的組織文化和結構,包括內部和外部審計、多層風險防御以及最先進的信息安全。
流氓人工智能。一個普遍而嚴重的擔憂是,隨著人工智能變得比我們更智能,我們可能會失去對人工智能的控制。人工智能可能會在一種被稱為代理博弈的過程中,將有缺陷的目標優化到極致。人工智能在適應不斷變化的環境時,可能會經歷目標漂移,這與人在一生中獲得和失去目標的過程類似。在某些情況下,人工智能變得追求權力可能是工具理性的。我們還研究了人工智能如何以及為何會進行欺騙,在不受控制的情況下表現出受控制的樣子。與前三個風險來源相比,這些問題更具技術性。我們概述了一些建議的研究方向,以促進我們對如何確保人工智能可控的理解。
在每一節中,我們都提供了一些說明性場景,更具體地展示了風險源如何可能導致災難性結果,甚至構成生存威脅。通過提供一個對風險進行適當管理的更安全未來的積極愿景,我們強調,人工智能新出現的風險雖然嚴重,但并非不可克服。通過積極應對這些風險,我們可以努力實現人工智能的益處,同時最大限度地降低災難性后果的可能性。
在本文中,作者描述了在為期兩天的SEI 2022年零信任行業日期間確定的一些零信任最佳實踐,并提供了SEI關于增強你的組織的零信任轉型的方法的評論和分析。
2022年的活動為行業利益相關者提供了一個場景,讓他們對聯邦機構在采用ZT時如何解決實際問題做出反應和展示。結果,SEI確定了由這些利益相關者提出的幾個主題和相應的最佳實踐,幫助政府組織規劃他們的ZT之旅。活動中的演講者展示了各種解決方案,可以解決聯邦機構在資源有限和網絡架構復雜的情況下所面臨的許多共同挑戰,如方案中所述。
他們的見解也應該幫助所有政府組織更好地了解各種供應商和整個ZT行業的觀點,以及這些觀點如何融入聯邦政府的整體努力。我們SEI相信,從2022年SEI零信任行業日獲得的見解將支持各組織評估當前的供應商狀況并為其ZT轉型做準備。