亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文介紹了生成式人工智能(Generative Artificial Intelligence)在虛假信息(數字化社會的主要威脅之一)背景下可以發揮的作用。提出了一個研究框架,用于為虛假信息模擬生成定制的基于智能體的社交網絡,從而在討論公開挑戰的同時理解和評估這些現象。

生成式人工智能(GenAI)的出現從根本上重塑了數字內容創作領域,影響了我們制作圖像、視頻、音頻和文本的方式。目前,人工智能模型可以根據簡單的語言提示所提供的語境制作出非常逼真的內容。GPT-4 (OpenAI)、Claude (Anthropic)、PaLM 和 LaMDA (Google)、LLaMA (Meta AI)、Chinchilla (Deep Mind) 和 Alpaca (Stanford) 等出色的 LLM 極大地增強了根據給定上下文生成文本的能力。同樣,DALLE 2(OpenAI)、Stable Diffusion(Runway)和 IMAGEN(Google)等圖像生成模型也引入了一種新方法,用于創建能準確描繪現實生活場景的圖像。值得注意的是,Phenaki(谷歌)和 Gen-2(Runway)等文本到視頻模型也取得了重大進展[1]。

這些生成技術配備了開源模型和可訪問的界面,對編程、娛樂、教育和藝術等一系列領域的生產力產生了積極影響。在學術和研究領域,特別是對社會科學家而言,這些工具為創建逼真的內容、模擬人類行為或定制行為實驗提供了新的機會[2]。大型企業和大學最近進行的試驗凸顯了這些人工智能工具在自我指導生活模擬、開放世界實驗、心理研究和社會模擬等領域的潛力[3]。

在這種情況下,我們不難認為 GenAI,尤其是大型語言模型(LLMs),是應對當今社交媒體中出現的主要威脅之一(即虛假信息)的有力武器。也就是說,惡意實體利用社會網絡的超級連接性,故意傳播虛假或誤導性信息,欺騙或操縱人們的信仰、觀點或行動。最近的研究表明,這些欺騙技術在社交媒體中非常有效,例如在政治選舉中[4]。

在本研究中,將深入探討 LLMs 作為一種創新方法在受控實驗環境中理解、模擬和評估虛假信息的潛力[5]。在傳統背景下,虛假信息主要圍繞假新聞傳播和影響的理論建模,以及利用社交媒體數據進行檢測和評估。這一領域要解決幾個問題,包括審查事件的復雜性,因為沒有真相基線來確認影響活動的目標、策略和參與者;缺乏各種操縱行為的標記數據集;在第三方平臺測試技術對策的不可行性;或必須有人參與才能衡量欺騙活動的認知影響[6]。

反之,LLM 正被用于用體現人類行為的智能體來真實地統治系統,取代數學模型和靜態實驗[7]。這一進步為創建控制信息交換的上下文、用戶和功能的任何信息環境打開了大門,導致基于智能體的生成式社會網絡成為沙盒。在這些受控場景中,可以對紅色智能體進行編程,以模擬定制的虛假信息攻擊,從而進一步分析其演變過程和對個體網絡的影響。因此,我們認為 LLM 有可能緩解虛假信息領域的一些普遍挑戰。本文深入探討了研究機會,并指出了實現這些設想目標所面臨的尚未解決的突出挑戰。

研究機會

隨著 GenAI(特別是 LLMs)的進步,本文闡明了這些技術在社交媒體和虛假信息研究方面的潛在研究機會。

O1. 基于智能體的生成式社會網絡

基于智能體的社會系統的創建涉及開發和實施計算模型,模擬社會背景下個體的互動和行為[2]。這些系統通常旨在模擬真實世界的社會動態,從而探索和分析復雜的社會現象[7]。

傳統的智能體系統雖然有助于模擬社會動態,但也存在局限性。它們依賴于預定義的規則,這限制了它們模擬現實世界中不可預知性的能力、適應性和可擴展性。然而,LLM 可以增強這些智能體的自主性,讓它們在預設規則的范圍之外做出獨特的反應或行動,從而使模擬更加動態和逼真[3]。此外,它還能模擬錯綜復雜的決策過程或實現 OODA(觀察、定向、決策、行動)循環,使智能體能夠對廣泛的情況和互動做出反應。

LLM 為模擬任意數量的用戶和創建逼真的有機互動提供了一個獨特的機會,這項任務在過去具有相當大的挑戰性,但如今卻可以生成基于智能體的社會網絡。人工智能驅動的智能體具備適應流動場景的能力,能產生連貫、多變和逼真的沙盒[8]。在圖 1 中,使用 GPT4 和三個隨機用戶啟動了一個模擬。從零開始,在沒有任何背景的情況下,每個智能體都能感知模擬的社交網絡,保留其感知和行動的記憶,并據此進行互動或發布內容,從而更新模擬環境。

圖 1. 由 GPT-4 管理的三個智能體用戶的合成社交線程

O2. 可定制的虛假信息環境

基于生成式智能體的社交網絡為再現量身定制的情境(如虛假信息情境)提供了重要機會[9]。這一過程可能涉及三個組成部分:智能體描述和屬性、共同語境信息和邏輯規則。

首先,智能體的描述和屬性是每個智能體個體行為的驅動力。這些因素千差萬別,可能包括智能體的網絡角色(人類用戶、組織或機器人)、背景、簡介、思想、社會人口特征和行為[6]。仔細定義這些屬性,就能產生多種多樣的智能體,準確地代表現實世界社交網絡中的用戶[8]。不僅可以模擬來自不同意識形態、國家或年齡的多樣化用戶,還可以模擬具有惡意目的的用戶,如制造爭議、進行非法互動以支持未經證實的主張或有機生成陰謀內容。關于惡意用戶,DISARM 框架可配置不同類型虛假信息攻擊的戰術、技術和程序(TTPs),例如,計劃戰略和目標、目標受眾分析、開發敘事和內容、建立社會資產和合法性、微目標和選擇渠道、提供內容、最大化曝光和在信息環境中持續存在。

此外,共同背景信息提供了塑造環境的更廣泛的社會和群體方面[10]。它包括事件、事實、社會經濟因素和其他影響智能體在網絡中的行為和互動的要素。例如,上個月失業率大幅上升,戰爭爆發,或由于假新聞的日益猖獗而導致社會兩極分化。此外,還可以誘導虛假信息傳播背后的因素,如情緒因素、不確定性、缺乏控制或偏見。多種變量和因素的結合有助于制作一個特定的真實場景,模擬虛假信息是如何傳播的。

同時,邏輯規則決定了信息環境的設置和運行,從而迫使這些復雜系統在真實世界中運行[7]。生成信息的數量和用戶參與互動的概率可以是高級參數,用于影響社交網絡的動態、影響力、擴散以及信息在網絡中共享和傳播的其他方面[11]。這些規則配置智能體的行為,從而影響社交網絡的整體動態。

考慮一個選舉舞弊場景。首先,定義智能體屬性,包括普通公民、政治活動家、散布虛假信息的機器人和官方選舉賬戶的特征,每個人都有獨特的特征和行為。這就為 LLM 所利用的每個用戶創建了特定的上下文。其次,LLM 在交互過程中還會考慮到背景信息,如選舉在即、潛在的投票違規行為和當前的政治氣候。最后,還設定了管理信息共享、影響確定和網絡對新信息的響應的邏輯規則,以編制模擬和 LLM 使用的工作流程。

O3. 評估虛假信息的影響

使用 LLM 和基于智能體的社會場景為在受控場景內研究虛假信息提供了一個難得的機會,這主要是由于在真實世界環境中評估這些攻擊的復雜性。具體來說,根據上述 DISARM 框架,虛假信息攻擊的最后階段是評估效果。

具體來說,虛假信息策略往往與常規信息流交織在一起,因此區分、隔離和分析其實際影響具有挑戰性。另一方面,模擬環境提供了一個安全可控的環境,可以引入和研究不同類型的虛假信息攻擊,而不受現實世界的相關限制[11]。它還為實驗新的欺騙理念提供了一個獨特的試驗場。事實上,從這些研究框架中可以生成合成的標注數據集,不過需要人工審核或半自動系統對其進行評估[12]。

此外,在虛擬沙盒中,可以調整和跟蹤各種變量,如 TTP、強度和操縱操作的性質,以及智能體的屬性和上下文。通過采用適當的框架和模型,可以估算出特定虛假信息策略的有效性。此外,還可以仔細研究智能體概況或情景背景等變量的影響[5]。

圖 3 展示了兩個智能體在面臨選舉舞弊威脅時的觀點演變過程,這兩個智能體分別是 40 歲的公民和憤怒的青少年。每個人一開始都對選舉結果有自己的看法。成人起初保持中立,盡管受到了虛假信息的干擾,但他仍然對系統抱有信心,因為他的觀點更加詳盡。相反,預先設定了憤怒情緒的青少年在與社交網絡互動后,反映更為簡單,并開始質疑選舉結果的合法性。這個例子表明,情緒狀態、年齡和對預期結果的確認偏差等因素會在很大程度上影響對虛假信息的易感性和觀點的改變。

圖 3. GPT-4對智能體意見管理中虛假信息的影響

O4. 技術反制措施測試

在基于智能體的社交網絡中,可以模擬并獨立配置針對虛假信息的技術反制措施(對策),而無需依賴大型公司[9]。DISARM 框架提出了應對技術措施,如內容靜音、刪除、限制相同內容的傳播率、創建競爭性敘述、實時事實核查或為內容添加元數據。也就是說,所有這些應對措施都可以在模擬中進行測試。

從這個意義上說,LLM 具有創建良性智能體的優勢,而這些智能體可以作為打擊虛假信息的有力輔助工具。這些智能體可以提供另一種說法,為誤導性信息添加上下文,根據可信度、情感或真實性對信息進行實時檢查,并利用其分類能力標記可疑內容[12]。在圖 4 中,我們命令 GPT-4 模擬對第一條投票舞弊信息進行事實檢查,并為巨魔帖子添加上下文橫幅。此外,它還會根據情感和真實性對每條信息進行分類。兩個智能體的意見不再受到有關選舉的陰謀論的干擾,在兩種情況下都對民主結果保持信心。

上述模擬緩解技術可在受控沙盒中進行評估,以證明其在虛假信息環境中的有效性。在沒有保護措施的情況下(圖 3)和有反制措施的情況下(圖 4),對智能體接觸虛假信息時的信念和反應進行比較,可以證明應對策略的有效性。從這個意義上說,事實核查、上下文信息和內容標記等保護機制消除了成年公民的不確定性或青少年表達的疑慮。此類比較研究可為制定更有效的反虛假信息戰略提供寶貴的見解。

圖 4. 在 GPT-4 管理的虛假信息環境中采取反制措施的效果

O5. 輔助個性化認知培訓

網絡安全意識和認知培訓為提高人類能力提供了解決方案,特別是在使用云、移動、物聯網和社交網絡等技術生成的復雜系統中,因為這些技術會產生海量信息。意識是一個在心理學中定義明確的概念,已成為多項研究的主題,旨在將其原理轉化到網絡安全領域。特別是,需要采取教育干預措施,在社交媒體和虛假信息場景中培養這種意識。通過評估安全指標,可以了解網絡安全的現狀,預測安全風險、潛在攻擊以及隨著時間推移可能產生的影響[9]。

在這種情況下,基于智能體的生成式社交網絡可以成為旨在改進社交媒體安全培訓和認知意識課程的教育框架的基礎。具體來說,現實世界中的受訓者可以在這些真實場景中學會識別誤導性信息、識別潛在偏見或辨別兩極分化的情況。此外,虛假信息環境可以由 LLM 支持,以適應特定個人或群體的需求,在培訓期間提供明確的幫助,并根據學生的行動、反應和表現,在網絡演練過程中允許一定程度的靈活性。

圖 5 顯示了 GPT-4 根據兩個不同用戶的個人需求量身定制的基于選舉舞弊的指導性培訓練習,這兩個用戶分別是第一次參加投票且不習慣使用社交媒體的青少年和每天在社交網絡上花費八小時的資深政治影響者。前者缺乏經驗,不了解政治話語的復雜性,可能尚未發展出批判性思維來辨別誤導性和情緒化的說法。后者意識到了政治的復雜性和當前的兩極分化,需要提高認識才能正確行事,避免進一步助長社會分裂。出于教育目的,該系統可以利用 LLM,在飛行過程中根據個人描述進行調整,提供實用的背景標語,并顯示精確的理論課程。這種適應性可確保實際情況的復雜性不斷變化,以應對學生在連續練習中回答問題時發現的挑戰,從而實現持續學習。

圖 5. 基于 GPT-4 的智能體對人類進行虛假信息培訓

開放性挑戰

如前所述,LLM 為推動虛假信息研究提供了令人興奮的機遇。此外,所述機遇可以映射到基于智能體的生成式社交網絡的高級框架中。具體來說,圖 6 所示的框架由五個相互關聯的模塊組成,每個模塊都具有一定的特性和功能。首先,"定義 "組件負責對組成框架的實體進行建模,然后在模擬環境中重新創建。也就是說,模擬塊包含模擬實體,即 LLM 驅動的智能體、社交網絡本身和虛假信息模塊,而虛假信息模塊又包括進攻和防御框架。值得注意的是,機會 O1 與生成智能體和社交網絡的模擬有關,而進攻框架則與機會 O2 綁定。然后,仿真模塊負責從認知、社會和防御角度評估模擬環境中的整體情況。在這里,認知和防御評估分別與機會 O3 和 O4 對應。最后但同樣重要的是,"開發 "模塊將該框架與其他有價值的工具連接起來,以充分發揮其潛力,并從不同角度讓人類行動者參與其中。在我們的設想中,這樣一個組件包含可視化模塊、社交媒體可視化界面、培訓平臺(即與機遇 O5 相關的網絡范圍)和實時網絡態勢感知(CSA)模塊。

事實上,圖 6 顯示了擬議概念框架與分析機會之間的緊密聯系。然而,將這些機遇整合到虛假信息領域也會面臨一些挑戰,需要認真考慮。圖 6 也突出顯示了這些挑戰,包括每個模擬實體。在本節中,將對主要挑戰進行細致描述,并添加提示以幫助研究人員解決這些挑戰,從而研究并在可能的情況下減輕數字環境中的虛假信息威脅。

圖 6. 基于智能體的生成式社交網絡的機遇與挑戰概念框架

C1. 智能體建模、模擬和評估

首先,對 LLM 驅動的智能體在虛假信息背景下的行為建模可以說是一個難題。事實上,這種建模應考慮與模擬智能體的不同個性有關的幾個方面。從這個意義上說,必須定義每個智能體的個人特征,如年齡、性別、興趣和個人信仰等。這些特征至關重要,可能會影響智能體在模擬社交網絡中的行為和態度,這一點已在前面有關研究機會的示例中說明。此外,每個智能體都應具備屬性和目標,并將利用這些屬性和目標做出決策、形成觀點以及與總體模擬進行交互。也就是說,還應考慮智能體的異質性,如不同程度的影響力、可信度和易受說服性。從這個意義上說,有效的提示設計對于溝通和塑造 LLM 驅動的智能體至關重要。特別是,最好能結合上下文信息來促進智能體的行為,并在提供極其具體的指示與允許創造性和動態性之間取得平衡。然而,由于 LLM 的內部過程是隨機的,因此以清晰、可解釋的方式設計和實施行為是一項艱巨的任務。

此外,模擬這些智能體也是一項挑戰。在圖 6 中,我們將模擬生成智能體與模擬環境進行持續互動。特別是,它們會感知來自社交網絡的一些信息,并因此根據自身特點采取行動。從這個意義上說,虛假信息研究中最重要的問題之一在于理解和模擬虛假信息是如何在社交網絡中傳播并影響個體的。從這個意義上說,將心理模型和認知理論整合到 LLM 中,為模擬和研究驅動人類接收、分析和傳播虛假信息的心理機制提供了一個難得的機會[9]。

一個明顯的例子是利用認知偏差來塑造生成智能體的個性,如確認偏差或可得性偏差[13],這將對研究人員大有裨益,他們將能夠重新生成與預先存在的信念或容易獲取的信息相一致的有機虛假信息內容。例如,可以對 LLM 進行編程,使其生成有說服力的虛假(或半真實)敘述,從而利用個人的確認偏差,強化其現有觀點,進而影響其決策過程。通過這種方式,該模型可以生成與特定目標受眾相呼應的量身定制的虛假信息,從而提高虛假信息被消費和傳播的總體概率。此外,LLM 還可以借助認知理論來識別人類決策過程中的漏洞。具體來說,法律信息模型可以模擬人類內在的認知限制或啟發式方法,例如有界理性(影響次優決策)或可用性啟發式方法(影響情感決策過程)。這樣,LLMs 就能生成威脅性的虛假信息,試圖利用這些弱點作為最終目標。舉例來說,虛假信息內容可以利用個人有限的注意力,使他們由于時間限制和缺乏詳盡的事實核查而更容易受到這種威脅。盡管如此,這些認知機制對智能體的模擬和行動的影響也應加以衡量(最好加以調整),以實現逼真的模擬。

C2. 社交網絡建模、模擬和監測

為了研究在虛假信息背景下使用 LLM 的情況,并在可能的情況下打擊這種現象,必須對現實的社交網絡進行模擬和建模。顯然,這些過程相當復雜,因為現代社交網絡包含一些固有特征,在模擬時需要特別注意。從這個意義上說,如圖 6 所示,信息環境是概念框架的核心組成部分。具體來說,它與智能體雙向互動(通過通知相關社會事件和接收更新),并從紅色框架(注入虛假信息)和藍色框架(通過部署技術對策保護信息生態系統)獲得輸入。

特別是,研究人員應設計和開發有意義的模型,模擬用戶互動和交流模式,以捕捉社交網絡的復雜性[7]。開發包含互動、推薦、傳播和社會影響動態的代表性社交網絡模型,對于準確模擬虛假信息在社區內的傳播至關重要。這項任務主要包括分析以下內容:

  • 直接交流: 捕捉用戶如何通過消息、評論或直接互動進行直接交流。這一特征反映了社交網絡中的個人聯系和對話。
  • 信息共享: 模擬用戶之間如何共享和傳播(非)信息。這包括在網絡中分享鏈接、文章或任何其他內容。
  • 用戶參與: 捕捉用戶對不同類型內容的參與。這包括用戶與不同帖子、評論或討論的互動。

顯然,所有這些事件都應通知到智能體,由其感知信息并動態調整自己的行為,從而執行相應的操作。在這一循環中,強迫智能體采取特定的微調行為顯然是復雜的,尤其是考慮到復雜的社交網絡中同時存在大量事件和多個模擬用戶。另一方面,信息環境是紅色框架的目標,例如,根據 DISARM 分類法生成虛假信息。當然,這種威脅也可能是由參與社會環境的 LLM 智能體產生的。在這種情況下,模擬網絡應能適應虛假信息的注入,修改上述用戶之間的互動和交流模式。此外,作為虛假信息活動的后果,藍色框架會部署技術反制措施。從這個角度看,社交圖譜也應能夠根據所選反制措施的性質進行動態調整。

最后但并非最不重要的一點是,必須研究和評估虛假信息的擴散和放大,如影響力和回音室。更具體地說,信息擴散是指信息通過社會網絡從一個實體傳播到另一個實體的過程。就虛假信息研究而言,評估虛假信息內容如何在社交網絡中傳播和放大尤為重要。要實現這一宏偉目標,考慮到大量用戶和關系,每當發起虛假信息活動時,監控整個社交圖譜的狀態至關重要。

C3. 虛假信息建模、模擬和評估

要充分利用虛假信息研究的能力,可以說,對虛假信息活動進行建模和模擬是該框架的核心要素。然而,從設計和技術角度來看,這些過程都具有挑戰性。

從第一項任務開始,虛假信息建模顯然是文獻中眾所周知的研究課題。然而,正如圖 6 所示,它與智能體之間的關系也提供了巨大的研究機會和挑戰。具體來說,設計虛假信息攻擊和反制措施至關重要,因為它們應該在社交網絡中真實模擬,以研究其動態并衡量其影響。一方面,必須確定虛假信息攻擊的主要目標和范圍。在這方面,所涉及的人群(及其內在屬性)、目標社交渠道和攻擊持續時間對于創建一個逼真的模型至關重要。一旦確定了目標,該模型就應能夠創建與目標相一致的虛假信息內容,同時考慮到信息的含義(如文章、帖子等)和信息本身(如語氣、風格等)。在這一階段,DISARM 框架可以幫助塑造虛假信息攻擊,此外,還可以使模型具有可復制性,并隨時與研究界共享。

另一方面,我們也考慮了防御的觀點,因為我們相信模擬智能體可以成為部署反制虛假信息攻擊的主要行動者。與紅色框架相反,藍色框架無法與通用框架聯系起來,因此,除傳統的事實核查、媒體審查、內容刪除等措施外,提出更多的應對措施也是這一過程的挑戰之一。一旦正確建模,就必須在社交網絡中模擬防御行動,以便可能發現智能體的行為差異和反應,例如,反制措施有效,智能體理解了虛假信息攻擊,或者相反,他們拒絕反制措施,信任虛假信息宣傳。觸發臨時和無代理反制措施的可能性也很吸引人,以便觀察是否出現任何社會動態變化。

建模和模擬階段結束后,評估社會圖譜中虛假信息攻擊和反制措施的有效性或低效性至關重要[14]。要實現這一目標,第一站就是創建有意義的指標,以衡量其對生成智能體的行為和動態的影響。例如,從個體和群體的角度評估不同的虛假信息攻擊(如針對不同主題、具有不同模式等)對智能體的感知和隨之采取的行動的影響將是有益的。從這個意義上說,要完成這項任務顯然是很困難的,這主要是由于社會互動的復雜性、行為模擬的多樣性以及可能的攻擊等等。同樣,每當啟動一項反制措施時,系統都需要對其有效性進行監控和評估。即使在這種情況下,社交網絡的內在特性也會使任務更加艱巨。此外,可以說不同的反制措施(如社區標簽、事實核查等)會對社交互動產生不同的影響,從而增加了評估過程。然后,應評估攻擊-防御模式的效果。具體來說,一旦虛假信息攻擊和補救措施的模型和模擬都取得成功,交替執行不同模式的紅藍任務就值得關注。

結論

本文討論了 LLM 對虛假信息研究的影響。從生成可定制的虛假信息環境,到基于這些環境對用戶進行意識培訓,有許多研究方向可能真正具有開創性。不過,文獻也指出了使用這些技術的一些倫理問題。其中有些是很普遍的問題,比如將其用于欺騙目的或傳播社會偏見[14],而另一些則可能是虛假信息領域特有的問題,比如它有可能將這項研究武器化。

一般來說,使用 LLMs 存在固有風險。正如由專家和公眾人物簽署的《人工智能風險聲明》所反映的那樣,欺騙性風險是多方面的、復雜的。這對社交工程、社交媒體和認知安全的影響尤為明顯,這些領域由于依賴數字內容和用戶的內在信任而十分脆弱。主要威脅可能包括人工智能驅動的魚叉式網絡釣魚、深度假冒、大規模虛假信息活動或人工智能驅動的系統漏洞利用[15]。生成性誤用能夠為欺騙目的制造超逼真的內容,對網絡生態系統構成新的威脅[14]。其危險性在于它們不僅能制作逼真的內容,還能制作符合語境和針對受眾的內容,從而增加成功欺騙的可能性。2023 年 6 月的一個案例是普京令人信服的深度偽造視頻,其目的是虛構烏克蘭入侵俄羅斯領土的動員信息,并成功滲入主流新聞頻道。更具體地說,這項研究的潛在發展也可用于負面目的,例如將模擬環境與真實社交網絡連接起來,以策劃虛假信息宣傳活動,或分析哪種虛假信息攻擊能對某些總統候選人的投票產生最大影響。

這種緊張關系經常出現在適用雙重用途困境的研究場景中,例如在網絡安全方面,研究網絡攻擊以找到適當的防御方法,或試驗可用于治療的新藥物。因此,考慮到目前存在的倫理問題,在這種背景下開展的研究應仔細論證,并以有益于社會的應用為目標,例如調查技術或人為對策的效果,以減少虛假信息的傳播,或開發提高認識的培訓工具,以提高我們普通民眾的信息素養技能。最終,這些應用將需要被最終用戶所采用,因此,我們應采用以人為本的方法,并掌握使用這些工具所需的掃盲技能。

總之,本文認為,虛假信息和 LLM 是一個很好的組合,有許多潛在的研究應用,可以發展成為有影響力的工具。然而,技術、人類和倫理方面的挑戰也是巨大的,需要在未來十年開展前沿研究,以超越上述差距。如果研究得當,這項多學科研究將有助于對抗對 21 世紀社會構成重大威脅的虛假信息危險。

付費5元查看完整內容

相關內容

人工智能在軍事中可用于多項任務,例如目標識別、大數據處理、作戰系統、網絡安全、后勤運輸、戰爭醫療、威脅和安全監測以及戰斗模擬和訓練。

視覺語言模型(VLMs)最近已經展示出了強大的效能,作為可以解析關于視覺內容的自然查詢并生成類似人類輸出的視覺助手。在這項工作中,我們探討了這些模型基于感知信息展示人類式推理的能力。為了解決一個關鍵問題,即這些推理能力在多大程度上是完全一致和基于實際的,我們還測量了這些模型的推理一致性。我們通過提出基于思維鏈(CoT)的一致性度量來實現這一點。然而,這樣的評估需要一個包括高級推理和詳細推理鏈的基準,這是昂貴的。我們通過提出一個LLM-人在回路中的管道來解決這一挑戰,這顯著降低了成本,同時確保了高質量數據集的生成。基于這個管道和現有的粗粒度注釋數據集,我們構建了CURE基準,以測量VLMs的零樣本推理性能和一致性。我們評估了現有的最先進的VLMs,并發現即使在表現最佳的模型(BLIP-2)的情況下,也無法展示出強大的視覺推理能力和一致性,這表明需要大力努力,使VLMs能夠像人類一樣系統地和一致地進行視覺推理。作為早期步驟,我們提出了一個旨在提高VLMs的推理性能和一致性的兩階段培訓框架。第一階段涉及使用由LLMs自動生成的逐步推理樣本對VLMs進行監督微調。在第二階段中,我們進一步通過LLMs提供的反饋來增強訓練過程,以生成高度一致和基于實際的推理鏈。我們經驗性地突出了我們框架的有效性,并顯示了在推理性能和一致性方面的相對改進為4%。

//www.zhuanzhi.ai/paper/7973da2bc3cb888154e7d2c0ed548c64

付費5元查看完整內容

深度學習在經驗上非常有影響力,但在理論理解上滯后。神經網絡在結構和訓練算法上都比傳統的機器學習模型復雜得多,所以傳統的理論直覺可能不適用。本文旨在從理論上更好地理解深度學習中的泛化問題。在論文的第一部分,我們研究了所有數據都有標簽的監督設置下的泛化。我們的主要工具是泛化界:通過推導和研究泛化界,我們可以深入了解深度學習中影響泛化的各種因素。

首先,我們比較了正則化神經網絡和神經正切核(NTK)的統計特性。通過建立神經網絡常見的正則化訓練損失與基于輸出邊際的泛化界之間的聯系,我們證明了正則化神經網絡比NTK解具有更好的泛化效果。其次,我們基于邊緣的新概念——全層邊緣,推導出神經網絡的新泛化邊界。與傳統的基于規范的泛化測度相比,這些邊界更依賴于數據,更具有深度,并突出了數據依賴的Lipschitzness在泛化中的重要作用。我們以經驗證明,這些邊界對于激勵新的訓練目標和理解和解密現有的正則化策略是有用的。

在論文的第二部分,我們把我們的焦點轉向涉及未標記數據的設置。在這些情況下,很難證明為什么許多算法可以工作,盡管它們有廣泛的經驗成功。

首先,我們研究了視覺設置,并提出了一個理論框架來理解最近的半監督學習和領域適應的自訓練算法。通過利用自然圖像的現實結構屬性,我們表明,在未標記數據上的自訓練導致可證明的準確性增益。此外,我們的理論框架和相關假設可以用來表明,自監督對比學習在線性探針評價下獲得了可證明的良好特征。最后,我們研究了為什么預訓練語言模型可以幫助處理NLP設置中的下游任務。我們通過潛在的潛在變量生成模型來考慮預訓練和下游任務相關的設置。我們表明,當這個生成模型是HMM或記憶增強HMM時,預訓練允許解決下游任務的可證明保證。

//searchworks.stanford.edu/view/14230987

付費5元查看完整內容

Andrew Ng是機器學習的先驅、Landing AI的創始人兼首席執行官,也是谷歌Brain的前團隊負責人。最近,他在未來以數據為中心的人工智能虛擬會議上發表演講,討論了一些負責任的以數據為中心的人工智能開發的實用技巧。

本演講將深入探討適用于非結構化數據的以數據為中心的AI技巧

一個人工智能系統由兩部分組成:模型-算法或一些代碼-數據。對于大多數數據科學家(包括我自己)來說,機器學習研究人員的主導模式是下載一個固定的數據集,并在模型上進行迭代。這已經成為一種慣例,這是對這種以模型為中心的方法的成功的肯定。多虧了這種以模型為中心的AI開發模式,今天的“代碼”或模型基本上是一個已解決的問題。

這種對模型的強調將我們帶到了高性能模型架構被廣泛使用的地方。然而,系統工程數據集的方法是滯后的。今天,我發現使用工具、流程和原則來系統地設計數據來提高人工智能系統的性能要有用得多。就在過去的4-5個月里,以數據為中心的人工智能運動獲得了很大的發展勢頭,現在“以數據為中心的人工智能”這個術語出現在許多公司的主頁上,而在此之前它幾乎是不存在的。

付費5元查看完整內容

最近,開發神經網絡驅動的組合優化問題求解器(如旅行銷售人員問題)引起了學術界的極大興趣。這篇博文介紹了一個神經組合優化管道,它將幾個最近提出的模型架構和學習范式統一到一個單一的框架中。我們分析了深度學習在路由問題上的最新進展,并提供了新的方向,以促進未來的研究走向實際影響。

付費5元查看完整內容

隨著卷積神經網絡(Convolutional Neural Network,CNN)的不斷發展,目標檢測作為計算機視覺中最基本的技術,已取得了令人矚目的進展。介紹了強監督目標檢測算法對數據集標注精度要求高的現狀。對基于弱監督學習的目標檢測算法進行研究,按照不同的特征處理方法將該算法歸為四類,并分析比較了各類算法的優缺點。通過實驗比

較了各類基于弱監督學習的目標檢測算法的檢測精度,并將其與主流的強監督目標檢測算法進行了比較。展望了基于弱監督學習的目標檢測算法未來的研究熱點。

//cea.ceaj.org/CN/abstract/abstract39825.shtml

付費5元查看完整內容

這篇論文提供了在新興經濟應用的數據科學的最新進展的全面的最先進的綜述。在深度學習模型、混合深度學習模型、混合機器學習和集成模型四個單獨的類別上對新的數據科學方法進行了分析。應用領域包括廣泛而多樣的經濟學研究,從股票市場、市場營銷和電子商務到企業銀行和加密貨幣。Prisma方法是一種系統的文獻綜述方法,以確保調查的質量。研究結果表明,這種趨勢是隨著混合模型的發展而發展的,它的表現優于其他學習算法。進一步預計,這一趨勢將向復雜的混合深度學習模型的進化靠攏。

//www.mdpi.com/2227-7390/8/10/1799/htm

付費5元查看完整內容
北京阿比特科技有限公司