對抗樣本攻擊與防御是最近幾年興起的一個研究熱點,攻擊者通過微小的修改生成對抗樣本來使深度神經網絡預測出錯。生成的對抗樣本可以揭示神經網絡的脆弱性,并可以修復這些脆弱的神經網絡以提高模型的安全性和魯棒性。對抗樣本的攻擊對象可以分為圖像和文本兩種,大部分研究方法和成果都針對圖像領域,由于文本與圖像本質上的不同,在攻擊和防御方法上存在很多差異。該文對目前主流的文本對抗樣本攻擊與防御方法做出了較為詳盡的介紹,同時說明了數據集、主流攻擊的目標神經網絡, 并比較了不同攻擊方法的區別。最后總結文本對抗樣本領域面臨的挑戰,并對未來的研究進行展望。
目標檢測是一種廣泛應用于工業控制、航空航天等安全攸關場景的重要技術。近年來,隨著深度學習在目標檢 測領域的應用,檢測的精度得到了較大提升,但由于深度學習固有的脆弱性,使得基于深度學習的目標檢測技術的可靠性 和安全性面臨新的挑戰。本文通過對近幾年面向目標檢測的對抗樣本生成及防御的研究進行分析和總結,致力于為增強目 標檢測模型的魯棒性和提出更好的防御策略提供思路。首先,介紹了對抗樣本的概念、產生原因以及目標檢測領域對抗樣 本生成常用的評價指標和數據集。然后根據對抗樣本生成的擾動范圍將攻擊分為全局擾動攻擊和局部擾動攻擊。在這個分 類基礎上,又分別從攻擊的目標檢測器類型、損失函數設計等六個方面對目標檢測的對抗樣本生成方法進行了分析和總結, 并通過實驗對比了幾種典型目標檢測對抗攻擊方法的性能,同時比較了這幾種方法的跨模型的遷移攻擊能力。此外,本文 還對目前目標檢測領域常用的對抗防御策略進行了分析和歸納。最后,總結了目標檢測領域對抗樣本的生成及防御所面臨 的挑戰,并對未來發展方向做出了展望。
隨著人工智能技術的飛速發展,深度神經網絡在計算機視覺、信號分析和自然語言處理等領域中都得到了廣泛應用.自然語言處理通過語法分析、語義分析、篇章理解等功能幫助機器處理、理解及運用人類語言.但是,已有研究表明深度神經網絡容易受到對抗文本的攻擊,通過產生不可察覺的擾動添加到正常文本中,就能使自然語言處理模型預測錯誤.為了提高模型的魯棒安全性,近年來也出現了防御相關的研究工作.針對已有的研究,全面地介紹自然語言處理攻防領域的相關工作,具體而言,首先介紹了自然語言處理的主要任務與相關方法;其次,根據攻擊和防御機制對自然語言處理的攻擊方法和防御方法進行分類介紹;然后,進一步分析自然語言處理模型的可驗證魯棒性和評估基準數據集,并提供自然語言處理應用平臺和工具包的詳細介紹;最后總結面向自然語言處理的攻防安全領域在未來的研究發展方向.
深度學習模型被證明存在脆弱性并容易遭到對抗樣本的攻擊,但目前對于對抗樣本的研究主要集中在計算機視覺領域而忽略了自然語言處理模型的安全問題.針對自然語言處理領域同樣面臨對抗樣本的風險,在闡明對抗樣本相關概念的基礎上,文中首先對基于深度學習的自然語言處理模型的復雜結構、難以探知的訓練過程和樸素的基本原理等脆弱性成因進行分析,進一步闡述了文本對抗樣本的特點、分類和評價指標,并對該領域對抗技術涉及到的典型任務和數據集進行了闡述;然后按照擾動級別對主流的字、詞、句和多級擾動組合的文本對抗樣本生成技術進行了梳理,并對相關防御方法進行了歸納總結;最后對目前自然語言處理對抗樣本領域攻防雙方存在的痛點問題進行了進一步的討論和展望.
深度學習作為人工智能技術的重要組成部分,被廣泛應用于計算機視覺和自然語言處理等領域。盡管深度學習在圖像分類和目標檢測等任務中取得了較好性能,但是對抗攻擊的存在對深度學習模型的安全應用構成了潛在威脅,進而影響了模型的安全性。在簡述對抗樣本的概念及其產生原因的基礎上,分析對抗攻擊的主要攻擊方式及目標,研究具有代表性的經典對抗樣本生成方法。描述對抗樣本的檢測與防御方法,并闡述對抗樣本在不同領域的應用實例。通過對對抗樣本攻擊與防御方法的分析與總結,展望對抗攻擊與防御領域未來的研究方向。
深度學習是當前機器學習和人工智能興起的核心。隨著深度學習在自動駕駛、門禁安檢、人臉支付等嚴苛的安全領域中廣泛應用,深度學習模型的安全問題逐漸成為新的研究熱點。深度模型的攻擊根據攻擊階段可分為中毒攻擊和對抗攻擊,其區別在于前者的攻擊發生在訓練階段,后者的攻擊發生在測試階段。本文首次綜述了深度學習中的中毒攻擊方法,回顧深度學習中的中毒攻擊,分析了此類攻擊存在的可能性,并研究了現有的針對這些攻擊的防御措施。最后,對未來中毒攻擊的研究發展方向進行了探討。
//jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20200403&flag=1
摘要: 深度學習作為人工智能技術的重要組成部分,被廣泛應用在計算機視覺、自然語言處理等領域。盡管深 度學習在圖像分類和目標檢測等方向上取得了較好性能,但研究表明,對抗攻擊的存在對深度學習模型的安全應 用造成了潛在威脅,進而影響模型的安全性。本文在簡述對抗樣本的概念及其產生原因的基礎上,分析對抗攻擊 的主要思路,研究具有代表性的經典對抗樣本生成方法。描述對抗樣本的檢測方法與防御方法,并從應用角度闡 述對抗樣本在不同領域的應用實例。通過對對抗樣本攻擊與防御方法的分析與總結,預測未來對抗攻擊與防御的 研究方向。
隨著高計算設備的發展,深度神經網絡(DNNs)近年來在人工智能(AI)領域得到了廣泛的應用。然而,之前的研究表明,DNN在經過策略性修改的樣本(稱為對抗性樣本)面前是脆弱的。這些樣本是由一些不易察覺的擾動產生的,但可以欺騙DNN做出錯誤的預測。受圖像DNNs中生成對抗性示例的流行啟發,近年來出現了針對文本應用的攻擊DNNs的研究工作。然而,現有的圖像擾動方法不能直接應用于文本,因為文本數據是離散的。在這篇文章中,我們回顧了針對這一差異的研究工作,并產生了關于DNN的電子對抗實例。我們對這些作品進行了全面的收集、選擇、總結、討論和分析,涵蓋了所有相關的信息,使文章自成一體。最后,在文獻回顧的基礎上,我們提出了進一步的討論和建議。
【簡介】深度神經網絡(DNNs)在各項任務上都取得了不俗的表現。然而,最近的研究表明通過對輸入進行很小的擾動就可以輕易的騙過DNNs,這被稱作對抗式攻擊。作為DNNs在圖上的擴展,圖神經網絡(GNNs)也繼承了這一缺陷。對手通過修改圖中的一些邊等操作來改變圖的結構可以誤導GNNs作出錯誤的預測。這一漏洞已經引起了人們對在安全領域關鍵應用中采用GNNs的極大關注,并在近年來引起了越來越多的人的研究興趣。因此,對目前的圖對抗式攻擊和反制措施進行一個全面的梳理和回顧是相當有必要的。在這篇綜述中,我們對目前的攻擊和防御進行了分類,以及回顧了相關表現優異的模型。最后,我們開發了一個具有代表性算法的知識庫,該知識庫可以使我們進行相關的研究來加深我們對基于圖的攻擊和防御的理解。