什么是自動化攻擊?
惡意用戶不再需要分析代碼、編寫腳本或進行復雜的逆向編譯,只要找到合適的自動化工具就能輕松達到目的。
自動化攻擊包括自動化掃描漏洞和入侵、撞庫盜用賬號、業務自動化攻擊和自動化高級DDOS攻擊等。
本文提出了一種自動化對抗攻擊搜索方案,名為Composite Adversarial Attacks (CAA)。我們實現了32個基礎對抗攻擊算法作為候選池,并設計了一個搜索空間,將攻擊策略表示為一個攻擊序列,即前一個攻擊算法的輸出作為后繼攻擊的初始化輸入。通過使用NSGA-II遺傳算法對攻擊序列和攻擊超參的搜索,我們可以發現更優的攻擊策略并實現自動化對抗攻擊。和當下10個主流攻擊算法的對比實驗結果表明CAA可以在更小計算復雜度的情況下獲得目前最好的攻擊效果。)
//www.zhuanzhi.ai/paper/4594af42d79efb3a1090149653d332e6
【導讀】人工智能頂級會議AAAI2021接收結果已經公布,本次AAAI 2021一共收到9034篇論文提交,其中有效審稿的只有7911篇,最終錄取的數量為1692篇,接收率為21.4%,相比去年的20.6%高0.8%,競爭越來越激烈。近期,所有paper list 放出,小編發現基于對抗攻擊(Adversarial Attack)相關的接受paper不少,這幾年比如對抗攻擊、基于圖數據的對抗攻擊、NLP、CV上的攻擊防御等等一些列前沿的方法和應用受到了很多人的關注,也是當前比較火的topic。
為此,這期小編為大家奉上AAAI 2021必讀的六篇對抗攻擊相關論文——復合對抗攻擊、音頻對抗攻擊、互信息正則化、序列攻擊、不確定注意力圖神經網絡、不確定性匹配圖神經網絡
AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf
AAAI2021QA、AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI
1. Composite Adversarial Attacks
作者:Xiaofeng Mao, Yuefeng Chen, Shuhui Wang, Hang Su, Yuan He, Hui Xue
摘要:對抗攻擊是一種欺騙機器學習(ML)模型的技術,它提供了一種評估對抗魯棒性的方法。在實踐中,攻擊算法是通過人類專家人工選擇和調整,以破壞ML系統的算法。但是,手動選擇攻擊者往往不是最佳選擇,從而導致對模型安全性的錯誤評估。在本文中,我們提出了一種新的程序,稱為“復合對抗攻擊”(CAA),用于從32名基礎攻擊者的候選庫中自動搜索攻擊算法及其超參數的最佳組合。我們設計一個搜索空間,其中將攻擊策略表示為攻擊序列,即將前一個攻擊者的輸出用作后一個攻擊者的初始化輸入。CAA采用多目標NSGA-II遺傳算法尋找最強大的攻擊策略,且復雜度最低。實驗結果表明,CAA在11種多樣的防御系統中擊敗了10名頂級攻擊者,耗時更少(比AutoAttack快6倍),并且在l_∞、l_2和無限制對抗攻擊上實現了最新的技術水平。
網址:
2. Enabling Fast and Universal Audio Adversarial Attack Using Generative Model
作者:Yi Xie, Zhuohang Li, Cong Shi, Jian Liu, Yingying Chen, Bo Yuan
摘要:近年來,基于深度神經網絡(DNN)的音頻系統容易受到對抗性攻擊,這一點已引起越來越多的關注。但是,現有的音頻對抗攻擊使攻擊者可以擁有整個用戶的音頻輸入,并給予足夠的時間預算以產生對抗性干擾。但是,這些理想的假設使得現有的音頻對抗攻擊在實踐中幾乎不可能及時發布(例如,與用戶的流輸入一起播放不明顯的對抗擾動)。為了克服這些限制,在本文中我們提出了快速音頻對抗擾動發生器(FAPG),它使用生成模型在單個前向通過中為音頻輸入產生對抗性擾動,從而大大提高了擾動產生速度。在FAPG的基礎上,我們進一步提出了通用音頻對抗性擾動發生器(UAPG),該方案旨在制作通用對抗性擾動,可將其施加到任意良性音頻輸入上,從而造成誤分類。在基于DNN的音頻系統上的大量實驗表明,與現有的音頻對抗攻擊方法相比,我們提出的FAPG可以達到高達214倍的加速率,并且具有很高的成功率。同樣,我們提出的UAPG會產生通用的對抗性擾動,與最先進的解決方案相比,可以實現更好的攻擊性能。
網址:
3. Improving Robustness to Model Inversion Attacks via Mutual Information Regularization
作者:Tianhao Wang, Yuheng Zhang, Ruoxi Jia
摘要:本文研究了針對模型反轉(model inversion, MI)攻擊的防御機制-這是一種隱私攻擊的類型,旨在通過訪問目標機器學習模型來推斷有關訓練數據分布的信息。現有的防御機制依賴于特定于模型的試探法或噪聲注入。現有的方法雖然能夠減輕攻擊,但會嚴重影響模型性能。先前的方法仍然存在一個問題,即如何設計一種適用于各種模型并實現更好的效用(隱私權衡)的防御機制。在本文中,我們提出了基于互信息正則化的MI攻擊的防御(MID)方法。關鍵思想是限制有關預測中包含的模型輸入信息,從而限制對手從模型預測中推斷私人訓練屬性的能力。我們的防御原則與模型無關,對于線性回歸,決策樹和神經網絡,我們向正則化器提供了易于處理的近似值,如果未附加任何防御措施,則先前的工作已成功地對它們進行了攻擊。我們通過設計嚴格的基于游戲的定義并量化相關的信息泄漏,對MI攻擊進行了正式的研究。我們的理論分析揭示了DP在防御MI攻擊方面的效率低下,在先前的幾項工作中已通過經驗觀察到這一點。我們的實驗表明,MID可以為多種MI攻擊,目標模型和數據集提供最先進的性能。
網址:
4. Sequential Attacks on Kalman Filter-based Forward Collision Warning Systems
作者:Yuzhe Ma, Jon Sharp, Ruizhe Wang, Earlence Fernandes, Xiaojin Zhu
摘要:卡爾曼濾波器(KF)廣泛用于各個領域,以執行序列學習或變量估計。在自動駕駛汽車中,KF構成了許多高級駕駛員輔助系統(ADAS)的核心組件,例如前撞預警(FCW)。它根據傳感器的測量結果跟蹤相關交通目標的狀態(距離,速度等)。KF的跟蹤輸出通常被饋送到下游邏輯中以產生警報,然后駕駛員將使用它們在接近碰撞的情況下做出駕駛決策。在本文中,我們研究對KF的對抗性攻擊,將其作為更復雜的人機混合前向碰撞預警系統的一部分。我們的攻擊目標是使KF輸出不正確的狀態估計值,從而導致錯誤或延遲的警報,從而對人的制動決策產生負面影響。我們通過依次處理送入KF的測量值來完成此操作,并提出了一種新穎的模型預測控制(MPC)方法來計算最佳操縱值。通過在模擬駕駛環境中進行的實驗,我們表明攻擊者能夠通過在預期目標時間之前對測量進行有計劃的操縱來成功更改FCW警報信號。這些結果表明,我們的襲擊會誤導分心的駕駛員并導致車輛碰撞。
網址:
5. Uncertainty-aware Attention Graph Neural Network for Defending Adversarial Attacks
作者:Boyuan Feng, Yuke Wang, Zheng Wang, Yufei Ding
摘要:隨著基于圖的學習的日益普及,圖神經網絡(GNN)成為圖數據分析的必要工具。但是,與經過廣泛研究和詳盡測試的傳統CNN不同,人們仍然擔心GNN在關鍵環境(例如金融服務)下的穩健性。主要原因是現有的GNN通常在預測中充當黑匣子,并且不會為預測提供不確定性。另一方面,貝葉斯深度學習在CNN上的最新進展證明了其在量化和解釋這種不確定性以加強CNN模型方面的成功。基于這些觀察,我們提出了UAG,這是第一個通過識別和利用GNN的層次不確定性來防御對GNN的對抗攻擊的系統解決方案。UAG開發了一種貝葉斯不確定性技術(BUT)以明確捕獲GNN中的不確定性,并進一步采用不確定性注意技術(UAT)來防御對GNN的對抗性攻擊。大量的實驗表明,我們提出的防御方法明顯優于最新的解決方案。
網址:
6. Uncertainty-Matching Graph Neural Networks to Defend Against Poisoning Attacks
作者:Uday Shankar Shanthamallu, Jayaraman J. Thiagarajan, Andreas Spanias
摘要:圖神經網絡(GNN)是將神經網絡概括為圖結構化數據的一種方法,通常使用圖實體之間的信息傳遞來實現。雖然GNN可有效用于節點分類,鏈接預測和圖分類,但它們容易受到對抗性攻擊,即結構的微小擾動可能會導致性能下降。在這項工作中,我們提出不確定性匹配GNN(UM-GNN),其目的是通過利用信息傳遞框架中的認知不確定性來提高GNN模型的魯棒性,尤其是針對圖結構的中毒攻擊。更具體地說,我們提出建立一個替代預測變量,該預測變量不直接訪問圖結構,而是通過一種新穎的不確定性匹配策略從標準GNN中系統提取可靠的知識。有趣的是,這種解耦使UM-GNN在設計上不受規避攻擊,并顯著提高了抵抗中毒攻擊的魯棒性。通過使用具有標準基準以及一系列全局和目標攻擊的實證研究,我們證明了與現有基準(包括最新的強大GCN)相比,UM-GNN的有效性。
網址:
本篇論文的研究對象是AI安全領域的后門攻擊。作為一種發生在訓練階段的定向攻擊,后門攻擊近年來在AI安全中引起了極大的重視。后門攻擊能夠控制模型的預測結果,但是卻不會影響正常樣本的預測準確率,是一種相當隱蔽且危險的攻擊。更重要的是,一旦將后門觸發器嵌入到目標模型中,就很難通過傳統的微調或神經修剪來徹底消除其惡意的影響。針對這一問題,本文提出了一種新穎的防御框架--神經元注意力蒸餾(Neural Attention Distillation,NAD),以消除DNN中的后門觸發器。NAD利用教師網絡在少量干凈的數據子集上指導后門學生網絡的微調,以使學生網絡的中間層注意力激活與教師網絡的注意力激活保持一致。其中,教師網絡可以通過對同一干凈子集進行獨立的微調獲得。針對6種最新的后門攻擊——BadNets,Trojan attack,Blend attack,Clean-label attack,Sinusoidal signal attack,Reflection attack,驗證了提出的NAD的有效性,僅使用5%的干凈訓練數據就可以有效擦除后門觸發器,同時幾乎不影響干凈樣本的性能。本文提出的基于神經元注意力蒸餾的后門凈化方法是目前業界最簡單有效的方法,能夠抵御目前已知的所有后門攻擊,理論分析表明該方法具有對后門攻擊的普適性防御能力。論文代碼已經開源://github.com/bboylyg/NAD。
盡管健壯的深度學習中的現有工作都集中在基于像素級別的小型規范擾動,但這可能無法解決在多個實際設置中遇到的擾動。在許多此類情況下,盡管可能無法獲得測試數據,但可能知道有關擾動類型(例如未知的旋轉度)的廣泛規范。我們考慮一種在看不見的測試域中預期具有魯棒性的設置。但偏離了訓練領域。雖然可能無法確切知道此偏差,但根據屬性先驗地指定了其廣泛的特征。我們提出了一種對抗訓練方法,該方法學習如何生成新樣本,從而最大程度地將分類器暴露于屬性空間,而無需訪問來自測試域的數據。我們的對抗訓練解決了最小-最大優化問題,通過優化內部最大化產生的對抗性擾動的損失,使內部最大化產生對抗性擾動,而外部最小化找到模型參數。我們證明了我們的方法在三種類型的自然擾動上的適用性-與對象相關的移動,幾何變換和常見的圖像破壞。我們的方法使深度神經網絡能夠抵抗各種自然擾動。我們通過展示在MNIST,CIFAR-10和CLEVR數據集的新變體上進行對抗訓練而獲得的深度神經網絡的魯棒性收益,從而證明了所提出方法的有效性。
多元序列學習的本質是如何提取數據中的相關性。這些數據集,如重癥監護病房的每小時醫療記錄和多頻語音時間序列,通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶),而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎,我們采用數據驅動的方法,構建了一種新的循環網絡結構,稱為記憶門控循環網絡(mGRN),門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合,我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。
//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0
摘要: 深度學習作為人工智能技術的重要組成部分,被廣泛應用在計算機視覺、自然語言處理等領域。盡管深 度學習在圖像分類和目標檢測等方向上取得了較好性能,但研究表明,對抗攻擊的存在對深度學習模型的安全應 用造成了潛在威脅,進而影響模型的安全性。本文在簡述對抗樣本的概念及其產生原因的基礎上,分析對抗攻擊 的主要思路,研究具有代表性的經典對抗樣本生成方法。描述對抗樣本的檢測方法與防御方法,并從應用角度闡 述對抗樣本在不同領域的應用實例。通過對對抗樣本攻擊與防御方法的分析與總結,預測未來對抗攻擊與防御的 研究方向。
圖神經網絡(GNNs)是一種強大的圖表示學習工具。然而,最近的研究表明,GNN很容易受到精心設計的干擾,即所謂的對抗攻擊。對抗攻擊可以很容易地愚弄GNN,使其無法預測后續任務。在對安全性要求很高的應用程序中應用GNN的脆弱性引起了越來越多的關注。因此,開發對抗攻擊的魯棒算法具有重要意義。為對抗攻擊辯護的一個自然的想法是清理受干擾的圖。很明顯,真實世界的圖具有一些內在的特性。例如,許多真實世界的圖是低秩和稀疏的,并且兩個相鄰節點的特征趨于相似。事實上,我們發現,對抗攻擊很可能會破壞這些圖的屬性。因此,在本文中,我們探討這些性質,以防御圖的對抗性攻擊。特別地,我們提出了一個通用的框架Pro-GNN,它可以聯合學習結構圖和魯棒圖神經網絡模型從攝動圖的這些屬性指導。在真實圖上的大量實驗表明,與最先進的防御方法相比,即使在圖受到嚴重干擾的情況下,所提出的框架也能獲得更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫,用于對抗攻擊和防御
//github.com/DSE-MSU/DeepRobust。
復現我們的結果的具體實驗設置可以在
概述
圖是在許多領域中普遍存在的數據結構,例如化學(分子)、金融(交易網絡)和社交媒體(Facebook朋友網絡)。隨著它們的流行,學習有效的圖表示并將其應用于解決后續任務尤為重要。近年來,圖神經網絡(Graph Neural Networks, GNNs)在圖表示學習取得了巨大的成功(Li et al., 2015;Hamilton,2017;Kipf and Welling, 2016a;Veli?kovi?et al ., 2018)。GNNs遵循消息傳遞方案(Gilmer et al., 2017),其中節點嵌入是通過聚合和轉換其鄰居的嵌入來獲得的。由于其良好的性能,GNNs已經應用于各種分析任務,包括節點分類(Kipf和Welling, 2016a)、鏈接預測(Kipf和Welling, 2016b)和推薦系統(Ying et al., 2018)。
雖然已經取得了令人鼓舞的結果,但最近的研究表明,GNNs易受攻擊(Jin et al., 2020;Zugner et al., 2018;Zugner Gunnemann, 2019;Dai et al., 2018;吳等,2019b)。換句話說,在圖中不明顯的擾動下,GNNs的性能會大大降低。這些模型缺乏健壯性,可能會對與安全和隱私相關的關鍵應用造成嚴重后果。例如,在信用卡欺詐檢測中,詐騙者可以創建多個交易,只有少數高信用用戶可以偽裝自己,從而逃避基于GNNs的檢測。因此,開發抗攻擊的穩健的GNN模型具有重要意義。修改圖數據可以擾亂節點特征或圖結構。然而,由于結構信息的復雜性,現有的對圖數據的攻擊主要集中在修改圖數據結構,特別是添加/刪除/重連邊(Xu et al., 2019)。因此,在這項工作中,我們的目標是抵御對圖數據的最常見的攻擊設置,即,對圖結構的毒殺攻擊。在這種情況下,圖結構在訓練GNNs之前已經修改了邊,而節點特征沒有改變,這已經擾亂了圖結構。
設計有效防御算法的一個視角是對擾動圖進行清理,如刪除反向邊和恢復被刪除邊(Zhu et al., 2019;Tang et al., 2019)。從這個角度來看,關鍵的挑戰是我們應該遵循什么標準來清除擾動圖。眾所周知,真實世界的圖通常具有某些特性。首先,許多真實世界的干凈圖是低秩和稀疏的(Zhou et al., 2013)。例如,在社交網絡中,大多數個體只與少數鄰居連接,影響用戶之間連接的因素很少(Zhou et al., 2013; Fortunato, 2010)。其次,干凈圖中連接的節點可能具有相似的特征或屬性(或特征平滑度)(McPherson et al., 2001)。例如,在一個引文網絡中,兩個相連的出版物經常共享相似的主題(Kipf Welling, 2016a)。圖1演示了干凈和中毒圖的這些屬性。具體來說,我們用了最先進的圖數據中毒攻擊metattack (Zugner和Gunnemann, 2019a)來擾亂圖數據,并在mettack之前和之后可視化圖的屬性。如圖(a)a所示,metattack擴大了鄰接矩陣的奇異值,圖(b)b說明metattack可以快速地增加鄰接矩陣的秩。此外,當我們分別從攝動圖中刪除對抗性邊和法線時,我們觀察到刪除對抗性邊比刪除法線更快地降低了秩,如圖(c)c所示。另外,我們在圖(d)d中描述了攻擊圖的連通節點特征差異的密度分布。可以看出,metattack傾向于連接特征差異較大的節點。圖1的觀察結果表明,對抗性攻擊可能破壞這些屬性。因此,這些性質有可能作為清除攝動圖的指導。然而,利用這些性質來建立魯棒圖神經網絡的研究還很有限。
本文旨在探討圖的稀疏性、低秩性和特征平滑性,設計魯棒的圖神經網絡。請注意,還有更多的屬性有待探索,我們希望將其作為未來的工作。從本質上講,我們面臨著兩個挑戰:(1)如何在這些屬性的引導下,從中毒的圖數據中學習干凈的圖結構;(二)如何將魯棒圖神經網絡的參數與凈結構聯合學習。為了解決這兩個問題,我們提出了一個通用的框架屬性GNN (Pro-GNN)來同時從攝動圖和GNN參數中學習干凈的圖結構,以抵御對抗攻擊。在各種真實世界圖形上的大量實驗表明,我們提出的模型能夠有效地防御不同類型的對抗攻擊,并優于最先進的防御方法。
對抗性攻擊會對圖數據產生精心設計的擾動。我們把精心設計的擾動稱為對抗性結構。對抗結構會導致GNNs的性能急劇下降。因此,為了防御競爭攻擊,一種自然的策略是消除精心設計的競爭結構,同時保持固有的圖結構。在本工作中,我們的目標是通過探索低秩、稀疏性和特征平滑性的圖結構特性來實現這一目標。該框架的示意圖如圖2所示,其中黑色的邊為普通邊,紅色的邊為攻擊者為降低節點分類性能而引入的對抗性邊。為了抵御攻擊,Pro-GNN通過保持圖的低秩性、稀疏性和特征平滑性,迭代地重構干凈圖,以減少對抗結構的負面影響。同時,為了保證重構圖能夠幫助節點分類,Pro-GNN通過求解交替模式下的優化問題,同時更新重構圖上的GNN參數。
圖神經網絡很容易被圖對抗攻擊所欺騙。為了防御不同類型的圖對抗攻擊,我們引入了一種新的防御方法Pro-GNN,該方法同時學習圖結構和GNN參數。我們的實驗表明,我們的模型始終優于最先進的基線,并提高了在各種對抗攻擊下的整體魯棒性。在未來,我們的目標是探索更多的屬性,以進一步提高GNNs的魯棒性。