后門學習(backdoor learning)是一個重要且正在蓬勃發展的領域。與對抗學習(adversarial learning)類似，后門學習也研究深度學習模型的安全性問題，其研究主要包括兩大領域：后門攻擊(backdoor attacks)及后門防御(backdoor defenses)。
顧名思義，后門攻擊試圖在模型的訓練過程中通過某種方式在模型中埋藏后門(backdoor)。這些埋藏好的后門將會被攻擊者預先設定的觸發器(trigger)激發。在后門未被激發時，被攻擊的模型具有和正常模型類似的表現；而當模型中埋藏的后門被攻擊者激活時，模型的輸出變為攻擊者預先指定的標簽（target label）以達到惡意的目的。后門攻擊可以發生在訓練過程非完全受控的很多場景中，例如使用第三方數據集、使用第三方平臺進行訓練、直接調用第三方模型，因此對模型的安全性造成了巨大威脅。
目前，對訓練數據進行投毒是后門攻擊中最直接也最常見的方法。如下圖所示，在基于投毒的后門攻擊(poisoning-based attacks)中，攻擊者通過預先設置的觸發器（例如一個小的local patch）來修改一些訓練樣本。這些經過修改的樣本的標簽講被攻擊者指定的目標標簽替換，生成被投毒樣本（poisoned samples）。這些被投毒樣本與正常樣本將會被同時用于訓練，以得到帶后門的模型。值得一提的是，觸發器不一定是可見的，被投毒樣品的真實標簽也不一定與目標標簽不同，這增加了后門攻擊的隱蔽性。 當然，目前也有一些不基于投毒的后門攻擊方法被提出，也取得了不錯的效果。
相對于攻擊來說，后門防御的類型要更為豐富與復雜。直觀上來說，后門攻擊就像是使用對應的鑰匙開門，因此后門防御也可以從 觸發器-后門不匹配、后門移除、觸發器移除 這三種設計范式下進行思考與討論。具體想法如下圖所示：
盡管存在很多相似之處，后門學習事實上與對抗學習之間仍然存在很大的區別。一般來說，對抗攻擊關注的是模型預測過程的安全性問題，而后門攻擊關注的是模型訓練過程的安全性。此外，后門攻擊與傳統的數據投毒（data poisoning）[另一個關注模型訓練過程安全性的研究領域]也有很大的區別：數據投毒的目的是為了降低模型的泛化性能(即希望訓練好的模型在測試集上不能有良好的表現)，而后門攻擊在正常設定下具有和正常模型類似的表現。
對于初次接觸后門學習的人而言，從哪里開始以及如何快速了解領域的現狀具有重要意義。因此，我們撰寫了本領域第一篇較為全面的Survey-《Backdoor Learning: A Survey》。相比于傳統安全領域直接根據攻擊/防御方法發生的具體階段進行分類，我們從深度學習的視角出發，深入思考了各類現有文章在方法角度的聯系與區別，并依此對現有論文進行分類和總結。此外，我們也在Github上維護了一個后門學習相關資源匯總的倉庫：Backdoor Learning Resources，以方便研究者可以方便獲得當前領域最新的進展。
論文鏈接： //www.zhuanzhi.ai/paper/1d425c2f1ebf2cb79645863748b05ff9
資源鏈接：
主要作者簡介 吳保元，香港中文大學（深圳）數據科學學院副教授，并擔任深圳市大數據研究院大數據安全計算實驗室主任。吳博士于2014年獲得中國科學院自動化研究所模式識別國家重點實驗室模式識別與智能系統博士學位。2016年11月至2018年12月擔任騰訊AI Lab高級研究員，并于2019年1月升任T4專家研究員。他在機器學習、計算機視覺、優化等方向上做出了多項出色工作，在人工智能的頂級期刊和會議上發表論文40多篇，包括TPAMI,IJCV,CVPR,ICCV,ECCV等，并曾入選人工智能頂級會議CVPR 2019最佳論文候選名單，同時擔任人工智能頂級會議AAAI 2021、IJCAI 2020、2021高級程序委員和中國計算機學會、中國自動化學會多個專業委員會委員。他在人工智能安全的研究上有深厚的造詣，提出過多項原創算法，是國內較早從事該研究的資深專家之一，并與騰訊安全團隊開展了深入的合作。在騰訊工作期間，他領銜發布了業內第一個AI安全風險矩陣，得到業內和媒體的廣泛關注。
吳保元教授團隊現招聘研究科學家、博士后、博士研究生（2021秋入學）、訪問學生等，研究方向為人工智能安全與隱私保護、計算機視覺。
詳情請見
李一鳴，清華大學數據科學與信息技術專業在讀博士生。其研究主要集中在深度學習的安全性領域，具體包括模型訓練過程的安全性（后門學習）、模型預測過程的安全性（對抗學習、魯棒機器學習）與數據的安全性（數據隱私保護）。
付費5元查看完整內容
相關內容
聯邦學習
·
聯邦學習是一種新型的分布式學習框架，它允許在多個參與者之間共享訓練數據而不會泄露其數據隱私。但是這種新穎的學習機制仍然可能受到來自各種攻擊者的前所未有的安全和隱私威脅。本文主要探討聯邦學習在安全和隱私方面面臨的挑戰。首先，本文介紹了聯邦學習的基本概念和威脅模型，有助于理解其面臨的攻擊。其次，本文總結了由內部惡意實體發起的3種攻擊類型，同時分析了聯邦學習體系結構的安全漏洞和隱私漏洞。然后從差分隱私、同態密碼系統和安全多方聚合等方面研究了目前最先進的防御方案。最后通過對這些解決方案的總結和比較，進一步討論了該領域未來的發展方向。
付費5元查看完整內容
數據孤島以及模型訓練和應用過程中的隱私泄露是當下阻礙人工智能技術發展的主要難題。聯邦學習作為一種高效的隱私保護手段應運而生。聯邦學習是一種分布式的機器學習方法，以在不直接獲取數據源的基礎上，通過參與方的本地訓練與參數傳遞，訓練出一個無損的學習模型。但聯邦學習中也存在較多的安全隱患。本文著重分析了聯邦學習中的投毒攻擊、對抗攻擊以及隱私泄露三種主要的安全威脅，針對性地總結了最新的防御措施，并提出了相應的解決思路。
付費5元查看完整內容
對抗樣本生成
·
如今，深度學習已被廣泛應用于圖像分類和圖像識別的問題中，取得了令人滿意的實際效果，成為許多人工智能應用的關鍵所在.在對于模型準確率的不斷探究中，研究人員在近期提出了“對抗樣本”這一概念.通過在原有樣本中添加微小擾動的方法，成功地大幅度降低原有分類深度模型的準確率，實現了對于深度學習的對抗目的，同時也給深度學習的攻方提供了新的思路，對如何開展防御提出了新的要求.在介紹對抗樣本生成技術的起源和原理的基礎上，對近年來有關對抗樣本的研究和文獻進行了總結，按照各自的算法原理將經典的生成算法分成兩大類——全像素添加擾動和部分像素添加擾動.之后，以目標定向和目標非定向、黑盒測試和白盒測試、肉眼可見和肉眼不可見的二級分類標準進行二次分類.同時，使用MNIST數據集對各類代表性的方法進行了實驗驗證，以探究各種方法的優缺點.最后總結了生成對抗樣本所面臨的挑戰及其可以發展的方向，并就該技術的發展前景進行了探討.
付費5元查看完整內容
簡介：
如今,深度學習已被廣泛應用于圖像分類和圖像識別的問題中,取得了令人滿意的實際效果,成為許多人 工智能應用的關鍵所在.在對于模型準確率的不斷探究中,研究人員在近期提出了“對抗樣本”這一概念.通過在原有 樣本中添加微小擾動的方法,成功地大幅度降低原有分類深度模型的準確率,實現了對于深度學習的對抗目的,同時 也給深度學習的攻方提供了新的思路,對如何開展防御提出了新的要求.在介紹對抗樣本生成技術的起源和原理的 基礎上,對近年來有關對抗樣本的研究和文獻進行了總結,按照各自的算法原理將經典的生成算法分成兩大類——全像素添加擾動和部分像素添加擾動.之后,以目標定向和目標非定向、黑盒測試和白盒測試、肉眼可見和肉眼不可見的二級分類標準進行二次分類.同時,使用 MNIST 數據集對各類代表性的方法進行了實驗驗證,以探究各種方法的優缺點.最后總結了生成對抗樣本所面臨的挑戰及其可以發展的方向,并就該技術的發展前景進行了探討.
內容簡介：
本文重點對生成對抗樣本的已有研究工作進行綜述,主要選取了近年來有代表性的或取得比較顯著效果的方法進行詳細的原理介紹和優缺點分析.按照其生成方式和原理的不同,分為全像素添加擾動和部分像素添 加擾動兩類.在此基礎上,根據目標是否定向、是否黑盒和是否肉眼可見這 3 個標準進行細分,將各類方法中的 代表性算法在統一數據集(MNIST)上進行測試,驗證并分析其優缺點,終總結提出未來的發展前景. 本文第 1 節主要介紹對抗樣本的基本概念和基礎知識,包括對抗樣本本身的定義、其延伸有關的相關概念 以及基本操作流程.第 2 節則指出對抗樣本是從深度學習中衍生出來的概念,同時介紹了對抗樣本有效性的評估方法.第 3 節則介紹對抗樣本的起源,說明了對抗樣本的產生契機和原理解釋.第 4 節介紹生成對抗樣本的發展狀況,以全像素添加擾動和部分像素添加擾動兩大類進行算法說明,同時總結生成方法中常用的數據集.第 5 節是對第 4 節中代表方法的實驗,結合對同一數據集的效果測試來說明各類方法的優缺點.通過這些優缺點,在 第 6 節中討論對抗樣本生成技術面臨的挑戰和前景預測.
目錄：
-
1 簡 介
- 1.1 樣本的定義
- 1.2 相關概念
- 1.3 基本操作流程
-
2 前 傳
- 2.1機器學習在分類問題中的運用
- 2.2 深度學習在分類問題中的運用
- 2.3 評估方法
-
3 起源
- 3.1 首次發現
- 3.2 基本原理
-
4 發 展
- 4.1 分類方式及代表模型
- 4.2 常用數據集
-
5 實驗結果對比
-
6 面臨挑戰與前景預測
付費5元查看完整內容
摘要 ： 零樣本圖像分類指訓練集和測試集在數據的類別上沒有交集的情況下進行圖像分類 . 該技術 是解決類別標簽缺失問題的一種有效手段 , 因此受到了日益廣泛的關注 . 自提出此問題至今 , 零樣本 圖像分類的研究已經大致有十年時間 . 本文系統地對過去十年中零樣本圖像分類技術的研究進展進行 了綜述 , 主要包括以下 4 個方面 . 首先介紹零樣本圖像分類技術的研究意義及其應用價值 , 然后重點 總結和歸納零樣本圖像分類的發展過程和研究現狀 , 接下來介紹常用的數據集和評價準則 , 以及與零 樣本學習相關的技術的區別和聯系 , 最后分析有待深入研究的熱點與難點問題 , 并對未來的發展趨勢 進行了展望 .
關鍵詞： 零樣本圖像分類 , 屬性 , 詞向量 , 跨模態映射 , 領域適應學習
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191