數據孤島以及模型訓練和應用過程中的隱私泄露是當下阻礙人工智能技術發展的主要難題。聯邦學習作為一種高效的隱私保護手段應運而生。聯邦學習是一種分布式的機器學習方法,以在不直接獲取數據源的基礎上,通過參與方的本地訓練與參數傳遞,訓練出一個無損的學習模型。但聯邦學習中也存在較多的安全隱患。本文著重分析了聯邦學習中的投毒攻擊、對抗攻擊以及隱私泄露三種主要的安全威脅,針對性地總結了最新的防御措施,并提出了相應的解決思路。
題目: 機器學習的隱私保護研究綜述
簡介:
大規模數據收集大幅提升了機器學習算法的性能,實現了經濟效益和社會效益的共贏,但也令個人隱私保護面臨更大的風險與挑戰.機器學習的訓練模式主要分為集中學習和聯邦學習2類,前者在模型訓練前需統一收集各方數據,盡管易于部署,卻存在極大數據隱私與安全隱患;后者實現了將各方數據保留在本地的同時進行模型訓練,但該方式目前正處于研究的起步階段,無論在技術還是部署中仍面臨諸多問題與挑戰.現有的隱私保護技術研究大致分為2條主線,即以同態加密和安全多方計算為代表的加密方法和以差分隱私為代表的擾動方法,二者各有利弊.為綜述當前機器學習的隱私問題,并對現有隱私保護研究工作進行梳理和總結,首先分別針對傳統機器學習和深度學習2類情況,探討集中學習下差分隱私保護的算法設計;之后概述聯邦學習中存的隱私問題及保護方法;最后總結目前隱私保護中面臨的主要挑戰,并著重指出隱私保護與模型可解釋性研究、數據透明之間的問題與聯系.
題目: Threats to Federated Learning: A Survey
簡介:
隨著數據孤島的出現和隱私意識,訓練人工智能(AI)模型的傳統集中式方法面臨著嚴峻的挑戰。在這種新現實下,聯邦學習(FL)最近成為一種有效的解決方案。現有的FL協議設計已顯示出存在漏洞,系統內部和外部系統的攻擊者都可以利用這些漏洞來破壞數據隱私。因此,讓FL系統設計人員了解未來FL算法設計對隱私保護的意義至關重要。當前,沒有關于此主題的調查。在本文中,我們 彌合FL文學中的這一重要鴻溝。通過簡要介紹FL的概念以及涵蓋威脅模型和FL的兩種主要攻擊的獨特分類法:1)中毒攻擊 2)推理攻擊,本文提供了對該重要主題的易于理解的概述。我們重點介紹了各種攻擊所采用的關鍵技術以及基本假設,并討論了未來研究方向,以實現FL中更強大的隱私保護。
目錄: