聯邦學習（Federated Learning）是一種新興的保護隱私的機器學習范式，在學術界和行業中都引起了極大的關注。聯邦學習的一大特征是異構性，它來源于參與學習的設備有各種硬件規格、且設備狀態是動態變化的。異構性會對聯邦學習訓練過程產生巨大影響，例如，導致設備無法進行訓練或無法上載其模型更新。不幸的是，這種影響尚未在現有的聯邦學習文獻中進行過系統的研究和量化。本文進行了第一個聯邦學習中異構性影響的實證研究。本文從13.6萬部智能手機中收集了大量數據，這些數據可以真實地反映現實環境中的異構性。本文還構建了一個符合標準聯邦學習協議同時考慮了異構性的聯邦學習平臺。基于以上數據和平臺進行了廣泛的實驗，以比較目前最優的聯邦學習算法在考慮異構性和不考慮異構性下的性能。結果表明，異構性導致聯邦學習的性能顯著下降，包括高達9.2％的準確度下降，2.32倍的訓練時間延長以及公平性受損。此外，本文進行了原因分析，發現設備故障和參與偏差是導致性能下降的兩個潛在根本原因。我們的研究對聯邦學習從業者具有深刻的啟示。一方面，本文的發現表明聯邦學習算法設計師在模型評估過程中有必要考慮異構性。另一方面，本文的發現敦促聯邦學習的系統設計者設計特定的機制來減輕異構性的影響。中心博士生楊程旭為該文第一作者。
付費5元查看完整內容
相關內容
大數據分析的一個關鍵挑戰是如何收集大量(標記)數據。眾包旨在通過聚合和估算來自廣泛的客戶/用戶的高質量數據(如文本的情感標簽)來解決這一挑戰。現有的眾包研究集中于設計新的方法來提高來自不可靠/嘈雜客戶端的聚合數據質量。然而，迄今為止，這種眾包系統的安全方面仍未得到充分的探索。我們的目標是在這項工作中填補這一缺口。具體來說，我們表明眾包很容易受到數據中毒攻擊，即惡意客戶端提供精心制作的數據來破壞聚合數據。我們將我們所提議的數據中毒攻擊規劃為一個優化問題，使聚合數據的錯誤最大化。我們在一個合成的和兩個真實的基準數據集上的評估結果表明，所提出的攻擊可以顯著地增加聚合數據的估計誤差。我們還提出了兩種防御來減少惡意客戶端的影響。我們的實證結果表明，所提出的防御方法可以顯著降低數據中毒攻擊的估計誤差。
//www.zhuanzhi.ai/paper/d25992f7a7df3ee1468f244f05a8ba03
付費5元查看完整內容
聯邦學習機制以其獨有的隱私保護機制受到很多擁有高質量數據的客戶青睞。通過聯邦學習，能有效地打破數據孤島，使數據發揮更大的作用，實現多方客戶在保證隱私的情況下共贏。但與此同時，在實際應用中各個客戶的數據分布非常不一致，對模型的需求也不盡相同，這些在很大程度上制約了傳統聯邦學習方法的性能和應用范圍。為此, 在客戶數據分布不一致的情況下如何提高模型的魯棒性成為了當前學術界與工業界對聯邦學習算法優化的核心目標，希望通過聯邦學習得到的模型能滿足不同客戶的需求。
傳統的聯邦學習的目的是為了獲得一個全局共享的模型，供所有參與者使用。但當各個參與者數據分布不一致時，全局模型卻無法滿足每個聯邦學習參與者對性能的需求，有的參與者甚至無法獲得一個比僅采用本地數據訓練模型更優的模型。這大大降低了部分用戶參與聯邦學習的積極性。
為了解決上述問題，讓每個參與方都在聯邦學習過程中獲益，個性化聯邦學習在最近獲得了極大的關注。與傳統聯邦學習要求所有參與方最終使用同一個模型不同，個性化聯邦學習允許每個參與方生成適合自己數據分布的個性化模型。為了生成這樣的個性化的模型，常見的方法是通過對一個統一的全局模型在本地進行定制化。而這樣的方法仍然依賴一個高效可泛化的全局模型，然而這樣的模型在面對每個客戶擁有不同分布數據時經常是可遇而不可求的。
為此，華為云 EI 溫哥華大數據與人工智能實驗室自研了一套個性化聯邦學習框架 FedAMP。該框架使用獨特的自適應分組學習機制，讓擁有相似數據分布的客戶進行更多的合作，并對每個客戶的模型進行個性化定制，從而有效地處理普遍存在的數據分布不一致問題，并大幅度提高聯邦學習性能。
付費5元查看完整內容
聯邦學習
·
聯邦學習是一種新型的分布式學習框架，它允許在多個參與者之間共享訓練數據而不會泄露其數據隱私。但是這種新穎的學習機制仍然可能受到來自各種攻擊者的前所未有的安全和隱私威脅。本文主要探討聯邦學習在安全和隱私方面面臨的挑戰。首先，本文介紹了聯邦學習的基本概念和威脅模型，有助于理解其面臨的攻擊。其次，本文總結了由內部惡意實體發起的3種攻擊類型，同時分析了聯邦學習體系結構的安全漏洞和隱私漏洞。然后從差分隱私、同態密碼系統和安全多方聚合等方面研究了目前最先進的防御方案。最后通過對這些解決方案的總結和比較，進一步討論了該領域未來的發展方向。
付費5元查看完整內容
數據孤島以及模型訓練和應用過程中的隱私泄露是當下阻礙人工智能技術發展的主要難題。聯邦學習作為一種高效的隱私保護手段應運而生。聯邦學習是一種分布式的機器學習方法，以在不直接獲取數據源的基礎上，通過參與方的本地訓練與參數傳遞，訓練出一個無損的學習模型。但聯邦學習中也存在較多的安全隱患。本文著重分析了聯邦學習中的投毒攻擊、對抗攻擊以及隱私泄露三種主要的安全威脅，針對性地總結了最新的防御措施，并提出了相應的解決思路。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191