我們考慮在分布在用戶設備上的私有數據上建立訓練模型。為了確保隱私，我們添加了設備上的噪聲，并使用安全聚合，以便只向服務器顯示噪聲和。我們提出了一個全面的端到端系統，在執行安全聚合之前適當地離散數據并添加離散高斯噪聲。我們提供了一種新的離散高斯和的隱私分析方法，并仔細分析了數據量化和模求和算法的影響。我們的理論保證強調了溝通、隱私和準確性之間的復雜張力。我們廣泛的實驗結果表明，我們的解決方案基本上能夠以低于16位精度的每個值匹配中心差分隱私的精度。
付費5元查看完整內容
相關內容
譜方法是對子空間并集附近的數據點進行聚類的一種常用方法，稱為子空間聚類。典型的用法是先構造一個隨機幾何圖，然后用譜方法對圖進行聚類，得到聚類結果。后一步被稱為光譜聚類。據我們所知，盡管在基于譜方法的子空間聚類中這兩個步驟都很重要，但現有的理論結果都集中在構建圖的第一步，而忽略了通過譜聚類糾正錯誤連接的最后一步。本文首次建立了一個理論來證明這種方法的有效性，在此理論中，我們通過分析在廣泛使用的半隨機模型下的一個簡化算法來論證譜聚類的機理。在此基礎上，我們證明了子空間聚類在相當廣泛的條件下的有效性。本文的見解和分析技術也可能對其他隨機圖問題有啟示。
付費5元查看完整內容
深度神經網絡已經顯示出從圖像和文本等數據中提取通用特征表示的能力，這對各種學習任務都很有用。在聯邦設置中，表示學習的成果還沒有完全實現。盡管聯邦設置中的數據通常是非iid。在客戶端，集中深度學習的成功表明，數據通常共享一個全局特征表示，而在客戶端或任務之間的統計異質性集中在標簽。基于這種直覺，我們提出了一種新的聯合學習框架和算法來學習跨客戶端共享的數據表示。我們的算法利用客戶機之間的分布式計算能力，針對表示的每次更新的低維局部參數執行許多本地更新。我們證明了該方法在線性設置下獲得了接近最優樣本復雜度的ground-truth表示的線性收斂性，證明了該方法可以有效地降低每個客戶端的問題維數。此外，我們提供了大量的實驗結果，證明了我們的方法在異構環境下優于其他個性化聯合學習方法。
付費5元查看完整內容
聯邦學習(federal Learning, FL)是一種去中心化的機器學習范式，其中全局服務器迭代地聚合本地用戶的模型參數，而不訪問他們的數據。用戶異質性給FL帶來了重大挑戰，這可能導致漂移的全局模型收斂緩慢。為了解決這個問題，最近出現了知識蒸餾(Knowledge Distillation)，它使用來自異構用戶的聚合知識來精煉服務器模型，而不是直接聚合他們的模型參數。然而，這種方法依賴于代理數據集，因此除非滿足這些前提條件，否則是不切實際的。此外，沒有充分利用集成知識來指導局部模型學習，這可能會影響聚合模型的質量。在這項工作中，我們提出了一種無數據的知識蒸餾方法來解決異構的FL，其中服務器學習一個輕量級的生成器以無數據的方式集成用戶信息，然后將這些信息廣播給用戶，使用學習到的知識作為歸納偏差來調節本地訓練。理論支持的實證研究表明，與現狀相比，我們的方法使用更少的通信輪次，使FL具有更好的泛化性能。
付費5元查看完整內容
我們提出了一種新的參數化方案來解決在大型神經網絡上運用差分私有SGD所面臨的挑戰，這些挑戰包括1) 存儲單個梯度的巨大存儲成本，2) 附加的噪聲嚴重依賴于維數。具體地說，我們用兩個小維的梯度載波矩陣和一個殘差權矩陣來重新參數化每個權矩陣。我們認為，這樣的重新參數化保持向前/向后過程不變，同時使我們能夠在不計算梯度本身的情況下計算投影梯度。為了學習差分隱私，我們設計了重參數梯度擾動(RGP)，它擾亂梯度載體矩陣上的梯度，并從有噪聲的梯度中重建原始權重的更新。重要的是，我們使用歷史更新來尋找梯度載波矩陣，其最優性在線性回歸下得到嚴格證明，并通過深度學習任務得到經驗驗證。RGP顯著降低了內存成本并改進了實用程序。例如，我們首次能夠在BERT模型上應用差分隱私，并在e = 8的四個下游任務上實現了83.9%的平均精度，與非私有基準相比，損失在5%以內，但隱私泄漏風險要低得多。
付費5元查看完整內容
?遷移學習作為機器學習領域的關鍵核心技術，能夠有效地緩解訓練模型時對訓練數據規模以及計算能力的需求。近年來，研究人員針對遷移學習進行了大量的研究，主要集中在提高遷移后模型在目標域上的準確率，而忽略了遷移后模型面對對抗樣本攻擊時的魯棒性。該論文針對人工智能系統安全問題，分析了在遷移學習場景下，當深度神經網絡面臨對抗樣本攻擊時，遷移策略對神經網絡魯棒性的影響。
該論文彌補了現有分析的缺陷，在基于多種常用的圖像數據集構建的遷移學習場景中，細致地探討了在目標域上微調的模型層數對模型準確率及魯棒性的影響，并揭示了兩者之間存在的平衡問題，即隨著模型微調的層數增加，其在目標域上的準確率與魯棒性出現了不同步的變化（如圖1所示，左右分別為在不同數據集上的實驗結果）。同時，該論文針對目前普遍采用的批歸一化層，分析了其對于遷移學習后模型性能的影響，并通過大量實驗證明：在遷移學習中有選擇地重用批歸一化層的參數，可以有效地提高系統魯棒性。
更進一步地，對于遷移學習過程中準確率與魯棒性的平衡問題，該論文針對性地提出協同對抗魯棒的遷移學習框架（如圖2所示），分別針對源域模型（文中稱為TeacherModel）的對抗訓練階段以及目標域模型（文中稱為StudentModel）的微調階段設計了新算法：考慮源域模型中的部分網絡層會被目標域模型重用—被用于提取輸入的特征—對此該論文提出特征距離最小化，通過減少源域模型對正常樣本與對抗樣本所提取特征的差異程度，使其魯棒性能夠更加容易地被目標域模型繼承；對于在目標域上的微調過程，該論文提出非拓展微調算法，通過限制微調部分網絡參數的利普希茨常數，降低模型對于對抗樣本的敏感程度，從而使微調后的模型能夠更好地從源域繼承魯棒性。作者在多個圖像數據集（CIFAR、SVHN、GTSRB）上進行了大量實驗和分析，實驗結果充分驗證了該方案的有效性。
付費5元查看完整內容
最近利用圖神經網絡來處理圖匹配任務的研究已經顯示出了良好的結果。離散分布學習的最新進展為學習圖匹配模型提供了新的機會。在此工作中，我們提出了一個新的模型，隨機迭代圖匹配(SIGMA)，以解決圖匹配問題。我們的模型定義了一個圖對匹配的分布，因此模型可以探索更廣泛的可能的匹配。我們進一步介紹了一種新的多步匹配方法，該方法學習如何逐步地改進圖對的匹配結果。該模型還包括虛擬節點，因此模型不必為沒有對應關系的節點尋找匹配。我們通過可擴展的隨機優化方法將該模型與數據擬合。我們在合成圖形數據集以及生物化學和計算機視覺應用中進行了廣泛的實驗。在所有任務中，我們的結果表明，與最先進的模型相比，SIGMA可以產生顯著改善的圖匹配結果。消融實驗研究證實，我們的每個組件(隨機訓練、迭代匹配和虛擬節點)提供了顯著的改進。
付費5元查看完整內容
聯邦學習機制以其獨有的隱私保護機制受到很多擁有高質量數據的客戶青睞。通過聯邦學習，能有效地打破數據孤島，使數據發揮更大的作用，實現多方客戶在保證隱私的情況下共贏。但與此同時，在實際應用中各個客戶的數據分布非常不一致，對模型的需求也不盡相同，這些在很大程度上制約了傳統聯邦學習方法的性能和應用范圍。為此, 在客戶數據分布不一致的情況下如何提高模型的魯棒性成為了當前學術界與工業界對聯邦學習算法優化的核心目標，希望通過聯邦學習得到的模型能滿足不同客戶的需求。
傳統的聯邦學習的目的是為了獲得一個全局共享的模型，供所有參與者使用。但當各個參與者數據分布不一致時，全局模型卻無法滿足每個聯邦學習參與者對性能的需求，有的參與者甚至無法獲得一個比僅采用本地數據訓練模型更優的模型。這大大降低了部分用戶參與聯邦學習的積極性。
為了解決上述問題，讓每個參與方都在聯邦學習過程中獲益，個性化聯邦學習在最近獲得了極大的關注。與傳統聯邦學習要求所有參與方最終使用同一個模型不同，個性化聯邦學習允許每個參與方生成適合自己數據分布的個性化模型。為了生成這樣的個性化的模型，常見的方法是通過對一個統一的全局模型在本地進行定制化。而這樣的方法仍然依賴一個高效可泛化的全局模型，然而這樣的模型在面對每個客戶擁有不同分布數據時經常是可遇而不可求的。
為此，華為云 EI 溫哥華大數據與人工智能實驗室自研了一套個性化聯邦學習框架 FedAMP。該框架使用獨特的自適應分組學習機制，讓擁有相似數據分布的客戶進行更多的合作，并對每個客戶的模型進行個性化定制，從而有效地處理普遍存在的數據分布不一致問題，并大幅度提高聯邦學習性能。
付費5元查看完整內容
我們提出了一種新的用于分布式訓練神經網絡模型的聯邦學習方法，其中服務器在每一輪隨機選擇的設備子集的協調合作。我們主要從通信的角度來看待聯邦學習問題，并允許更多的設備級計算來節省傳輸成本。20指出了一個基本的困境，即局部設備級經驗損失的最小值與全局經驗損失的最小值不一致。與最近嘗試不精確最小化或利用設備來并行梯度計算的工作不同，我們在每一輪為每個設備提出了一個動態正則化，這樣在極限情況下全局解決方案和設備解決方案是對齊的。我們通過對真實數據和合成數據的實證結果以及分析結果證明，我們的方案能夠在凸和非凸設置下實現高效的訓練，同時完全不知道設備的異構性，對大量設備、部分參與和不平衡數據具有魯棒性。
付費5元查看完整內容
聯邦學習
·
聯邦學習是一種新型的分布式學習框架，它允許在多個參與者之間共享訓練數據而不會泄露其數據隱私。但是這種新穎的學習機制仍然可能受到來自各種攻擊者的前所未有的安全和隱私威脅。本文主要探討聯邦學習在安全和隱私方面面臨的挑戰。首先，本文介紹了聯邦學習的基本概念和威脅模型，有助于理解其面臨的攻擊。其次，本文總結了由內部惡意實體發起的3種攻擊類型，同時分析了聯邦學習體系結構的安全漏洞和隱私漏洞。然后從差分隱私、同態密碼系統和安全多方聚合等方面研究了目前最先進的防御方案。最后通過對這些解決方案的總結和比較，進一步討論了該領域未來的發展方向。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191