深度神經網絡已經顯示出從圖像和文本等數據中提取通用特征表示的能力，這對各種學習任務都很有用。在聯邦設置中，表示學習的成果還沒有完全實現。盡管聯邦設置中的數據通常是非iid。在客戶端，集中深度學習的成功表明，數據通常共享一個全局特征表示，而在客戶端或任務之間的統計異質性集中在標簽。基于這種直覺，我們提出了一種新的聯合學習框架和算法來學習跨客戶端共享的數據表示。我們的算法利用客戶機之間的分布式計算能力，針對表示的每次更新的低維局部參數執行許多本地更新。我們證明了該方法在線性設置下獲得了接近最優樣本復雜度的ground-truth表示的線性收斂性，證明了該方法可以有效地降低每個客戶端的問題維數。此外，我們提供了大量的實驗結果，證明了我們的方法在異構環境下優于其他個性化聯合學習方法。
付費5元查看完整內容
相關內容
許多視頻分類應用需要訪問用戶的個人數據，從而對用戶的隱私構成入侵性安全風險。我們提出了一種基于卷積神經網絡的單幀方法視頻分類的隱私保護實現，該實現允許一方從視頻中推斷出標簽，而無需視頻所有者以非加密的方式向其他實體披露他們的視頻。類似地，我們的方法消除了分類器所有者以明文形式向外部實體透露其模型參數的要求。為此，我們將現有的用于私有圖像分類的安全多方計算(MPC)協議與用于無關單幀選擇和跨幀安全標簽聚合的新MPC協議相結合。結果是一個端到端的隱私保護視頻分類流程。我們在一個私人人類情感識別的應用評估了提出的解決方案。各種安全設置的結果，包括計算各方的誠實和不誠實的大多數配置，以及被動型和主動型對手，表明視頻可以以最先進的精確度分類，而且不會泄露敏感用戶信息。
付費5元查看完整內容
我們考慮在分布在用戶設備上的私有數據上建立訓練模型。為了確保隱私，我們添加了設備上的噪聲，并使用安全聚合，以便只向服務器顯示噪聲和。我們提出了一個全面的端到端系統，在執行安全聚合之前適當地離散數據并添加離散高斯噪聲。我們提供了一種新的離散高斯和的隱私分析方法，并仔細分析了數據量化和模求和算法的影響。我們的理論保證強調了溝通、隱私和準確性之間的復雜張力。我們廣泛的實驗結果表明，我們的解決方案基本上能夠以低于16位精度的每個值匹配中心差分隱私的精度。
付費5元查看完整內容
模仿學習試圖通過利用專家行為來規避為訓練主體設計適當的獎勵功能的困難。在以Markov Decision Processes (MDP)建模的環境中，大多數現有的模仿算法都取決于在同一MDP中是否有專家演示，而在該MDP中要學習新的模仿策略。在本文中，我們研究了當專家和代理MDP存在差異時如何模擬任務的問題。這些跨領域的差異可能包括不同的動力學、觀點或形態;我們提出了一個新的框架來學習這些領域的響應。重要的是，與之前的工作相比，我們使用只包含專家領域狀態的未配對和未對齊軌跡來學習這種對應關系。我們利用狀態空間和領域未知的潛在空間上的循環一致性約束來做到這一點。此外，我們通過一個歸一化的位置估計函數加強狀態的時間位置的一致性，以對齊兩個領域的軌跡。一旦找到了這種對應關系，我們就可以直接將一個領域的演示轉移到另一個領域，并將其用于模仿。在許多具有挑戰性的領域進行的實驗證明了我們的方法的有效性。
付費5元查看完整內容
最近最優傳輸(OT)理論在機器學習中的幾個應用都依賴于正則化，尤其是熵和Sinkhorn算法。由于矩陣向量乘積在Sinkhorn算法中是普遍存在的，一些工作已經提出使用低秩因子來近似其迭代中出現的核矩陣。另一種方法是在OT問題中考慮的可行耦合集上施加低非負秩約束，不需要對代價或核矩陣進行逼近。這條路線首先由forrow2018探索，他提出了一種為平方歐氏地面成本量身定制的算法，使用了一個代理目標，可以通過正則化的Wasserstein重心機制來解決。在此基礎上，我們引入了一種通用方法，旨在完全通用性地解決具有任意代價的低非負秩約束下的OT問題。我們的算法依賴于低秩耦合的顯式分解，將其作為由公共邊際連接的子耦合因子的乘積; 與NMF方法類似，我們交替更新這些因素。證明了該算法的非漸近平穩收斂性，并通過基準實驗證明了該算法的有效性。
付費5元查看完整內容
隨著移動設備上存儲和計算能力的快速發展，在設備上部署模型以節省繁重的通信延遲和獲取實時特性變得至關重要和流行。雖然已經有很多研究致力于促進設備上的學習和推斷，但大多數研究都集中在處理響應延遲或隱私保護方面。對設備和云建模之間的協作進行建模并使雙方共同受益的工作很少。為了彌補這一差距，我們是研究設備-云協作學習(DCCL)框架的首批嘗試之一。具體來說，我們在設備端提出了一種新穎的MetaPatch學習方法，以便在一個集中式的云模型下有效地實現“成千上萬的人擁有成千上萬的模型”。然后，針對數十億更新的個性化設備模型，我們提出了一種“模型-超模型”的蒸餾算法，即MoMoDistill，來更新集中式云模型。我們在一系列不同設置的數據集上進行了大量實驗，證明了這種協作在云和設備上的有效性，特別是它在建模長尾用戶方面的優越性。
付費5元查看完整內容
聯邦學習(federal Learning, FL)是一種去中心化的機器學習范式，其中全局服務器迭代地聚合本地用戶的模型參數，而不訪問他們的數據。用戶異質性給FL帶來了重大挑戰，這可能導致漂移的全局模型收斂緩慢。為了解決這個問題，最近出現了知識蒸餾(Knowledge Distillation)，它使用來自異構用戶的聚合知識來精煉服務器模型，而不是直接聚合他們的模型參數。然而，這種方法依賴于代理數據集，因此除非滿足這些前提條件，否則是不切實際的。此外，沒有充分利用集成知識來指導局部模型學習，這可能會影響聚合模型的質量。在這項工作中，我們提出了一種無數據的知識蒸餾方法來解決異構的FL，其中服務器學習一個輕量級的生成器以無數據的方式集成用戶信息，然后將這些信息廣播給用戶，使用學習到的知識作為歸納偏差來調節本地訓練。理論支持的實證研究表明，與現狀相比，我們的方法使用更少的通信輪次，使FL具有更好的泛化性能。
付費5元查看完整內容
來自傳感器網絡、可穿戴設備和物聯網(IoT)設備的大量數據凸顯了對利用去中心化數據的時空結構的高級建模技術的需求，因為需要邊緣計算和許可(數據訪問)問題。雖然聯邦學習(FL)已經成為一種無需直接數據共享和交換的模型訓練框架，但有效地建模復雜的時空依賴關系以提高預測能力仍然是一個懸而未決的問題。另一方面，最先進的時空預測模型假定對數據的訪問不受限制，而忽略了數據共享的約束。在跨節點聯合學習的約束下，我們提出了跨節點聯合圖神經網絡(CNFGNN)的聯邦時空模型，該模型使用基于圖神經網絡(GNN)的體系結構對底層圖結構進行顯式編碼，這要求節點網絡中的數據在每個節點上本地生成，并且保持分散。CNFGNN通過分離設備上的時間動態建模和服務器上的空間動態，利用交替優化來降低通信成本，促進邊緣設備上的計算。交通流預測任務的計算結果表明，CNFGNN在不增加邊緣設備的計算成本的情況下，在傳感和歸納學習環境下均取得了最佳的預測性能，同時通信成本較低。
付費5元查看完整內容
聯邦學習機制以其獨有的隱私保護機制受到很多擁有高質量數據的客戶青睞。通過聯邦學習，能有效地打破數據孤島，使數據發揮更大的作用，實現多方客戶在保證隱私的情況下共贏。但與此同時，在實際應用中各個客戶的數據分布非常不一致，對模型的需求也不盡相同，這些在很大程度上制約了傳統聯邦學習方法的性能和應用范圍。為此, 在客戶數據分布不一致的情況下如何提高模型的魯棒性成為了當前學術界與工業界對聯邦學習算法優化的核心目標，希望通過聯邦學習得到的模型能滿足不同客戶的需求。
傳統的聯邦學習的目的是為了獲得一個全局共享的模型，供所有參與者使用。但當各個參與者數據分布不一致時，全局模型卻無法滿足每個聯邦學習參與者對性能的需求，有的參與者甚至無法獲得一個比僅采用本地數據訓練模型更優的模型。這大大降低了部分用戶參與聯邦學習的積極性。
為了解決上述問題，讓每個參與方都在聯邦學習過程中獲益，個性化聯邦學習在最近獲得了極大的關注。與傳統聯邦學習要求所有參與方最終使用同一個模型不同，個性化聯邦學習允許每個參與方生成適合自己數據分布的個性化模型。為了生成這樣的個性化的模型，常見的方法是通過對一個統一的全局模型在本地進行定制化。而這樣的方法仍然依賴一個高效可泛化的全局模型，然而這樣的模型在面對每個客戶擁有不同分布數據時經常是可遇而不可求的。
為此，華為云 EI 溫哥華大數據與人工智能實驗室自研了一套個性化聯邦學習框架 FedAMP。該框架使用獨特的自適應分組學習機制，讓擁有相似數據分布的客戶進行更多的合作，并對每個客戶的模型進行個性化定制，從而有效地處理普遍存在的數據分布不一致問題，并大幅度提高聯邦學習性能。
付費5元查看完整內容
我們提出了一種新的用于分布式訓練神經網絡模型的聯邦學習方法，其中服務器在每一輪隨機選擇的設備子集的協調合作。我們主要從通信的角度來看待聯邦學習問題，并允許更多的設備級計算來節省傳輸成本。20指出了一個基本的困境，即局部設備級經驗損失的最小值與全局經驗損失的最小值不一致。與最近嘗試不精確最小化或利用設備來并行梯度計算的工作不同，我們在每一輪為每個設備提出了一個動態正則化，這樣在極限情況下全局解決方案和設備解決方案是對齊的。我們通過對真實數據和合成數據的實證結果以及分析結果證明，我們的方案能夠在凸和非凸設置下實現高效的訓練，同時完全不知道設備的異構性，對大量設備、部分參與和不平衡數據具有魯棒性。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191