亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

聯邦學習(Federated Learning)是一種新興的人工智能基礎技術,在 2016 年由谷歌最先提出,原本用于解決安卓手機終端用戶在本地更新模型的問題,其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下,在多參與方或多計算結點之間開展高效率的機器學習。其中,聯邦學習可使用的機器學習算法不局限于神經網絡,還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。最近來自斯坦福、CMU、Google等25家機構58位學者共同發表了關于聯邦學習最新進展與開放問題的綜述論文《Advances and Open Problems in Federated Learning》,共105頁pdf調研了438篇文獻,講解了最新聯邦學習進展,并提出大量開放型問題。

摘要

聯邦學習(FL)是一種機器學習設置,在這種設置中,許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型,同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則,可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下,本文討論了近年來的進展,并提出了大量的開放問題和挑戰。

目錄

1 介紹

  • 1.1 跨設備聯邦學習設置
  • 1.1.1 聯邦學習中模型的生命周期
  • 1.1.2 典型的聯邦訓練過程
  • 1.2 聯邦學習研究
  • 1.3 組織
  1. 放寬核心聯邦學習假設:應用到新興的設置和場景
  • 2.1 完全分散/點對點分布式學習
  • 2.2 跨豎井聯邦學習
  • 2.3 分離學習
  1. 提高效率和效果
  • 3.1 聯邦學習中的非iid數據
  • 3.2 聯邦學習優化算法
  • 3.3 多任務學習、個性化和元學習
  • 3.4 為聯邦學習調整ML工作流
  • 3.5 通信與壓縮
  • 3.6 適用于更多類型的機器學習問題和模型

4 .保護用戶數據的隱私

  • 4.1 深入研究參與者、威脅模型和隱私
  • 4.2 工具與技術
  • 4.3 對外部惡意行為者的保護
  • 4.4 對抗服務器的保護
  • 4.5 用戶感知
  1. 對攻擊和失敗的健壯性
  • 5.1 模型性能的對抗性攻擊
  • 5.2 非惡意失效模式
  • 5.3 探索隱私和健壯性之間的張力
  1. 確保公平,消除偏見
  • 6.1 訓練數據的偏差
  • 6.2不訪問敏感屬性的公平性
  • 6.3公平、隱私和健壯性
  • 6.4利用聯合來改善模型多樣性
  • 6.5聯邦公平:新的機遇和挑戰

7 結束語

  • 用于聯邦學習的軟件和數據集
付費5元查看完整內容

相關內容

聯邦學習(Federated Learning)是一種新興的人工智能基礎技術,在 2016 年由谷歌最先提出,原本用于解決安卓手機終端用戶在本地更新模型的問題,其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下,在多參與方或多計算結點之間開展高效率的機器學習。其中,聯邦學習可使用的機器學習算法不局限于神經網絡,還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。

題目: 機器學習的隱私保護研究綜述

簡介:

大規模數據收集大幅提升了機器學習算法的性能,實現了經濟效益和社會效益的共贏,但也令個人隱私保護面臨更大的風險與挑戰.機器學習的訓練模式主要分為集中學習和聯邦學習2類,前者在模型訓練前需統一收集各方數據,盡管易于部署,卻存在極大數據隱私與安全隱患;后者實現了將各方數據保留在本地的同時進行模型訓練,但該方式目前正處于研究的起步階段,無論在技術還是部署中仍面臨諸多問題與挑戰.現有的隱私保護技術研究大致分為2條主線,即以同態加密和安全多方計算為代表的加密方法和以差分隱私為代表的擾動方法,二者各有利弊.為綜述當前機器學習的隱私問題,并對現有隱私保護研究工作進行梳理和總結,首先分別針對傳統機器學習和深度學習2類情況,探討集中學習下差分隱私保護的算法設計;之后概述聯邦學習中存的隱私問題及保護方法;最后總結目前隱私保護中面臨的主要挑戰,并著重指出隱私保護與模型可解釋性研究、數據透明之間的問題與聯系.

付費5元查看完整內容

題目: Survey of Personalization Techniques for Federated Learning

簡介:

聯邦學習使機器學習模型可以從分散的數據中學習,而不會損害隱私。 聯邦學習的標準制定為所有客戶提供了一種共享模型。 由于跨設備的非IID數據分布造成的統計異質性通常導致以下情況:對于某些客戶,僅對自己的私有數據進行訓練的局部模型的性能要優于全局共享模型,從而喪失了參與該過程的動力。 已經提出了幾種技術來個性化全局模型,以更好地為單個客戶服務。 本文強調了個性化的必要性,并對有關該主題的最新研究進行了調查。

目錄:

付費5元查看完整內容

1、題目: Advances and Open Problems in Federated Learning

簡介: 聯邦學習(Federated Learning)是一種新興的人工智能基礎技術,在 2016 年由谷歌最先提出,原本用于解決安卓手機終端用戶在本地更新模型的問題,其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下,在多參與方或多計算結點之間開展高效率的機器學習。其中,聯邦學習可使用的機器學習算法不局限于神經網絡,還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。最近來自斯坦福、CMU、Google等25家機構58位學者共同發表了關于聯邦學習最新進展與開放問題的綜述論文《Advances and Open Problems in Federated Learning》,共105頁pdf調研了438篇文獻,講解了最新聯邦學習進展,并提出大量開放型問題。

2、題目: Deep learning for time series classification: a review

簡介: 時間序列分類(Time Series Classification, TSC )是數據挖掘中的一個重要而富有挑戰性的問題。隨著時間序列數據可用性的提高,已經提出了數百種TSC算法。在這些方法中,只有少數考慮使用深度神經網絡來完成這項任務。這令人驚訝,因為在過去幾年里,深度學習得到了非常成功的應用。DNNs的確已經徹底改變了計算機視覺領域,特別是隨著新型更深層次的結構的出現,如殘差和卷積神經網絡。除了圖像,文本和音頻等連續數據也可以用DNNs處理,以達到文檔分類和語音識別的最新性能。在本文中,本文通過對TSC最新DNN架構的實證研究,研究了TSC深度學習算法的最新性能。在TSC的DNNs統一分類場景下,本文概述了各種時間序列領域最成功的深度學習應用。本文還為TSC社區提供了一個開源的深度學習框架,實現了本文所對比的各種方法,并在單變量TSC基準( UCR archive)和12個多變量時間序列數據集上對它們進行了評估。通過在97個時間序列數據集上訓練8730個深度學習模型,本文提出了迄今為止針對TSC的DNNs的最詳盡的研究。

3、 題目: Optimization for deep learning: theory and algorithms

簡介: 本文概述了用于訓練神經網絡的優化算法和理論。 首先,我們討論梯度爆炸/消失的問題以及不希望有的頻譜的更一般性的問題,然后討論實用的解決方案,包括仔細的初始化和歸一化方法。 其次,我們回顧了用于訓練神經網絡的通用優化方法,例如SGD,自適應梯度法和分布式方法,以及這些算法的現有理論結果。 第三,我們回顧了有關神經網絡訓練的全球性問題的現有研究,包括不良局部極小值,模式連通性,彩票假說和無限寬度分析的結果。

4、題目: Optimization for deep learning: theory and algorithms

簡介: 本文概述了用于訓練神經網絡的優化算法和理論。 首先,我們討論梯度爆炸/消失的問題以及不希望有的頻譜的一般性的問題,然后討論解決方案,包括初始化和歸一化方法。 其次,我們回顧了用于訓練神經網絡的通用優化方法,例如SGD,自適應梯度法和分布式方法,以及這些算法的現有理論結果。 第三,我們回顧了有關神經網絡訓練的現有研究。

5、題目: Normalizing Flows for Probabilistic Modeling and Inference

簡介: 歸一化流提供了一種定義表達概率分布的通用機制,只需要指定基本分布和一系列雙射變換。 最近有許多關于標準化流的工作,從提高其表達能力到擴展其應用。 我們認為該領域已經成熟,需要一個統一的觀點。 在這篇綜述中,我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理,并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯,我們還擴大了flow的概念框架。 最后,我們總結了在諸如生成模型,近似推理和監督學習等任務中使用歸一化流提供了一種定義表達概率分布的通用機制,只需要指定(通常是簡單的)基本分布和一系列雙射變換。 最近有許多關于標準化流的工作,從提高其表達能力到擴展其應用。 我們認為該領域已經成熟,需要一個統一的觀點。 在這篇綜述中,我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理,并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯,我們還擴大了流量的概念框架。 最后,我們總結了在諸如生成模型,近似推理和監督學習等任務中使用流。

6、題目: Fantastic Generalization Measures and Where to Find Them

簡介: 近年來,深度網絡的普遍性引起了人們極大的興趣,從而產生了許多從理論和經驗出發推動復雜性的措施。 但是,大多數提出此類措施的論文只研究了一小部分模型,而這些實驗得出的結論在其他情況下是否仍然有效的問題尚待解決。 我們提出了深度網絡泛化的第一個大規模研究。 我們研究了從理論界和實證研究中采取的40多種復雜性度量。 通過系統地改變常用的超參數,我們訓練了10,000多個卷積網絡。 為了揭示每個度量與泛化之間的潛在因果關系,我們分析了實驗,并顯示了有希望進行進一步研究的度量。

7、題目: Neural Style Transfer: A Review

簡介: Gatys等人的開創性工作通過分離和重新組合圖像內容和樣式,展示了卷積神經網絡(CNN)在創建藝術圖像中的作用。使用CNN渲染不同樣式的內容圖像的過程稱為神經樣式傳輸(NST)。從那時起,NST成為學術文獻和工業應用中的一個熱門話題。它正受到越來越多的關注,并且提出了多種方法來改進或擴展原始的NST算法。在本文中,我們旨在全面概述NST的最新進展。我們首先提出一種NST領域中當前算法的分類法。然后,我們提出幾種評估方法,并定性和定量地比較不同的NST算法。審查結束時討論了NST的各種應用和未解決的問題,以供將來研究。

付費5元查看完整內容

報告主題:用戶隱私,數據孤島和聯邦學習 報告摘要:隨著人工智能(AI)的廣泛應用,AI系統所面臨的大數據挑戰也日益凸顯。一方面,AI系統的成功離不開大數據,另一方面,社會對于用戶隱私的泄露也越來越不能容忍。最近,歐洲推出了嚴厲的個人數據隱私法案,而部門和機構之間的隔閡也使得部門墻成為數據孤島間難以逾越的障礙。面對這一嚴峻挑戰,我們提出“聯邦遷移學習",用以建立機構間的橋梁,使得不同數據控制方可以參與聯合建立AI模型,并協作使用模型來進行決策。各方數據不出本地,而用戶隱私得到最好保護。我將舉例描述聯邦遷移學習這一技術的幾個功能,包括數據確權定價,利益合理分配,安全聯合建模。

嘉賓簡介:楊強,微眾銀行首席人工智能官,曾擔任香港科技大學計算機與工程系講座教授和系主任,前華為諾亞方舟實驗室主任,第四范式公司聯合創始人,AAAI執委,國際人工智能聯合會IJCAI理事會主席,香港人工智能與機器人學會理事長,ACM TIST 和IEEE TRANS on BIG DATA創始主編,AAAI, ACM,IEEE,AAAS等多個國際學會的Fellow。

付費5元查看完整內容
北京阿比特科技有限公司