亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著圖像處理,語音識別等人工智能技術的發展,很多學習方法尤其是采用深度學習框架的方法取得了優異的性能,在精度和速度方面有了很大的提升,但隨之帶來的問題也很明顯,這些學習方法如果要獲得穩定的學習效果,往往需要使用數量龐大的標注數據進行充分訓練,否則就會出現欠擬合的情況而導致學習性能的下降。因此,隨著任務復雜程度和數據規模的增加,對人工標注數據的數量和質量也提出了更高的要求,造成了標注成本和難度的增大。同時,單一任務的獨立學習往往忽略了來自其他任務的經驗信息,致使訓練冗余重復因而導致了學習資源的浪費,也限制了其性能的提升。為了緩解這些問題,屬于遷移學習范疇的多任務學習方法逐漸引起了研究者的重視。與單任務學習只使用單個任務的樣本信息不同,多任務學習假設不同任務數據分布之間存在一定的相似性,在此基礎上通過共同訓練和優化建立任務之間的聯系。這種訓練模式充分促進任務之間的信息交換并達到了相互學習的目的,尤其是在各自任務樣本容量有限的條件下,各個任務可以從其它任務獲得一定的啟發,借助于學習過程中的信息遷移能間接利用其它任務的數據,從而緩解了對大量標注數據的依賴,也達到了提升各自任務學習性能的目的。在此背景之下,本文首先介紹了相關任務的概念,并按照功能的不同對相關任務的類型進行劃分后再對它們的特點進行逐一描述。然后,本文按照數據處理模式和任務關系建模過程的不同將當前的主流算法劃分為兩大類:結構化多任務學習算法和深度多任務學習算法。其中,結構化多任務學習算法采用線性模型,可以直接針對數據進行結構假設并且使用原有標注特征表述任務關系,同時,又可根據學習對象的不同將其細分為基于任務層面和基于特征層面兩種不同結構,每種結構有判別式方法和生成式方法兩種實現手段。與結構化多任務學習算法的建模過程不同,深度多任務學習算法利用經過多層特征抽象后的深層次信息進行任務關系描述,通過處理特定網絡層中的參數達到信息共享的目的。緊接著,以兩大類算法作為主線,本文詳細分析了不同建模方法中對任務關系的結構假設、實現途徑、各自的優缺點以及方法之間的聯系。最后,本文總結了任務之間相似性及其緊密程度的判別依據,并且分析了多任務作用機制的有效性和內在成因,從歸納偏置和動態求解等角度闡述了多任務信息遷移的特點。 //gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019

題目： A Survey on Transfer Learning in Natural Language Processing

摘要：

深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。

題目： An Overview of Privacy in Machine Learning

序言： 在過去幾年中，谷歌、微軟和亞馬遜等供應商已經開始為客戶提供軟件接口，使他們能夠輕松地將機器學習任務嵌入到他們的應用程序中。總的來說，機構現在可以使用機器學習作為服務(MLaaS)引擎來外包復雜的任務，例如訓練分類器、執行預測、聚類等等。他們還可以讓其他人根據他們的數據查詢模型。當然，這種方法也可以在其他情況下使用(并且經常提倡使用)，包括政府協作、公民科學項目和企業對企業的伙伴關系。然而，如果惡意用戶能夠恢復用于訓練這些模型的數據，那么由此導致的信息泄漏將會產生嚴重的問題。同樣，如果模型的內部參數被認為是專有信息，那么對模型的訪問不應該允許對手了解這些參數。在本文中，我們對這一領域的隱私挑戰進行了回顧，系統回顧了相關的研究文獻，并探討了可能的對策。具體地說，我們提供了大量關于機器學習和隱私相關概念的背景信息。然后，我們討論了可能的對抗模型和設置，涵蓋了與隱私和/或敏感信息泄漏有關的廣泛攻擊，并回顧了最近試圖防御此類攻擊的結果。最后，我們總結出一系列需要更多工作的開放問題，包括需要更好的評估、更有針對性的防御，以及研究與政策和數據保護工作的關系。

隨著深度學習在視覺、推薦系統、自然語言處理等諸多領域的不斷發展，深度神經網絡(DNNs)在生產系統中得到了廣泛的應用。大數據集的可用性和高計算能力是這些進步的主要因素。這些數據集通常是眾包的，可能包含敏感信息。這造成了嚴重的隱私問題，因為這些數據可能被濫用或通過各種漏洞泄露。即使云提供商和通信鏈路是可信的，仍然存在推理攻擊的威脅，攻擊者可以推測用于訓練的數據的屬性，或者找到底層的模型架構和參數。在這次調查中，我們回顧了深度學習帶來的隱私問題，以及為解決這些問題而引入的緩解技術。我們還指出，在測試時間推斷隱私方面的文獻存在空白，并提出未來可能的研究方向。

題目： Threats to Federated Learning: A Survey

簡介：

隨著數據孤島的出現和隱私意識，訓練人工智能（AI）模型的傳統集中式方法面臨著嚴峻的挑戰。在這種新現實下，聯邦學習（FL）最近成為一種有效的解決方案。現有的FL協議設計已顯示出存在漏洞，系統內部和外部系統的攻擊者都可以利用這些漏洞來破壞數據隱私。因此，讓FL系統設計人員了解未來FL算法設計對隱私保護的意義至關重要。當前，沒有關于此主題的調查。在本文中，我們 彌合FL文學中的這一重要鴻溝。通過簡要介紹FL的概念以及涵蓋威脅模型和FL的兩種主要攻擊的獨特分類法：1）中毒攻擊 2）推理攻擊，本文提供了對該重要主題的易于理解的概述。我們重點介紹了各種攻擊所采用的關鍵技術以及基本假設，并討論了未來研究方向，以實現FL中更強大的隱私保護。

目錄：

人工智能(AI)的成功應該在很大程度上歸功于豐富數據的可獲得性。然而，實際情況并非如此，行業中的開發人員常常面臨數據不足、不完整和孤立的情況。因此，聯邦學習被提議通過允許多方在不顯式共享數據的情況下協作構建機器學習模型，同時保護數據隱私，來緩解這種挑戰。然而，現有的聯邦學習算法主要集中在數據不需要顯式標記或者所有數據都有標記的情況下。然而在現實中，我們經常會遇到這樣的情況，標簽數據本身是昂貴的，沒有足夠的標簽數據供應。雖然這類問題通常通過半監督學習來解決，但據我們所知，聯邦半監督學習還沒有投入任何努力。在這項調查中，我們簡要地總結了目前流行的半監督算法，并對聯邦半監督學習做了簡要的展望，包括可能的方法、設置和挑戰。

題目： A Survey on Distributed Machine Learning

簡介： 在過去十年中，對人工智能的需求已顯著增長，并且這種增長得益于機器學習技術的進步以及利用硬件加速的能力，但是，為了提高預測質量并在復雜的應用程序中提供可行的機器學習解決方案，需要大量的訓練數據。盡管小型機器學習模型可以使用一定數量的數據進行訓練，但用于訓練較大模型（例如神經網絡）的輸入與參數數量成指數增長。由于處理訓練數據的需求已經超過了計算機器的計算能力的增長，因此急需在多個機器之間分配機器學習工作量，并將集中式的精力分配到分配的系統上。這些分布式系統提出了新的挑戰，最重要的是訓練過程的科學并行化和相關模型的創建。本文通過概述傳統的（集中的）機器學習方法，探討了分布式機器學習的挑戰和機遇，從而對當前的最新技術進行了廣泛的概述，并對現有的技術進行研究。

聯邦學習（Federated Learning）是一種新興的人工智能基礎技術，在 2016 年由谷歌最先提出，原本用于解決安卓手機終端用戶在本地更新模型的問題，其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下，在多參與方或多計算結點之間開展高效率的機器學習。其中，聯邦學習可使用的機器學習算法不局限于神經網絡，還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。最近來自斯坦福、CMU、Google等25家機構58位學者共同發表了關于聯邦學習最新進展與開放問題的綜述論文《Advances and Open Problems in Federated Learning》，共105頁pdf調研了438篇文獻，講解了最新聯邦學習進展，并提出大量開放型問題。

摘要

聯邦學習(FL)是一種機器學習設置，在這種設置中，許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型，同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則，可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下，本文討論了近年來的進展，并提出了大量的開放問題和挑戰。

目錄

1 介紹

• 1.1 跨設備聯邦學習設置
• 1.1.1 聯邦學習中模型的生命周期
• 1.1.2 典型的聯邦訓練過程
• 1.2 聯邦學習研究
• 1.3 組織

2. 放寬核心聯邦學習假設:應用到新興的設置和場景

• 2.1 完全分散/點對點分布式學習
• 2.2 跨豎井聯邦學習
• 2.3 分離學習

3. 提高效率和效果

• 3.1 聯邦學習中的非iid數據
• 3.2 聯邦學習優化算法
• 3.3 多任務學習、個性化和元學習
• 3.4 為聯邦學習調整ML工作流
• 3.5 通信與壓縮
• 3.6 適用于更多類型的機器學習問題和模型

4 .保護用戶數據的隱私

• 4.1 深入研究參與者、威脅模型和隱私
• 4.2 工具與技術
• 4.3 對外部惡意行為者的保護
• 4.4 對抗服務器的保護
• 4.5 用戶感知

5. 對攻擊和失敗的健壯性

• 5.1 模型性能的對抗性攻擊
• 5.2 非惡意失效模式
• 5.3 探索隱私和健壯性之間的張力

6. 確保公平，消除偏見

• 6.1 訓練數據的偏差
• 6.2不訪問敏感屬性的公平性
• 6.3公平、隱私和健壯性
• 6.4利用聯合來改善模型多樣性
• 6.5聯邦公平:新的機遇和挑戰

7 結束語

• 用于聯邦學習的軟件和數據集