亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文將介紹基于分布式聲學模塊和光電傳感器網絡的DEEPLOMATICS演示原理。在最初的探測階段，融合聲學傳感器的結果允許對入侵進行大致的定位。然后，這個區域被基于幾個波長和兩個視場攝像機的光電系統可視化，該系統可以精確和自動地檢測場景中的無人機，然后將入侵的放大圖像傳送給操作員。獲得的信號根據ISL和CNAM實驗室合作開發的一種原始方法進行利用。該方法以遠程人工智能為基礎，允許改善對威脅和操作情況的感知。

最后，將介紹現場試驗的結果，以說明DEEPLOMATICS演示器在聲學和光學傳感器之間以及各種相機（可見光、SWIR、主動成像...）提供的圖像之間的互補性。

項目的總體目標

幾個麥克風陣列被部署在需要保護的區域。在其覆蓋區域內，每個麥克風陣列同時使用基于波束學習網絡的深度學習方法對飛行的無人機進行定位和識別。每個陣列都連接著一個本地人工智能，它實時處理空間音頻測量，獨立于監控網絡的其他單元。

一個數據融合系統完善了每個人工智能增強的麥克風陣列所提供的估計。這個檢測到的位置與光電系統實時共享。一旦該系統鎖定了目標，就會使用深度學習跟蹤算法來實現自主視覺跟蹤和識別。

光電系統由安裝在一個伺服轉塔上的各種相機（可見光、熱成像和主動成像）組成。主動成像系統可以捕捉到1公里以內的場景，并且只捕捉給定距離內的物體，這就自然地將前景和背景從圖像中排除，并增強了計算機視覺的能力。

DEEPLOMATICS項目結合了聲學和光電學的優點，以確保無人機的實時定位和識別（圖1），并具有很高的精度（絕對三維誤差小于7°，檢測精度超過90％）。模塊化的方法也允許在長期內考慮增加新的捕獲系統，如電磁雷達。

圖 1：實施跨學科和多模態方法

本文提出了計算概率神經網絡局部魯棒性的方法，特別是由貝葉斯推理得到的魯棒性。從理論上講，將貝葉斯推理應用到神經網絡參數的學習中，有望解決頻繁主義學習范式下出現的許多實際困擾問題。特別是，貝葉斯學習允許有原則的架構比較和選擇，先驗知識的編碼，以及預測不確定性的校準。最近的研究表明，貝葉斯學習可以導致更多的對抗魯棒預測。雖然從理論上講是這樣的，并且在具體實例中已經證明了這一點，但提高魯棒性的軼事證據并不能為那些希望在安全關鍵環境中部署貝葉斯深度學習的人提供足夠的保證。雖然有方法可以保證確定性神經網絡的魯棒性，但貝葉斯神經網絡權重的概率性質使這些方法不可操作。本文研究了貝葉斯神經網絡的魯棒性概念，允許同時考慮模型的隨機性和模型決策的魯棒性保證。本文提供了一種方法，可以為給定的貝葉斯神經網絡計算這些數量，這些方法要么對估計的精度有先驗的統計保證，要么有可靠的概率上下界。最后，我們將魯棒性作為神經網絡參數貝葉斯推斷的主要要求，并演示了如何修改似然，以推斷出具有良好魯棒性的后驗分布。對似然的修正使我們的方法對貝葉斯神經網絡的近似推理技術是透明的。

我們使用貝葉斯神經網絡來評估我們提出的方法的實用性，這些神經網絡訓練了幾個真實的數據集，包括空中碰撞避免和交通標志識別。此外，我們評估了使用五種不同近似推理方法近似推斷的貝葉斯后驗分布的魯棒性。我們發現，我們的方法為貝葉斯神經網絡提供了第一個可證明的魯棒性保證，從而使它們能夠部署在安全關鍵場景中。此外，我們提出的神經網絡參數的魯棒貝葉斯推理方法使我們能夠推斷出后驗分布，這大大提高了可證明的魯棒性，即使是在全色圖像上。概述經典計算機科學關注的是如何創建解決給定問題的程序。相應地，經典程序驗證是確保(通常通過形式證明)給定程序在每個實例[6]中正確解決給定問題的任務。近年來，計算機科學家們已經將他們想要解決的問題的類別擴大到那些過于復雜或定義欠佳而無法用經典編程范式處理的任務。在程序不能再由人類設計的地方，它們可以通過示例[57]學習。隨著學習到的解決方案變得比手工編碼的解決方案好得多，它們所應用的領域也變得更加復雜。學習具有最大潛在影響的領域也具有最大的危害風險，這并不奇怪[1,10]。針對這類任務(包括醫療診斷和自動駕駛汽車)的學習解決方案，在部署和獲得公眾信任之前，必須保證其安全性。不幸的是，為這些任務編寫經典程序的障礙也阻礙了它們的正式驗證[79]。此外，檢驗習得解的基本穩定性的初步嘗試揭示了它們顯著的脆弱性[136]。這種脆弱性表現為過度自信、不正確的預測，幾乎對學習算法的每個輸入都可能產生這種預測。

因此，如果我們想要利用機器學習算法的光明未來，我們必須確保它們在部署之前是安全的。在這篇論文中，我們將關注到目前為止最流行和最強大的學習算法:深度神經網絡神經網絡是功能強大的函數逼近器，它有望在廣泛的任務中對先進性能的進步做出持續和重要的貢獻。神經網絡已經在諸如醫療診斷和病理以及控制和規劃等安全關鍵領域取得了顯著的強大性能。然而，在這些領域采用神經網絡的主要障礙是它們的預測缺乏可解釋性和可靠性[1]。我們將使用兩個主要漏洞來激發貝葉斯神經網絡(BNNs)的魯棒性研究，BNNs是由貝葉斯規則推斷的參數分布的神經網絡。第一個潛在的漏洞是確定性神經網絡(DNNs)缺乏校準的不確定性，即知道自己不知道什么[81]。當確定性神經網絡用于對統計上偏離訓練數據的數據點進行推斷時，這是一個特別的挑戰。在這種情況下，DNN經常會做出高度自信、不正確的預測，如果依賴這些預測，可能會導致糟糕的行為[104]。第二個弱點是對抗性的例子[136]。一個對抗性的例子是一個輸入，它被精心設計成與自然發生的輸入無法區分，但這會導致神經網絡在輸出中做出錯誤的分類或不安全的更改。在醫學診斷中，這可能是由于病理幻燈片色調的輕微變化而預測患者患有癌癥，或者在自主導航中，這可能是基于照明條件的輕微變化而預測轉向角度的較大變化[105]。對抗攻擊已被證明不僅在圖像分類[58]中存在安全隱患，在音頻識別[163]、惡意軟件識別[126]和自然語言處理[41]中也存在安全隱患。這些對安全性和安全性關鍵型應用程序構成了巨大的安全風險。當然，證明對抗實例的安全性是在安全關鍵環境下部署任何神經網絡的先決條件。

在過去幾年里，證明神經網絡預測的安全性一直是一個重要而活躍的研究領域，并且在有效證明對抗例子不存在方面取得了巨大進展[79,22,152]。雖然這滿足了我們的一個愿望(缺乏對抗性的例子)，但確定性神經網絡在校準不確定性方面仍然提供很少的東西。特別是，給定一個確定性神經網絡和一個我們想要分類的輸入，通常的情況是，如果一個對抗的例子存在，那么它被錯誤地分類，置信度非常高[58]。這意味著，基于輸出，無法推斷輸入是否可能不正確或損壞。此外，有關于確定性神經網絡的研究表明，對于許多任務來說，對抗實例的存在是不可避免的[47,46]，進一步說，魯棒確定性學習是不可能的[59]。雖然合理的局部驗證(證明不存在對抗性例子)對于向用戶保證在特定情況下的正確性能是必要的，但貝葉斯學習范式提供了一種系統的方法，可以在更一般的水平上減輕這些不可能結果的擔憂。通過引入校準的不確定性，貝葉斯神經網絡在理論和經驗上都被證明對對抗性例子具有更強的魯棒性，并且可以潛在地削弱或擊敗確定性網絡的不可能結果[53,23,7]。因此，在需要安全性和魯棒性證明的安全關鍵場景中，貝葉斯神經網絡似乎是一種自然和可行的部署方案。

盡管貝葉斯神經網絡有許多吸引人的特性，但無法用確定性神經網絡開發的技術直接分析貝葉斯神經網絡[168]。貝葉斯網絡與確定性網絡的主要區別在于前者的參數值具有后驗分布。為了驗證這種模型的魯棒性，必須找到一種方法來執行確定性神經網絡可用的正確性分析，同時以合理的方式考慮到范圍或可能的參數值。這樣做是在安全關鍵場景中安全部署貝葉斯神經網絡的必要前提。在這篇論文中，我們開發了一些工具，允許我們在貝葉斯環境下利用確定性神經網絡的魯棒性量化方面的進展。特別地，我們研究了貝葉斯神經網絡魯棒性的兩個概念，這允許從業者在給定貝葉斯神經網絡部署之前量化其最壞情況的行為。貝葉斯神經網絡魯棒性的第一個概念是概率魯棒性(在第4章中定義)。這允許從業者理解模型固有的隨機性及其對抗魯棒性之間的相互作用，也可以被視為不確定性的最壞情況度量。魯棒性的第二個概念是貝葉斯決策魯棒性。貝葉斯神經網絡除了在其權重上有一個分布之外，還與確定性神經網絡不同，因為我們必須對其預測分布和錯誤決策的風險或損失進行推理，以便做出預測。決策魯棒性考慮了考慮中的貝葉斯模型的決策過程，并允許我們證明即使在對手存在的情況下，也會發布正確的決策。這些定義允許我們量化貝葉斯神經網絡的概率正確性。

聯邦學習(federal learning, FL)已經發展成為一個很有前途的框架，可以利用邊緣設備的資源，增強客戶的隱私，遵守規則，并降低開發成本。雖然許多方法和應用已經開發用于FL，但實際FL系統的幾個關鍵挑戰仍然沒有解決。本文作為ICASSP 2022年“聯邦學習的前沿:應用、挑戰和機遇”特別會議的一部分，對聯邦學習的發展進行了展望。將其展望分為算法基礎、個性化、硬件與安全約束、終身學習、非標準數據五個新興的FL方向。我們獨特的觀點得到了大規模聯邦系統對邊緣設備的實際觀察的支持。

//www.zhuanzhi.ai/paper/39a7d4ee8712a68df844567ae2010fbe

聯合學習[1,2]是一種流行的針對邊緣設備開發的分布式學習框架。它允許私有數據停留在本地，同時利用邊緣設備的大規模計算。它的主要思想是通過在每個所謂的聯邦或通信輪中交替執行以下內容來學習聯合模型: 1) 服務器將模型推送給客戶端，然后客戶端將執行多個本地更新，2) 服務器從客戶端子集聚合模型。實際FL系統的設計是非常重要的，因為FL經常涉及數以百萬計的設備、來自不同隊列的未知異構性、有限的設備容量、不斷變化的數據分布和部分標記的數據。受實際觀察的啟發，我們將在以下五個部分中列出一些關鍵的挑戰(如圖1所示)。

聯邦學習由于能夠在多方數據源聚合的場景下協同訓練全局最優模型，近年來迅速成為安全機器學習領域的研究熱點。首先，歸納了聯邦學習定義、算法原理和分類；接著，深入分析了其面臨的主要威脅與挑戰；然后，重點對通信效率、隱私安全、信任與激勵機制3個方向的典型研究方案對比分析，指出其優缺點；最后，結合邊緣計算、區塊鏈、5G等新興技術對聯邦學習的應用前景及研究熱點進行展望。

//www.infocomm-journal.com/cjnis/EN/10.11959/j.issn.2096-109x.2021056

摘要

通信技術和醫療物聯網的最新進展改變了由人工智能(AI)實現的智能醫療。傳統上，人工智能技術需要集中的數據收集和處理，但由于現代醫療網絡的高度可擴展性和日益增長的數據隱私問題，這在現實的醫療場景中可能不可行。聯邦學習(FL)是一種新興的分布式協同人工智能范式，通過協調多個客戶(如醫院)在不共享原始數據的情況下進行人工智能訓練，對智能醫療保健特別有吸引力。因此，我們提供了一個關于FL在智能醫療中的使用的全面綜述。首先，我們介紹了FL的最新進展、在智能醫療中使用FL的動機和要求。最近FL設計智能醫療然后討論,從resource-aware FL,安全和privacy-aware FL激勵FL和個性化FL。隨后,我們提供在關鍵的新興應用FL醫療領域的綜述,包括健康數據管理、遠程健康監測,醫學成像,和COVID-19檢測。本文分析了最近幾個基于FL的智能醫療項目，并強調了從綜述中得到的關鍵教訓。最后，我們討論了有趣的研究挑戰和未來FL研究在智能醫療可能的方向。

引言

醫療物聯網(IoMT)的革命改變了醫療保健行業，改善了人類的生活質量。在智能醫療環境中，IoMT設備(如可穿戴傳感器)被廣泛用于收集醫療數據，用于人工智能(AI)[2]啟用的智能數據分析，以實現大量令人興奮的智能醫療應用，如遠程健康監測和疾病預測。例如，人工智能技術，如深度學習(DL)已證明其在生物醫學圖像分析方面的巨大潛力，可通過處理大量健康數據來促進醫療服務[3]的提供，從而有助于慢性病的早期檢測。

傳統上，智能醫療系統通常依賴于位于云或數據中心的集中AI功能來學習和分析健康數據。隨著現代醫療網絡中健康數據量的增加和IoMT設備的增長，由于原始數據傳輸的原因，這種集中式解決方案在通信延遲方面效率不高，無法實現很高的網絡可擴展性。此外，依賴這樣的中央服務器或第三方進行數據學習引起了關鍵的隱私問題，例如，用戶信息泄露和數據泄露[4]。在電子醫療保健領域尤其如此，在電子醫療保健領域，與健康有關的信息高度敏感，屬于私人信息，受《美國健康保險便攜性和問責法》(HIPPA)[5]等衛生法規的約束。此外，在未來的醫療系統中，這種集中式AI架構可能不再適用，因為健康數據不是集中放置的，而是分布在大規模的IoMT網絡上。因此，迫切需要采用分布式AI方法，在網絡邊緣實現可擴展和保護隱私的智能醫療保健應用程序。

在這種背景下，聯邦學習(FL)已經成為一種很有前途的解決方案，可以實現具有成本效益的智能醫療應用程序，并改善隱私保護[6-9]。從概念上講，FL是一種分布式人工智能方法，通過平均從多個健康數據客戶(如IoMT設備)匯總的本地更新，而不需要直接訪問本地數據[10]，從而能夠訓練高質量的人工智能模型。這可能防止泄露敏感用戶信息和用戶偏好，從而降低隱私泄露風險。此外，由于FL吸引了來自多個衛生數據客戶的大量計算和數據集資源來訓練人工智能模型，衛生數據訓練質量(如準確性)將得到顯著提高，而使用數據較少和計算能力有限的集中式人工智能方法可能無法實現這一目標。

目前還沒有針對FL在智能醫療中的應用進行全面綜述的工作。此外，在開放文獻中仍然缺少在新興醫療保健應用中使用FL的整體分類。這些限制促使我們對FL在智能醫療中的集成進行廣泛的綜述。特別地，我們首先確定了在智能醫療中使用FL的關鍵動機并強調了其需求。然后，我們發現了用于智能醫療的最新先進FL設計。隨后，我們提供了關于FL在智能醫療領域新興應用的最新調研，如電子健康記錄(EHR)管理、遠程健康監測、醫學成像和COVID-19檢測。本文還總結了調研所得的經驗教訓，供讀者參考。本文總結貢獻如下：

(1) 我們介紹了在智能醫療中使用FL的最新調研，首先介紹了FL的概念，并討論了使用FL智能醫療的動機和技術要求。

(2) 我們介紹了最近先進的FL設計，這些設計將有助于聯合智能醫療應用，包括資源感知的FL、安全和隱私增強的FL、激勵感知的FL和個性化的FL。

(3) 我們通過廣泛的關鍵領域提供了關于FL在智能醫療中的關鍵應用的最新綜述。即聯邦EHRs管理、聯邦遠程健康監視、聯邦醫學成像和聯邦COVID-19檢測。本文提供了與FL醫療保健用例相關的正在出現的實際項目，并強調了從調研中吸取的關鍵教訓。

(4) 最后，我們強調了FL-smart 醫療的有趣挑戰并討論了未來的發展方向。

隨著數據越來越多地存儲在不同的筒倉中，社會越來越關注數據隱私問題，傳統的人工智能(AI)模型集中訓練正面臨效率和隱私方面的挑戰。最近，聯邦學習(FL)作為一種替代解決方案出現，并在這種新的現實中繼續蓬勃發展。現有的FL協議設計已經被證明對系統內外的對抗是脆弱的，危及數據隱私和系統的魯棒性。除了訓練強大的全局模型外，最重要的是設計具有隱私保障和抵抗不同類型對手的FL系統。在本文中，我們對這一問題進行了第一次全面的綜述。通過對FL概念的簡明介紹，和一個獨特的分類涵蓋:1) 威脅模型; 2) 中毒攻擊與魯棒性防御; 3) 對隱私的推理攻擊和防御，我們提供了這一重要主題的可訪問的回顧。我們強調了各種攻擊和防御所采用的直覺、關鍵技術和基本假設。最后，我們對魯棒性和隱私保護聯合學習的未來研究方向進行了討論。

//www.zhuanzhi.ai/paper/678e6e386bbefa8076e699ebd9fd8c2a

引言

隨著計算設備變得越來越普遍，人們在日常使用中產生了大量的數據。將這樣的數據收集到集中的存儲設施中既昂貴又耗時。傳統的集中式機器學習(ML)方法不能支持這種普遍存在的部署和應用，這是由于基礎設施的缺點，如有限的通信帶寬、間歇性的網絡連接和嚴格的延遲約束[1]。另一個關鍵問題是數據隱私和用戶機密性，因為使用數據通常包含敏感信息[2]。面部圖像、基于位置的服務或健康信息等敏感數據可用于有針對性的社交廣告和推薦，造成即時或潛在的隱私風險。因此，私人數據不應該在沒有任何隱私考慮的情況下直接共享。隨著社會對隱私保護意識的增強，《通用數據保護條例》(GDPR)等法律限制正在出現，這使得數據聚合實踐變得不那么可行。

在這種情況下，聯邦學習(FL)(也被稱為協作學習)將模型訓練分發到數據來源的設備上，作為一種有前景的ML范式[4]出現了。FL使多個參與者能夠構建一個聯合ML模型，而不暴露他們的私人訓練數據[4]，[5]。它還可以處理不平衡、非獨立和同分布(非i.i.d)數據，這些數據自然出現在真實的[6]世界中。近年來，FL獲得了廣泛的應用，如下一個單詞預測[6]、[7]、安全視覺目標檢測[8]、實體解析[9]等。

根據參與者之間數據特征和數據樣本的分布，聯邦學習一般可以分為水平聯邦學習(HFL)、垂直聯邦學習(VFL)和聯邦遷移學習(FTL)[10]。

具有同構體系結構的FL: 共享模型更新通常僅限于同構的FL體系結構，也就是說，相同的模型被所有參與者共享。參與者的目標是共同學習一個更準確的模型。具有異構架構的FL: 最近的努力擴展了FL，以協同訓練具有異構架構的模型[15]，[16]。

FL提供了一個關注隱私的模型訓練的范式，它不需要數據共享，并且允許參與者自由地加入和離開聯盟。然而，最近的研究表明，FL可能并不總是提供足夠的隱私和健壯性保證。現有的FL協議設計容易受到以下攻擊: (1)惡意服務器試圖從個人更新中推斷敏感信息，篡改訓練過程或控制參與者對全局參數的看法;或者(2)一個敵對的參與者推斷其他參與者的敏感信息，篡改全局參數聚合或破壞全局模型。

在隱私泄露方面，在整個訓練過程中，通信模型的更新會泄露敏感信息[18]、[19]，并導致深度泄露[20]，無論是對第三方服務器還是中央服務器[7]、[21]。例如，如[22]所示，即使是很小一部分的梯度也可以揭示相當數量的有關本地數據的敏感信息。最近的研究表明，通過簡單地觀察梯度，惡意攻擊者可以在[20]，[23]幾次迭代內竊取訓練數據。

在魯棒性方面，FL系統容易受到[24]、[25]和[26]、[27]、[28]、[29]的模型中毒攻擊。惡意參與者可以攻擊全局模型的收斂性，或者通過故意改變其本地數據(數據中毒)或梯度上傳(模型中毒)將后門觸發器植入全局模型。模型投毒攻擊可以進一步分為:(1)Byzantine 攻擊，攻擊者的目標是破壞全局模型[13]、[30]的收斂性和性能;(2)后門攻擊，對手的目標是在全局模型中植入一個后門觸發器，以欺騙模型不斷預測子任務上的敵對類，同時在主要任務[26]，[27]上保持良好的性能。需要注意的是，后門模型投毒攻擊通常利用數據投毒來獲取有毒的參數更新[24]、[26]、[27]。

這些隱私和魯棒性攻擊對FL構成了重大威脅。在集中學習中，服務器控制參與者的隱私和模型魯棒性。然而，在FL中，任何參與者都可以攻擊服務器并監視其他參與者，有時甚至不涉及服務器。因此，理解這些隱私性和健壯性攻擊背后的原理是很重要的。

目前對FL的研究主要集中在系統/協議設計[10]、[31]、[32]。聯邦學習的隱私和穩健性威脅還沒有得到很好的探討。在本文中，我們調研了FL的隱私和魯棒性威脅及其防御方面的最新進展。特別地，我們關注由FL系統內部者發起的兩種特定威脅:1) 試圖阻止學習全局模型的中毒攻擊，或控制全局模型行為的植入觸發器;2) 試圖泄露其他參與者隱私信息的推理攻擊。表2總結了這些攻擊的特性。

盡管在深度學習方面取得了最近的進展，但大多數方法仍然采用類似“筒倉”的解決方案，專注于孤立地學習每個任務:為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實問題需要多模態方法，因此需要多任務模型。多任務學習(MTL)旨在利用跨任務的有用信息來提高模型的泛化能力。在這個綜述中，我們提供了一個最先進的在深度神經網絡的背景下MTL技術的全面觀點。我們的貢獻涉及以下方面。首先，我們從網絡架構的角度來考慮MTL。我們包括了一個廣泛的概述，并討論了最近流行的MTL模型的優缺點。其次，我們研究了解決多任務聯合學習的各種優化方法。我們總結了這些工作的定性要素，并探討了它們的共性和差異。最后，我們在各種數據集上提供了廣泛的實驗評估，以檢查不同方法的優缺點，包括基于架構和優化的策略。

//arxiv.org/abs/2004.13379

概述

在過去的十年中，神經網絡在許多任務中都顯示了令人印象深刻的結果，例如語義分割[1]，實例分割[2]和單目深度估計[3]。傳統上，這些任務是單獨處理的，即為每個任務訓練一個單獨的神經網絡。然而，許多現實世界的問題本質上是多模態的。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，定位它們，了解它們是什么，估計它們的距離和軌跡，等等，以便在它的周圍安全導航。同樣的，一個智能廣告系統應該能夠在它的視點上檢測到人們的存在，了解他們的性別和年齡，分析他們的外貌，跟蹤他們正在看的地方，等等，從而提供個性化的內容。與此同時，人類非常擅長同時解決許多任務。生物數據處理似乎也遵循多任務處理策略: 不同的處理過程似乎共享大腦中相同的早期處理層，而不是將任務分開單獨處理。上述觀察結果促使研究人員開發了多任務學習(MTL)模型，即給定一個輸入圖像可以推斷出所有所需的任務輸出。

在深度學習時代之前，MTL工作試圖對任務之間的共同信息進行建模，希望通過聯合任務學習獲得更好的泛化性能。為了實現這一點，他們在任務參數空間上放置了假設，例如:任務參數應該彼此靠近w.r.t.一些距離度量[5]，[6]，[16]0，[16]2，共享一個共同的概率先驗[16]1，[10]，[11]，[12]，[13]，或駐留在一個低維子空間[14]，[15]，[16]或流形[17]。當所有任務都是相關的[5]、[14]、[18]、[19]時，這些假設可以很好地工作，但是如果在不相關的任務之間發生信息共享，則可能導致性能下降。后者是MTL中已知的問題，稱為負轉移。為了緩解這一問題，其中一些研究人員選擇根據先前對任務的相似性或相關性的認識將任務分組。

在深度學習時代，MTL轉化為能夠從多任務監控信號中學習共享表示的網絡設計。與單任務情況下，每個單獨的任務由自己的網絡單獨解決相比，這種多任務網絡理論上給表帶來了幾個優點。首先，由于它們固有的層共享，結果內存占用大大減少。其次，由于他們明確地避免重復計算共享層中的特征，每次都要計算一次，因此他們的推理速度有所提高。最重要的是，如果相關的任務能夠分享互補的信息，或者互相調節，它們就有可能提高績效。對于前者，文獻已經為某些對任務提供了證據，如檢測和分類[20]，[21]，檢測和分割[2]，[22]，分割和深度估計[23]，[24]，而對于后者，最近的努力指向了那個方向[25]。這些工作導致了第一個深度多任務網絡的發展，歷史上分為軟或硬參數共享技術。

在本文中，我們回顧了在深度神經網絡范圍內的MTL的最新方法。首先，我們對MTL基于架構和優化的策略進行了廣泛的概述。對于每種方法，我們描述了其關鍵方面，討論了與相關工作的共性和差異，并提出了可能的優點或缺點。最后，我們對所描述的方法進行了廣泛的實驗分析，得出了幾個關鍵的發現。我們在下面總結了我們的一些結論，并提出了未來工作的一些可能性。

• 首先，MTL的性能在很大程度上取決于任務字典。它的大小、任務類型、標簽源等等，都影響最終的結果。因此，最好根據每個案例選擇合適的架構和優化策略。盡管我們提供了具體的觀察結果，說明為什么某些方法在特定設置中工作得更好，但是MTL通常可以從更深的理論理解中獲益，從而在每種情況下最大化預期收益。例如，這些收益似乎取決于多種因素，例如數據量、任務關系、噪音等。未來的工作應該嘗試分離和分析這些不同因素的影響。

• 其次，當使用單一MTL模型處理多個密集預測任務時，基于解碼器的架構目前在多任務性能方面提供了更多優勢，與基于編碼器的架構相比，其計算開銷有限。如前所述，這是由于基于解碼器的體系結構促進了常見的跨任務模式的對齊，這自然很適合密集的預測任務。基于編碼器的架構在密集預測任務設置中仍然具有一定的優勢，但其固有的層共享似乎更適合處理多個分類任務。

• 最后，我們分析了多種任務均衡策略，并分離出對任務均衡學習最有效的要素，如降低噪聲任務的權重、平衡任務梯度等。然而，許多優化方面仍然缺乏了解。與最近的研究相反，我們的分析表明避免任務之間的梯度競爭會損害性能。此外，我們的研究顯示，一些任務平衡策略仍然存在不足，突出了現有方法之間的一些差異。我們希望這項工作能促進對這一問題的進一步研究。

【導讀】分布式機器學習Distributed Machine Learning是學術界和工業界關注的焦點。最近來自荷蘭的幾位研究人員撰寫了關于分布式機器學習的綜述，共33頁pdf和172篇文獻，概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

?論文地址： //www.zhuanzhi.ai/paper/161029da3ed8b6027a1199c026df7d07 ?

摘要 在過去的十年里，對人工智能的需求顯著增長，而機器學習技術的進步和利用硬件加速的能力推動了這種增長。然而，為了提高預測的質量并使機器學習解決方案在更復雜的應用中可行，需要大量的訓練數據。雖然小的機器學習模型可以用少量的數據進行訓練，但訓練大模型(如神經網絡)的輸入隨著參數的數量呈指數增長。由于處理訓練數據的需求已經超過了計算機器計算能力的增長，因此需要將機器學習的工作負載分布到多臺機器上，并將集中式的學習任務轉換為分布式系統。這些分布式系統提出了新的挑戰，首先是訓練過程的有效并行化和一致模型的創建。本文概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

1. 引言

近年來，新技術的快速發展導致了數據采集的空前增長。機器學習(ML)算法正越來越多地用于分析數據集和構建決策系統，因為問題的復雜性，算法解決方案是不可行的。例如控制自動駕駛汽車[23]，識別語音[8]，或者預測消費者行為[82]。

在某些情況下，訓練模型的長時間運行會引導解決方案設計者使用分布式系統來增加并行性和I/O帶寬總量，因為復雜應用程序所需的訓練數據很容易達到tb級的[29]。在其他情況下，當數據本身就是分布式的，或者數據太大而不能存儲在一臺機器上時，集中式解決方案甚至都不是一個選項。例如，大型企業對存儲在不同位置的[19]的數據進行事務處理，或者對大到無法移動和集中的天文數據進行事務處理[125]。

為了使這些類型的數據集可作為機器學習問題的訓練數據，必須選擇和實現能夠并行計算、數據分布和故障恢復能力的算法。在這一領域進行了豐富多樣的研究生態系統，我們將在本文中對其進行分類和討論。與之前關于分布式機器學習([120][124])或相關領域的調查([153][87][122][171][144])相比，我們對該問題應用了一個整體的觀點，并從分布式系統的角度討論了最先進的機器學習的實踐方面。

第2節深入討論了機器學習的系統挑戰，以及如何采用高性能計算(HPC)的思想來加速和提高可擴展性。第3節描述了分布式機器學習的參考體系結構，涵蓋了從算法到網絡通信模式的整個堆棧，這些模式可用于在各個節點之間交換狀態。第4節介紹了最廣泛使用的系統和庫的生態系統及其底層設計。最后，第5節討論了分布式機器學習的主要挑戰

2. 機器學習——高性能計算的挑戰?

近年來，機器學習技術在越來越復雜的應用中得到了廣泛應用。雖然出現了各種相互競爭的方法和算法，但所使用的數據表示在結構上驚人地相似。機器學習工作負載中的大多數計算都是關于向量、矩陣或張量的基本轉換——這是線性代數中眾所周知的問題。優化這些操作的需求是高性能計算社區數十年來一個非常活躍的研究領域。因此，一些來自HPC社區的技術和庫(如BLAS[89]或MPI[62])已經被機器學習社區成功地采用并集成到系統中。與此同時，HPC社區已經發現機器學習是一種新興的高價值工作負載，并開始將HPC方法應用于它們。Coates等人，[38]能夠在短短三天內，在他們的商用現貨高性能計算(COTS HPC)系統上訓練出一個10億個參數網絡。You等人[166]在Intel的Knights Landing(一種為高性能計算應用而設計的芯片)上優化了神經網絡的訓練。Kurth等人[84]證明了像提取天氣模式這樣的深度學習問題如何在大型并行高性能計算系統上進行優化和快速擴展。Yan等人[163]利用借鑒于HPC的輕量級概要分析等技術對工作負載需求進行建模，解決了在云計算基礎設施上調度深度神經網絡應用程序的挑戰。Li等人[91]研究了深度神經網絡在加速器上運行時對硬件錯誤的彈性特性，加速器通常部署在主要的高性能計算系統中。

與其他大規模計算挑戰一樣，加速工作負載有兩種基本的、互補的方法:向單個機器添加更多資源(垂直擴展或向上擴展)和向系統添加更多節點(水平擴展或向外擴展)。

3. 一個分布式機器學習的參考架構

圖1 機器學習的概述。在訓練階段，利用訓練數據和調整超參數對ML模型進行優化。然后利用訓練后的模型對輸入系統的新數據進行預測。

圖2 分布式機器學習中的并行性。數據并行性在di上訓練同一個模型的多個實例!模型并行性將單個模型的并行路徑分布到多個節點。

機器學習算法

機器學習算法學習根據數據做出決策或預測。我們根據以下三個特征對當前的ML算法進行了分類:

反饋、在學習過程中給算法的反饋類型

目的、期望的算法最終結果

方法、給出反饋時模型演化的本質

反饋 訓練算法需要反饋，這樣才能逐步提高模型的質量。反饋有幾種不同類型[165]:

包括 監督學習、無監督學習、半監督學習與強化學習

目的 機器學習算法可用于各種各樣的目的，如對圖像進行分類或預測事件的概率。它們通常用于以下任務[85]: 異常檢測、分類、聚類、降維、表示學習、回歸

每一個有效的ML算法都需要一種方法來迫使算法根據新的輸入數據進行改進，從而提高其準確性。通過算法的學習方式，我們識別出了不同的ML方法組: 演化算法、隨機梯度下降、支持向量機、感知器、神經網絡、規則機器學習、主題模型、矩陣分解。

圖3所示：基于分布程度的分布式機器學習拓撲

4. 分布式機器學習生態系統

圖4所示。分布式機器學習生態系統。通用分布式框架和單機ML系統和庫都在向分布式機器學習靠攏。云是ML的一種新的交付模型。

5 結論和當前的挑戰

分布式機器學習是一個蓬勃發展的生態系統，它在體系結構、算法、性能和效率方面都有各種各樣的解決方案。為了使分布式機器學習在第一時間成為可行的，必須克服一些基本的挑戰，例如，建立一種機制，使數據處理并行化，同時將結果組合成一個單一的一致模型。現在有工業級系統,針對日益增長的欲望與機器學習解決更復雜的問題,分布式機器學習越來越普遍和單機解決方案例外,類似于數據處理一般發展在過去的十年。然而，對于分布式機器學習的長期成功來說，仍然存在許多挑戰：性能、容錯、隱私、可移植性等。