盡管人們對聯邦學習和貝葉斯神經網絡進行了研究，但對貝葉斯網絡的聯邦學習的實現卻很少。在本論文中，使用公共代碼庫Flower開發了一個貝葉斯神經網絡的聯邦學習訓練環境。隨之而來的是對最先進的架構、殘差網絡和貝葉斯版本的探索。然后用獨立同分布（IID）數據集和從Dirichlet分布得到的非IID數據集測試這些架構。結果顯示，貝葉斯神經網絡的MC Dropout版本可以通過聯邦學習對CIFAR10數據集的IID分區取得最先進的結果--91%的準確性。當分區為非IID時，通過概率權重的反方差聚合的聯邦學習與它的確定性對應物一樣好，大約有83%的準確性。這表明貝葉斯神經網絡也可以進行聯邦學習并取得最先進的結果。

美國海軍的考慮

使用FL是一個在邊緣采用人工智能的機會，并減少收集大量數據集的需要。這將極大地幫助海軍在艦隊中部署和訓練AI模型的工作。例如，通過傳統的人工智能管道，為海軍創建一個人工智能模型將需要每個指揮部合作創建一個全球數據集，無論是被動聲納還是網絡流量分析、維護或人力資源。這是一項非常昂貴和耗時的任務，隨著新數據的出現，在完成時可能已經過時了。然而，FL提供了一種方法，讓每個指揮部在他們本地的、當前的數據上訓練和部署一個模型，并將他們的模型與另一個指揮部的人工智能模型匯總。由于只傳遞模型的權重而不是整個數據集，所以通信成本也是最小的。雖然FL提出了一種在邊緣部署和訓練人工智能模型的方法，但貝葉斯網絡是一種不僅能提供預測，而且能對其評估的不確定性進行估計的模型。士兵在不確定的環境中工作，知道部署的人工智能模型何時對其預測不確定，可以防止人工智能和戰士的過度自信。這一特點可以極大地幫助人工智能-士兵團隊以更高的效率水平運作。將FL的分布式和持續學習特性以及貝葉斯NN的不確定性這兩個方面結合起來，將是海軍在各種應用中的巨大優勢，如網絡流量分析、合成孔徑雷達或無人機圖像分析，或無源聲納分析。

研究目標與貢獻

為了證明這一點，開發了一個FL框架來比較貝葉斯NN和它們的確定性對應物，并在本論文中分析了它們的結果。本論文的主要貢獻是在一個已知的數據集CIFAR10[2]上對這個框架進行了基準測試，以比較結果。該數據集在FL研究中被充分研究[3]-[6]。使用的人工智能模型架構是殘差網絡（ResNet）[7]。它是一個最先進的神經網絡架構，為CIFAR10數據集設定了一個基線。這使得貝葉斯ResNets可以在集中式和FL設置中與原始的最先進結果進行比較。本論文打算回答的主要問題有以下幾個：

• 如何聚集貝葉斯NNs？
• FL是如何影響貝葉斯NN的性能的？
• FL能否提高NN的整體性能？
• 在FL中，貝葉斯NN與確定性的NN相比有什么不同？

機器學習模型受益于龐大而多樣的訓練數據集。然而，單個組織很難收集足夠多樣化的數據。此外，數據的敏感性和政府法規(如GDPR、HIPPA和CCPA)限制了組織與其他實體共享數據的方式。這迫使擁有敏感數據集的組織開發只在局部最優的模型。聯邦學習(FL)通過實現在不共享敏感數據的情況下開發全局模型，促進了魯棒的機器學習。然而，部署FL系統有兩個廣泛的挑戰:隱私挑戰和訓練/性能相關的挑戰。隱私方面的挑戰涉及到暴露本地客戶數據敏感信息的攻擊。與訓練/性能相關的挑戰包括高溝通成本，跨客戶的數據異構，以及缺乏個性化技術。為了使FL實用、可擴展和有用，必須解決所有這些問題。在這篇論文中，我討論了我為解決這些挑戰而設計的技術，并描述了我為緩解這些挑戰而開發的兩個系統——PrivacyFL(用于FL的隱私保護模擬器)和DynamoFL(用于FL的易于使用的生產級系統)。

學位論文摘要

在這篇論文中，我們研究了博弈論在確定各種基礎設施保護策略的應用。博弈模型是在防御者和對手之間進行的。防御者尋求最小化對基礎設施網絡的損害，而對手的目標則是最大化。本論文分為兩部分。在第一部分，我們考慮資源分配博弈模型，在第二部分，我們研究巡邏和搜索博弈。

在資源分配博弈領域，我們解決了文獻中現有的一些限制。其中一個限制是，這些模型大多假設博弈的參數是確定的，或者遵循一個已知的分布。而在現實中，博弈的某些參數可能是不確定的，沒有已知的分布，或者關于它們的分布信息可能是不可靠的。為此，我們研究了目標估值不確定情況下的一次性安全博弈。我們提出了一個模型，在這個模型中，雙方都使用一種穩健的方法來應對目標估值的不確定性。我們表明這個模型的納什均衡是門檻型的，并開發了封閉式的解決方案來描述均衡點的特征。然后，我們將我們的模型應用于向美國10個城市地區分配安全資金的真實案例。

另一個限制是缺乏解決分層決策的模型。保護基礎設施及其用戶免受蓄意攻擊，需要在組織結構中做出戰略和運行決策。盡管通常是分開分析的，但這些決策是相互影響的。為了解決這個問題，我們開發了一個兩階段的博弈模型。在第一階段，玩家做出投資決策，在第二階段，他們決定保衛/攻擊哪些網站。我們區分了在第二階段出現的兩種類型的博弈。最大損害博弈和滲透/騷擾博弈。我們證明，在預算約束下，這個博弈的解決方案是唯一的。事實上，當第二階段的博弈是滲透/騷擾類型時，投資-防御博弈有一個獨特的閉式解，這是非常直觀的。結果顯示，增加對一個目標地點的防御投資會降低防御和攻擊該目標的概率。然而，攻擊投資的增加會增加防守和攻擊該目標的概率。同樣，防御者（攻擊者）投資效率的提高會導致防御者和攻擊者的投資減少（增加）。我們還將提出的模型應用于一個真實的案例。真實數據的結果表明，攻擊者從失敗的攻擊中得到的懲罰是決定防御者的投資和防御概率的最佳分布的重要因素。防御者的第二階段防御決策是對第一階段投資決策的補充。也就是說，在得到很少或零投資的目標地點中，最重要的一個地點在第二階段以相對高的防御概率被覆蓋。此外，隨著攻擊者預算的增加，防御投資從不太重要的站點轉移到更重要的站點。

我們還研究了資源分配模型中的總體性保護選項。總體保護指的是同時保護多個目標的選項，例如，應急響應、邊境安全和情報。大多數帶有總體保護的防御性資源分配模型都假定只有一個總體保護選項可以保護所有目標。然而，這可能并不現實，例如，應急反應投資可能只覆蓋某個區域。為了解決這個問題，我們開發了一個新的資源分配模型，以適應針對故意攻擊的通用總體保護。該模型還考慮了多種自然災害類型。我們表明，我們提出的模型是一個凸優化問題，因此可以在多項式時間內求解到最佳狀態。此外，整個國家層面的資源分配問題可以被分解成更小的城市層面的子問題，從而產生一個更有效的算法。數字實驗證明了所提方法的性能。

巡邏和搜索博弈通常是在一個圖上進行的，玩家在一個時間范圍內做出決策。在巡邏博弈中，防御者控制一組巡邏者并指揮他們在圖上行走，以盡量減少對手的攻擊損失，而對手則選擇一個目標和攻擊時間。為了成功地摧毀一個目標地點，對手需要一些準備時間而不被巡邏者打斷。大多數巡邏博弈模型都假設站點的價值是相同的，或者說它們不會隨時間變化。然而，這并不是一個現實的假設。特別是在軟目標的情況下，這些值可能對應于一個地點的占用水平，因此，這樣的值可能是不同的，并可能隨時間變化。我們提出了具有隨時間變化的節點值和基于節點的攻擊時間的新模型。我們使用列生成、列和行生成等算法數值地解決這些模型。我們將這些算法應用于美國一個主要城市的城市鐵路網的真實案例。結果顯示了所提出的解決方法的效率。他們還證明了額外的巡邏員的回報率是遞減的。

在搜索博弈中，一個隱藏者將一組物體隱藏在一組潛在的隱藏地點。搜索者控制一組搜索隊，指揮他們在網絡上行走，找到隱藏的物體，使目標函數得到優化。然而，在某些情況下，玩家可能會將藏匿地點相互區分開來，目標是優化加權搜索時間。為了解決這個問題，我們引入了一個新的離散搜索博弈，并考慮到了不同地點的權重。我們表明，在某些條件下，該博弈有一個封閉式的納什均衡。對于一般情況，我們開發了一種基于列和行生成的算法。我們表明搜索者的子問題是NP-hard的，并提出了一個分支和價格算法來解決它。我們還提出了一個用于Hider子問題的多項式時間算法。數值實驗研究了該方法的性能，并揭示了對該博弈特性的洞察力。

第一章 簡介

恐怖襲擊是對國民經濟和生活質量的一個嚴重關切。每年都有成千上萬的人因為這些襲擊而喪生或受傷或被綁架。2015年，全世界共發生11774起恐怖襲擊事件，造成28300多人死亡，35300多人受傷。此外，有超過12,100人被綁架或劫持為人質[22]。恐怖主義的持續威脅帶來的心理影響也是相當大的。這類事件在社會上造成了恐懼、驚慌、焦慮和苦惱。

保護關鍵基礎設施不受恐怖主義侵害是國土安全的首要任務之一[104]。對關鍵基礎設施的物理保護可以防止成功實施高影響力的恐怖襲擊。此外，對針對關鍵基礎設施的恐怖襲擊作出即時反應，可以防止與此類襲擊相關的連帶效應。

這些原因以及在過去幾十年中發生的許多引人注目的恐怖襲擊，突出了此類基礎設施的安全建模和分析是一個主要的研究議程。通過評估與基礎設施內每個站點相關的風險、緩解計劃以及設計保護戰略和響應政策，可以大大減少攻擊的后果。基礎設施安全最近成為研究人員越來越感興趣的主題。人們提出了不同的方法來模擬安全問題中的戰略互動，這些方法包括系統分析[115]、數學建模[51]、概率風險分析[33, 39, 73, 100, 115, 116]，以及對抗性風險分析[123]。然而，由于恐怖分子的攻擊可能是戰略性的，對這種攻擊的博弈論分析會產生更真實的結果。因此，最近的研究集中在開發博弈論模型來捕捉恐怖主義風險，并將結果應用于加強安全措施。其中一個模型ARMOR[112, 113, 114, 118]已被部署在洛杉磯國際機場（LAX）以加強機場的安全。

這項研究的重點是博弈論的應用，為各種基礎設施尋找最佳保護策略，以抵御蓄意攻擊。這項工作可以分為兩部分：資源分配模型，以及巡邏和搜索博弈模型。

為防止蓄意攻擊而進行的資源分配通常是昂貴的，決定如何分配資源以保護關鍵基礎設施是一個困難的問題。許多因素會影響這種分配政策，例如，在實踐中，公平在確定防御分配方面起著重要作用[129]。此外，創造一種平衡以保護不同類型的威脅（例如，生物攻擊與炸彈攻擊，或恐怖主義與非恐怖主義預防活動之間）是另一個因素。其中一些因素已經在靜態安全博弈的文獻中得到了解決。然而，仍然有一些限制。例如，大多數基礎設施安全博弈假設博弈的參數是確定的或遵循一個已知的分布。而在現實中，博弈的一些參數可能是不確定的，沒有已知的分布，或者關于它們的分布信息可能是不可靠的。在這項研究中，我們建立了具有和不具有私人信息的不完全信息基礎設施安全博弈的穩健無分布模型。此外，決策的層次性在文獻中經常被忽略。然而，分配資源以保護關鍵的基礎設施涉及到組織結構中不同層次的決策：戰略和運行決策。這些決策相互影響，需要同時進行研究。在這項研究中，我們開發了兩階段的博弈模型來解決這個問題。此外，大多數現有的帶有總體保護選項的資源分配模型都假定只有一個總體保護選項可以保護所有目標。然而，在現實中，可能有許多總體保護方案，而每個方案可能只覆蓋一個子集的目標。為了解決這個問題，我們開發了一個新的資源分配模型，該模型具有通用的總體保護選項。我們還開發了高效的分解算法來尋找最佳的資源分配。

巡邏和搜索博弈通常是在一個圖形上進行的，玩家在一個時間范圍內做出決定。設計巡邏隊來保護開放的大眾運輸系統和其他軟目標帶來了獨特的挑戰，這些挑戰在巡邏博弈的文獻中還沒有被解決。其中一個挑戰是這些系統內人群規模的動態性質。因為對手的主要目標是造成人員傷亡，所以節點的價值取決于居住在這些節點的人數。這些數字隨著時間的推移而變化，恐怖分子往往根據這些變化來確定他們的攻擊時間[68]。其他挑戰包括處理多個攻擊者，適應人力資源的限制，以及開發有效的方法來設計一般網絡的巡邏。我們通過開發具有動態變化的節點值、基于節點的攻擊時間、多個巡邏員和多個攻擊者的新模型來應對這些挑戰。為了有效地解決這些模型，我們開發了先進的解決算法，如列生成，以及列和行生成。在搜索博弈中，一個隱藏者將一組物體隱藏在一組潛在的隱藏地點。搜索者控制一組搜索隊，指揮他們在網絡上行走，找到隱藏的物體，從而使目標函數得到優化。大多數搜索博弈模型都假定隱藏地點是相同的，玩家的目標是優化搜索時間。然而，在某些情況下，玩家可能會將藏匿地點相互區分開來，目標是優化加權搜索時間。為了解決這個問題，我們引入了一個新的離散搜索博弈，并考慮到了不同地點的權重。

1.1 問題陳述和研究動機

本研究考慮的主要問題是確定針對故意破壞（如恐怖襲擊）的最佳保護策略。因為對手的決策也是有策略的，所以對這些問題的博弈論分析會產生更現實的結果。本研究中考慮的博弈模型是在防御者（她）和對手（他）之間進行的。防御者想要最小化對基礎設施網絡的損害，而對手則想要最大化。這些模型可以分為兩類：資源分配博弈，以及巡邏和搜索博弈。在資源分配模型中，有一個N個目標的集合。每個目標i都有一個Ci的值。防守方決定防守哪個目標，而對抗方決定攻擊哪個目標。如果雙方都選擇相同的目標i，那么以δi的概率，攻擊將被檢測并挫敗。這個概率被稱為檢測概率。以下矩陣的(i, j)部分顯示了如果防御者選擇目標i，而對手選擇目標j的預期損害。注意，這個矩陣對應于對手的報酬矩陣，對手試圖使預期損害最大化。

我們的目標是在各種條件下，如博弈參數的不確定性和私人信息的存在，以閉合形式描述納什均衡（NE）的特征。

我們在這篇論文中討論的另一個問題是決策的層次性。保護基礎設施及其用戶不受破壞，需要在一個組織的層次結構中做出戰略和運行決策（見圖1.1）。戰略決策是具有長期影響的長期決策。例如，對目標站點進行 "加固"[17]以減少攻擊的成功概率的投資決策被歸類為戰略決策。這包括對新技術的投資，以加強網站的安全性。另一方面，運行決策是與日常運作有關的短期決策，如巡邏、分配第一反應者和安排車輛檢查站。請注意，"戰略 "這個詞也可以用來描述參與者。在這種情況下，"戰略玩家 "指的是一個理性的玩家，其目標是最大化回報。因此，在本論文中，"戰略決策 "是指具有長期影響的長期決策，"戰略參與者 "是指以報酬最大化為目標的理性參與者。大多數研究只關注純粹的戰略決策[63, 107]或純粹的運行決策[16, 35, 36, 38]。然而，這些決策是相互影響的。例如，在某一區域安裝閉路電視攝像機可能會使該區域的巡邏變得不必要。或者將金屬探測器和安檢系統分配給目標地點，可能會影響到這些目標中巡邏隊的最佳調度。此外，投資一項新技術以加強某個目標地點的安全，可能會降低其目標的吸引力，影響保衛該目標的最佳概率。因此，在同一個模型中考慮戰略和行動決策會產生一個更全面的分析。

圖1.1: 戰略決策與運行決策

我們研究了在考慮到人為和自然災害的資源分配模型中總體保護方案的影響。總體保護方案是指可以同時保護多個目標的替代方案。例如，對邊境安全和情報工作的投資有望保護多個目標免受恐怖主義的威脅。這一領域現有文獻的局限性在于，大多數現有的模型只考慮了保護所有目標的單一總體性保護方案。然而，這可能不是對現實的準確表述。例如，對邊境安全的投資可以分為不同的入境點，每一個入境點預計都會使離該特定入境點較近的地區受益。為此，一個新的資源分配模型，容納多個保護目標子集的總體保護措施，將導致一個更現實的分析。

本研究中調查的巡邏博弈G是一個由防御者和對手在連接圖Q = (N , E)上進行的零和博弈，節點集為N，邊集為E，時間跨度為T。防御者控制著一組安全人員（巡邏者）S，并指示他們在圖上行走，以盡量減少來自對手的攻擊的損害。而敵方控制著一組攻擊者A，并為每個攻擊者選擇一個節點和一個攻擊時間。為了成功地摧毀一個目標站點，攻擊者需要在目標上有一定數量的時間單位，不被任何巡邏者打斷。巡邏博弈文獻中的大多數論文都假設對手選擇一個目標進行攻擊，目標值在一段時間內是固定的，有些甚至假設所有目標是不可區分的，即它們都有相同的價值。然而，在許多現實情況下，情況并非如此。例如，在一個交通設施中，每個地點的人數、占用水平可以被認為是該地點的價值。此外，占用水平可能隨時間變化，預計在高峰期，占用水平會比正常時間高。因此，一個具有隨時間變化的節點價值、特定節點的攻擊時間、多個巡邏者和多個攻擊者的巡邏博弈模型將導致與現實更加一致的結果。

本研究中考慮的搜索博弈是在搜索者和隱藏者之間進行的。搜索者控制一組S個搜索隊，隱藏者控制一組H個要隱藏的對象。博弈是在一個完整的圖Q = (N , E)上進行的，其中N = {0, 1, 2, . ，N}是圖中節點的集合，E = {(i, j) : i, j∈N, i 6 = j}是邊的集合。文獻中的大多數搜索博弈模型都假設藏身之處是相同的，玩家的目標是優化搜索時間。然而，在某些情況下，玩家可能會將藏身之處相互區分開來，其目標是優化加權搜索時間。例如，在某些攻擊中（生物或化學），傷亡率取決于人口密度、環境條件等因素。因此，不同的地點可能有不同的傷亡率，而整體的損失將與暴露時間和傷亡率成正比。另一個例子是通過通信渠道檢測竊聽者的問題[37]。不同的信道可能有不同的傳輸能力，對網絡的破壞率將與檢測時間和信道的容量成正比。此外，藏匿地點可能分散在大片區域，搜索可能涉及多個搜索小組。為此，一個新的搜索博弈，容納了不同地點的不同權重，將導致一個更現實的分析。

1.2 研究貢獻

在這項研究中，提出了新的博弈論模型，以解決資源分配博弈、巡邏和搜索博弈領域中的一些現有差距。在資源分配博弈領域，主要貢獻是：擴展現有模型以處理分層決策；引入廣義的總體保護方案；用穩健的方法解決參數的不確定性；開發適合于更有效算法的新模型。在巡邏和搜索博弈領域，我們的主要貢獻是：納入了與時間相關的節點值，以及多個巡邏者和多個攻擊點；并引入新的和更有效的算法來解決博弈論模型。

在接下來的章節中，我們將介紹我們的主要貢獻，如下所述。

1.我們開發了一種穩健的方法來應對安全博弈中的參數不確定性，并在第二章提供了閉合形式的NE策略。

2.為了解決防范蓄意攻擊的決策的層次性問題，在第三章中，我們引入了一個兩階段的投資-防御博弈模型，并推導出某些條件下的閉合形式的NE策略。這個模型抓住了戰略投資決策和運行攻擊/防御決策的綜合效應。

3.在第四章中，我們提出了一個新的資源分配模型，用于保護資產免受人為和自然災害的影響，并具有廣義的總體保護。這個模型被證明導致了一個可分解的凸優化問題，因此可以被有效解決。

4.在第五章和第六章中，我們介紹了新的巡邏博弈模型，該模型具有與時間相關的節點值，基于節點的攻擊時間，多個巡邏者和多個攻擊點；并開發了高效的解決方法，基于列生成，以及列和行生成來解決現實的大小問題。

5.我們在第七章中介紹了一個新的搜索博弈模型，該模型具有不同的節點權重、多個搜索隊、多個隱藏對象和分散的隱藏地點；并在第七章中介紹了基于列和行生成的高效求解方法，以解決現實的大小模型。

6.我們在第八章中提出了本研究的結論并討論了未來的研究思路

摘要

通信技術和醫療物聯網的最新進展改變了由人工智能(AI)實現的智能醫療。傳統上，人工智能技術需要集中的數據收集和處理，但由于現代醫療網絡的高度可擴展性和日益增長的數據隱私問題，這在現實的醫療場景中可能不可行。聯邦學習(FL)是一種新興的分布式協同人工智能范式，通過協調多個客戶(如醫院)在不共享原始數據的情況下進行人工智能訓練，對智能醫療保健特別有吸引力。因此，我們提供了一個關于FL在智能醫療中的使用的全面綜述。首先，我們介紹了FL的最新進展、在智能醫療中使用FL的動機和要求。最近FL設計智能醫療然后討論,從resource-aware FL,安全和privacy-aware FL激勵FL和個性化FL。隨后,我們提供在關鍵的新興應用FL醫療領域的綜述,包括健康數據管理、遠程健康監測,醫學成像,和COVID-19檢測。本文分析了最近幾個基于FL的智能醫療項目，并強調了從綜述中得到的關鍵教訓。最后，我們討論了有趣的研究挑戰和未來FL研究在智能醫療可能的方向。

引言

醫療物聯網(IoMT)的革命改變了醫療保健行業，改善了人類的生活質量。在智能醫療環境中，IoMT設備(如可穿戴傳感器)被廣泛用于收集醫療數據，用于人工智能(AI)[2]啟用的智能數據分析，以實現大量令人興奮的智能醫療應用，如遠程健康監測和疾病預測。例如，人工智能技術，如深度學習(DL)已證明其在生物醫學圖像分析方面的巨大潛力，可通過處理大量健康數據來促進醫療服務[3]的提供，從而有助于慢性病的早期檢測。

傳統上，智能醫療系統通常依賴于位于云或數據中心的集中AI功能來學習和分析健康數據。隨著現代醫療網絡中健康數據量的增加和IoMT設備的增長，由于原始數據傳輸的原因，這種集中式解決方案在通信延遲方面效率不高，無法實現很高的網絡可擴展性。此外，依賴這樣的中央服務器或第三方進行數據學習引起了關鍵的隱私問題，例如，用戶信息泄露和數據泄露[4]。在電子醫療保健領域尤其如此，在電子醫療保健領域，與健康有關的信息高度敏感，屬于私人信息，受《美國健康保險便攜性和問責法》(HIPPA)[5]等衛生法規的約束。此外，在未來的醫療系統中，這種集中式AI架構可能不再適用，因為健康數據不是集中放置的，而是分布在大規模的IoMT網絡上。因此，迫切需要采用分布式AI方法，在網絡邊緣實現可擴展和保護隱私的智能醫療保健應用程序。

在這種背景下，聯邦學習(FL)已經成為一種很有前途的解決方案，可以實現具有成本效益的智能醫療應用程序，并改善隱私保護[6-9]。從概念上講，FL是一種分布式人工智能方法，通過平均從多個健康數據客戶(如IoMT設備)匯總的本地更新，而不需要直接訪問本地數據[10]，從而能夠訓練高質量的人工智能模型。這可能防止泄露敏感用戶信息和用戶偏好，從而降低隱私泄露風險。此外，由于FL吸引了來自多個衛生數據客戶的大量計算和數據集資源來訓練人工智能模型，衛生數據訓練質量(如準確性)將得到顯著提高，而使用數據較少和計算能力有限的集中式人工智能方法可能無法實現這一目標。

目前還沒有針對FL在智能醫療中的應用進行全面綜述的工作。此外，在開放文獻中仍然缺少在新興醫療保健應用中使用FL的整體分類。這些限制促使我們對FL在智能醫療中的集成進行廣泛的綜述。特別地，我們首先確定了在智能醫療中使用FL的關鍵動機并強調了其需求。然后，我們發現了用于智能醫療的最新先進FL設計。隨后，我們提供了關于FL在智能醫療領域新興應用的最新調研，如電子健康記錄(EHR)管理、遠程健康監測、醫學成像和COVID-19檢測。本文還總結了調研所得的經驗教訓，供讀者參考。本文總結貢獻如下：

(1) 我們介紹了在智能醫療中使用FL的最新調研，首先介紹了FL的概念，并討論了使用FL智能醫療的動機和技術要求。

(2) 我們介紹了最近先進的FL設計，這些設計將有助于聯合智能醫療應用，包括資源感知的FL、安全和隱私增強的FL、激勵感知的FL和個性化的FL。

(3) 我們通過廣泛的關鍵領域提供了關于FL在智能醫療中的關鍵應用的最新綜述。即聯邦EHRs管理、聯邦遠程健康監視、聯邦醫學成像和聯邦COVID-19檢測。本文提供了與FL醫療保健用例相關的正在出現的實際項目，并強調了從調研中吸取的關鍵教訓。

(4) 最后，我們強調了FL-smart 醫療的有趣挑戰并討論了未來的發展方向。

隨著數據越來越多地存儲在不同的筒倉中，社會越來越關注數據隱私問題，傳統的人工智能(AI)模型集中訓練正面臨效率和隱私方面的挑戰。最近，聯邦學習(FL)作為一種替代解決方案出現，并在這種新的現實中繼續蓬勃發展。現有的FL協議設計已經被證明對系統內外的對抗是脆弱的，危及數據隱私和系統的魯棒性。除了訓練強大的全局模型外，最重要的是設計具有隱私保障和抵抗不同類型對手的FL系統。在本文中，我們對這一問題進行了第一次全面的綜述。通過對FL概念的簡明介紹，和一個獨特的分類涵蓋:1) 威脅模型; 2) 中毒攻擊與魯棒性防御; 3) 對隱私的推理攻擊和防御，我們提供了這一重要主題的可訪問的回顧。我們強調了各種攻擊和防御所采用的直覺、關鍵技術和基本假設。最后，我們對魯棒性和隱私保護聯合學習的未來研究方向進行了討論。

//www.zhuanzhi.ai/paper/678e6e386bbefa8076e699ebd9fd8c2a

引言

隨著計算設備變得越來越普遍，人們在日常使用中產生了大量的數據。將這樣的數據收集到集中的存儲設施中既昂貴又耗時。傳統的集中式機器學習(ML)方法不能支持這種普遍存在的部署和應用，這是由于基礎設施的缺點，如有限的通信帶寬、間歇性的網絡連接和嚴格的延遲約束[1]。另一個關鍵問題是數據隱私和用戶機密性，因為使用數據通常包含敏感信息[2]。面部圖像、基于位置的服務或健康信息等敏感數據可用于有針對性的社交廣告和推薦，造成即時或潛在的隱私風險。因此，私人數據不應該在沒有任何隱私考慮的情況下直接共享。隨著社會對隱私保護意識的增強，《通用數據保護條例》(GDPR)等法律限制正在出現，這使得數據聚合實踐變得不那么可行。

在這種情況下，聯邦學習(FL)(也被稱為協作學習)將模型訓練分發到數據來源的設備上，作為一種有前景的ML范式[4]出現了。FL使多個參與者能夠構建一個聯合ML模型，而不暴露他們的私人訓練數據[4]，[5]。它還可以處理不平衡、非獨立和同分布(非i.i.d)數據，這些數據自然出現在真實的[6]世界中。近年來，FL獲得了廣泛的應用，如下一個單詞預測[6]、[7]、安全視覺目標檢測[8]、實體解析[9]等。

根據參與者之間數據特征和數據樣本的分布，聯邦學習一般可以分為水平聯邦學習(HFL)、垂直聯邦學習(VFL)和聯邦遷移學習(FTL)[10]。

具有同構體系結構的FL: 共享模型更新通常僅限于同構的FL體系結構，也就是說，相同的模型被所有參與者共享。參與者的目標是共同學習一個更準確的模型。具有異構架構的FL: 最近的努力擴展了FL，以協同訓練具有異構架構的模型[15]，[16]。

FL提供了一個關注隱私的模型訓練的范式，它不需要數據共享，并且允許參與者自由地加入和離開聯盟。然而，最近的研究表明，FL可能并不總是提供足夠的隱私和健壯性保證。現有的FL協議設計容易受到以下攻擊: (1)惡意服務器試圖從個人更新中推斷敏感信息，篡改訓練過程或控制參與者對全局參數的看法;或者(2)一個敵對的參與者推斷其他參與者的敏感信息，篡改全局參數聚合或破壞全局模型。

在隱私泄露方面，在整個訓練過程中，通信模型的更新會泄露敏感信息[18]、[19]，并導致深度泄露[20]，無論是對第三方服務器還是中央服務器[7]、[21]。例如，如[22]所示，即使是很小一部分的梯度也可以揭示相當數量的有關本地數據的敏感信息。最近的研究表明，通過簡單地觀察梯度，惡意攻擊者可以在[20]，[23]幾次迭代內竊取訓練數據。

在魯棒性方面，FL系統容易受到[24]、[25]和[26]、[27]、[28]、[29]的模型中毒攻擊。惡意參與者可以攻擊全局模型的收斂性，或者通過故意改變其本地數據(數據中毒)或梯度上傳(模型中毒)將后門觸發器植入全局模型。模型投毒攻擊可以進一步分為:(1)Byzantine 攻擊，攻擊者的目標是破壞全局模型[13]、[30]的收斂性和性能;(2)后門攻擊，對手的目標是在全局模型中植入一個后門觸發器，以欺騙模型不斷預測子任務上的敵對類，同時在主要任務[26]，[27]上保持良好的性能。需要注意的是，后門模型投毒攻擊通常利用數據投毒來獲取有毒的參數更新[24]、[26]、[27]。

這些隱私和魯棒性攻擊對FL構成了重大威脅。在集中學習中，服務器控制參與者的隱私和模型魯棒性。然而，在FL中，任何參與者都可以攻擊服務器并監視其他參與者，有時甚至不涉及服務器。因此，理解這些隱私性和健壯性攻擊背后的原理是很重要的。

目前對FL的研究主要集中在系統/協議設計[10]、[31]、[32]。聯邦學習的隱私和穩健性威脅還沒有得到很好的探討。在本文中，我們調研了FL的隱私和魯棒性威脅及其防御方面的最新進展。特別地，我們關注由FL系統內部者發起的兩種特定威脅:1) 試圖阻止學習全局模型的中毒攻擊，或控制全局模型行為的植入觸發器;2) 試圖泄露其他參與者隱私信息的推理攻擊。表2總結了這些攻擊的特性。

深度神經網絡最近展示了其解決復雜任務的驚人能力。如今的模型使用功能強大的GPU卡在數百萬個示例上進行訓練，能夠可靠地對圖像進行注釋、翻譯文本、理解口語或玩國際象棋或圍棋等戰略性游戲。此外，深度學習也將成為未來許多技術的組成部分，例如自動駕駛、物聯網(IoT)或5G網絡。特別是隨著物聯網的出現，智能設備的數量在過去幾年里迅速增長。這些設備中有許多都配備了傳感器，使它們能夠以前所未有的規模收集和處理數據。這為深度學習方法提供了獨特的機會。

然而，這些新的應用程序帶有許多附加的約束和要求，這些約束和要求限制了當前模型的開箱即用。

1. 嵌入式設備、物聯網設備和智能手機的內存和存儲容量有限，能源資源有限. 像VGG-16這樣的深度神經網絡需要超過500 MB的內存來存儲參數，執行單次向前傳遞需要15 gb的操作。很明顯，這些模型的當前(未壓縮的)形式不能在設備上使用。

2. 訓練數據通常分布在設備上，由于隱私問題或有限的資源(帶寬)，無法簡單地在中央服務器上收集. 由于只有少量數據點的模型的局部訓練通常不太有希望，因此需要新的協作訓練方案來將深度學習的能力引入這些分布式應用程序。

本教程將討論最近提出的解決這兩個問題的技術。我們將首先簡要介紹深度學習，它的當前使用和今天的模型在計算和內存復雜性、能源效率和分布式環境方面的局限性。我們將強調解決這些問題的實際需要，并討論實現這一目標的最新進展，包括ITU ML5G和MPEG AHG CNNMCD正在開展的標準化活動。

然后我們將進入神經網絡壓縮的話題。我們將首先簡要介紹源編碼和信息論的基本概念，包括速率失真理論、量化、熵編碼和最小描述長度原則。這些概念需要形式化的神經網絡壓縮問題。然后我們將繼續討論壓縮DNNs的具體技術。為此，我們將區分壓縮過程的不同步驟，即剪枝和稀疏化、量化和熵編碼。前兩步是有損的，而最后一步是無損的。由于縮小尺寸并不是神經網絡壓縮的唯一目標(例如，快速推理、能源效率是其他目標)，我們還將討論有效推理的方法，包括最近提出的神經網絡格式。最后，我們將介紹一個用例，即設備上的語音識別，演示如何在實際應用中使用壓縮方法。

最后我們將介紹分布式學習的最新發展。我們提出了不同的分布式訓練場景，并根據它們的通信特性進行了比較。接下來，我們將重點討論聯邦學習。我們列舉了聯邦學習中存在的挑戰——通信效率、數據異構性、隱私、個性化、健壯性——并提出了解決這些挑戰的方法。我們特別關注為減少分布式學習中的通信開銷而提出的技術，并討論集群化FL，這是一種與模型無關的分布式多任務優化的新方法。這里我們將強調本教程第一部分中介紹的概念的相似性，即稀疏化、量化和編碼。

目錄：

1. 介紹

• 目前使用的深度學習
• 現有模型和新應用的實際局限性
• 研究、工業和標準化方面的最新發展

2. 神經網絡壓縮

• 背景:資料編碼、信息論
• 修剪和稀疏化方法
• 量化和定點推理
• 神經網絡格式
• 用例研究:設備上的語音識別

3.問題 4. 休息時間 5. 分布式學習

• 背景:SGD，學習理論
• 聯邦和分布式學習的基本概念
• 減少通信開銷和連接到NN壓縮
• 聯邦學習和差異隱私
• 集群聯合學習

7. 問題