機器學習模型受益于龐大而多樣的訓練數據集。然而,單個組織很難收集足夠多樣化的數據。此外,數據的敏感性和政府法規(如GDPR、HIPPA和CCPA)限制了組織與其他實體共享數據的方式。這迫使擁有敏感數據集的組織開發只在局部最優的模型。聯邦學習(FL)通過實現在不共享敏感數據的情況下開發全局模型,促進了魯棒的機器學習。然而,部署FL系統有兩個廣泛的挑戰:隱私挑戰和訓練/性能相關的挑戰。隱私方面的挑戰涉及到暴露本地客戶數據敏感信息的攻擊。與訓練/性能相關的挑戰包括高溝通成本,跨客戶的數據異構,以及缺乏個性化技術。為了使FL實用、可擴展和有用,必須解決所有這些問題。在這篇論文中,我討論了我為解決這些挑戰而設計的技術,并描述了我為緩解這些挑戰而開發的兩個系統——PrivacyFL(用于FL的隱私保護模擬器)和DynamoFL(用于FL的易于使用的生產級系統)。
機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法,以減輕被確定為先驗的偏差。然而,在現實世界的應用中,標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景,并提出了學習魯棒模型的新算法。這些算法是有效的,因為它們不需要明確的偏差注釋,從而實現了實用的機器學習。
首先,我們引入了一種算法,該算法對從多個環境中收集的數據進行操作,其中偏差特征和標簽之間的相關性可能會有所不同。我們表明,當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時,它的錯誤是隱藏偏見的信息。
然后,我們利用這些錯誤來創建一組示例,這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況,這是新任務或資源有限任務的常見場景。我們證明,在現實世界的應用中,相關的任務往往有類似的偏見。在此基礎上,我們提出了一種算法,從資源豐富的源任務中推斷出偏差特征,并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比,我們的方法始終提供顯著的性能提升。
最后,我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集,使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體,因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明,我們的方法能夠產生與人類識別的偏差相關的虛假分裂。
由于物理世界是復雜的、模糊的、不可預測的,自主的智能體必須被設計成表現出人類水平的靈活性和通用性——遠遠超出我們顯式編程的能力。這種自主的實現不僅能夠可靠地解決特定的問題,而且還能夠預測可能出現的錯誤,以便制定戰略、適應和持續學習。要想做出如此豐富而復雜的決策,就需要在自主學習生命周期的所有階段重新思考智能的基礎。
在本論文中,我們開發了新的基于學習的方法,以實現自主系統的動態、彈性和穩健決策。通過解決在所有階段出現的關鍵挑戰,從用于訓練的數據,到在這些數據上學習的模型,再到算法,以可靠地適應部署期間的意外事件,來推進野外的魯棒決策。我們首先探索如何通過計算設計豐富的合成環境,能夠模擬連續的難以收集的、分布外的邊緣情況,在訓練和評估期間易于使用。利用這個豐富的數據基礎,我們隨后創建了高效、富有表現力的學習模型,以及優化其表示的必要算法,并克服了代表性不足和具有挑戰性的數據中的不平衡。最后,使用經過訓練的模型,我們將轉向部署設置,在該設置中,我們仍然應該預期我們的系統將面臨在訓練中從未遇到過的全新場景。為此,我們開發了自適應和不確定性感知算法來估計模型的不確定性,并利用它的存在來實現一般化的決策,即使是在存在意外事件的情況下。
聯邦學習:方法和應用的全面概述為研究人員和實踐者提出了聯邦學習最重要的問題和方法的深入討論。
聯邦學習(FL)是一種機器學習方法,其中訓練數據不是集中管理的。數據由參與FL進程的數據方保留,不與任何其他實體共享。這使得FL成為機器學習任務中越來越受歡迎的解決方案,對于這些任務,將數據集中在一個集中存儲庫中是有問題的,無論是出于隱私、監管還是實際原因。
這本書解釋了最近的研究進展和聯邦學習(FL)的最先進的發展,從領域的最初概念到第一個應用和商業使用。為了獲得這一廣泛和深入的概述,領先的研究人員解決了聯邦學習的不同視角:核心機器學習視角、隱私和安全、分布式系統和特定的應用領域。讀者將了解這些領域面臨的挑戰,它們是如何相互聯系的,以及如何用最先進的方法解決它們。
在前言中概述了聯邦學習的基礎知識之后,在接下來的24章中,讀者將深入探討各種主題。第一部分解決了以聯合方式解決不同機器學習任務的算法問題,以及如何高效、大規模和公平地訓練。另一部分重點關注如何以一種可針對特定用例定制的方式選擇隱私和安全解決方案,而另一部分則考慮運行聯邦學習過程的系統的實用主義。本書還介紹了聯邦學習的其他重要用例,如分離學習和垂直聯邦學習。最后,本書包括了一些章節,重點介紹了FL在真實企業環境中的應用。
//link.springer.com/book/10.1007/978-3-030-96896-0
在過去的幾年里,人工智能(AI)技術已經被應用到人類生活的幾乎所有垂直領域。然而,人工智能模型產生的結果往往滯后于可解釋性。AI模型經常出現在開發人員無法解釋或追溯特定決策背后的原因的黑箱中。可解釋AI (XAI)是一個快速發展的研究領域,它有助于提取信息,并以最佳的透明度將生成的結果可視化。本研究對XAI在網絡安全中的應用進行了廣泛的綜述。網絡安全能夠保護系統、網絡和程序免受不同類型的攻擊。XAI的使用在預測此類攻擊方面具有巨大的潛力。這篇論文簡要概述了網絡安全和各種形式的攻擊。然后,討論了傳統AI技術的使用及其相關挑戰,這打開了XAI在各種應用中的使用的大門。介紹了XAI在各研究項目和行業中的實施情況。最后,從這些應用中吸取的經驗教訓被強調為未來的研究范圍提供指導。
引言
網絡安全是程序、控制和技術的應用,以保護數據、程序、網絡和系統免受潛在的網絡攻擊。與網絡安全相關的各種工具和技術旨在對抗針對組織內部或外部環境中存在的網絡系統和應用程序的威脅。統計數據顯示,數據泄露造成的平均損失在全球范圍內為386萬美元,在美國上升到864萬美元[2]。這些成本不僅包括違約的直接影響,還包括后續調查,以確定違約的原因、相關的應對措施、收入損失、停機時間,以及最重要的聲譽品牌損害[3]。
考慮到這些成本,大多數組織都采用了基于主流最佳實踐的網絡安全策略。有效的網絡安全策略通常包括分層保護,對網絡攻擊提供防御,以保持網絡資產的機密性、完整性和可用性。這類戰略的實施還旨在防止對用戶或知名組織進行財務勒索,妨礙正常的商業運作。因此,在這方面部署明智、有效和高效的應對措施是絕對必要的。例如,美國國家標準與技術研究所(NIST)開發了一個網絡安全框架,幫助各組織保護它們的計算機系統、網絡和用于實現國家安全、公共衛生、安全和各種其他行政活動的各種其他資產。國際標準組織,即ISO27000系列資訊保安標準,旨在滿足類似的需要。盡管存在這樣的方法和標準,攻擊者仍然在安全框架中發現漏洞,這些漏洞可以繞過極其強大的防御措施。在大流行危機期間,當專業規范從辦公室變為在家工作時,網絡安全威脅還觀察到與遠程訪問工具、云服務和其他遠程工作工具相關的漏洞也發生了變化。[4]。這些不斷發展的威脅包括惡意軟件、勒索軟件、網絡釣魚、內部威脅、分布式拒絕服務(DDOS)威脅、高級持續威脅(APTs)、中間人攻擊和各種其他[5]。
網絡安全框架和相關最佳實踐能夠在不損害用戶隱私和客戶體驗的情況下保護機密信息,從而有效減少網絡漏洞。更具體地說,身份和訪問管理(IAM),例如,框架用戶角色和訪問權限,建立標準,訪問權限可以被監控。IAM技術包括單點登錄功能,其中用戶訪問網絡時無需多次重新輸入證書。IAM還可以提供多因素認證和特權用戶帳戶,只提供對特定合法用戶的訪問,減少欺騙性訪問的可能性。這些工具增強了終端用戶設備中異常活動的可見性。此外,在出現安全漏洞的情況下,這些工具可確保加速調查、響應、隔離和遏制與安全漏洞相關的所有組件。
有各種綜合的數據安全平臺,包括分類、權限分析、行為分析和合規報告等功能。這些平臺的主要目標包括在混合云和多云環境中保護敏感信息。這些平臺提供自動、實時的可見性、入侵警報和對數據漏洞[6]的監控。例如,安全信息和事件管理(Security information and event management, SIEM)是安全信息管理(Security information management, SIM)和安全事件管理(Security event management, SEM)的結合,對應用程序和網絡硬件產生的安全告警進行自動化實時分析。這些產品包括智能和先進的檢測方法,用戶行為分析和人工智能/機器智能(AI/ML),以檢測軟件產品和服務領域的異常[7]。
網絡安全風險管理有助于理解安全威脅的各種特征,以及個人和組織層面的相關內部互動。最低合理可行(ALARP)是一個類似的風險管理原則,強調網絡風險。這一原則確保通過將風險與解決相同問題所需的時間和資源進行比較來減少剩余風險。其理念是分析降低風險所涉及的成本,并確保其與所獲得的利益不成比例。網絡/信息安全的所有現代風險管理解決方案都著眼于降低風險影響,從而平衡減少或緩解風險影響的相關成本。
值得一提的是,ISO27000這類國際標準家族的范圍,強調了與網絡安全風險相關的信息安全管理系統文檔的創建和管理。該標準由14個組和35個控制類別的114個控制組成,涵蓋了組織網絡安全的所有方面。為了適用該標準,必須評估現有風險,確定適用的控制措施,評估這些控制措施帶來的緩解效果,評估應用這些控制措施的成本,還必須評估所引入的任何次級風險的緩解效果。控件將被應用于: (1)該風險經評估超過該組織的風險承受能力; (2)成本控制的應用被認為是可以接受的; (3)二次風險不排除應用。
人工智能如何幫助網絡安全
機器學習(ML)算法是在以往經驗的基礎上訓練的,以便做出類似人類行為的決定。此外,ML算法還被用于檢測與安全威脅和[8]漏洞相關的異常和威脅。此外,在過去幾年中,基于機器學習的自動化安全工具已經得到了發展,它們可以自動響應威脅,執行諸如聚類、分類和回歸[9]等任務。聚類是一種將數據根據其特征的相似性進行分組的過程。聚類中的數據對象彼此相似,但又不同于其他聚類中的數據對象。因此,聚類分析可以對沒有預定義類的數據進行無監督分類。另一方面,分類有助于預測給定數據點的類別。分類器使用訓練數據來理解輸入變量是否屬于一個特定的類別,使用無監督學習技術。回歸分析是一種統計技術,它建立因變量和獨立預測變量之間的關系與許多獨立變量之一。
AI和ML也被用于主動的漏洞管理。基于AI/機器學習的用戶和事件行為分析(UEBA)工具分析服務端點和服務器上的用戶交互,以檢測異常行為。這有助于在[10]漏洞報告或修補之前為組織提供提前保護。
反病毒檢測是人工智能技術發揮重要作用的一個領域。最主要的方法是啟發式技術、數據挖掘、代理技術和人工神經網絡[11]。例如,Cylance智能防病毒產品是為了滿足類似的目標,為家庭從合法數據中檢測惡意軟件提供企業級的基于人工智能的安全。該產品完全在執行點消除了威脅,而不需要任何人工干預[12]。有許多傳統的身份驗證系統使用用戶名或電子郵件和密碼作為一種身份驗證方法。人工智能的使用有助于檢測易受攻擊的密碼,并用于基于生物識別的認證系統,提供更強的保護層,黑客難以入侵。生物識別系統主要用于企業和政府組織的安全和訪問控制。生物識別系統可分為物理識別系統和行為識別系統。物理生物識別系統使用人體的物理、可測量和獨特的信息,如DNA、靜脈、指紋、虹膜等,并將這些信息轉換為人工智能系統可以理解的代碼。相反,行為識別系統捕捉獨特的行為特征,如聲音、個人打字節奏、與物體的交互方式,然后將這些編碼信息存儲在數據庫中。在身份驗證和驗證過程[13]期間對該信息進行數字戳記。
AI在網絡安全方面的局限性使XAI成為必要
人工智能在網絡安全領域的應用帶來了許多挑戰。特別是,人工智能應用引入了大量的反指示和次級風險,它們成為惡意行為者發起攻擊的載體。例如,攻擊者可能會成功地避開基于ML的檢測。更具體地說,攻擊者可能會操縱惡意軟件文件,使基于人工智能的檢測框架無法識別任何惡意或異常活動,這就是通常所說的規避攻擊。類似地,基于人工智能的網絡安全應用也存在各種威脅,如圖1所示,涉及通信攔截、服務失敗、事故、災難、法律問題、攻擊、停電和物理損害。
基于人工智能的系統的成功取決于數據的可用性。基于人工智能的系統引發了兩類次級風險。第一種類型包括產生假陰性結果導致不準確決策的風險。第二種包括產生假陽性結果的風險,其中存在不準確的通知或假警報的可能性。[14]。在這種情況下,迫切需要確保采取必要的緩解措施,確保更準確地處理違約或異常事件的情況,從而保持所作決定的可解釋性和合理性。
實時AI系統通常會消耗大量的計算能力、數據和原始內存資源需求。這些系統還需要更高水平的專業知識來構建和維護[16],因此部署成本非常高。人工智能生物測量系統也面臨著類似的挑戰,與上述問題相關,這些系統也容易受到信息泄露風險的影響。網絡安全公司主要使用人工智能來開發魯棒和安全的系統。相反,這些系統經常被黑客出于不道德的目的而破壞,這些黑客訓練或變異惡意軟件,使其具有AI免疫力,其行為與傳統系統相比異常。人工智能的使用使黑客能夠挫敗安全算法,使數據操作不被發現,從而使組織極其難以糾正輸入基于人工智能的安全系統的數據。因此,當前基于人工智能的系統面臨的挑戰在于,與基于模型的傳統算法[17]相比,它們的決策缺乏合理性和合理性。如果系統不能理解并從網絡安全事件中吸取教訓,那么無論基于人工智能的系統多么強大和準確,網絡安全都將成為一個具有普遍二級風險的黑匣子。
人工智能威脅體系
在深度強化學習的情況下,被確定為某些反應的原因的顯著特征,通常仍然無法解釋。例如,可以考慮貝葉斯推斷的計算,其中產生的結果的準確性往往受到數據不足的問題的影響。這就需要統計AI算法來幫助量化這些不確定性。但是這種統計AI算法的結果往往難以解釋,因此,XAI通過為基于AI的統計模型產生的結果提供可解釋性來發揮其作用,為研究人員和專家提供理解因果推理和原始數據證據[18]的能力。同樣,在醫療保健領域,XAI的實施首先允許機器分析數據并得出結論。其次,它使醫生和其他醫療保健提供者能夠獲得解釋如何做出特定的決策。在制造業中,基于人工智能的自然語言處理(AI-based natural language processing, NLP)幫助分析與設備和維護標準相關的非結構化數據,這些數據與結構化數據相關聯,即工單、傳感器讀數等業務流程數據。這有助于技術人員在他們的工作流相關操作方面做出最佳決策。
XAI能提供什么幫助
人工智能模型已經成功地應用于許多日益復雜的領域,通過其基于復雜數據集的合成能力補充和增強人類的能力。計算能力的提高進一步擴大了通過人工智能提供解決方案的范圍,人工智能應用的增長呈可視化指數增長。因此,在關鍵任務設置中對此類AI應用的需求迅速增長,其中AI被嵌入到眾多硬件智能設備中,從而實現無監督或遠程控制使用。然而,人工智能的應用帶來了相關的重大問題。過擬合,是監督式ML中的一個基本問題,其中統計模型與訓練數據完美匹配,阻礙了其在數據未知情況下的準確分析能力。當它捕捉到數據中的噪聲和不準確的值時,模型的效率和精度會下降(Ying, 2019)。過度擬合模型的使用會導致AI性能下降,在關鍵任務設置中,可能會導致不準確的決策、經濟損失、身體傷害甚至死亡。
通過對模型的機制和推理的理解,可以在一定程度上減輕這些風險。不幸的是,傳統AI系統的黑箱特性成為瓶頸,即使是AI專家也無法提供合理的解決方案[19,20]。因此,透明度是必要的,它將使明智和合理的決策制定成為可能,并有助于為模型的行為提供準確的解釋。例如,在網絡安全系統的情況下,不合理和誤導性的預測可能會使系統非常容易受到攻擊,導致完全不安全的關鍵系統。隨著可解釋人工智能的實施,提供實用的、實時的基于人工智能的解決方案將變得更加容易,因為數據集中的偏見可以完全消除,從而導致公正的決策。解釋性結果使人工智能解決方案更加穩健和可信,確保有意義的變量推理和模型推理的基礎。傳統的基于深度神經網絡的模型(DNN)非常流行,但其可解釋性滯后。例如,對于id,網絡管理員很難理解入侵檢測背后的原因,并將其轉化為黑盒模型。在這種黑盒模型中,涉及決策制定的過程是具有挑戰性的,因為DNN在試錯過程中編輯特征,以生成理想的解決方案。盡管對基于ML的入侵檢測系統進行了大量的研究,但在得出與攻擊分類、異常流量行為識別和模型自動構建相關的結論時,很少對結果的基本推理或解釋進行探討。決策樹(DT)作為一個完美的模型來支持對結果預測的解釋。DT分析的結果不基于任何與數據分布相關的假設,并且有效地處理了特征共線性問題。因此,可解釋AI系統的實現使網絡管理員能夠分析、解釋和洞察IDS系統的安全策略[21,22]。在本文中,我們探討了網絡和人工智能風險的競爭本質,并探討了XAI作為人工智能風險的主要控制手段的潛力。關于XAI在網絡安全中的應用已經進行了大量的研究。本節將討論其中一些研究。[23]的研究提出了一種新穎的黑盒攻擊,該攻擊實現了XAI,損害了相關分類器的隱私和安全性。本研究采用反事實解釋(CF)生成方法實現基于梯度的優化。本研究中使用的CF方法包括潛在CF技術、多元反事實解釋(DiCE)技術和permute攻擊(對反病毒引擎執行端到端規避攻擊)。他們還執行成員推斷攻擊,這有助于鏈接用戶,并從泄露的數據集竊取他們的密碼,從而對同一數據集發起中毒和模型提取攻擊。該研究評估了與每種攻擊有關的安全威脅,并向用戶和攻擊者提供了能夠避免和減輕風險的范圍。[24]的研究提出了一種方法來解釋由面向數據的IDSs產生的不準確的分類。采用對抗性技術來識別輸入屬性中的最小修改,以準確分類錯誤分類的數據集樣本。在[22]中,提出了一個基于深度學習的入侵檢測框架。研究中可解釋的人工智能技術,有助于實現ML模型的每個層次的透明度。
該研究中使用的XAI方法包括SHAP和BRCG,能夠完全理解模型的行為。XAI的SHAP和CHEM技術有助于理解輸入的特征,從而將決策導出為輸出。考慮到分析師的視角,使用Protodash方法來識別訓練數據樣本之間的異同。[25]的作者提出了一種創新的方法來管理網絡安全系統報警系統中的超載問題。本研究考慮實施的系統包括安全資訊及事件管理系統(SIEM)及入侵偵測系統(IDS)。將零樣本學習技術與ML相結合,在框架內計算異常預測的解釋。該框架的獨特方法包括在沒有任何先驗知識的情況下識別攻擊,破譯導致分類的特征,然后使用XAI技術將攻擊分組到特定類別中。XAI的使用有助于識別、量化因素,并了解其對特定網絡攻擊預測的貢獻。[21]的研究提出了一種基于決策樹的XAI模型的IDS增強信任管理系統。研究中使用的決策樹算法幫助IDS在多個子選擇中分割選擇,從而為基準數據集生成規則。與傳統的支持向量機(SVM)系統相比,基于決策樹的XAI方法提高了精度。
雖然有各種綜述文章關注AI在網絡安全中的應用,但目前還沒有對可解釋AI在網絡安全中的應用進行全面的綜述,其中包括明確和廣泛的信息。因此,為了彌補這一差距**,本文著重對XAI在網絡安全領域的研究現狀、現有人工智能實施所面臨的挑戰、XAI的需求及其在各個領域的潛在應用范圍進行了全面的綜述**。表2重點分析了XAI和本論文的現有工作。從用戶的角度來看,使用XAI比使用AI的好處在圖3中得到了強調。
綜上所述,本研究的具體貢獻包括:
研究人員設計了一個有效的協議,當算法使用用戶的私人信息來推薦產品、歌曲或節目時,可以保證其安全。
當我們在網上購物時,算法會推薦產品,或者當我們在流媒體應用程序上聽音樂時,算法會推薦我們可能喜歡的歌曲。
這些算法通過使用我們過去的購買和瀏覽歷史等個人信息來生成定制的推薦。這類數據的敏感性質使得保護隱私極為重要,但解決這一問題的現有方法依賴于沉重的加密工具,需要大量的計算和帶寬。
麻省理工學院的研究人員可能有一個更好的解決方案。他們開發了一種保護隱私的協議,其效率非常高,可以通過非常低速的網絡在智能手機上運行。他們的技術在確保推薦結果準確的同時保護了個人數據。
除了用戶隱私,他們的協議還最大限度地減少了數據庫中未經授權的信息轉移,即所謂的泄漏,即使有惡意代理試圖欺騙數據庫,使其泄露秘密信息。
在數據泄露可能違反用戶隱私法的情況下,新協議可能特別有用,比如當醫療保健提供者使用病人的病史在數據庫中搜索其他有類似癥狀的病人,或者當一家公司根據歐洲隱私法規向用戶提供有針對性的廣告。
"這是一個非常困難的問題。我們依靠一整串的加密和算法技巧來達成我們的協議,"計算機科學和人工智能實驗室(CSAIL)的研究生Sacha Servan-Schreiber說,他也是提出這個新協議的論文的主要作者。
Servan-Schreiber與CSAIL的研究生Simon Langowski以及他們的導師和高級作者Srinivas Devadas(Edwin Sibley Webster電子工程教授)一起撰寫了這篇論文。該研究將在 IEEE Symposium on Security and Privacy發表。
算法推薦引擎的核心技術被稱為近鄰搜索,即在數據庫中找到與查詢點最接近的數據點。被映射到附近的數據點具有相似的屬性,被稱為近鄰。
這些搜索涉及一個與在線數據庫相連的服務器,該數據庫包含數據點屬性的簡明表示。在音樂流媒體服務的案例中,這些屬性被稱為特征向量,可能是不同歌曲的類型或流行度。
為了找到歌曲推薦,客戶端(用戶)向服務器發送一個查詢,其中包含某個特征向量,如用戶喜歡的音樂類型或他們收聽習慣的壓縮歷史。然后,服務器提供數據庫中最接近客戶端查詢的特征向量的ID,而不透露實際的向量。在音樂流媒體的情況下,這個ID可能是一個歌名。客戶端在不了解與之相關的特征向量的情況下就能了解到推薦的歌曲名稱。
"服務器必須能夠在不看到它正在進行計算的數字的情況下進行這種計算。它實際上不能看到這些特征,但仍然需要給你數據庫中最接近的東西,"Langowski說。
為了實現這一目標,研究人員創建了一個協議,該協議依賴于兩個訪問同一數據庫的獨立服務器。使用兩個服務器使這個過程更加有效,并能夠使用一種被稱為私人信息檢索的加密技術。Servan-Schreiber解釋說,這種技術允許客戶端查詢數據庫而不透露它正在搜索的內容。
但是,雖然私人信息檢索在客戶端是安全的,但它本身并不能提供數據庫隱私。數據庫為客戶端提供了一組候選向量--可能的近鄰,這些候選向量通常是由客戶端使用暴力手段篩選出來的。然而,這樣做會向客戶透露很多關于數據庫的信息。額外的隱私挑戰是如何防止客戶端學習這些額外的向量。
研究人員采用了一種調整技術,首先消除了許多額外的向量,然后使用一種不同的技巧,他們稱之為遺忘屏蔽,以隱藏任何額外的數據點,除了實際最近的鄰居。這有效地保留了數據庫的隱私,所以客戶端不會了解到數據庫中的特征向量的任何信息。
一旦他們設計了這個協議,他們就在四個真實世界的數據集上用一個非私有的實施方案對其進行了測試,以確定如何調整算法以最大限度地提高準確性。然后,他們用他們的協議在這些數據集上進行私人近鄰搜索查詢。
他們的技術每次查詢只需要幾秒鐘的服務器處理時間,客戶端和服務器之間的通信量不到10兆字節,即使是包含超過1000萬個項目的數據庫。相比之下,其他安全方法可能需要數千兆字節的通信或數小時的計算時間。對于每次查詢,他們的方法都達到了95%以上的準確率(意味著幾乎每次都能找到與查詢點的實際近似近鄰)。
他們用來實現數據庫隱私的技術將挫敗一個惡意的客戶端,即使它發送虛假查詢,試圖欺騙服務器泄露信息。
"一個惡意的客戶端不會比一個遵循協議的誠實的客戶端學到更多的信息。而且,它也能防止惡意的服務器。如果一個人偏離了協議,你可能不會得到正確的結果,但他們永遠不會知道客戶端的查詢是什么," Langowski說。
在未來,研究人員計劃調整該協議,以便它能夠只使用一個服務器來保護隱私。這可以使它應用于更多的實際情況,因為它將不需要使用兩個不相沖突的實體(它們彼此不共享信息)來管理數據庫。
"最近的鄰居搜索是許多關鍵的機器學習驅動的應用的基礎,從向用戶提供內容推薦到對醫療狀況進行分類。然而,它通常需要與一個中央系統共享大量數據,以匯總和啟用搜索,"Capital One公司應用機器學習研究主管Bayan Bruss說,他沒有參與這項工作。"這項研究提供了一個關鍵步驟,確保用戶從最近的鄰居搜索中獲得好處,同時相信中央系統不會將他們的數據用于其他目的。"
最近鄰搜索是一個廣泛的應用的基本構件。一個保護隱私的近鄰搜索協議涉及一組客戶,他們向遠程數據庫發送查詢。每個客戶端在不透露任何查詢信息的情況下,在數據庫中檢索與其查詢最接近的鄰居(s)。為了確保數據庫的私密性,客戶必須盡可能少地了解查詢答案以外的信息,即使是通過偏離協議的方式進行惡意行為。
現有的私有近鄰搜索協議需要沉重的加密工具,導致高計算和帶寬的開銷。在本文中,我們提出了第一個用于私有近鄰搜索的輕量級協議。我們的協議使用兩個無沖突的服務器進行實例化,每個服務器持有一個數據庫的副本。我們的設計支持任意數量的客戶通過這兩個服務器同時查詢數據庫。每個查詢都是由客戶和兩個服務器之間的單輪通信組成。服務器之間不需要通信來回答查詢。
如果至少有一個服務器是不結盟的,我們確保(1)客戶的查詢沒有信息被泄露,(2)客戶和服務器之間的總通信量是數據庫大小的次線性,(3)每個查詢答案只向客戶泄露少量的、有界限的數據庫信息,即使客戶是惡意的。
我們實現了我們的協議并報告了它在真實世界數據上的表現。我們的結構在10M特征向量的大型數據庫上需要10到20秒的查詢延遲。客戶端的開銷保持在每次查詢處理時間10ms以下,通信量小于10MB。
摘要
通信技術和醫療物聯網的最新進展改變了由人工智能(AI)實現的智能醫療。傳統上,人工智能技術需要集中的數據收集和處理,但由于現代醫療網絡的高度可擴展性和日益增長的數據隱私問題,這在現實的醫療場景中可能不可行。聯邦學習(FL)是一種新興的分布式協同人工智能范式,通過協調多個客戶(如醫院)在不共享原始數據的情況下進行人工智能訓練,對智能醫療保健特別有吸引力。因此,我們提供了一個關于FL在智能醫療中的使用的全面綜述。首先,我們介紹了FL的最新進展、在智能醫療中使用FL的動機和要求。最近FL設計智能醫療然后討論,從resource-aware FL,安全和privacy-aware FL激勵FL和個性化FL。隨后,我們提供在關鍵的新興應用FL醫療領域的綜述,包括健康數據管理、遠程健康監測,醫學成像,和COVID-19檢測。本文分析了最近幾個基于FL的智能醫療項目,并強調了從綜述中得到的關鍵教訓。最后,我們討論了有趣的研究挑戰和未來FL研究在智能醫療可能的方向。
引言
醫療物聯網(IoMT)的革命改變了醫療保健行業,改善了人類的生活質量。在智能醫療環境中,IoMT設備(如可穿戴傳感器)被廣泛用于收集醫療數據,用于人工智能(AI)[2]啟用的智能數據分析,以實現大量令人興奮的智能醫療應用,如遠程健康監測和疾病預測。例如,人工智能技術,如深度學習(DL)已證明其在生物醫學圖像分析方面的巨大潛力,可通過處理大量健康數據來促進醫療服務[3]的提供,從而有助于慢性病的早期檢測。
傳統上,智能醫療系統通常依賴于位于云或數據中心的集中AI功能來學習和分析健康數據。隨著現代醫療網絡中健康數據量的增加和IoMT設備的增長,由于原始數據傳輸的原因,這種集中式解決方案在通信延遲方面效率不高,無法實現很高的網絡可擴展性。此外,依賴這樣的中央服務器或第三方進行數據學習引起了關鍵的隱私問題,例如,用戶信息泄露和數據泄露[4]。在電子醫療保健領域尤其如此,在電子醫療保健領域,與健康有關的信息高度敏感,屬于私人信息,受《美國健康保險便攜性和問責法》(HIPPA)[5]等衛生法規的約束。此外,在未來的醫療系統中,這種集中式AI架構可能不再適用,因為健康數據不是集中放置的,而是分布在大規模的IoMT網絡上。因此,迫切需要采用分布式AI方法,在網絡邊緣實現可擴展和保護隱私的智能醫療保健應用程序。
在這種背景下,聯邦學習(FL)已經成為一種很有前途的解決方案,可以實現具有成本效益的智能醫療應用程序,并改善隱私保護[6-9]。從概念上講,FL是一種分布式人工智能方法,通過平均從多個健康數據客戶(如IoMT設備)匯總的本地更新,而不需要直接訪問本地數據[10],從而能夠訓練高質量的人工智能模型。這可能防止泄露敏感用戶信息和用戶偏好,從而降低隱私泄露風險。此外,由于FL吸引了來自多個衛生數據客戶的大量計算和數據集資源來訓練人工智能模型,衛生數據訓練質量(如準確性)將得到顯著提高,而使用數據較少和計算能力有限的集中式人工智能方法可能無法實現這一目標。
目前還沒有針對FL在智能醫療中的應用進行全面綜述的工作。此外,在開放文獻中仍然缺少在新興醫療保健應用中使用FL的整體分類。這些限制促使我們對FL在智能醫療中的集成進行廣泛的綜述。特別地,我們首先確定了在智能醫療中使用FL的關鍵動機并強調了其需求。然后,我們發現了用于智能醫療的最新先進FL設計。隨后,我們提供了關于FL在智能醫療領域新興應用的最新調研,如電子健康記錄(EHR)管理、遠程健康監測、醫學成像和COVID-19檢測。本文還總結了調研所得的經驗教訓,供讀者參考。本文總結貢獻如下:
(1) 我們介紹了在智能醫療中使用FL的最新調研,首先介紹了FL的概念,并討論了使用FL智能醫療的動機和技術要求。
(2) 我們介紹了最近先進的FL設計,這些設計將有助于聯合智能醫療應用,包括資源感知的FL、安全和隱私增強的FL、激勵感知的FL和個性化的FL。
(3) 我們通過廣泛的關鍵領域提供了關于FL在智能醫療中的關鍵應用的最新綜述。即聯邦EHRs管理、聯邦遠程健康監視、聯邦醫學成像和聯邦COVID-19檢測。本文提供了與FL醫療保健用例相關的正在出現的實際項目,并強調了從調研中吸取的關鍵教訓。
(4) 最后,我們強調了FL-smart 醫療的有趣挑戰并討論了未來的發展方向。
在過去的幾年中,深度學習和醫學的交叉領域取得了快速的發展,特別是在醫學圖像的解譯方面。在本文中,我描述了三個關鍵方向,為醫學圖像解釋的深度學習技術的發展提出了挑戰和機遇。首先,我討論了專家級醫學圖像解譯算法的發展,重點是用于低標記醫學數據設置的遷移學習和自監督學習算法。其次,我討論了高質量數據集的設計和管理以及它們在推進算法發展中的作用,重點是使用有限的手動注釋的高質量標記。第三,我討論了真實世界的評估醫學圖像算法的研究,系統地分析了在臨床相關分布變化下的性能。總之,這篇論文總結了關鍵貢獻和見解,在這些方向與關鍵應用跨醫學專業。