?作者 | ****戴恩炎，趙天翔，王蘇杭 單位 | ****賓夕法尼亞州立大學
對于可信圖神經網絡（Trustworthy Graph Neural Networks）在隱私（privacy），魯棒性（robustness），公平（fairness）和可解釋性（explainability） 的研究工作，我們進行了系統的梳理和討論。對于可信賴所要求的各個方面，我們將現有概念和方法歸類并提煉出各類的通用框架。同時我們也給出了代表性工作和前沿方法的具體細節。對于未來的工作方向，我們也進行了探討。
論文標題：
A Comprehensive Survey on Trustworthy Graph Neural Networks: Privacy, Robustness, Fairness, and Explainability
論文鏈接：
在現實應用當中，大量的數據列如交通網絡，社交網絡，知識圖譜乃至蛋白質結構，都是以圖的形式存在的。圖神經網絡（GNNs）將深度學習拓展到圖結構數據的處理和建模。典型的圖神經網絡會匯聚鄰居節點（neighbor node）的信息來增強目標節點（target node）來獲取更強的特征。這種被稱作 message-passing 的機制使得圖神經網絡在處理圖結構數據上取得了巨大成功并被廣泛應用到日常生活。例如，Pinterest 就應用了 GNNs 在他們的圖片推薦系統當中。一些將 GNNs 應用到信用評估等金融領域的工作也已開展。但是正如深度學習那樣，GNNs 在于可信賴性方面仍然存在很多問題：
在 GNNs 的應用中，隱私和魯棒性并不能得到保證。黑客可以對基于 GNNs 的服務進行隱私攻擊或者對抗攻擊。如通過 GNNs 獲得的 node embedding，攻擊者可以推斷用戶的私人信息。他們也可以采取各種方式如添加虛假聯結去欺騙圖神經網絡模型。比如應用在金融風險評估的 GNNs 就可能被攻擊，對個人，企業和社會帶來重大損失。
圖神經網絡本身也有在公平性和可解釋性的缺陷。現有研究已經證明圖神經網絡的結構會進一步加強隱藏在數據中的偏見，從而導致做出對年齡、性別、種族等帶有歧視的決策。另一方面，由于模型深度導致的高度非線性， GNNs 模型給出預測難以被理解，這大大限制了 GNNs 在實際場景中的應用。
以上的這些問題都阻礙了 GNNs 在高風險場景如金融和醫療領域進一步的發展。因此可信賴圖神經網絡的構建已經成為了熱門方向。在我們的綜述中 [6]，我們對已有的可信賴圖神經網絡在隱私，魯棒性，公平性和可解釋性方面進行了總結歸納，并展望了進一步的工作方向。接下來在這篇博客中，我們將簡要的介紹綜述的框架及所包含的具體方向。
▲ Figure 1. 關于隱私章節的綜述結構.
隱私（Privacy）
模型訓練集中的隱私信息可能會在發布的模型或者提供的服務泄露。然而現有的綜述論文多以討論在圖像和文本這類數據的隱私問題，其中討論的方法難以拓展到圖數據結構和采用 message-passing 架構的圖神經網絡。因此我們對隱私攻擊（privacy attacks）以及圖神經網絡的隱私保護（privacy-preserving GNNs）進行了概述總結。囊括的概念和方法都列在圖 1 之中。首先，我們對隱私攻擊方法總結出了統一的框架。 然后，我們詳細介紹了四種隱私攻擊：Membership Inference Attack, Reconstruction Attack，Property Inference Attack 和 Model Extraction Attack。至于圖神經網絡的隱私保護，我們在綜述中按照采用的方法將其歸類為差分隱私（differential privacy），聯邦學習（federated learning）和對抗隱私保護（adversarial privacy preserving）。 部分在文章討論過得方法也列舉在圖 1 之中。對于更多的技術細節以及相關方法請見于綜述論文第三章。這一章節還包含了不同領域的數據集以及圖神經網絡隱私保護的實際應用。同時我們發現對于一些類型的隱私攻擊如 Property Inference Attack 及 Model Extraction Attack 現在都缺乏行之有效的防御辦法。因此對于不同的隱私攻擊的防御會是一個未來的研究方向。其他的未來研究方向也在文章中進行了討論。更多細節請見原文。
▲ Figure 2. 關于魯棒性章節的綜述組織結構.
魯棒性（Robustness）
魯棒性是可信賴模型的另一個重要方面。由于 message-passing 機制和圖結構，GNNs 可能會被節點特征和圖結構上的對抗性擾動影響。例如，詐騙犯可以通過創造和一些特定高信用用戶的交易來逃過基于 GNNs 的詐騙檢測。所以研發魯棒的圖神經網絡對于一些安全風險較高的領域如醫療和金融是十分有必要的。 現在已有一些綜述文章討論在圖學習上的魯棒性。因此，我們專注于討論在這個領域內新興的研究方向如大規模攻擊（scalable attack），圖后門攻擊（graph backdoor attack）和最近的提出的防御方法。擾動采樣（perturbation sampling）和減少候選擾動（perturbation candidate reduction）便是對已有方法進行改進，從而實現對大規模網絡攻擊。另外，節點插入攻擊（node injection attack）作為添加擾動的時間復雜度與圖規模線性相關的方法也具備對大規模網絡攻擊的潛力。至于圖后門攻擊，已有方法較少，我們對其進行了細致的介紹。 對于圖對抗攻擊的防御方法，如圖 2 所示，我們將其歸類為：對抗訓練（adversarial training），可驗證魯棒性（certifiable robustness），圖去噪（graph denoising）及其他方法。在這些方向中，基于自監督（self-supervision）的方法未在以往綜述中被討論過。因此我們討論了如 SimP-GNN [1] 的一些基于自監督的防御方法。對于其他的方向，我們則討論了些最新的進展，比如可以同時處理標簽稀少和對抗攻擊的 RS-GNN [2]。關于圖神經網絡魯棒性的未來研究方向也包含在綜述當中，詳情請見綜述第四章。
▲ Figure 2. 關于公平性章節的綜述組織結構.
公平（Fairness）
我們最近的研究 [3] 表明 GNNs 中的 message-passing 機制相較于多層感知機（MLP）會加劇數據中的偏見。這也證明了針對圖神經網絡實現公平性是十分有必要的。最近有很多研究保證 GNNs 滿足不同公平性標準的工作涌現。因此我們對與這些工作進行了系統的回顧和歸納，整體的結構可參見圖 3。 首先我們介紹了兩類可能存在于圖結構數據的偏見：一類是廣泛存在各類數據如表格，文本和圖數據的偏見；另一類則是圖結構數據所特有的偏見。對于算法公平性的研究，其中一個最重要的問題就是如何定義和量化算法公平與否。所以我們還列舉出被 GNNs 公平性文獻廣泛采用的定義。這些公平性的定義多數適用于各種數據結構。只有 Dyadic fairness 是為鏈接預測任務設計，僅適用于圖結構數據。 對于實現 GNNs 公平性的算法，我們將其分類為對抗去偏（adversarial debiasing），公平性約束（fairness constraints）以及其他方法。部分我們討論的代表性方法在圖三當中也有列舉。在對抗去偏和公平性約束的已有方法的介紹中，我們首先分別歸納了其目標函數的統一形式。關于具體方法的各自確切目標函數也一一進行了介紹。由于需要用戶的隱私信息用于訓練和驗證公平圖神經網絡，可以用圖神經網絡公平性研究的數據集較難獲得。因此我們還列舉了各應用領域可用的數據集來幫助未來的研究。
▲ Figure 4. 關于可解釋章節的綜述結構.
可解釋性（Explainability）
由于復雜圖結構的離散型和高度的非線性，再加上 message-passing 機制在 GNNs 中的應用，圖神經網絡普遍缺乏可解釋性。而開發可解釋圖神經網絡（explainable GNNs）是十分關鍵的。因為提供的解釋可以讓參與者更信任圖神經網絡模型所做的預測。并且提供的解釋可以用來了解模型所學到的知識，據此我們可以評估現有模型是否帶有偏見或者已經被對抗攻擊影響。 因此已經有一些工作開展了可解釋 GNNs 的研究，我們在這里則對其進行了總結性回顧。對于可解釋 GNNs 的討論框架可見于圖 4。其中我們首先對可解釋性的應該考慮的各個方面進行了探討。之后我們對已有的解釋 GNNs 的方法分為 實例級事后（instance-level post-hoc），模型級事后（model-level post-hoc）以及自解釋方法（self-explainable）。 值得強調的是，其中的 self-explainable GNNs 是一個未被討論的新方向。因此我們詳述了 self-explainable GNNs 如 SE-GNN [4] 和 ProtGNN [5] 的技術細節。對于其他種類的方法，我們根據其采用的方法進一步分為多個子類。由于在現實世界的圖中很難獲得可以作為檢驗標準的解釋，因此數據集及其評估指標也是可解釋性研究的一大挑戰。雖然已有人造數據集以及部分現實數據集被應用，但是創造可解釋性的基準數據集仍會一個重要的研究方向。更多內容詳見我們的綜述原文。
? 團隊簡介
該綜述論文主要由賓夕法尼亞州立大學（PSU）王蘇杭助理教授團隊協作完成。其他主要貢獻作者包括戴恩炎和趙天翔。
戴恩炎是來自 PSU 的第三年 PhD 學生，他目前的主要科研方向為 Trustworthy Graph Neural Networks。趙天翔也是來自 PSU 的第三年 PhD 學生，他主要從事 Weakly-Supervised Graph Learning 方向的研究。王蘇杭教授對于數據挖掘和機器學習有著廣泛的興趣，最近的研究主要集中于圖神經網絡的各個方向如 Trustworthiness, self-supervision, weak-supervision 和 heterophilic graph learning, deep generative models 和 causal recommender systems。
參考文獻
[1] Jin, Wei, Tyler Derr, Yiqi Wang, Yao Ma, Zitao Liu, and Jiliang Tang. "Node similarity preserving graph convolutional networks." In Proceedings of the 14th ACM International Conference on Web Search and Data Mining, pp. 148-156. 2021.
[2] Dai, Enyan, Wei Jin, Hui Liu, and Suhang Wang. "Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels." Proceedings of the 15th ACM International Conference on Web Search and Data Mining. 2022. [3] Dai, Enyan, and Suhang Wang. "Say no to the discrimination: Learning fair graph neural networks with limited sensitive attribute information." Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021. [4] Dai, Enyan, and Suhang Wang. "Towards Self-Explainable Graph Neural Network." Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021. [5] Zhang, Zaixi, Qi Liu, Hao Wang, Chengqiang Lu, and Cheekong Lee. "ProtGNN: Towards Self-Explaining Graph Neural Networks." arXiv preprint arXiv:2112.00911 (2021). [6] Dai, Enyan, Tianxiang Zhao, Huaisheng Zhu, Junjie Xu, Zhimeng Guo, Hui Liu, Jiliang Tang, and Suhang Wang. "A Comprehensive Survey on Trustworthy Graph Neural Networks: Privacy, Robustness, Fairness, and Explainability." arXiv preprint arXiv:2204.08570 (2022).
付費5元查看完整內容
相關內容
深度圖學習在商業和科學領域都取得了顯著的進展，從金融和電子商務，到藥物和先進材料的發現。盡管取得了這些進展，但如何確保各種深度圖學習算法以對社會負責的方式運行并滿足監管要求成為一個新興問題，特別是在風險敏感的領域。可信圖學習(trusted graph learning, TwGL)旨在從技術角度解決上述問題。與傳統的圖學習研究主要關注模型性能不同，TwGL考慮了圖學習框架的可靠性和安全性，包括但不限于魯棒性、可解釋性和隱私性。在這項綜述中，我們從可靠性、可解釋性和隱私保護三個維度，全面回顧了TwGL領域的最新領先方法。我們給出了現有工作的一般分類，并對每個類別的典型工作進行了回顧。為了對TwGL的研究提供更深入的見解，我們提供了一個統一的視角來審視以往的工作，并建立它們之間的聯系。本文還指出了TwGL未來發展中有待解決的一些重要的開放性問題。
付費5元查看完整內容
人大學等《聯邦學習隱私保護》隱私保護技術
聯邦學習是順應大數據時代和人工智能技術發展而興起的一種協調多個參與方共同訓練模型的機制.它允許各個參與方將數據保留在本地，在打破數據孤島的同時保證參與方對數據的控制權.然而聯邦學習引入了大量參數交換過程，不僅和集中式訓練一樣受到模型使用者的威脅，還可能受到來自不可信的參與設備的攻擊，因此亟需更強的隱私手段保護各方持有的數據. 本文分析并展望了聯邦學習中的隱私保護技術的研究進展和趨勢.簡要介紹聯邦學習的架構和類型，分析聯邦學習過程中面臨的隱私風險，總結重建、推斷兩種攻擊策略，然后依據聯邦學習中的隱私保護機制歸納隱私保護技術，并深入調研應用上述技術的隱私保護算法，從中心、本地、中心與本地結合這3個層面總結現有的保護策略. 最后討論聯邦學習隱私保護面臨的挑戰并展望未來的發展方向.
//jos.org.cn/html/2022/3/6446.htm
1. 引言
近年來, 大數據驅動的人工智能迸發出巨大潛力, 在金融、醫療、城市規劃、自動駕駛等多個領域完成了大規模復雜任務學習. 機器學習作為人工智能的核心技術, 其性能和隱私性也廣受關注. 傳統的機器學習需要由服務商收集用戶的數據后集中訓練, 但是用戶的數據與用戶個體緊密相關, 可能直接包含敏感信息, 如個人年齡、種族、患病信息等; 也可能間接攜帶隱含的敏感信息, 如個人網頁瀏覽記錄、內容偏好所隱含的用戶政治傾向. 如果這些敏感信息在收集過程中被服務商泄露或者利用, 將直接威脅用戶的人身安全、個人名譽和財產安全. 即便服務商沒有直接公開用戶數據, 集中訓練后發布的模型也可能因為受到隱私攻擊而泄露參與訓練的數據. 隨著隱私問題受到的關注程度日益提高, 用戶分享數據的意愿越來越低. 與之矛盾的是, 人工智能技術卻必須依靠大量數據收集和融合, 如果不能獲取完整豐富的信息來訓練模型并發展技術, 人工智能應用的發展將受到嚴重限制.
在數據孤島現象與數據融合需求的矛盾逐漸凸顯的背景下, 聯邦學習(federated learning, FL)應運而生. 2017年, Google公司首次提出了聯邦學習的概念[1], 這是一種由多個數據持有方(如手機、物聯網設備, 或者金融、醫療機構等)協同訓練模型而不分享數據, 僅在中間階段交換訓練參數的學習機制. 理想狀況下, 聯邦學習得到的共享模型與數據集中在中心服務器上訓練所得模型相比, 效果相近或更好[2]. 由此, 企業能夠通過合法且高效的方式融合數據提取信息, 個人或其他持有數據的機構依然能夠在享受企業提供的人工智能服務的同時, 保有數據的控制權.
盡管聯邦學習避免了將數據直接暴露給第三方, 對于數據隱私有天然的保護作用, 但是其中依然存在大量隱私泄露的風險.
-
首先, 聯邦學習需要交換中間參數協同訓練, 可能泄露隱私. 與集中式學習不同, 聯邦學習訓練過程需要交換大量中間參數, 其所攜帶原始數據會暴露在所有參與訓練的角色面前, 帶來泄露的風險. 例如, 已有研究表明, 可以通過梯度還原部分原始數據[3], 或根據中間參數推斷掌握的記錄內容是否來自某個特定參與者[4].
-
其次, 不可靠的參與方加劇了隱私泄露的風險. 聯邦學習中, 各個參與方由于地理、設備等條件不同, 通信內容的有效性和身份的真實性都難以確認, 因此一旦出現不可靠的參與方攻擊, 極易泄露隱私.例如, 半誠實的參與方能夠根據合法獲取的中間參數推斷出其他參與方的標簽或數據; 而惡意的參與方更進一步, 能夠通過上傳精心設計的有害信息誘導其他參與方暴露更多自身數據, 或者不遵守隱私協議進而影響全局的隱私性.
-
此外, 訓練完成的模型也面臨著隱私泄露的風險. 即便聯邦學習的過程中參數沒有泄露, 直接發布訓練所得的模型依然存在極大風險. 這種風險來自機器學習自身的脆弱性. 在訓練中, 模型提高準確性依賴于對數據樣本的規律挖掘. 但是研究者[4]注意到, 追求模型在訓練樣本上的準確度, 可能導致模型的參數乃至結構“記住”訓練樣本的細節, 使得模型攜帶訓練集的敏感信息. 根據這一特性, 攻擊者可以通過反復查詢模型的預測接口來推測某條記錄是否存在于訓練集、推測模型的具體參數, 而根據模型發布的參數能夠進一步推測訓練集成員或訓練集具體樣本.
由此可見, 不加保護的進行聯邦學習, 訓練中涉及的眾多參與者的數據都將面臨泄露的風險. 而數據一旦泄露, 不僅隱私泄露者面臨嚴重損失, 參與者間彼此信任合作的聯合訓練模式也將難以為繼.
解決聯邦學習信息泄露問題迫在眉睫. 然而, 聯邦學習中數據分布復雜、應用場景豐富且需要多次數據交換, 這些因素為隱私保護帶來一系列挑戰.
-
第一, 聯邦學習的訓練場景多樣且需求復雜, 現有的隱私保護方法無法通用. 已有的集中式機器學習隱私保護研究以中心服務器誠實為前提, 僅考慮模型發布后可能受到的攻擊, 沒有針對內部攻擊者的解決方案. 而且現有算法大多針對單一的集中式訓練場景, 沒有考慮多個參與方、多種架構、多種數據分布方式下的數據交換和模型協同訓練的情況. 因此, 設計適應不同場景和不同需求的隱私保護算法, 同時抵御外部和內部攻擊, 是聯邦學習隱私保護的重要挑戰.
-
** 第二, 聯邦學習中參與方的可信程度低, 潛在的攻擊角度多, 對隱私保護算法的魯棒性要求更高**. 這里, 魯棒性指模型容忍惡意攻擊穩定運行的能力. 聯邦學習中, 參與者一旦發起攻擊, 能夠觀察到更多的中間參數, 甚至能夠篡改參數影響訓練過程, 隱私防御的難度遠高于外部出現的攻擊. 而參與者之間如果共謀, 可能獲取更多敏感信息. 因此, 提高隱私保護算法的魯棒性, 減少隱私算法中對參與者的可信程度的假設, 是聯邦學習隱私保護面臨的難題.
-
** 第三, 聯邦學習本身通信不穩定, 模型計算代價高, 因而對隱私保護機制的通信量和復雜度要求嚴格**. 現實場景下的聯邦學習所面臨的復雜松散的網絡結構導致終端通信不穩定, 在此基礎上的隱私保護算法難以簡化. 而復雜的隱私保護算法將帶來更高的計算量、更大通信代價, 進一步制約聯邦學習的訓練效率. 研究高效率、輕量級的聯邦學習隱私保護算法, 降低額外開銷, 是聯邦學習隱私保護必須面對的挑戰.
-
第四, 聯邦學習中參數維度高、數據分布不均, 難以在提供隱私保護的同時保持模型的可用性. 聯邦學習中間參數的維度與模型結構和輸入數據維度相關, 參數維度往往極高, 造成了極大的隱私開銷.此外, 聯邦學習的用戶數量不定且數據集大小不一, 如何在平衡不同數據集的同時保護隱私, 也是一個巨大挑戰.
綜上所述, 更加精細的隱私策略設計、更加精確的隱私預算分配、更加適應數據交換的隱私協議構建, 是聯邦學習隱私保護進一步發展必須面對的議題. 而明確現有的隱私問題和保護手段, 是技術發展的基礎. 聯邦學習的基礎——機器學習的隱私攻擊和防御已經被充分調研[5]. 機器學習面臨的外部攻擊同樣威脅著聯邦學習的發布模型, 但是機器學習的隱私保護手段卻遠遠不足以為聯邦學習提供保護. 這是由于聯邦學習同時面臨著傳統的外部攻擊和其獨有的內部攻擊, 因此聯邦學習的隱私保護方案必須同時為內部訓練過程和外部模型發布提供雙重保護.
另外, 已有學者調研了聯邦學習隱私保護的現狀, 但由于思路與本文不同, 側重的方法和文獻也不相同. Lyv等人[6]和Wang等人[7]對聯邦學習可能受到的攻擊作了詳細的闡述, 但是在安全攻擊和隱私攻擊的區分上沒有進一步調研. 本文明確兩種攻擊的概念范圍: 以竊取數據、破壞模型隱私性和機密性為目的的攻擊為隱私攻擊, 以干擾模型訓練結果、破壞模型可用性和完整性的攻擊為安全攻擊. 此外, 本文還依據現有的隱私攻擊技術的原理歸納了主要策略分類. 現有文獻[7?10]均從技術或訓練階段的角度分析了目前的聯邦學習隱私保護算法, 而本文根據聯邦學習自身特性分析其特有的隱私泄露內容和泄露位置, 從隱私保護的對象的角度出發建立分類框架, 并歸納每個類別中主要的保護機制, 進而分析采用不同技術的算法的共性并探究機制本身的優勢和不足. 進一步地, 本文建立了攻擊策略與保護機制之間的聯系, 并在此基礎上嘗試為聯邦學習隱私保護的發展提出建議.
本文第1節介紹聯邦學習的架構和類型, 以及相應場景下的訓練方式. 第2節分析聯邦學習面對的隱私泄露風險來源, 總結具體的攻擊策略. 第3節介紹多種隱私保護技術原理, 并將其歸納為信息模糊、過程加密兩種隱私保護機制. 第4節調研隱私保護技術在聯邦學習中的應用, 涵蓋本地保護、中心保護、中心與本地結合這3種保護策略, 并對每種策略展開更加詳細的闡述. 第5節討論現有不足并展望未來方向.
2. 聯邦學習**
**聯邦學習的一般定義為[11]: N個參與方{F1, …, FN}各自持有訓練集{D1, …, DN}. 聯邦學習中, 各個參與方在不將本地數據Di暴露給第三方的情況下, 協作訓練模型MFED. 為了給聯邦學習模型一個衡量標準, 設傳統的集中式機器學習將各個數據集收集合并為D=D1∪…∪DN以訓練模型MSUM. 令VFED為聯邦學習模型MFED精度(performance), VSUM為傳統機器學習模型MSUM精度. 存在非負實數δ, 使得: |VFED?VSUM|<δ, 則稱此聯邦學習模型具有δ的精度損失. 可見, 使各個數據集留在本地協同訓練所得模型的精度, 理想狀況下應當接近于將數據集集中后訓練所得模型的精度. 區別于傳統的分布式機器學習, 聯邦學習具有如下特點. (1) 各個參與方的訓練集非獨立同分布. 各個參與方僅掌握局部信息, 其分布與全局不一定相同; 各個參與方僅掌握整個數據集的部分屬性及標簽信息, 且各方之間屬性和標簽可能不完全重疊. (2) 各個參與方的訓練集大小可能不平衡. 某些參與方可能由于其規模、影響力等因素掌握更多數據. (3) 參與方數量不定. 參與者數量可能很少, 例如只有幾個企業交換數據集; 也可能極多, 如訓練涉及數以萬計的App使用者. (4) 通信受限. 與分布式相比, 聯邦學習的架構更為松散, 參與的設備可能存在頻繁掉線、通信緩慢等情況, 因此聯邦學習的通信代價同樣受到極大關注. 根據這些特點, 學者為聯邦學習設計了不同的架構方式和學習類型.
聯邦學習架構
常見的聯邦學習架構為客戶-服務器. 典型的客戶-服務器架構由一個中心服務器和多個持有數據的客戶端組成. 被廣泛采用的聯邦平均FedAvg[1]即是基于客戶-服務器架構設計的算法. 在訓練中, 中心服務器將隨機初始化的模型結構和參數分發給客戶端, 客戶端根據本地數據訓練并更新模型后將參數上傳. 中心服務器收到各方參數后聚合計算, 更新模型參數再次下發. 該過程循環, 直至模型收斂或訓練終止. 除了常見的模型參數交換以外, 也存在梯度交換、數據特征的嵌入式表示交換等方式. 在此架構下, 原始數據不需要傳輸, 但是本地中間參數暴露給了中心服務器, 全局中間參數則會被每個客戶端獲取, 數據交換過程中, 巨大的通信量也會影響訓練效率. 而當參與訓練的客戶端數量過多時, 中心服務器的聚合計算甚至可能成為全局訓練效率的瓶頸.
當沒有中心服務器時, 聯邦學習采用另一種常見架構: 端對端的網絡架構[12]. 這種架構僅由持有數據的終端組成. 參與訓練的終端Fi直接將訓練參數發送給下一個(或多個)終端Fi+1, 下一個(或多個)終端Fi+1在收集到的一個(或多個)參數基礎上繼續訓練, 直到模型收斂或者訓練終止. 端對端網絡架構不依賴中心服務器這樣的第三方機構, 本地中間參數直接在參與方之間傳送. 因此需要考慮參與方如何協商使用相同的模型、算法、初始化參數等基本信息, 協調各方參與訓練的順序.
為了下文中概念統一、表述清晰, 本文將客戶-服務器中的服務器稱為中心服務器; 將客戶-服務器中的客戶端和端對端架構中的參與訓練終端統稱為終端; 所有參與訓練的服務器、終端統稱為參與方. 訓練過程中發送的梯度、模型參數、嵌入式表示等, 統稱為中間參數. 上述兩種典型架構如圖 1所示.
聯邦學習類型根據參與方的樣本分布情況, 聯邦學習按照數據的劃分情況可以分為3種類型: 橫向聯邦學習、縱向聯邦學習、遷移聯邦學習. 不同的數據的劃分方式需要的訓練方式和中間參數不同, 也為隱私泄露的風險和保護方式帶來影響.
橫向聯邦學習中, 各個參與方持有的數據特征相同, 但掌握的樣本不同. 例如, 幾個不同城市的醫院可能掌握著不同病人的情況, 但是由于具備相似的醫療手段, 醫院獲取屬性的屬性相同. 橫向聯邦學習中典型的方式之一是第1.1節所描述的聯邦平均算法FedAvg, 包括梯度平均和模型平均兩種類型[13], 多由客戶-服務器架構實現. 梯度平均是指終端交換和聚合模型梯度, 而模型平均指聚合模型參數. 在端對端架構中, 各個參與方訓練本地模型, 通過循環發送給下一個(或多個)訓練方或者隨機傳輸某個(或多個)終端[14]實現模型參數的共享.
而縱向聯邦學習則針對相反的情形, 即各個參與方持有的數據特征不同, 但掌握的樣本相同. 例如, 同一個城市中的醫院和銀行都接待過同一個市民, 保留著該市民的就診記錄或資金狀況. 顯然, 醫院和銀行獲取的數據屬性完全不同, 但是所持有的樣本ID是重疊的. 縱向聯邦學習首先需要參與方對齊相同ID的樣本, 然后, 各個參與方在對齊的樣本上分別訓練本地模型并分享參數. 不同架構同樣都適用于縱向聯邦學習, 但由于數據的縱向分布, 參與方之間的依賴程度更高, 模型需要更加精細地設計. 縱向聯邦學習已應用于線性回歸[11]、提升樹[15]、梯度下降[16]等多種模型上. 以縱向聯邦學習線性回歸算法[11]為例, 該算法在樣本對齊后, 將損失函數的梯度拆分, 使得兩個參與方能夠使用各自的本地數據分別計算梯度的一部分, 而需要共同計算的部分則通過雙方交換參數協同完成. 縱向分布的數據之間緊密的相關性, 為縱向學習的效率和容錯性帶來挑戰.
上述兩種類型都是比較理想的情況, 現實生活中, 大部分參與方所持有的數據, 在特征和樣本ID上的重疊都比較少且數據集分布不平衡. 針對這樣的情形, 遷移學習被應用到聯邦學習中來. 遷移學習作為一種有效的學習思想, 能夠將相關領域中的知識遷移到目標領域中, 使得各個參與方共同學習得到遷移知識. 以兩方遷移學習為例[17], 假設一方A掌握樣本的部分特征和全部標簽, 另一方B掌握部分特征, 雙方特征和樣本ID之間都有少量重疊. 聯邦遷移學習首先對齊樣本并共同訓練模型, 然后預測B方樣本的標簽. 為了達到預期效果, 訓練的目標函數包含兩個部分: 一部分是根據已有的標簽預測B方樣本, 使預測誤差最小化; 另一部分是A與B對齊的樣本之間的嵌入式表示的區別最小化. 各方根據目標函數在本地訓練, 并交換中間參數更新模型, 直至模型收斂.
目前, 縱向和遷移聯邦學習的隱私保護算法研究還不成熟, 且保護方式與橫向聯邦學習場景類似. 為了表述簡潔, 下文中調研的隱私保護算法若無特別說明, 即為橫向聯邦學習場景.
3. 聯邦學習中的隱私泄露風險
盡管聯邦學習不直接交換數據, 比傳統的集中式機器學習訓練有了更高的隱私保障, 但聯邦學習本身并沒有提供全面充分的隱私保護, 依然面臨著信息泄露的威脅. 模型面臨的隱私泄露風險來自模型訓練自身的脆弱性和攻擊者的強大能力: 模型訓練過程中, 獨特架構和訓練階段決定了隱私泄露的位置和時機; 攻擊者的角色和能力, 決定了隱私泄露的內容和程度. 而攻擊者依據自身特性所采取的攻擊策略, 則進一步影響攻擊者的能力, 從而影響模型隱私泄露的風險. 理清隱私泄露的風險, 才能為聯邦學習隱私防御找到總體方向.
4 隱私保護機制和技術
**隱私保護技術是防御敏感信息泄露的技術, 能為信息的隱私提供嚴格的可量化的保護. 隱私保護的技術多種多樣, 但總體分為兩大方向: 信息模糊機制和過程加密機制. 信息模糊機制面向數據內容本身, 通過處理數據或參數使數據內容不易被關聯到用戶身份上; 過程加密機制面向數據傳輸的過程, 通過改變數據交換的形式使得傳輸過程中的數據不被識別. 兩類機制使用的場景不同, 但都能在一定程度上抵御上述隱私攻擊.
5 聯邦學習中的隱私保護算法
基于上述隱私保護機制和技術, 學者們為聯邦學習設計了多種保護措施. 盡管這些保護措施設置在訓練的不同階段, 但隱私保護的對象是明確且清晰的: 中心或本地. 中心是指中心服務器所掌握的中間參數和訓練完成的模型; 本地則包括終端所掌握的數據和本地模型參數. 二者是聯邦學習主要的隱私泄露位置. 因此, 本節以隱私保護的對象為線索, 將聯邦學習隱私保護算法分為3種主要類型: 中心保護、本地保護、中心與本地同時保護策略. 中心保護策略以保護中心服務器所掌握的參數為目標, 考慮模型的使用者帶來的威脅; 本地保護策略以保護本地所掌握的參數為目標, 考慮中心服務器帶來的威脅; 中心和本地同時保護策略以保護所有參數為目標, 同時考慮模型使用者和中心服務器所帶來的威脅. 3種保護策略的區別如圖 4所示. 需要說明的是, 本地保護策略提供的保護有時也能起到防御模型使用者(外部攻擊者)的效果, 但防御使用者并非本地保護策略的核心任務, 所以該防御范圍在圖中用虛線表示.
6 未來展望
不同于傳統的集中式機器學習, 聯邦學習由于自身架構和訓練方式的獨特性, 面臨著更多樣的隱私攻擊手段和更迫切隱私保護需求. 現有的聯邦學習隱私保護算法在技術、平衡性、隱私保護成本和實際應用中還存在諸多不足之處. 明確這些問題和挑戰, 才能展望聯邦學習隱私保護未來發展的機遇和方向：
- 構建隱私量化體系, 設計有針對性的隱私定義和保護技術
- 研究隱私性、魯棒性、公平性合一的隱私保護機制
- 實現低成本、輕量級的聯邦學習隱私保護策略
- 探索面向復雜場景的異質聯邦學習隱私保護方案
- 解決高維中間參數的隱私隱患
付費5元查看完整內容
摘要
在大數據時代下,深度學習理論和技術取得的突破性進展,為人工智能提供了數據和算法層面的強有力 支撐,同時促進了深度學習的規模化和產業化發展.然而,盡管深度學習模型在現實應用中有著出色的表現,但 其本身仍然面臨著諸多的安全威脅.為了構建安全可靠的深度學習系統,消除深度學習模型在實際部署應用中的潛在安全風險,深度學習模型魯棒性分析問題吸引了學術界和工業界的廣泛關注,一大批學者分別從精確和 近似的角度對深度學習模型魯棒性問題進行了深入的研究,并且提出了一系列的模型魯棒性量化分析方法. 在本綜述中,我們回顧了深度學習模型魯棒性分析問題當前所面臨的挑戰,并對現有的研究工作進行了系統的總結和科學的歸納,同時明確了當前研究的優勢和不足,最后探討了深度學習模型魯棒性研究以及未來潛在的研究方向.
引言
受益于計算力和智能設備的飛速發展，全世界正在經歷第三次人工智能浪潮。人工智能以計算機 視覺、序列處理、智能決策等技術為核心在各個應 用領域展開，并延伸到人類生活的方方面面，包括 自適應控制[1]、模式識別[2]、游戲[3]以及自動駕駛[4] 等安全攸關型應用。例如，無人駕駛飛機防撞系統 （Aircraft Collision Avoidance System, ACAS）使用 深度神經網絡根據附近入侵者飛機的位置和速度 來預測最佳行動。然而，盡管深度神經網絡已經顯 示出解決復雜問題的有效性和強大能力，但它們僅 限于僅滿足最低安全完整性級別的系統，因此它們 在安全關鍵型環境中的采用仍受到限制，主要原因 在于在大多數情況下神經網絡模型被視為無法對 其預測行為進行合理解釋的黑匣子，并且在理論上難以證明其性質。
隨著深度學習的對抗攻擊領域日益廣泛，對抗 樣本的危險性日益凸顯[7,12,13]，即通過向正常樣例中添加精細設計的、人類無法感知的擾動達到不干 擾人類認知卻能使機器學習模型做出錯誤判斷。以圖像分類任務為例，如圖 1 所示，原始樣本以 57.7% 的置信度被模型分類為“熊貓”,而添加對抗擾動之 后得到的樣本則以 99.3%的置信度被錯誤地分類為 “長臂猿”，然而對于人而言，對抗樣本依然會被 視為熊貓。由于這種細微的擾動通常是人眼難以分辨的，因而使得攻擊隱蔽性極強、危害性極大，給 ACAS 等安全攸關型應用中部署的深度學習模型帶 來了巨大的安全威脅。
為了防御對抗樣本攻擊，研究者進行了一系列的防御方法探索[5-11]。然而，即使是被廣泛認可并且迄今為止最成功的?∞防御[5]，它的?0魯棒性比未防御的網絡還低，并且仍然極易受到?2的擾動影響[14]。這些結果表明，僅對對抗攻擊進行經驗性的防御無法保證模型的魯棒性得到實質性的提升，模型的魯棒性需要一個定量的、有理論保證的指標進行評估。因此，如果要將深度學習模型部署到諸如自 動駕駛汽車等安全攸關型應用中，我們需要為模型 的魯棒性提供理論上的安全保證，即計算模型的魯 棒性邊界。模型魯棒性邊界是針對某個具體樣本而 言的，是保證模型預測正確的條件下樣本的最大可 擾動范圍，即模型對這個樣本的分類決策不會在這 個邊界內變化。具體地，令輸入樣本??的維度為??， 輸出類別的個數為??，神經網絡模型為??: ??? → ???， 輸入樣本的類別為 ?? = ???????????? ???? ?? ,?? = 1,2, … ,??，在???空間假設下，模型對??提供?-魯棒性 保證表明模型對??的分類決策不會在這個樣本???空 間周圍?大小內變化。
在本文中，我們首先闡述了深度學習模型魯棒性分析現存的問題與挑戰，然后從精確與近似兩個角度對現有的魯棒性分析方法進行系統的總結和科學的歸納，并討論了相關研究的局限性。最后，我們討論了深度學習模型魯棒性分析問題未來的研究方向。
問題與挑戰
目前，深度神經網絡的魯棒性分析問題的挑戰主要集中在以下幾個方面：
（1）神經網絡的非線性特點。由于非線性激 活函數和復雜結構的存在，深度神經網絡具有非線 性、非凸性的特點，因此很難估計其輸出范圍，并 且驗證分段線性神經網絡的簡單特性也已被證明 是 NP 完全問題[15]。這一問題的難點在于深度神經 網絡中非線性激活函數的存在。具體地，深度神經 網絡的每一層由一組神經元構成，每個神經元的值 是通過計算來自上一層神經元的值的線性組合，然 后將激活函數應用于這一線性組合。由于這些激活 函數是非線性的，因此這一過程是非凸的。以應用 最為廣泛的激活函數 ReLU 為例，當 ReLU 函數應 用于具有正值的節點時，它將返回不變的值，但是 當該值為負時，ReLU 函數將返回 0。然而，使用 ReLU 驗證 DNN 屬性的方法不得不做出顯著簡化 的假設，例如僅考慮所有 ReLU 都固定為正值或 0 的區域[16]。直到最近，研究人員才能夠基于可滿足 性模理論等形式方法，對最簡單的 ReLU 分段線性 神經網絡進行了初步驗證[15,21]。由于可滿足性模理 論求解器難以處理非線性運算，因此基于可滿足性 模理論的方法通常只適用于激活函數為分段線性的神經網絡，無法擴展到具有其它類型激活函數的神經網絡。
（2）神經網絡的大規模特點。在實際應用中， 性能表現優秀的神經網絡通常具有大規模的特點。因此，盡管每個 ReLU 節點的線性區域可以劃分為 兩個線性約束并有效地進行驗證，但是由于線性片 段的總數與網絡中節點的數量成指數增長[17,18]，對 整個網絡進行精確驗證是非常困難的。這是因為對 于任何大型網絡，其所有組合的詳盡枚舉極其昂 貴，很難準確估計輸出范圍。此外，基于可滿足性 模理論的方法嚴重受到求解器效率的限制，僅能處 理非常小的網絡（例如，只有 10 到 20 個隱藏節點 的單個隱藏層[20]），無法擴展到大多數現實世界中 的大型網絡，而基于采樣的推理技術（例如黑盒蒙 特卡洛采樣）也需要大量數據才能在決策邊界上生 成嚴格的準確邊界[19]。
總之，由于不同學者所處的研究領域不同，解 決問題的角度不同，所提出的魯棒性分析方法也各 有側重，因此亟需對現有的研究工作進行系統的整 理和科學的歸納、總結、分析。典型的模型魯棒性 分析方法總結如表 1 所示。目前的模型魯棒性分析 方法主要分為兩大類：（1）精確方法：可以證明精 確的魯棒性邊界，但計算復雜度高，在最壞情況下 計算復雜度相對于網絡規模是成指數增長的，因此 通常只適用于極小規模的神經網絡；（2）近似方法：效率高、能夠擴展到復雜神經網絡，但只能證明近似的魯棒性邊界。
精確方法
精確方法主要是基于離散優化 （DiscreteOptimization）理論來形式化驗證神經網 絡中某些屬性對于任何可能的輸入的可行性，即利 用可滿足性模理論（Satisfiability Modulo Theories, SMT）或混合整數線性規劃（Mixed Integer Linear Programming, MILP）來解決此類形式驗證問題。這 類方法通常是通過利用 ReLU 的分段線性特性并在 搜索可行解時嘗試逐漸滿足它們施加的約束來實 現的。圖 2 梳理了典型模型魯棒性精確分析方法的 相關研究工作。
近似方法
由于在??? ? ????????假設空間內，對于激活函數為 ReLU 的神經網絡，計算其精確的魯棒性邊界是一 個 NP 完備（NP-Complete，NPC）問題[15]，因此大 多數研究者通常利用近似方法計算模型魯棒性邊 界的下界，下文提到模型魯棒性邊界時通常也指的 是這個下界。此外，對抗攻擊[12]可以得到模型魯棒 性邊界的上界[24]。因此，精確的模型魯棒性邊界可 以由上界和下界共同逼近。這類方法通常基于魯棒 優化思想，通過解決公式（1）的內層最大化問題 來估計模型魯棒性邊界：
其中，??代表正常樣本，?? 代表對抗樣本，???? (??)代 表對抗樣本可能存在的范圍，??代表樣本真實標簽， ????代表以θ為參數的模型，??代表損失函數。圖 3 梳 理了典型模型魯棒性近似分析方法的相關研究工 作。
未來研究方向
本文介紹了模型魯棒性分析問題的背景與挑戰，探討了相關定義，進而對目前主流的模型魯棒性方法與性能做了介紹。從目前已有的相關方法來 看，我們認為今后對模型魯棒性分析方法的研究， 將主要圍繞以下幾個方向展開：
（1）進一步拓展對抗擾動的類型。從攻擊者 添加擾動的類型來看，現存的大多數模型魯棒性方 法都是針對在像素點上添加擾動的對抗攻擊進行 的魯棒性分析，然而在實際中，對抗性圖像有可能 經過旋轉、縮放等幾何變換，而現存大多數方法無 法擴展到此類變換。雖然 Balunovic 等人提出的 DeepG[102]初步嘗試了將抽象解釋的思想用于分析 幾何變換對抗攻擊的模型魯棒性空間，但是這個方 向仍然值得更多深入研究，進一步提升精度和可擴展性。
（2）不同魯棒性類型之間的平衡。輸入樣本?? 的局部魯棒性（即神經網絡應為以??為中心的半徑 為?的球中的所有輸入產生相同的預測結果）依賴 于在輸入空間上定義的合適的距離度量標準，在實 際中，對于在非惡意環境中運行的神經網絡而言， 這可能是太過苛刻的要求。同時，由于僅針對特定 輸入定義了局部魯棒性，而對于未考慮的輸入不提 供保證，因此局部魯棒性也具有固有的限制性。全 局魯棒性則通過進一步要求輸入空間中的所有輸 入都滿足局部魯棒性來解決這個問題。除了在計算 上難以控制之外，全局魯棒性仍然太強而無法實際 使用。因此，在實際中如何更好地平衡局部魯棒性 與全局魯棒性，仍然是一個亟待解決的挑戰。
（3）進一步提升模型魯棒性驗證方法。從實 證結果來看，大多數基于經驗的防御方法非常容易 被更強的攻擊所攻破，而其他魯棒性分析方法在很 大程度上取決于神經網絡模型的體系結構，例如激 活函數的種類或殘差連接的存在。相比之下，隨機 平滑不對神經網絡的體系結構做任何假設，而僅依 靠在噪聲假設下傳統模型進行良好決策的能力，從 而將魯棒分類問題擴展為經典監督學習問題，可用 于社區檢測[103]等任務。因此，基于隨機平滑的魯 棒性分析方法可能是研究模型魯棒空間的最有前 途的方向之一。此外，由于基于概率的方法具有更 寬松的魯棒性定義，更有可能被實用的神經網絡所 滿足和驗證，因此在合適的擾動分布假設下也是較 有前景的方向之一。
（4）研究可證明魯棒模型訓練方法。此外， 如何訓練對對抗性擾動具有可證明魯棒的神經網 絡以及如何訓練更容易驗證魯棒性的神經網絡，也 是未來的研究方向之一。目前研究者在這個方向進 行的初步探索包括利用正則化技術將模型的形式 化魯棒邊界與模型的目標函數結合起來[104]、經驗 性對抗風險最小化（Empirical Adversarial Risk Minimization，EARM）[36,105]、隨機自集成[106]、剪 枝[82,107]以及改善神經網絡的稀疏性[108]。但是現存 技術主要集中于圖像領域，難以擴展到惡意軟件等 安全攸關型應用，并且仍然存在精度以及可擴展性 上的不足，需要進一步的深入研究。
付費5元查看完整內容
隨著深度學習系統對數據和計算資源的快速需求，越來越多的算法利用協同機器學習技術，例如聯邦學習，在多個參與者之間訓練一個共享的深度模型。它可以有效地利用每個參與者的資源，獲得一個更強大的學習系統。然而，這些系統中的完整性和隱私威脅極大地阻礙了協同學習的應用。在不同的協同學習系統中，為了保持模型的完整性和減少訓練數據在訓練階段的隱私泄露，已經提出了大量的工作。與現有的主要針對某一特定協同學習系統的調研查相比，本調研旨在對協同學習中的安全和隱私研究進行系統、全面的綜述。我們的調研首先提供了協同學習的系統概述，然后簡要介紹了完整性和隱私威脅。然后，我們將以一種有組織的方式詳細介紹現有的完整性和隱私攻擊以及它們的防御。我們還列出了這一領域的一些開放問題，并將GitHub上的相關論文開源: //github.com/csl-cqu/awesome-secure-collebrativelearning-papers。
深度學習在計算機視覺、自然語言處理、生物信息學和桌面游戲程序等多個領域都取得了巨大的成功。DL系統采用深度神經網絡(DNNs)，通過對龐大的訓練數據集[1]-[4]的經驗自動改進。為了有效地訓練DL模型，學習系統主要依賴于兩個組件:大量高質量的訓練樣本和高性能的GPU。但是由于各種原因，訓練數據集和GPU可能分布在不同的地方。考慮以下兩個例子[5]-[7]:醫學圖像分類。一家醫院想要學習一種肺癌探測器模型，以幫助醫生從他們的計算機斷層掃描(CT)圖像中識別肺癌患者。由于醫院接收的肺癌患者數量有限，學習一個高度準確的模型對醫院來說是困難的。為了保證診斷的準確性，醫院聯合其他醫院共同協同學習共享模型。考慮到患者的隱私，所有醫院都需要局部保留CT圖像。
最近，協同學習作為一種很有前途的解決方案在[8]-[14]這樣的應用場景中很受歡迎。具體來說，協同學習允許兩個或更多參與者協作訓練一個共享的全局DL模型，同時保持他們的訓練數據集在本地。每個參與者在自己的訓練數據上訓練共享模型，并與其他參與者交換和更新模型參數。協同學習可以提高共享模型的訓練速度和性能，同時保護參與者的訓練數據集的隱私。因此，對于訓練數據敏感的場景(如醫療記錄、個人身份信息等)，它是一種很有前途的技術。已經提出了幾種用于協同學習的學習架構:有或沒有中央服務器，有不同的模型聚合方式，等等[15]-[22]。協同學習的一個重要分支是[23]聯邦學習，它使手機能夠協同學習一個共享的預測模型，同時將所有的訓練數據保存在設備上，將機器學習的能力與將數據存儲在云端的需求分離開來。
雖然每個參與者在本地存儲訓練數據集，并且每次迭代時只共享全局模型的更新，但對手也可以在訓練過程中進行破壞模型完整性和數據隱私的攻擊，即[24]-[27]。最嚴重的威脅之一是模型完整性，當一些參與者不值得信任[28]，[29]時，很容易損害模型完整性。例如，惡意參與者用一些精心設計的惡意觸發器毒害他們的訓練數據集。然后，在每次迭代中，利用觸發器生成惡意更新，并通過共享惡意更新，逐步將后門等觸發器注入到全局模型中，以獲取額外利潤或增加自身優勢[30]，[31]。敵人也可以偽裝成參與者加入協同學習過程，并通過向其鄰居或參數服務器[25]、[32]、[33]發送惡意更新來破壞學習過程。Blanchard et al.[28]和Guo et al.[29]表明，只有一個惡意參與者能夠控制整個協同學習過程。
除了模型完整性威脅，另一個關鍵的挑戰是保護每個參與者的數據隱私。研究表明，盡管參與者不與他人共享原始訓練樣本，但共享更新是由樣本生成的，并間接泄露了訓練數據集的信息。例如，Melis et al.[34]發現，在訓練過程中，可以從共享梯度中捕獲成員和意外特征泄漏。更嚴重的是，Zhu等人[26]提出了一種優化方法，可以從相應的更新中重構出訓練樣本。針對上述完整性和隱私威脅，提出了多種方法來防御[24]、[26]、[28]、[35]-[48]、[48]、[49]、[49]-[66]。例如，為了實現byzantine彈性協同學習，Blanchard et al.[28]在每次迭代中使用統計工具檢查參與者的更新，并在聚合更新時放棄潛在的惡意更新。在隱私保護方面，Gao等[67]提出了搜索保護隱私的變換函數，并使用保護隱私的變換函數對訓練樣本進行預處理，以抵御重構攻擊，同時保持訓練后DL模型的準確性。一些防御[68]-[72]也提出了健壯的和隱私保護的防御方法來防御完整性和隱私威脅。
在這篇論文中，我們關注在協同學習的訓練過程中的完整性和隱私攻擊和防御，并提出了一個最新的解決方案的全面綜述。具體來說，我們從不同的角度系統地介紹了不同類型的協同學習系統(第二節)。然后，我們在第三節中總結總結了協同學習中的隱私和完整性威脅。一方面，我們在第四節和第五節分別展示了現有的攻擊和相應的防御。另一方面，我們在第五節中分別展示了最先進的完整性隱私攻擊和相應的防御。我們總結了混合防御方法來實現魯棒和隱私保護的協同學習和對抗訓練算法來提高模型推理的魯棒性。我們在第IX節闡述了協同學習中一些開放的問題和未來的解決方案，然后在第X節中總結了這篇文章。我們還在GitHub上開源了論文的攻防方法列表:
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191