亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著 5G、低功耗廣域網等網絡基礎設施加速構建，數以百億計的 物聯網終端設備接入網絡，產生了海量的數據。物聯網數據的充分利 用可以有力地驅動科技創新和經濟增長，改善國計民生。由于數據是 非獨占性資源，具有協同作用，因此數據共享、融合應用能夠極大地 提升數據利用率。然而，數據作為生產要素缺乏市場化配置機制，同 時數據供給側存在安全隱私顧慮，數據需求側存在效用可信顧慮，導 致“數據孤島”現象嚴重，已經成為制約大數據發展的關鍵瓶頸。為了消除數據壁壘，本文從數據共享多個參與方的安全隱私和效 用需求出發，充分考慮物聯網數據的大規模性、關聯性、異質性和經 濟化屬性，以及海量異構終端設備的資源受限和間歇可用，在基于數 據遷移和計算遷移這兩種互補模式下分別研究分析推理服務交易和終 端間聯合學習，使得多方差異化需求得到精準刻畫、充分滿足和高效 驗證。本文首先研究了感知數據分析服務交易機制，重點考慮感知數 據的時間關聯性和用戶的策略行為，實現精準的關聯性隱私量化、可 滿足的隱私補償和無套利的查詢定價，為物聯網數據的供需雙方構建 市場化體制。其次研究了模型推理服務中隱私可保護的批量結果驗證 協議，重點考慮在保護用戶的測試數據隱私和服務提供商的模型機密 性前提下，批量驗證模型推理結果的正確性。打通在數據遷移模式下 隱私和效用需求刻畫、需求滿足和需求驗證的完整鏈路。本文進一步 提出了超大規模終端間聯合子模型學習方法及隱私保護機制，面向復 雜模型和異質數據突破終端開銷瓶頸和模型性能瓶頸，同時保證終端 用戶可調控的數據隱私，最終實現從安全可信的數據遷移到計算遷移 的跨越。本文主要內容總結如下：

首先，本文研究了如何交易針對時序感知數據的分析服務，設計了交易機制 HORAE。HORAE 首先基于河豚隱私框架度量存在時間關 聯的隱私損失，并以可滿足的方式補償具有不同隱私策略的數據提供 者。此外，在面向用戶靈活的查詢進行定價時，HORAE 保證了可盈利 性，規避了套利機會。將 HORAE 應用到身體活動監測場景，并在實際 的 ARAS 數據集上進行了廣泛的測試。實驗結果表明，相比于基于條 目/群體差分隱私的方法，HORAE 可以細粒度地補償數據提供者。此 外，HORAE 可以調控服務提供商的盈利率，同時規避用戶的套利攻 擊。最后，HORAE 只產生較低的在線延時和內存開銷。

其次，本文針對模型推理服務，研究了服務提供商如何在不泄露 模型參數的情況下生成檢查推理結果正確性的驗證器。此外，用戶通 常也不愿泄露自己敏感的測試數據。為此本文提出了隱私可保護的推 理結果批量驗證協議 MVP。MVP 主要利用多項式分解和素數階的雙 線性群同時實現了秘密模型推理和批量結果驗證，并保護了模型和測 試數據的機密性。將 MVP 實例化了支持向量機模型和垃圾短信檢測 任務，并在三個實際的短信服務數據集上進行了測試。實驗結果主要 從計算開銷和通信開銷表明了 MVP 的輕量化以及良好的可拓展性。

最后，本文發現傳統的聯合學習框架需要每個終端下載、本地訓 練完整模型，并上傳完整模型的更新。這對于大規模的深度學習任務 和資源受限的移動終端設備來說是不可行的。為此，提出了聯合子模 型學習框架，解除了聯合學習對于大規模全局模型的依賴。在子模型 框架下，每個終端只需下載所需的部分模型參數，即子模型，并上傳子 模型參數的更新。然而，終端真實所需的子模型在全局模型中的位置 往往對應著它的本地數據，如果在與協調服務器交互過程中泄露真實 的子模型位置將違背聯合學習“數據不離開本地”的初衷。為此，本 文提出了安全聯合子模型學習協議，并設計了安全多方集合并集計算 協議作為基石。安全協議主要利用隨機回答、安全聚合以及布隆過濾 器，賦予了終端對于其子模型真實位置的抵賴性，從而保護數據隱私。其中，抵賴性的強度可以用本地差分隱私來量化且允許終端本地調控。實現了原型系統，并在 30 天的手機淘寶數據集上進行了廣泛地測試。實驗結果從模型準確率、通信開銷、計算開銷、存儲開銷等方面體現 了方案的可行性，同時顯示了相比于聯合學習的巨大優勢。

對話管理器是任務型對話系統的核心模塊，它有兩個重要的任務：對話狀態跟蹤和對話策略優化。對話狀態跟蹤的作用是用來估計用戶 的目標，對話策略決定著系統應該給用戶回復什么動作。部分可觀測 馬爾科夫決策過程為基于數據驅動的對話管理方法提供了良好的理論 支撐，各種基于數據驅動的對話管理方法被提出，但是在實際應用中 這些方法還面臨著兩個重要的挑戰：訓練數據極度稀疏和對話領域擴 展及遷移。訓練數據的稀疏原因主要來自四個方面：任務型對話數據 收集困難、數據標注復雜、對話數據變化多樣和強化學習的反饋信號 稀疏；對話領域擴展和遷移是對話系統認知邊界擴展的重要體現。

本論文的第一部分圍繞對話狀態跟蹤任務中訓練數據稀疏和對話 領域擴展兩個核心挑戰，基于 知識與數據雙驅動的思想提出了兩種新 型的對話狀態跟蹤方法。

針對訓練數據稀疏的問題，本論文提出了一種基于規則和數據相 結合的混合對話狀態跟蹤方法：有約束的馬爾科夫貝葉斯多項式模型。在該方法中，對話狀態跟蹤模型被定義為一組滿足一定約束條件的多 項式函數，人類的先驗知識和領域知識被編碼在這些約束中。在合理 的假設下，對話狀態跟蹤模型的優化問題可以轉化為整數線性規劃問 題。求解該整數線性規劃問題，就可以得到一組符合人類先驗知識和 領域知識的對話狀態跟蹤模型，然后可以利用有標注的數據挑選性能 最好的模型。在對話狀態跟蹤標準測試集上的實驗表明，在訓練數據 稀疏和比較充足的兩種情況下，該方法相對于已有的規則模型和統計 模型，都取得了顯著的性能提升。

針對對話領域擴展的問題，本論文提出了一種通用的端到端對話 狀態跟蹤模型。解決對話領域擴展問題的關鍵在于使模型能夠自適應語義槽的動態擴展，并且可以實現語義槽之間知識的遷移。本論文提 出了基于結構化深度學習的通用對話狀態跟蹤模型，利用圖神經網絡 基于領域本體知識來自動構建語義關系圖，有效地支持對話領域的擴 展，目前在多個標準測試數據集上均取得最優的性能。

本論文的第二部分圍繞對話策略優化任務中訓練數據稀疏和對話 領域遷移兩個挑戰，同樣基于 知識與數據雙驅動的思路分別提出了兩 種新型的對話策略優化方法。

針對訓練數據稀疏特別是反饋信號稀疏的問題，本論文提出了基 于伴隨學習的對話策略在線優化方法。傳統的基于規則的策略通常在 預定義的范圍內比較可靠，但是不具有自適應能力，而基于強化學習 的方法雖然可以根據用戶的反饋自動優化，但是其初始性能往往很差， 并且學習效率低下。本文提出的伴隨學習框架將兩種策略結合起來， 其中基于規則的策略充當“老師”，并通過提供示例動作和額外收益兩 種方式來指導數據驅動的強化學習策略。實驗結果表明，該方法顯著 地提高了在線策略優化的初始性能以及學習效率。

針對對話領域遷移的問題，本論文提出了基于結構化深度強化學 習的通用策略優化模型。整個模型由一些子網絡組成，每個子網絡對 應一個有向圖中的節點，此圖的結構是根據領域本體中的語義槽及它 們的關系來定義。每個節點都可以被視為一個子智能體，在對話策略 做決策時，每個子智能體都可以與其在圖中的鄰居通信，從而交換有 用信息。當對話領域發生變化時，只是模型的圖結構發生了變化，而 智能體的參數不會發生變化，所以仍然能夠正常進行決策。在劍橋大 學對話策略測試基準上的評估結果表明，該模型在多數任務上取得目 前最優的性能，并實現了比較高效的對話策略領域遷移。

總而言之，針對訓練數據稀疏的問題，本論文基于知識和數據雙 驅動的思路提出了系列融入規則的統計學習方法，顯著降低了模型對 大規模訓練數據的依賴；針對對話領域擴展和遷移的問題，本論文同 樣基于知識和數據雙驅動的思路提出了系列知識引導的結構化深度學 習模型，能夠有效支持語義槽的擴展和知識的遷移。

摘要： 大數據時代背景下,各行各業希望能基于用戶行為數據來訓練推薦模型,為用戶提供精準推薦,所用數據的共性特點為總量龐大、攜帶敏感信息、易于獲取。推薦系統在帶來精準推薦和市場盈利的同時也正在實時分享著用戶的隱私數據,差分隱私保護技術作為一門隱私保護技術, 能夠巧妙地解決推薦應用中存在的隱私泄露問題,其優勢在于不需要考慮攻擊方所具備的任何相關的背景知識、嚴格地對隱私保護進行了定義、提供了量化評估方法來保證數據集(在不同參數條件下)所提供的隱私保護水平具有可比較性。首先簡述了差分隱私的概念和主流推薦算法的近期研究成果, 其次重點分析了差分隱私與推薦算法相結合的應用情況,涉及的推薦算法有矩陣分解、深度學習推薦、協同過濾等,并對基于差分隱私保護的推薦算法的準確性進行了對比實驗; 然后討論了與每種推薦算法結合的使用場景以及目前仍存在的問題,最后對基于差分隱私的推薦算法的未來發展方向提出了有效建議。

//www.jsjkx.com/CN/10.11896/jsjkx.201100083

近年來，采用異質信息網絡統一建模推薦系統中不同類型對象的復雜交互行為、豐富的用戶和商品屬性以及各種各樣的輔助信息，不僅有效地緩解了推薦系統的數據稀疏和冷啟動問題，而且具有較好的可解釋性，并因此得到了廣泛關注與應用。據我們所知，本文是首篇專門介紹基于異質信息網絡的推薦系統的綜述。

具體而言，本文首先介紹了異質信息網絡和推薦系統的核心概念和背景知識，簡要回顧了異質信息網絡和推薦系統的研究現狀，并且闡述了將推薦系統建模為異質信息網絡的一般步驟。然后，本文根據模型原理的不同將現有方法分為三類，分別是基于相似性度量的方法、基于矩陣分解的方法和基于圖表示學習的方法，并對每類方法的代表性工作進行了全面的介紹，指出了每類方法的優缺點和不同方法之間的發展脈絡與內在關系。最后，本文討論了現有方法存在的問題，并展望了該領域未來的幾個潛在的研究方向。

1 引言

推薦系統往往面臨著數據稀疏和冷啟動問題，因此無法得到精準的推薦結果。在推薦系統中引入輔助信息可以有效地緩解這些問題。例如社會化推薦根據用戶之間的關系構造社交網絡作為輔助信息，從而能夠在推薦系統中充分利用社會關系對用戶喜好的影響。類似地，基于地理位置的社交推薦構建了用戶與位置之間的關系，通過用戶的位置記錄來捕捉用戶的行為偏好。然而，這些方法僅適用于某種特定類型的輔助信息，不具有普適性。

異質信息網絡是一種通用的融合多源數據的方法。通過將推薦系統視為由不同類型對象和交互構成的異質信息網絡，我們可以建模用戶與商品之間復雜的交互關系，而且可以有效融合屬性和各類輔助信息。基于異質信息網絡的推薦系統在信息融合、探索結構語義等方面具有顯著優勢，不僅可以有效緩解數據稀疏與冷啟動問題，而且有助于提升推薦系統的準確性和可解釋性，因此取得了廣泛的關注與應用。

綜述的章節編排如下：第2章簡要介紹推薦系統和異質信息網絡的相關概念與定義；第3章按照模型原理的不同，對基于異質信息網絡的推薦系統進行分類，并對現有方法進行了系統地梳理與分析；第4章展望了基于異質信息網絡的推薦系統未來研究方向；第5章回顧并總結全文。（在這里，主要展示第3章和第4章的核心內容，其他內容詳見論文原文。）

2 模型分類

目前，研究人員設計了各種適用于異質信息網絡建模的推薦算法。本章根據模型的不同，將現有工作進行分類，如表1所示。 圖片

2.1 基于相似性度量

推薦系統的個性化匹配往往基于對實體相似性的度量，而協同過濾需要基于用戶與商品之間的交互歷史計算相似度。早期的相似性度量算法僅對同質信息網絡定義，然而，這些算法忽視了對象和聯系的不同類型，不適用于建模為異質信息網絡的推薦系統。為了解決這一問題，研究者們提出了一系列用于異質信息網絡中實體相似性度量的算法，主要包括基于隨機游走的方法和基于元路徑的方法。基于這兩類異質信息網絡相似性度量算法，研究者們提出了很多協同過濾算法的變體，本文將這類方法統稱為基于相似性度量的方法。（詳見原文）

2.2 基于矩陣分解

為了解決相似性度量方法存在的時空復雜度高的問題，推薦系統的研究者們提出了矩陣分解模型，其原理是通過分解評分矩陣來提取出用戶和商品的隱向量，然后根據隱向量的相似度進行推薦。傳統的矩陣分解模型在訓練時使用隱向量重構共現矩陣作為優化目標，無法利用異質信息網絡中豐富的語義信息。很多研究者提出適用于異質信息網絡建模的矩陣分解方法，可以分為兩類：基于正則化的方法，和基于神經矩陣分解的方法。與基于相似性度量的方法相比，本節介紹的方法不依賴顯式的路徑可達性，當路徑連接稀疏或嘈雜時也不會失敗。（詳見原文）

2.3 基于圖表示學習

隨著深度學習的發展，基于神經網絡的推薦模型憑借其強大的特征交叉能力以及模型架構設計的靈活性，取得了較好的推薦效果。然而，傳統的神經網絡并不能直接建模圖結構。隨著圖表示學習技術的興起，研究者們嘗試設計融合圖表示學習技術的推薦模型，從而更好地學習圖數據中豐富的結構和語義信息。本節將這類方法統稱為基于圖表示學習的方法，并進一步分為基于兩階段訓練的方法和基于端到端訓練的方法。（詳見原文）

3 未來研究方向

異質信息網絡作為一種融合輔助信息的建模方法，憑借其緩解數據稀疏與冷啟動問題、提升模型性能與可解釋性等方面的優勢，已經在各種各樣的推薦系統模型和推薦任務上得到了應用。然而，基于異質信息網絡的推薦系統仍面臨很多挑戰，本節將介紹幾個潛在的未來研究方向。（詳見原文） 新型的異質圖推薦的模型與應用：基于圖神經網絡的推薦系統模型仍存在過平滑、魯棒性差等缺陷，而目前在圖神經網絡中引入異質信息的方法也仍不夠靈活，如何設計更好的異質圖推薦模型存在挑戰，如何將異質信息網絡用于更多類型的推薦任務也存在挑戰。

面向跨域數據的異質圖推薦：目前的絕大多數工作僅關注在單一異質網絡上的推薦任務，與單圖推薦相比，跨域推薦存在很多額外的挑戰。例如，如何設計源域到目標域的映射函數，如何在利用跨域信息的同時不泄露用戶隱私等，如何應對上述挑戰是未來的研究重點。

面向大規模實時場景的異質圖推薦：真實的推薦系統往往需要處理超大規模的數據，并且對推薦的實時性有較高的要求，因此很多復雜的推薦模型無法直接使用。大規模實時推薦主要面臨兩方面問題：一方面是模型的輕量化，另一方面是模型的動態更新。目前的推薦算法輕量化和動態更新方法主要適用于二分圖，如何將其應用于異質信息網絡存在挑戰。

摘要：針對隱私保護的法律法規相繼出臺，數據孤島現象已成為阻礙大數據和人工智能技術發展的主要瓶頸。聯邦學習作為隱私計算的重要技術被廣泛關注。從聯邦學習的歷史發展、概念、架構分類角度，闡述了聯邦學習的技術優勢，同時分析了聯邦學習系統的各種攻擊方式及其分類，討論了不同聯邦學習加密算法的差異。總結了聯邦學習隱私保護和安全機制領域的研究，并提出了挑戰和展望。

//www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2021030

關鍵詞：聯邦學習 ; 聯邦學習系統攻擊 ; 隱私保護 ; 加密算法

論文引用格式：

王健宗, 孔令煒, 黃章成, 等. 聯邦學習隱私保護研究進展[J]. 大數據, 2021, 7(3): 130-149.

WANG J Z, KONG L W, HUANG Z C, et al. Research advances on privacy protection of federated learning[J]. Big Data Research, 2021, 7(3): 130-149.

圖片

1 引言

大數據、人工智能和云產業等的爆發式發展，一方面為傳統行業帶來升級變革的新機遇，另一方面也給數據和網絡安全帶來了新挑戰。不同行業的公司會收集大量的數據信息，同一企業下不同層級的部門也會收集不同的信息，由于行業間的競爭和壟斷，以及同一企業下不同系統和業務的閉塞性與阻隔性，很難實現數據信息的交流與整合。當不同的企業之間，以及同一企業下屬不同部門之間需要合作進行聯合建模時，將面臨跨越重重數據壁壘的考驗。這類挑戰也被稱為數據孤島問題。

早期的分布式計算試圖通過整合不同來源的數據進行分布式的建模，從而解決這類數據孤島問題。分布式建模將具有龐大計算量的任務部署到多臺機器上，提升了計算效率，減少了任務耗能。但是分布式機器學習依舊存在問題，重量級的分布式系統架構通常會產生巨大的溝通成本，影響數據的傳輸和處理效率。隨著人工智能技術的進一步發展和更廣泛的應用，數據隱私敏感性問題日益被重視。大規模的數據傳輸不可避免地會涉及隱私泄露問題，對于異構數據的聯合訓練和隱私安全問題，依然沒有找到一個令人滿意的解決方案。

聯邦學習（federated learning，FL）給上述難題提供了解決方案。聯邦學習是由谷歌公司在2016年率先提出的概念，該技術在數據不共享的情況下完成聯合建模共享模型。具體來講，各個數據持有方（個人/企業/機構）的自有數據不出本地，通過聯邦系統中加密機制下的模型參數交換方式（即在不違反數據隱私法規的情況下），聯合建立一個全局的共享模型，建好的模型為所有參與方共享使用。相對于分布式計算，聯邦學習有更多的優勢，例如在隱私保護領域，聯邦學習從算法層面上設計并考慮了客戶端間傳輸信息的加密。本文主要從隱私保護和安全加密的角度，對聯邦學習進行系統綜述。

本文的主要貢獻如下。

● 本文對聯邦學習的歷史進行了詳細的敘述，從安全隱私的分布式學習發展到現在的聯邦學習系統，總結了聯邦學習發展的歷程。

● 本文從新的角度闡述了聯邦學習的類型。與傳統方式不同，本文從面向企業（to business，ToB）和面向客戶（to customer，ToC）的應用場景的區別出發，分析了聯邦學習的不同。

● 詳細地從聯邦學習攻擊的角度分析聯邦系統面臨的各種可能的攻擊手段，并系統地將聯邦學習的攻擊手段進行了分類總結。

● 聯邦學習的加密機制在一定程度上可以抵御一些聯邦學習攻擊，或者大大增加攻擊的難度。本文從加密算法的角度詳細討論了聯邦學習的加密機制。

城市環境下的移動數據分析與行為建模研究

在全球城鎮化進程方興未艾、我國轉向高質量的新型城鎮化發展的背景下，深 入理解城市環境下的移動行為模式是提升城市在規劃、管理、交通等方面綜合能力 的重要研究課題。近年來，通過智能終端、移動互聯網和社交媒體等多種渠道采集 的移動數據日益豐富，為研究城市移動數據分析與行為建模問題提供了契機。該研 究課題存在以下挑戰：首先，移動數據體量大、質量低，現有數據挖掘算法難以直 接適應；其次，城市環境下的移動行為模式復雜多樣，且與城市結構緊密關聯，現 有移動模型難以刻畫；最后，移動數據極易泄漏用戶隱私，目前仍然缺乏有效的隱 私保護方案。針對以上挑戰，本文對多尺度復雜移動行為建模、結合城市結構的移 動行為建模和保護移動數據隱私安全三個關鍵問題展開研究，為系統認知城市環 境下的移動行為模式提供了理論模型與關鍵技術。論文的主要創新點與貢獻如下：

第一，在個體移動行為建模方面，本文重點研究了意圖感知的移動行為模式識 別問題。首先，通過大規模真實數據分析證明了已有工作基于社交媒體簽到數據推 斷用戶移動意圖的方法存在顯著誤差，43％的簽到數據與真實移動行為不符。其次， 提出了一種基于無標注移動數據的意圖感知的移動模式識別算法，在用戶職業推 斷和訪問地點類型推斷上較基線算法取得了 112.5％~126.4％的性能提升。

第二，在群體移動行為建模方面，本文通過建模用戶連接移動網絡的行為模式， 建立了基于移動網絡連接數據的高質量群體移動行為估計算法，其較基線算法降 低了 22.5％的誤差。在此基礎上，本文進一步研究了城市結構感知的群體移動模式 識別問題，并提出了一種基于頻譜分解的規律性和隨機性群體移動行為分解算法。

第三，在移動行為驅動的城市演化方面，研究了移動行為與城市演化的內在關 聯，提出了基于個體移動行為模式的城市演化模型，其在微觀層面建模了個體移動 的關鍵行為規律，并在宏觀層面準確預測了城市演化中形態、面積、人口的分布規 律，為關聯微觀層面的移動行為和宏觀層面的城市演化搭建了重要的理論橋梁。

最后，在移動數據隱私保護方面，揭示了移動數據中個體移動行為的高唯一性 和強規律性分別會對匿名個體移動數據和聚合群體移動數據帶來嚴重的去匿名攻 擊和軌跡恢復攻擊的隱私風險。基于分析所得的個體移動行為中導致隱私風險的 關鍵因素，提出了通過時空泛化和添加噪音來隱藏移動行為規律的隱私安全保護 算法，實現了高效、可靠的移動數據隱私保護。

聯邦學習是一種新型的分布式學習框架，它允許在多個參與者之間共享訓練數據而不會泄露其數據隱私。但是這種新穎的學習機制仍然可能受到來自各種攻擊者的前所未有的安全和隱私威脅。本文主要探討聯邦學習在安全和隱私方面面臨的挑戰。首先，本文介紹了聯邦學習的基本概念和威脅模型，有助于理解其面臨的攻擊。其次，本文總結了由內部惡意實體發起的3種攻擊類型，同時分析了聯邦學習體系結構的安全漏洞和隱私漏洞。然后從差分隱私、同態密碼系統和安全多方聚合等方面研究了目前最先進的防御方案。最后通過對這些解決方案的總結和比較，進一步討論了該領域未來的發展方向。

//jnuaa.nuaa.edu.cn/ch/reader/create_pdf.aspx?file_no=202005001&flag=1&journal_id=njhkht&year_id=2020