在現實世界中，越來越多的客戶在使用人工智能服務時將隱私視為一個問題，尤其是當客戶內容包含敏感數據時。最近的研究表明，像GPT-2這樣的大型語言模型可以記憶內容，這些內容可以被對手提取出來。當模型在客戶數據上接受訓練時，這在部署場景中帶來了很高的隱私風險。由于其數學上的嚴密性，差分隱私被廣泛認為是隱私保護的黃金標準。為了緩解機器學習中對隱私的擔憂，許多研究工作都在研究具有不同隱私保障的機器學習。現在是時候澄清不同隱私下學習的挑戰和機會了。在本教程中，我們首先描述了機器學習模型中潛在的隱私風險，并介紹了差分隱私的背景，然后介紹了在機器學習中保障差分隱私的流行方法。在接下來的教程中，我們強調學習和隱私之間的相互作用。在第二部分中，我們展示了如何利用學習屬性來提高隱私學習的效用，特別是利用數據點之間的相關性和深度學習模型的低秩屬性來解決這些挑戰的最新進展。在第三部分，我們提出了研究的另一個方向，即利用差分隱私的工具來解決經典的泛化問題，并給出了利用差分隱私的思想來抵抗機器學習攻擊的具體場景。
付費5元查看完整內容
相關內容
“機器學習是近20多年興起的一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科。機器學習理論主要是設計和分析一些讓
可以自動“
”的算法。機器學習算法是一類從數據中自動分析獲得規律，并利用規律對未知數據進行預測的算法。因為學習算法中涉及了大量的統計學理論，機器學習與統計推斷學聯系尤為密切，也被稱為統計學習理論。算法設計方面，機器學習理論關注可以實現的，行之有效的學習算法。很多
問題屬于
，所以部分的機器學習研究是開發容易處理的近似算法。”
——中文維基百科
本教程將是關于無監督學習和強化學習的交叉。隨著自然語言處理中基于語言模型的預訓練和計算機視覺中的對比學習的出現，無監督學習(UL)在過去幾年中真正得到了發展。在這些領域中，無監督預訓練的一些主要優勢是在下游有監督學習任務中出現的數據效率。在如何將這些技術應用于強化學習和機器人方面，社區中有很多人感興趣。考慮到問題的連續決策性質，RL和機器人技術比被動地從互聯網上的圖像和文本中學習面臨更大的挑戰，它可能不會那么簡單。本教程將涵蓋如何在強化學習中應用和使用無監督學習的基本模塊，希望人們可以帶回最新的最先進的技術和實踐的知識，以及在這個具有挑戰性和有趣的交叉領域的廣泛的未來可能性和研究方向。
付費5元查看完整內容
人類具有不斷從經驗中學習的非凡能力。我們不僅可以把以前學到的知識和技能運用到新的情況下，我們也可以把這些作為以后學習的基礎。人工智能(AI)的宏偉目標之一是構建一個人工的“持續學習”代理，通過自主增量開發越來越復雜的知識和技能，從自身經驗構建對世界的復雜理解(Parisi, 2019年)。然而，盡管有早期的推測和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010)，很少有研究和努力致力于解決這一愿景。當前人工智能系統深受新數據或新環境的影響，這些新數據或新環境與他們所接受的訓練稍有不同(Goodfellow, 2013)。此外，學習過程通常被限制在限定和孤立的任務內的固定數據集，這可能很難導致出現更復雜和自主的智能行為。從本質上講，持續學習和適應能力，雖然經常被認為是每一個智能代理的基本支柱，但大多被排除在主要的人工智能研究重點之外。
在本教程中，我們提出根據機器學習研究和人工智能深度架構(Lomonaco, 2019)的最新進展總結這些想法的應用。從一個動機和一個簡短的歷史開始，我們將最近的持續學習進展與之前在相關主題上的研究努力聯系起來，并總結了主要方法、基準和關鍵結果方面的最新進展。在教程的第二部分，我們計劃涵蓋更多關于低監督信號的持續學習的探索性研究，以及與其他范式的關系，如無監督，半監督和強化學習。我們還將強調神經科學的最新發現對原始持續學習算法設計的影響，以及它們在現實應用中的部署。最后，我們將強調持續學習的概念，作為可持續機器學習的關鍵技術推動者及其社會影響，并概述有趣的研究問題和未來值得解決的方向。
付費5元查看完整內容
本文回顧了機器學習中的隱私挑戰，并提供了相關研究文獻的關鍵概述。討論了可能的對抗性模型，討論了與敏感信息泄漏相關的廣泛攻擊，并突出了幾個開放的問題。
//ieeexplore.ieee.org/document/9433648
引言
像谷歌、微軟和亞馬遜這樣的供應商為客戶提供軟件接口，方便地將機器學習(ML)任務嵌入他們的應用程序。總的來說，機構可以使用ML-as-a-service (MLaaS)引擎來處理復雜的任務，例如訓練分類器、執行預測等。他們還可以讓其他人查詢根據他們的數據訓練的模型。當然，這種方法也可以用于其他環境，包括政府協作、公民科學項目和企業對企業的伙伴關系。不幸的是，如果惡意用戶恢復用于訓練這些模型的數據，由此產生的信息泄漏將產生嚴重的問題。同樣地，如果模型的參數是秘密的或被認為是專有的信息，那么對模型的訪問不應該讓對手知道這些參數。在這篇文章中，我們研究了這一領域的隱私挑戰，并對相關的研究文獻進行了系統的回顧。
我們討論的是可能的對抗性模型和設置，其中涵蓋了與私人和/或敏感信息泄漏相關的廣泛攻擊，并簡要調研了最近的結果，試圖防止此類攻擊。最后，我們提出了一個需要更多工作的開放式問題列表，包括需要更好的評估、有針對性的防御，以及研究與策略和數據保護工作的關系。
機器學習隱私
任何系統的安全性都是根據其設計用來防御的敵對目標和能力來衡量的;為此目的，現在討論了不同的威脅模型。然后，本文試圖在ML中提供隱私的定義，重點討論在“攻擊”一節中詳細討論的不同類型的攻擊。
總的來說，我們關注的是模型的隱私。(注意，對抗樣例和整體魯棒性問題超出了本文的范圍。)在本節中，將討論與提取有關模型或訓練數據的信息相關的對抗目標。
當模型本身代表知識產權時，例如在金融市場系統中，模型及其參數應保持私有。在其他情況下，必須保存訓練數據的隱私，例如在醫療應用中。無論目標是什么，攻擊和防御都與暴露或防止暴露模型和訓練數據有關。
攻擊者可能擁有的訪問類型可以是： ■ 白盒，其中對手有關于模型或其原始訓練數據的一些信息，如ML算法、模型參數或網絡結構;或者總結、部分或全部的培訓數據。 ■ 黑盒，對手對模型一無所知。相反，他/她可以通過提供一系列精心設計的輸入和觀察輸出來探索一個模型。
一個需要考慮的變量是攻擊可能發生的時候:
■ 訓練階段: 在這個階段，對手試圖學習模型，例如，訪問摘要、部分或全部訓練數據。他/她可能會創建一個替代模型(也稱為輔助模型)來對受害者的系統進行攻擊。
■ 推理階段: 在這個階段，對手通過觀察模型的推理來收集關于模型特征的證據。
最后，我們可以區分被動攻擊和主動攻擊:
■ 被動攻擊: 在這種類型的攻擊中，對手被動地觀察更新并執行推理，例如，不改變訓練過程中的任何東西。
■ 主動攻擊: 在這種類型的攻擊中，對手主動改變他/她的操作方式，例如，在聯邦學習的情況下，通過使用連接到最后一層的增強屬性分類器擴展他們的協作訓練模型的本地副本。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
機器學習模型容易受到成員推斷攻擊，目的是推斷目標樣本是否屬于目標模型的訓練數據集。由于成員推理而引起的嚴重的隱私問題引發了對成員推理攻擊的多種防御，例如差分隱私和對抗性正則化。不幸的是，這些防御方法產生的機器學習模型的實用性低得令人無法接受，例如，分類準確性。我們提出了一種新的基于知識蒸餾的防御，稱為成員隱私蒸餾(DMP)，以對抗成員推理攻擊，這種攻擊比先前的防御更有效地保留了生成模型的效用。我們提供了一個新的準則來調整DMP中用于知識遷移的數據，以調整所得模型的效用和隱私之間的權衡。我們的評估清楚地展示了最先進的會員隱私-效用折衷。
付費5元查看完整內容
圖神經網絡
·
社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法，促進下游任務的完成，具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據，為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由于其強大的表示學習能力，GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來，它已成為一個熱門的研究課題，越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題，包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基于GNNs的應用程序。
目錄內容： 引言 Introduction 基礎 Foundations 模型 Models 應用 Applications
付費5元查看完整內容
圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：
在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。
在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。
總體來說，本文的貢獻如下：
- 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
- 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
- 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。
付費5元查看完整內容
圖是一種普遍存在的數據結構，它可以表示不同實體之間豐富的關系信息。在社交網絡中建立友好關系，預測蛋白質與蛋白質的相互作用，學習分子指紋，以及分類疾病，這些都是通過通過圖表數據進行學習而成為可能的任務。在過去的幾年里，隨著圖深度學習模型——圖神經網絡(graph neural network, GNNs)的出現，圖機器學習研究發生了革命性的變化。圖神經網絡在各種下游任務的圖表示自動學習方面表現出了卓越的性能。然而，當圖形代表敏感互動或包含個人信息時，通過圖學習可能會引起隱私問題。先前關于保護隱私的機器學習的工作已經在處理歐幾里得數據(如圖像、音頻和文本)時提出了保護用戶隱私的有效解決方案，但由于圖節點之間存在連接性，在圖上應用深度學習算法涉及的隱私問題往往更具挑戰性。本講座旨在介紹圖神經網絡，以及在敏感圖上應用GNNs的潛在隱私風險。然后，將概述可能的隱私攻擊的GNN和建立隱私保護GNN的最新嘗試。
付費5元查看完整內容
差分隱私
·
差分隱私(DP)是保護隱私的敏感數據，同時保持其實用性的一個最成功的提議。在這次演講中,我們將簡要介紹DP框架,然后提出一個新的機制來實現分布式DP。也就是說，在一個數據收集分布在不同組織中的場景中，這些組織不希望公開原始數據，而只希望公開它們經過脫敏的版本，并且仍然可以從合并來自不同來源的信息的優點中獲益。我們提出的機制特別適合于統計期望最大化方法的一種變體的應用，由于這種方法，原始數據的效用可以被檢索到一個近似的檢索度，而不影響原始數據所有者的隱私。
付費5元查看完整內容
不確定性的概念在機器學習中是非常重要的，并且構成了現代機器學習方法論的一個關鍵元素。近年來，由于機器學習與實際應用的相關性越來越大，它的重要性也越來越大，其中許多應用都伴隨著安全要求。在這方面，機器學習學者們發現了新的問題和挑戰，需要新的方法發展。事實上，長期以來，不確定性幾乎被視為標準概率和概率預測的同義詞，而最近的研究已經超越了傳統的方法，也利用了更一般的形式主義和不確定性計算。例如，不確定性的不同來源和類型之間的區別，例如任意不確定性和認知不確定性，在許多機器學習應用中被證明是有用的。講習班將特別注意這方面的最新發展。
綜述論文：
不確定性的概念在機器學習中是非常重要的，并且構成了機器學習方法的一個關鍵元素。按照統計傳統，不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而，由于機器學習與實際應用和安全要求等相關問題的相關性穩步上升，機器學習學者最近發現了新的問題和挑戰，而這些問題可能需要新的方法發展。特別地，這包括區分(至少)兩種不同類型的不確定性的重要性，通常被稱為任意的和認知的。在這篇論文中，我們提供了機器學習中的不確定性主題的介紹，以及到目前為止在處理一般不確定性方面的嘗試的概述，并特別將這種區別形式化。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191