亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，在控制和強化學習中出現了新的方法，這些方法結合了遺憾(regret )最小化和在線凸優化技術。由此產生的理論為控制和強化學習中一些長期存在的問題提供了可證明的保證:對數后悔和快速速率，沒有系統知識的端到端LQG-LQR，帶有對抗噪聲的卡爾曼濾波，具有可證明的有限時間保證的黑盒控制，系統識別的緊下界，等等。

這些結果的主要創新之處在于在線控制模型將隨機擾動替換為對抗性擾動，并以后悔最小為最優控制目標。我們將描述設置，以及基于梯度和依賴于新的凸松弛的新方法。

//icml.cc/media/icml-2021/Slides/10838_XuEBWTU.pdf

在現實世界中，越來越多的客戶在使用人工智能服務時將隱私視為一個問題，尤其是當客戶內容包含敏感數據時。最近的研究表明，像GPT-2這樣的大型語言模型可以記憶內容，這些內容可以被對手提取出來。當模型在客戶數據上接受訓練時，這在部署場景中帶來了很高的隱私風險。由于其數學上的嚴密性，差分隱私被廣泛認為是隱私保護的黃金標準。為了緩解機器學習中對隱私的擔憂，許多研究工作都在研究具有不同隱私保障的機器學習。現在是時候澄清不同隱私下學習的挑戰和機會了。在本教程中，我們首先描述了機器學習模型中潛在的隱私風險，并介紹了差分隱私的背景，然后介紹了在機器學習中保障差分隱私的流行方法。在接下來的教程中，我們強調學習和隱私之間的相互作用。在第二部分中，我們展示了如何利用學習屬性來提高隱私學習的效用，特別是利用數據點之間的相關性和深度學習模型的低秩屬性來解決這些挑戰的最新進展。在第三部分，我們提出了研究的另一個方向，即利用差分隱私的工具來解決經典的泛化問題，并給出了利用差分隱私的思想來抵抗機器學習攻擊的具體場景。

識別惡意用戶對于確保互聯網平臺的安全性和完整性至關重要。已經建立了幾個基于深度學習的檢測模型。然而，惡意用戶可以通過操縱他們的行為來逃避深度檢測模型，使得這些模型幾乎沒有用處。這種深度檢測模型在對抗攻擊時的漏洞是未知的。本文提出了一種新的基于深度用戶序列嵌入的分類模型對抗攻擊模型，該模型利用用戶帖子序列生成用戶嵌入并檢測惡意用戶。在攻擊中，對手生成一個新的帖子來欺騙分類器。我們提出了一種新的端到端個性化文本生成攻擊模型，稱為PETGEN，它同時降低了檢測模型的有效性，并生成具有幾個關鍵的理想屬性的帖子。具體來說，PETGEN會根據用戶的寫作風格生成個性化的帖子，對給定的目標上下文有了解，知道用戶在目標上下文上的歷史帖子，并封裝用戶最近的主題興趣。我們在兩個真實世界的數據集(Yelp和Wikipedia，都有惡意用戶的真實情況)上進行了廣泛的實驗，表明PETGEN顯著降低了流行的基于深度用戶序列嵌入的分類模型的性能。在白盒和黑盒分類器設置中，PETGEN在文本質量和攻擊效能方面優于5個攻擊基準。總的來說，這項工作為下一代的對抗感知序列分類模型鋪平了道路。

//www.cc.gatech.edu/~srijan/pubs/petgen-he-kdd2021.pdf

近年來，圍繞著圖卷積網絡(GCN)這一主題的文獻大量涌現。如何有效地利用復雜圖(如具有異構實體和關系類型的知識圖譜)中豐富的結構信息是該領域面臨的主要挑戰。大多數GCN方法要么局限于具有同質邊類型的圖(例如，僅引用鏈接)，要么只專注于節點的表示學習，而不是針對目標驅動的目標共同傳播和更新節點和邊的嵌入。本文提出了一種新的框架，即基于知識嵌入的圖卷積網絡(KE-GCN)，該框架結合了基于圖的信念傳播中知識嵌入的能力和高級知識嵌入(又稱知識圖嵌入)方法的優勢，從而解決了這些局限性。我們的理論分析表明，KE-GCN作為具體案例提供了幾種著名的GCN方法的優雅統一，并提供了圖卷積的新視角。在基準數據集上的實驗結果表明，與強基線方法相比，KE-GCN方法在知識圖譜對齊和實體分類等任務中具有明顯的優勢。

//www.zhuanzhi.ai/paper/3404ccd79333da7c1cbf8e013f258a64

盡管健壯的深度學習中的現有工作都集中在基于像素級別的小型規范擾動，但這可能無法解決在多個實際設置中遇到的擾動。在許多此類情況下，盡管可能無法獲得測試數據，但可能知道有關擾動類型（例如未知的旋轉度）的廣泛規范。我們考慮一種在看不見的測試域中預期具有魯棒性的設置。但偏離了訓練領域。雖然可能無法確切知道此偏差，但根據屬性先驗地指定了其廣泛的特征。我們提出了一種對抗訓練方法，該方法學習如何生成新樣本，從而最大程度地將分類器暴露于屬性空間，而無需訪問來自測試域的數據。我們的對抗訓練解決了最小-最大優化問題，通過優化內部最大化產生的對抗性擾動的損失，使內部最大化產生對抗性擾動，而外部最小化找到模型參數。我們證明了我們的方法在三種類型的自然擾動上的適用性-與對象相關的移動，幾何變換和常見的圖像破壞。我們的方法使深度神經網絡能夠抵抗各種自然擾動。我們通過展示在MNIST，CIFAR-10和CLEVR數據集的新變體上進行對抗訓練而獲得的深度神經網絡的魯棒性收益，從而證明了所提出方法的有效性。

//www.zhuanzhi.ai/paper/636acb141a5e0aea86f5cb8e864aca56

原文地址：//arxiv.org/abs/2006.05057

我們研究在一種新穎實際的設定下對圖神經網絡的黑盒攻擊，我們限制攻擊者只能獲得部分節點的信息并且只能修改其中小部分的節點。在這樣的設定下，如何選擇節點變得愈發重要。我們證明圖神經網絡的結構歸納偏差能成為有效的黑盒攻擊源頭。具體來說，通過利用圖神經網路的向后傳播與隨機游走之間的聯系，我們表明基于梯度的常見白盒攻擊可以通過梯度和與PageRank類似的重要性分數之間的聯系而推廣到黑盒攻擊。在實踐中，我們發現基于這個重要性分數上確實很大的程度地增加了損失值，但是不能顯著提高分類錯誤的比率。我們的理論和經驗分析表明，損失值和誤分類率之間存在差異，即當受攻擊的節點數增加時，后者會呈現遞減的回報模式。因此，考慮到收益遞減效應，我們提出了一種貪心算法來校正這一重要性得分。實驗結果表明，所提出的選點程序在無需訪問模型參數或預測的前提下可以顯著提高常用數據集上常見GNN的誤分類率。

圖神經網絡通過聚合和結合鄰居信息來學習節點特征，在許多圖的任務中取得了良好的性能。然而，GNN大多被視為黑盒，缺乏人類可理解的解釋。因此，如果不能解釋GNN模型，就不能完全信任它們并在某些應用程序域中使用它們。在這項工作中，我們提出了一種新的方法，稱為XGNN，在模型級別上解釋GNN。我們的方法可以為GNNs的工作方式提供高層次的見解和一般性的理解。特別地，我們提出通過訓練一個圖生成器來解釋GNN，使生成的圖模式最大化模型的某種預測。我們將圖形生成表述為一個強化學習任務，其中對于每一步，圖形生成器預測如何向當前圖形中添加一條邊。基于訓練后的GNN信息，采用策略梯度方法對圖生成器進行訓練。此外，我們還加入了一些圖規則，以促使生成的圖是有效的。在合成和真實數據集上的實驗結果表明，我們提出的方法有助于理解和驗證訓練過的GNN。此外，我們的實驗結果表明，所生成的圖可以為如何改進訓練的神經網絡提供指導。

概述

圖神經網絡(GNNs)在不同的圖任務(如節點分類[11,37]、圖分類[39,47]和鏈接預測[46])上顯示了其有效性并取得了最新的性能。此外，對不同的圖運算進行了大量的研究，如圖卷積[13,16,19]、圖池化[20,44]、圖注意力[10,36,37]。由于圖數據廣泛存在于不同的真實世界應用程序中，如社交網絡、化學和生物學，GNN變得越來越重要和有用。盡管它們的性能很好，GNNs也有和其他深度學習模型一樣的缺點;也就是說，它們通常被視為黑盒子，缺乏人類理解的解釋。如果不理解和驗證內部工作機制，就不能完全信任GNNs，這就阻礙了它們在涉及公平、隱私和安全的關鍵應用程序中的使用[7,40]。例如，我們可以訓練一個GNN模型來預測藥物的效果，我們將每種藥物視為一個分子圖。如果不探索其工作機理，我們就不知道分子圖中是什么化學基團導致了這些預測。那么我們就無法驗證GNN模型的規則是否與真實世界的化學規則一致，因此我們不能完全信任GNN模型。這就增加了開發GNN解釋技術的需要。

最近，人們提出了幾種解釋技術來解釋圖像和文本數據的深度學習模型。根據所提供的解釋的類型，現有的技術可以歸類為實例級[5,9,29,31,32,43,45,48]或模型級[8,24,25]方法。實例級解釋通過模型確定輸入中的重要特征或該輸入的決策過程來解釋對給定輸入示例的預測。這類常用技術包括基于梯度的方法[31,32,43]、中間特征圖可視化[29,48]和基于遮擋的方法[5,9,45]。與提供依賴于輸入的解釋不同，模型級別的解釋旨在通過研究哪些輸入模式可以導致某種預測來解釋模型的一般行為，而不考慮任何特定的輸入示例。輸入優化[8,24 - 26]是最常用的模型級解釋方法。這兩類解釋方法旨在從不同的角度解釋深層模型。由于解釋的最終目的是驗證和理解深度模型，我們需要手動檢查解釋結果，并得出深度模型是否按我們預期的方式工作的結論。對于示例級方法，我們可能需要探究大量示例的解釋，然后才能相信模型。然而，這需要時間和專家的廣泛努力。對于模型級方法，其解釋更加普遍和高級，因此需要較少的人力監督。然而，與實例級的解釋相比，模型級方法的解釋不那么精確。總的來說，模型級和實例級方法對于解釋和理解深度模型都很重要。

在圖數據上解釋深度學習模型變得越來越重要，但仍缺乏探索。就我們所知，目前還沒有在模型級解釋GNN的研究。現有研究[4,40]僅對圖模型提供了實例層次的解釋。作為對現有工作的徹底背離，我們提出了一種新的解釋技術，稱為XGNN，用于在模型級別上解釋深層圖模型。我們提出研究什么樣的圖模式可以最大化某個預測。具體地說，我們提出訓練一個圖生成器，以便生成的圖模式可以用來解釋深度圖模型。我們把它表示為一個強化學習問題，在每一步，圖生成器預測如何添加一條邊到給定的圖和形成一個新的圖。然后根據已訓練圖模型的反饋，使用策略梯度[35]對生成器進行訓練。我們還加入了一些圖規則，以鼓勵生成的圖是有效的。注意，XGNN框架中的圖生成部分可以推廣到任何合適的圖生成方法，這些方法由手邊的數據集和要解釋的GNN決定。最后，我們在真實數據集和合成數據集上訓練了GNN模型，取得了良好的性能。然后我們使用我們提出的XGNN來解釋這些訓練過的模型。實驗結果表明，我們提出的XGNN可以找到所需的圖模式，并解釋了這些模型。通過生成的圖形模式，我們可以驗證、理解甚至改進經過訓練的GNN模型。

【簡介】深度神經網絡(DNNs)在各項任務上都取得了不俗的表現。然而，最近的研究表明通過對輸入進行很小的擾動就可以輕易的騙過DNNs，這被稱作對抗式攻擊。作為DNNs在圖上的擴展，圖神經網絡（GNNs)也繼承了這一缺陷。對手通過修改圖中的一些邊等操作來改變圖的結構可以誤導GNNs作出錯誤的預測。這一漏洞已經引起了人們對在安全領域關鍵應用中采用GNNs的極大關注，并在近年來引起了越來越多的人的研究興趣。因此，對目前的圖對抗式攻擊和反制措施進行一個全面的梳理和回顧是相當有必要的。在這篇綜述中，我們對目前的攻擊和防御進行了分類，以及回顧了相關表現優異的模型。最后，我們開發了一個具有代表性算法的知識庫，該知識庫可以使我們進行相關的研究來加深我們對基于圖的攻擊和防御的理解。