亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

生成對抗網絡(GenerativeAdversarialNetwork,GAN)在諸多領域都取得了較好的應 用效果,本章將以生成模型概述為切入點,介紹生成模型的基本概念和生成模型的意義及應 用,在此基礎上詳細敘述 GAN,并分析 GAN 的延伸模型———SGAN 模型、CGAN 模型、 StackGAN 模型、InfoGAN 模型和 AuxiliaryClassifierGAN 模型的結構。深度神經網絡的熱門話題是分類問題,即給定一幅圖像,神經網絡可以告知你它是什么 內容,或者屬于什么類別。近年來,生成模型成為深度神經網絡新的熱門話題,它想做的事 情恰恰相反,即給定一個類別,神經網絡可以無窮無盡地自動生成真實而多變的此類別圖 像,如圖5.1所示,它可以包括各種角度,而且會在此過程中不斷進步。

**5.1.1 生成模型的基本概念 **

在深度學習中,可以將其模型分為生成模型和判別模型兩大類[1]。生成模型可以通過 觀察數據,學習樣本與標簽的聯合概率密度分布P(x,y),然后生成對應的條件概率分布P (y|x),從而得到所預測的模型Y=f(x)。判別模型強調直接從數據中學習決策函數[2]。生成模型的目標是給定訓練數據,希望能獲得與訓練數據相同的新數據樣本。判別模型的 目標是找到訓練數據的分布函數。在深度學習中,監督學習和非監督學習都包含其對應的 生成模型,根據尋找分布函數的過程,可以把生成模型大致分為概率估計和樣本生成。概率估計是在不了解事件概率分布的情況下,通過假設隨機分布,觀察數據確定真正的 概率密度分布函數,此類模型也可定義為淺層生成模型,典型的模型有樸素貝葉斯、混合高斯模型和隱馬爾可夫模型等。樣本生成是在擁有訓練樣本數據的情況下,通過神經網絡訓練后的模型生成與訓練集 類似的樣本,此類模型也可以定義為深度生成模型,典型的模型有受限玻爾茲曼機、深度信 念網絡、深度玻爾茲曼機和廣義除噪自編碼器等。 **5.1.2 生成模型的意義及應用 **

著名物理學家費曼說過一句話:“只要是我不能創造的,我就還沒有理解。”生成模型恰 如其所描述的,其應用包括: (1)生成模型的訓練和采樣是對高維概率分布問題的表達和操作,高維概率分布問題 在數學和工程領域有很廣泛的應用[3]。(2)生成模型可以以多種方式應用到強化學習中。基于時間序列的生成模型可用來對 未來可能的行為進行模擬;基于假設環境的生成模型可用于指導探索者或實驗者,即使發生 錯誤行為,也不會造成實際損失[4]。(3)生成模型可以使用有缺失的數據進行訓練,并且可以對缺失的數據進行預測。(4)生成模型可以應用于多模態的輸出問題,一個輸入可能對應多個正確的輸出,每一 個輸出都是可接受的[5]。圖5.2是預測視頻的下一幀圖像的多模態數據建模示例。神經網絡的發展大致可以分為神經網絡的興起、神經網絡的蕭條與反思、神經網絡的復 興與再發展、神經網絡的流行度降低和深度學習的崛起共5個階段。

【導讀】深度生成模型在數據生成方面具有很好的優勢，但是在很多實際應用場景可能面臨投毒攻擊等威脅。本文探究攻擊和模型架構之間的內在聯系，更具體地說，深入生成模型的五個組成部分: 訓練數據、潛在代碼、GAN和VAEs的生成器/解碼器、GAN和VAEs的識別器/編碼器和生成的數據。

摘要

深度生成模型因其為各種應用生成數據的能力而備受關注，這些應用包括醫療保健、金融技術、監控等，其中最受歡迎的模型是生成對抗網絡和變分自動編碼器。然而，與所有機器學習模型一樣，人們一直擔心安全漏洞和隱私泄露，深度生成模型也不例外。近年來，這些模型發展迅速，以至于對其安全性的研究仍處于起步階段。為了應對當前和未來針對這些模型的威脅，并在短期內為防御準備提供路線圖，我們準備了這份關于GAN和VAEs安全性和隱私保護的全面和專門調研。我們的重點是探究攻擊和模型架構之間的內在聯系，更具體地說，深入生成模型的五個組成部分:訓練數據、潛在代碼、GAN和VAEs的生成器/解碼器、GAN和VAEs的識別器/編碼器和生成的數據。針對每個模型、組件和攻擊，我們回顧了當前的研究進展，并確定了關鍵挑戰。最后對該領域未來可能的攻擊和研究方向進行了討論。

//www.zhuanzhi.ai/paper/ec2d0f84bfaa49189d9c478a3a76dcd4

深度生成模型的對抗性攻擊

在過去的幾年里，計算能力的提高使得深度神經網絡在各種應用中取得了成功。在這一類別中，有兩類深度學習模型:生成型和判別型。生成模型擬合我們可以在我們的世界中觀察到的數據，比如貌似真實的人臉照片[1]。總的來說，這些被稱為深度生成模型(DGMs)。另一種是將觀察到的數據分成不同的類，如人臉識別、推薦系統等[2]。這類模型被稱為深度判別模型(DDMs)[3]。最流行的DGM是生成對抗網絡(GANs)[4]和變分自動編碼器(VAEs)[5]。兩者都廣泛用于生成真實的照片[6]，合成視頻[7]，翻譯一個圖像到另一個[8]，等等。與傳統DDMs一樣，遞歸神經網絡(RNN)[9]、卷積神經網絡(CNN)[10]及其變體在情緒分析[11]、圖像識別[12]、自然語言處理[13]、[14]等方面表現良好。AI景觀關系圖如圖1所示。

人工智能有兩個主要分支，生成模型和判別模型。這些模型的深層神經網絡變體已經進化為生成側的VAEs和GANs，以及判別側的RNNs和CNNs。

與任何具有廣泛影響的技術一樣，模型安全和隱私問題是不可避免的。當然，任何對手都有兩個愿望。第一種是破壞模型，使它的工作不能令人滿意。第二種是侵犯隱私。例如，破壞一個模型，一個攻擊者可能會把一個本應生成人像肖像的模型變成一個生成鞋子[15]圖片的模型，或者不是正確地將圖片分類為熊貓，而是將它們歸類為長臂猿[16]。侵犯隱私可能包括竊取訓練數據或整個訓練模型。一個著名的例子是，對手通過黑箱查詢Amazon的機器學習即服務平臺[17]提供的api復制了Amazon訓練的模型。同樣的策略被用來恢復訓練集，從而獲得私人信息[18]，[19]。

中毒攻擊[20]，[21]和逃避攻擊[16]，[22]都試圖強迫一個模型做不令人滿意的工作。在訓練階段進行投毒攻擊，并試圖在陣型階段損害模型的能力。回避攻擊在測試階段起作用，其目的是為訓練的模型提供對抗輸入，使其產生不滿意的輸出。對抗性輸入通常被稱為對抗性例子。在組件級別，有幾種不同類型的攻擊。在數據層，我們有成員推理攻擊，它試圖推斷一個給定樣本是否屬于模型的訓練集[18]，還有模型反演攻擊，它試圖根據一些先驗信息和模型的輸出[19]重建部分或全部的訓練數據。在屬性層，我們有屬性推斷攻擊，它試圖推斷數據[23]的敏感屬性。模型提取攻擊在模型級別工作。這是一個嚴重的威脅試圖復制整個訓練模型[17]。盡管對這些針對DGMs的攻擊的研究還處于起步階段，但關于與DDMs相關的安全和隱私問題，已有大量健康的文獻。例如，Papernot等人提出了一個詳細的安全與隱私攻擊的對抗性框架，其中包括對抗性示例、成員推理攻擊策略以及一些防御方法[24]。針對場景和應用，Liu等人對攻擊類型和保護方案類型[25]進行了分類。Serban等人詳細闡述了對抗的例子，包括他們的建設，防御策略，和轉移能力[26]。由于差異隱私是減輕隱私泄露的最有效措施之一，Gong等人發表了一篇關于差異隱私機器學習[27]的全面綜述。關于DDMs，特別是CNNs和RNNs的調查也有0個，見[28]-[32]。

正如本次綜述所顯示的，對于DGMs而言，工作要少得多。我們綜述揭示了以下研究論文: 中毒攻擊[33]、[34]; 規避攻擊[15]，[35]- [40]; 成員推理攻擊[41]- [46]; 屬性推斷攻擊[46]，模型提取攻擊[47]。據我們所知，沒有關于DGMs的安全和隱私的綜述。然而近年來，GANs和VAEs的發展使得DGMs得到了越來越多的關注，既有善意的，也有惡意的。因此，我們認為現在是徹底調研這些攻擊以及它們的防御的時候了。通過比較DGM攻擊和DDM攻擊及其已知防御，我們可能能夠識別它們之間的一些關鍵差距。

在基本層面上，對抗性攻擊是關于策略的演變。上面提到的攻擊最初是為判別模型設計的，DGM與DDM的目的非常不同。因此，訓練算法和模型架構也有很大的不同。因此，要對DGM進行傳統的攻擊，必須對攻擊策略進行更新。單一的攻擊策略無法揭示這種演變的總體方向。相反，需要進行全面的綜述

進化后的攻擊是否會成為通用的DGM是另一個擔憂。因為VAEs和GANs有多種變體，例如beta-VAEs[48]和Wasserstein GANs[49]以及其他不太流行的DGMS類型，所以通用性是有意義的。

當DGM遭受各種攻擊時，可能會有罕見的防御策略。

本文系統地研究該領域的目前狀況。

• 簡要介紹了最流行的DGM——VAEs和GANs，從它們的標準模型結構和訓練程序開始，以DGM和DDM體系結構的比較結束。

• 分析各種攻擊的可行性，考慮到兩個對抗目標——破壞模型的正常功能和危及隱私——以及模型各個組件的脆弱性。本節還對常見的攻擊策略進行了分類。

• 對現有防御方案的總結和可能的防御方法的討論，考慮到防御的稀缺性，這構成了未來研究的主要方向。

• 對其他值得進一步關注的富有成果的研究機會的建議。

摘要

我們研究了生成對抗網絡(GAN)，它的流行變體和在許多領域的應用。GAN利用零和博弈理論將兩個相互對抗的神經網絡結合起來，使它們能夠產生更加清晰和離散的輸出。GAN可用于執行圖像處理、視頻生成和預測，以及其他計算機視覺應用。GAN還可用于各種科學相關活動，包括蛋白質工程、天文數據處理、遙感圖像去霧和晶體結構合成。GANs還在金融、營銷、時尚設計、體育和音樂等領域取得了成績。因此，在本文中，我們全面概述了GAN在各種學科中的應用。我們首先介紹支持GAN的理論、GAN變體和評估GAN的指標。然后，我們將介紹GAN及其變體如何應用于十二個領域，從STEM領域，如天文學和生物學，到商業領域，如市場營銷和金融，以及藝術，如音樂。因此，其他領域的研究人員可以掌握GAN的工作原理，并將其應用到自己的研究中。就我們所知，本文對GAN在不同領域的應用進行了最全面的綜述。

//arxiv.org/abs/2110.01442

引言

生成對抗網絡[48]或GAN屬于生成模型[44]家族。生成模型試圖從訓練集中學習一個概率密度函數，然后從相同的分布中生成新的樣本。GAN通過讓兩個神經網絡(Generator和Discriminator)相互競爭，生成與真實數據相似的新合成數據。Generator試圖捕獲真實的數據分布，以生成新的樣本。另一方面，鑒別器通常是一個二進制分類器，它試圖盡可能精確地辨別真實和虛假生成的樣本。

在過去的幾年里，GANs取得了實質性的進展。由于硬件的進步，我們現在可以訓練更深入和更復雜的Generator和Discriminator神經網絡體系結構，增加模型容量。GAN與其他類型的生成模型相比有許多明顯的優勢。與玻爾茲曼機[62]不同，GAN不需要蒙特卡羅近似來訓練，而且GAN使用反向傳播，不需要馬爾可夫鏈。近年來，GAN得到了很大的發展，并被廣泛應用于各種學科，可以使用gan的領域列表也在快速擴展。GAN可用于數據生成和增強([78]，[134])、圖像到圖像的轉換([70]，[197])、圖像超分辨率([93]，[73])等等。正是這種多用途的特性，使得GAN可以應用于醫學和天文學等完全不結盟的領域。

由于GANs非常受歡迎和重要，已經有一些關于GANs的調查和評論。然而，過去的大多數論文都集中在兩個不同的方面: 第一，描述GAN及其隨時間的增長，第二，討論GAN在圖像處理和計算機視覺應用中的應用([47]，[3]，[135]，[51]，[1])。因此，對GAN在廣泛學科中的應用的描述較少。因此，我們將在這篇史無前例的文章中全面回顧GAN。我們來看看GANs和一些最廣泛使用的模型和變異,以及評價指標的數量,GAN應用在不同的12個區域(包括圖片和視頻相關的任務,醫療和醫療、生物學、天文學、遙感、材料科學、金融、市場營銷、時尚、體育和音樂), GAN的挑戰和局限性，以及GAN未來的發展方向。本文的一些主要貢獻如下:

• 描述GAN在工程、科學、社會科學、商業、藝術、音樂和體育領域的廣泛應用。據我們所知，這是第一篇涵蓋GAN在如此不同領域應用的綜述論文。這篇綜述將有助于不同背景的研究人員理解GAN的操作，并發現其廣泛的應用。

• GAN評估包括定性和定量方法。該綜述提供了定量指標的全面展示，用于評估GAN在計算機視覺和時間序列數據分析中的性能。我們將GAN應用于時間序列數據的評估指標包括在內，這在其他GAN綜述論文中沒有討論。據我們所知，這是第一份提出GAN時間序列數據評價指標的調研報告。

我們將本文的其余部分組織如下:第2節介紹GAN的基本工作，以及最常用的GAN變體及其描述。第3節總結了一些常用的GAN評估指標。第4節描述了GAN在各種領域的廣泛應用。我們還在每個小節的末尾提供了一個表格，總結了應用領域和使用的相應的GAN模型。第5節討論了GANs訓練過程中遇到的一些困難和挑戰。在此基礎上，對GAN的未來發展方向進行了簡要總結。第6節提供結束語。

深度生成模型基本都是以某種方式尋找并表達（多變量）數據的概率分布。有基于無向圖模型（馬爾可夫模型）的聯合概率分布模型，另外就是基于有向圖模型（貝葉斯模型）的條件概率分布。前者的模型是構建隱含層(latent)和顯示層（visible)的聯合概率，然后去采樣。基于有向圖的則是尋找latent和visible之間的條件概率分布，也就是給定一個隨機采樣的隱含層，模型可以生成數據。加州理工學院Joe Marino講述最新《深度生成模型》的進展，值得關注！

深度生成模型：

//www.zhuanzhi.ai/topic/20067

【導讀】本文章從深度神經網絡(DNN)入手，對深度學習(DL)領域的研究進展進行了簡要的綜述。內容包括：卷積神經網絡(CNN)、循環神經網絡(RNN)、長時記憶(LSTM)和門控遞歸單元(GRU)、自動編碼器(AE)、深度信念網絡(DBN)、生成對抗性網絡(GAN)和深度強化學習(DRL)。

近年來，深度學習在各個應用領域都取得了巨大的成功。這個機器學習的新領域發展迅速，已經應用于大多數傳統的應用領域，以及一些提供更多機會的新領域。針對不同類型的學習，提出了不同的學習方法，包括監督學習、半監督學習和非監督學習。

實驗結果表明，與傳統機器學習方法相比，深度學習在圖像處理、計算機視覺、語音識別、機器翻譯、藝術、醫學成像、醫學信息處理、機器人與控制、生物信息學、自然語言處理、網絡安全等領域具有最先進的性能。

本研究從深度神經網絡(DNN)入手，對深度學習(DL)領域的研究進展進行了簡要的綜述。研究內容包括：卷積神經網絡(CNN)、循環神經網絡(RNN)、長時記憶(LSTM)和門控遞歸單元(GRU)、自動編碼器(AE)、深度信念網絡(DBN)、生成對抗性網絡(GAN)和深度強化學習(DRL)。

此外，我們還討論了最近的發展，例如基于這些DL方法的高級變體DL技術。這項工作考慮了2012年以后發表的大部分論文，當時深度學習的歷史開始了。此外，本文中還包括了在不同應用領域探索和評價的DL方法。我們還包括最近開發的框架、SDKs和基準數據集，用于實施和評估深度學習方法。目前有一些研究已經發表，例如使用神經網絡和一個關于強化學習(RL)的綜述。然而，這些論文還沒有討論大規模深度學習模型的個別高級訓練技術和最近發展起來的生成模型的方法。

關鍵詞：卷積神經網絡(CNN)；循環神經網絡(RNN)；自動編碼器(AE)；受限Boltzmann機器(RBM)；深度信念網絡(DBN)；生成對抗性網絡(GAN)；深度強化學習(DRL)；遷移學習。

題目： Relation Adversarial Network for Low Resource Knowledge Graph Completion

摘要： 知識圖譜補全(Knowledge Graph Completion, KGC)是一種通過鏈接預測或關系提取來填充缺少的鏈接來改進知識圖譜的方法。KGC的主要困難之一是資源不足。之前的方法假設有足夠訓練的三元組來學習實體和關系的通用向量，或者假設有足夠數量的標簽句子來訓練一個合格的關系提取模型。然而，在KGs中，少資源關系非常普遍，這些新增加的關系往往沒有很多已知的樣本去進行訓練。在這項工作中，我們的目標是在具有挑戰性的環境下只有有限可用的訓練實例預測新的事實。我們提出了一個加權關系對抗性網絡的通用框架，它利用對抗性過程來幫助將從多資源關系中學習到的知識/特征調整為不同但相關的少資源關系。具體地說，該框架利用了一個關系鑒別器來區分樣本和不同的關系，幫助學習更容易從源關系轉移到目標關系的關系不變量特征。實驗結果表明，該方法在少資源設置下的鏈路預測和關系提取都優于以往的方法。