亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**近年來，深度學習在許多領域得到了快速發展。這些成功啟發了在安全領域使用深度學習。**然而，當深度學習遇到安全性時，至少有兩個主要挑戰。首先，攻擊數據的可用性是個問題。在有限的攻擊數據下構建一個良好的模型是具有挑戰性的。其次，深度學習系統本身容易受到各種攻擊，這在使用深度學習提高計算機系統安全性時帶來了新的問題。為了解決第一個挑戰，本文展示了如何使用深度學習技術來提高有限或沒有攻擊數據的計算機系統的安全性。為了解決第二個挑戰，我們展示了如何保護深度學習系統的安全性和隱私性。 **具體而言，在本文的第一部分中，我們考慮了一個沒有攻擊數據的實際場景，即異常檢測。**本文提出了一種新的方法——重構誤差分布(RED)，用于實時異常檢測。本文的關鍵見解是，計算機系統的正常行為可以通過時間深度學習模型捕獲。偏離正常行為表示異常。實驗表明，所提方法可以在電網控制器系統和通用云計算服務器中實時、高精度地檢測攻擊。論文的第二部分主要研究深度學習的安全與隱私保護問題。在機器學習即服務(MLaaS)系統中，可以通過一種精心設計的輸入，即敏感樣本，動態檢查云中的深度學習模型的完整性。在另一個場景中，例如邊緣-云系統中的分布式學習，我們證明了云中的攻擊者可以在攻擊者能力不斷減弱的情況下高保真地重構邊緣設備的輸入數據。本文還提出了一種新的防御方法來應對這些攻擊。 綜上所述，我們希望本文的工作能為利用深度學習提高安全性提供啟發，并有助于提高深度學習系統的安全性。

在過去的幾年中，深度學習和醫學的交叉領域取得了快速的進展，特別是在醫學圖像的解釋方面。在這篇論文中，我描述了為醫學圖像解釋的深度學習技術的發展帶來挑戰和機遇的三個主要方向。首先，我討論了專家級醫學圖像解譯算法的發展，重點是轉移學習和自監督學習算法，設計用于低標簽醫療數據設置。其次，我將討論高質量數據集的設計和管理及其在推進算法開發中的作用，重點是使用有限的手工注釋進行高質量標記。第三，通過系統分析臨床相關分布位移下的性能的研究，我討論了醫學圖像算法的真實評估。總之，這篇論文總結了這些方向的關鍵貢獻和見解，以及在醫學專業的關鍵應用。

雖然深度學習已經成功地應用于計算機圖形學和視覺的許多任務，但標準的學習架構通常是基于密集和規則的形狀表示，如像素或體素網格。另一方面，幾十年的計算機圖形學和幾何處理研究已經產生了專門的算法和工具，這些算法和工具使用沒有這種規則結構的表示。在這篇論文中，我們回顧了幾何圖形中的傳統方法，提出了深度學習流程和歸納偏差，這些深度學習流程和歸納偏差可以直接兼容常見的幾何表示，而不依賴于簡單的統一結構。

在過去的十年中，硬件的發展、訓練數據的大規模可用性和算法的進步推動了深度學習在各種應用中的成功。神經網絡廣泛地能夠處理不完整、混亂和模糊的輸入，產生有用的和一致的輸出。計算機圖形學和視覺也不例外，深度學習的普及，數據驅動的方法現在已經成為許多任務的標準。在這些領域中，最富有成效的深度學習架構是卷積神經網絡(CNN)。如今，CNN在圖像分類、分割，目標檢測和圖像到圖像的轉換。然而，CNN對柵格表示(例如，圖1-1中的像素和體素網格)進行操作。網格結構是卷積的基本組成部分，是信息在網絡層之間和像素之間傳遞的一種機制。這種結構被用來優化GPU硬件性能，許多現成的數據集由像素或體素網格格式的示例組成。

由于各種原因，柵格表示很容易使用。它們與相機傳感器、屏幕等標準輸入輸出設備兼容，構成了表現不同結構和拓撲結構的多樣視覺內容的有效手段。因此，CNN利用合理的歸納偏差，以簡單的歐拉方式處理數據，將固定操作應用到密集的網格。另一方面，拉格朗日表示使用隨形狀移動的稀疏參數集，即控制點來表示幾何形狀。這種表示具有明顯的優勢。通過將形狀表示為基元的集合，我們可以輕松地應用轉換并以任意分辨率呈現，同時只存儲稀疏表示。此外，參數表示對于高級推理是有效的，例如發現公共底層結構和估計形狀之間的對應關系，促進檢索、探索和樣式/結構轉移的工具。它們可以用傳統軟件直觀地編輯，與分辨率無關，并且可以高效地存儲。

許多工具、算法和數學框架已經被開發出來，用于編寫、操作和分析此類拉格朗日內容。藝術家、工程師和動畫師使用標準的CAD和3D建模軟件。模擬依賴于使用網格的有限元分析。然而，通過將與我們的機器學習方法兼容的形狀模式限制在歐拉網格中，我們放棄了這些成熟工具的許多見解和技術。

在這篇論文中，我們提出設計深度學習算法。我們沒有將標準架構、損失函數和訓練算法視為理所當然，從而接受各自的輸入和輸出形狀模式，而是考慮了比像素更豐富、更適合應用的其他幾何原子單位。這種范式的轉變促使我們對傳統方法和應用進行現代化改造，這些方法和應用先于深度學習。特別是，我們借鑒了度量幾何、幾何測量理論、譜幾何和動畫等領域的思想，開發了自定義尾損失函數、架構和培訓管道，使深度學習成為處理視覺數據的從業者更有用的工具。

在這篇論文中，我們提出了深度學習架構、訓練程序和算法，使在可視化數據數據集上訓練神經網絡成為可能，這些數據的格式使用起來直觀，并兼容常見的下游任務和應用，如設計、建模、仿真和渲染。在第二章中，我們描述了一種基于三角形網格的編碼器，借鑒了譜幾何的思想。在第三章中，我們考慮了兩種方法，受度量幾何的啟發，來產生參數化定義的形狀，比如CAD模型。第四章介紹了一種混合形狀表示，它結合了顯式幾何的優點和隱式幾何的優點。最后，在第5章中，我們提出了一種自監督的方法來學習圖像集合的直觀分解，例如，動畫或視頻游戲的幀，這允許使用學習到的紋理塊作為幾何基元進行高級操作。我們在圖1-2中說明了我們的貢獻。

為藥物開發人員而不是計算機科學家寫的，這一專論采用了一種系統的方法來挖掘科學數據源，涵蓋了從化合物篩選到先導化合物選擇和個性化藥物的合理藥物發現的所有關鍵步驟。第一部分明確地分為四個部分，討論了不同的可用的數據來源，包括商業和非商業的，而下一節著眼于數據挖掘在藥物發現中的作用和價值。第三部分比較了多藥理學最常見的應用和策略，其中數據挖掘可以大大提高研究工作。書的最后一部分是致力于復合測試的系統生物學方法。

在整本書中，工業和學術藥物發現策略被處理，貢獻者來自兩個領域，使一個知情的決定，何時和哪些數據挖掘工具使用自己的藥物發現項目。

一般來說，從數據庫中提取信息稱為數據挖掘。數據庫是一種數據集合，其組織方式允許方便地訪問、管理和更新其內容。數據挖掘包括數字和統計技術，可以應用于許多領域的數據，包括藥物發現。數據挖掘的功能定義是使用數值分析、可視化或統計技術來識別數據集中重要的數值關系，從而更好地理解數據并預測未來的結果。通過數據挖掘，我們可以得到一個模型，該模型將一組分子描述符與諸如功效或ADMET特性等生物關鍵屬性聯系起來。所得模型可用于預測新化合物的關鍵屬性值，為后續篩選確定優先級，并深入了解化合物的構效關系。數據挖掘模型范圍從簡單的、由線性技術導出的參數方程到復雜的、由非線性技術導出的非線性模型。文獻[1-7]提供了更詳細的信息。

這本書分為四個部分。第一部分涉及藥物發現中使用的不同數據來源，例如，蛋白質結構數據庫和主要的小分子生物活性數據庫。第二部分重點介紹數據分析和數據豐富的不同方法。在這里，我們提出了對HTS數據挖掘和識別不同目標命中的工業見解。另一章展示了強大的數據可視化工具在簡化這些數據方面的優勢，從而促進了它們的解釋。第三部分包括多種藥理學的一些應用。例如，在化學基因組學時代，數據挖掘可以為配體分析和目標捕捉帶來積極的結果。最后，在第四部分，系統生物學方法被考慮。例如，讀者被介紹到綜合和模塊化分析方法，以挖掘大分子和表型數據。結果表明，該方法能夠降低高維數據的復雜性，并為整合不同類型的組學數據提供了一種方法。在另一章中，建立了一套新的方法，定量地衡量化學品對生物系統的生物影響。

由于其在非歐幾里德數據(如圖或流形)建模方面的強大能力，圖的深度學習技術(即圖神經網絡(GNNs))為解決具有挑戰性的圖相關NLP問題打開了一扇新的大門。將深度學習技術應用于自然語言處理的研究興趣大增，并在許多自然語言處理任務中取得了相當大的成功，包括句子分類、語義角色標注和關系抽取等分類任務，以及機器翻譯、問題生成和摘要等生成任務。盡管取得了這些成功，但面向NLP的圖深度學習仍然面臨許多挑戰，包括自動將原始文本序列數據轉換為高度圖結構的數據，以及有效地建模復雜數據，這些數據涉及基于圖的輸入和其他高度結構的輸出數據(如序列、樹、樹)之間的映射。以及節點和邊中都有多種類型的圖數據。本教程將涵蓋在圖形技術上應用深度學習的相關和有趣的主題，包括用于NLP的自動圖形構建、用于NLP的圖形表示學習、用于NLP的基于高級GNN模型(例如，graph2seq、graph2tree和graph2graph)，以及GNN在各種NLP任務中的應用(例如，機器翻譯、自然語言生成、信息提取和語義解析)。此外，還將包括動手演示會議，以幫助觀眾獲得使用我們最近開發的開源庫Graph4NLP應用gnn解決具有挑戰性的NLP問題的實踐經驗。Graph4NLP是第一個為研究人員和實踐者方便地使用GNN完成各種NLP任務的庫。

//github.com/dlg4nlp/dlg4nlp.github.io

在過去的幾年中，深度學習和醫學的交叉領域取得了快速的發展，特別是在醫學圖像的解譯方面。在本文中，我描述了三個關鍵方向，為醫學圖像解釋的深度學習技術的發展提出了挑戰和機遇。首先，我討論了專家級醫學圖像解譯算法的發展，重點是用于低標記醫學數據設置的遷移學習和自監督學習算法。其次，我討論了高質量數據集的設計和管理以及它們在推進算法發展中的作用，重點是使用有限的手動注釋的高質量標記。第三，我討論了真實世界的評估醫學圖像算法的研究，系統地分析了在臨床相關分布變化下的性能。總之，這篇論文總結了關鍵貢獻和見解，在這些方向與關鍵應用跨醫學專業。

//searchworks.stanford.edu/view/13876519

深度神經網絡已經徹底改變了電力系統中的許多機器學習任務，從模式識別到信號處理。這些任務中的數據通常以歐幾里得域表示。然而，在電力系統中有越來越多的應用，其中的數據收集自非歐幾里得域，并表示為具有高維特征和節點間相互依賴的圖結構數據。圖結構數據的復雜性給現有的歐幾里得域深度神經網絡帶來了重大挑戰。近年來，在電力系統圖結構數據的深度神經網絡擴展方面出現了許多研究。本文對電力系統中的圖神經網絡(GNNs)進行了綜述。總結了幾種經典的GNNs結構范式 (圖卷積網絡、圖遞歸神經網絡、圖注意力網絡、圖生成網絡、時空圖卷積網絡以及混合形式的GNNs)，并詳細綜述了其在電力系統故障診斷、功率預測、能流計算和數據生成等方面的關鍵應用。此外，還討論了GNN在電力系統中應用的主要問題和一些研究趨勢。

//www.zhuanzhi.ai/paper/4b5bc1768a01d1a9dccfc5dc32885c63

圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。

摘要：

當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。

形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。

圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。

本篇內容結構：

• (1) 簡明易懂的GNNs入門教程。
• (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
• (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
• (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。

//deepai.org/publication/a-practical-guide-to-graph-neural-networks

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。