亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

魯棒統計領域研究的一般問題是設計即使在數據顯著偏離理想化建模假設的情況下也能表現良好的估計量。對魯棒統計過程的系統研究可以追溯到20世紀60年代Tukey和Huber的開創性工作。經典統計理論對大多數常見問題的魯棒估計的信息理論極限進行了表征。另一方面，直到最近，人們對這個領域的計算方面知之甚少。計算機科學最近的一項工作為一系列學習任務提供了第一個計算高效的高維魯棒估計器。具體而言，2016年兩項獨立且并行的研究開發了第一個用于基本高維魯棒統計任務的高效算法，包括均值和協方差估計。自這些著作的傳播以來，人們對各種背景下的高維魯棒估計算法進行了大量的研究。本書概述了算法高維魯棒統計的最新發展。

將一個模型與一組觀察結果相匹配是統計學和機器學習中的典型問題之一。典型的假設是，數據是由給定類型的模型生成的(例如，混合模型)。這是一個簡化的假設，僅近似有效，因為真實數據集通常暴露于某些污染源。因此，為特定模型設計的任何估計器在存在損壞/噪聲數據時也必須是魯棒的。經典的魯棒統計研究，從20世紀60年代的Tukey和Huber的開創性工作開始，確定了高維魯棒估計的基本信息理論方面。相比之下，直到最近，人們對計算方面的了解還很少。特別是，即使是對高維數據集均值的魯棒估計這一基本問題，所有已知的魯棒估計量都很難計算。此外，已知的啟發式(如RANSAC)的準確性隨著維數的增加呈多項式遞減。這種情況自然引起了以下問題:

高維估計的魯棒性和計算效率能否協調一致?

理論計算機科學的最近一行工作獲得了第一個計算高效的魯棒估計器，用于一系列高維估計任務。在本教程中，我們將研究這些估計器的算法技術以及它們之間的聯系。我們將針對以下問題和設置說明這些技術:魯棒均值和協方差估計、魯棒隨機優化、稀疏性假設下的魯棒估計、列表可解碼學習和混合模型、高階矩的魯棒估計、計算魯棒權衡。最后，我們將討論未來工作的新方向和機遇。

大多數最近的學習圖像表示的自監督方法集中于生成具有不變性的全局特征或生成一組局部特征。前者最適合于分類任務，后者最適合于檢測和分割任務。本文探討了學習局部特征和全局特征之間的基本權衡。提出了一種新的VICRegL方法，該方法同時學習良好的全局和局部特征，在保持良好的分類任務性能的同時，在檢測和分割任務上取得了優異的性能。具體地說，一個標準卷積網結構的兩個相同的分支被提供相同圖像的兩個不同的扭曲版本。VICReg準則應用于全局特征向量對。同時，VICReg準則應用于出現在最后一個池化層之前的局部特征向量對。如果兩個局部特征向量的l2距離小于閾值，或者它們的相對位置與兩個輸入圖像之間的已知幾何變換相一致，則它們會相互吸引。我們在線性分類和分割轉移任務上展示了強大的性能。代碼和經過預先訓練的模型可以在//github.com/facebookresearch/VICRegL上公開獲取。

現代深度學習已經在多個學科中帶來了許多發現:計算機視覺、語音識別、自然語言處理技術以及純粹通過自我游戲學習游戲的能力。這在很大程度上是由獲取大量數據的能力以及與問題域匹配的適當的歸納偏差所驅動的。在本教程中，我們將探討這一新興技術與信息論的相互作用。特別地，我們將討論兩個主題。

(1) 深度學習在信息論中的應用:信息論學界在編碼設計和解碼算法方面率先取得了幾項突破，徹底改變了現代數字通信。在這一主題中，我們將研究是否有可能利用現代深度學習技術來加速這種編碼方案的發現。我們將介紹這一領域的各種發展，展示Viterbi和BCJR算法可以從觀測數據中“學習”，以及如何為高密度編碼學習比消息傳遞更好的算法。此外，經過充分研究的信道編碼設置，我們基本上可以獲得無限數量的訓練數據，并且在一些設置中已經知道了接近最優的編碼策略，可以提供一個視角，通過它可以改進和增強目前的深度學習技術。除了代碼設計，深度學習作為一種通用函數逼近器在信息論中有更廣泛的應用潛力。我們將談到這個大致的概念。事實上，最近的一些研究已經將深度學習用于(條件)獨立檢驗、互信息估計、壓縮感知以及多假設檢驗中的誤發現率控制。

（2）在第二個主題中，我們將對信息論原理在理解和設計深度學習系統中的應用進行調研。這些工作大致可分為三類:(a)代表性(b)可學習性。(A)事實上，深度學習的一個基本結果是緊密逼近任何連續函數的能力。有幾個現代的表示定理的概括理解的數量和深度這樣的網絡需要近似各種函數類，以及一些不變的性質。我們將調研這些結果。(B)有一些新興的工作，包括張量方法，在一些數學假設下為神經網絡和混合專家提供了各種可學習性保證。

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

在本教程中，我們旨在全面介紹專門為異常檢測(深度異常檢測)而設計的深度學習技術的進展。

深度學習在轉換許多數據挖掘和機器學習任務方面取得了巨大的成功，但由于異常具有一些獨特的特征，如罕見性、異質性、無限性以及收集大規模異常數據的高昂成本，目前流行的深度學習技術并不適用于異常檢測。

通過本教程，讀者將對該領域有一個系統的概述，了解目前最先進的12種不同類型的深度異常檢測方法的主要要點、目標函數、基本假設、優缺點，并認識到其在不同領域的廣泛適用性。我們還討論了當前的深度異常檢測方法可以從多個不同的角度解決和展望該領域的挑戰。

任何對深度學習、異常/離群值/新奇檢測、分布外檢測、帶有有限標記數據的表示學習以及自我監督表示學習感興趣的讀者，都會發現參加本教程非常有幫助。

金融、網絡安全、醫療保健領域的研究人員和從業者也會發現該教程在實踐中有幫助。

異常檢測，幾十年來一直是各個研究領域中一個持續而活躍的研究領域。但仍然有一些獨特的問題、復雜性和挑戰需要先進的方法。近年來，將深度學習應用于異常檢測(即深度異常檢測)已經成為關鍵方向。本文回顧了深度異常檢測方法的研究進展，并對檢測方法進行了分類，包括3個高級類別和11個細粒度類別。本文回顧了檢測方法的主要intuitions、目標函數、基本假設、優勢和劣勢，并討論了他們如何應對上述挑戰。并且進一步討論了一系列未來可能的機遇和應對挑戰的新觀點。

異常檢測，又稱離群值檢測或新穎性檢測，是指檢測與大多數數據實例顯著偏離的數據實例的過程。幾十年來，異常探測一直是一個活躍的研究領域，早期的探測可以追溯到20世紀60年代的[52]。由于在風險管理、合規、安全、金融監控、健康和醫療風險、人工智能安全等廣泛領域的需求和應用日益增長，異常檢測在數據挖掘、機器學習、計算機視覺和統計等各個領域發揮著越來越重要的作用。近年來，深度學習在學習高維數據、時間數據、空間數據和圖形數據等復雜數據的表達表示方面顯示出了巨大的能力，推動了不同學習任務的邊界。深度學習異常檢測，簡稱深度異常檢測，目的是通過神經網絡學習特征表示或異常分數來進行異常檢測。大量的深度異常檢測方法已經被引入，在解決各種現實世界應用中具有挑戰性的檢測問題上，表現出比傳統異常檢測顯著更好的性能。這項工作旨在對這一領域進行全面調研。我們首先討論了異常檢測的問題本質和主要的未解決的挑戰，然后系統地回顧了當前的深度方法及其解決這些挑戰的能力，最后提出了一些未來的機會。

本課程深入介紹機器學習中的數學理論、算法和核方法的應用。該課程是為研究生開設的，由Julien Mairal和Jean-Philippe Vert于2021年教授，是巴黎高等師范學院“數學、計算機視覺和機器學習”碩士課程的一部分。

//members.cbio.mines-paristech.fr/~jvert/svn/kernelcourse/course/2021mva/index.html

機器學習在現實世界應用中的許多問題可以被形式化為經典的統計問題，例如模式識別、回歸或降維，但要注意的是數據通常不是數字的向量。例如，計算生物學中的蛋白質序列和結構、web挖掘中的文本和XML文檔、圖像處理中的分割圖像、語音識別和金融中的時間序列，都具有包含統計問題相關信息但難以編碼為有限維向量表示的特定結構。

內核方法是一類非常適合于此類問題的算法。實際上，它們將最初為向量設計的許多統計方法的適用性擴展到了幾乎任何類型的數據，而不需要對數據進行明確的向量化。向非向量擴展的代價是需要在對象之間定義一個所謂的正定核函數，形式上相當于數據的隱式向量化。近年來，各種對象內核設計的“藝術”取得了重要的進展，產生了許多最先進的算法，并在許多領域獲得了成功的應用。

本課程的目的是介紹核方法的數學基礎，以及到目前為止在核設計中出現的主要方法。我們將首先介紹正定核的理論和重建核希爾伯特空間，這將允許我們介紹幾種核方法，包括核主成分分析和支持向量機。然后我們再回到定義內核的問題。我們將介紹關于Mercer核和半群核的主要結果，以及字符串和圖的核的一些例子，從計算生物學的應用，文本處理和圖像分析。最后，我們將討論一些活躍的研究課題，如大規模核方法和深度核機器。

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響，這次會議在線上舉行，本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。小編推薦一份圖深度學習-圖神經網絡教程，預覽版可以查看。

從圖數據和關系數據中學習在許多應用中起著重要的作用，包括社交網絡分析、市場營銷、電子商務、信息檢索、知識建模、醫學和生物科學、工程等。在過去的幾年里，圖神經網絡(GNNs)已經成為一種很有前途的新型監督學習框架，能夠將深度表示學習的能力引入到圖和關系數據中。越來越多的研究表明，GNNs在鏈路預測、欺詐檢測、目標配體結合活性預測、知識圖譜補全和產品推薦等方面的性能達到了最新水平。

本教程的目標有兩個。首先，它將概述GNN背后的理論，討論GNN非常適合的問題類型，并介紹一些最廣泛使用的GNN模型體系結構和設計用來解決的問題/應用程序。其次，它將引入深度圖庫(Deep Graph Library, DGL)，這是一種新的軟件框架，簡化了高效的基于GNN的訓練和推理程序的開發。為了使事情更具體，本教程將提供使用DGL的實踐會話。這個實踐部分將涵蓋基本的圖形應用程序(例如，節點分類和鏈接預測)，以及更高級的主題，包括在大型圖和分布式設置中訓練GNN。此外，它還將提供使用GNNs和DGL進行實際應用(如推薦和欺詐檢測)的實踐教程。

• 第1節:圖神經網絡概述。本節描述了圖神經網絡是如何運作的，它們的基本理論，以及它們相對于其他圖學習方法的優勢。此外，它還描述了圖形上的各種學習問題，并展示了如何使用GNNs來解決這些問題。

• 第2節:深度圖庫(DGL)概述。本節描述DGL提供的不同的抽象和api，這些抽象和api旨在簡化GNN模型的實現，并解釋DGL如何與MXNet、Pytorch和TensorFlow進行接口。然后介紹DGL的消息傳遞API，該API可用于開發任意復雜的GNNs和它提供的預定義GNN nn模塊。

• 第3節:基本圖任務的GNN模型。本節演示如何使用GNNs解決四個關鍵的圖數據學習任務:節點分類、鏈接預測、圖數據分類和網絡嵌入前訓練。它將展示如何使用DGL的nn模塊實現一個流行的GNN模型GraphSage，并展示如何在不同類型的下游任務中使用由GraphSage計算出的節點嵌入。此外，本文還將演示使用DGL的消息傳遞接口實現定制的GNN模型。

• 第4節:大型圖的GNN訓練。本節使用第3節中描述的一些模型來演示DGL中的微型批處理訓練、多GPU訓練和分布式訓練。它首先描述了mini-batch訓練的概念如何應用于GNN，以及如何通過使用各種抽樣技術來加速mini-batch計算。接下來將舉例說明一種稱為鄰接抽樣的抽樣技術，如何使用木星筆記本在DGL中實現。然后將該筆記本擴展為多GPU訓練和分布式訓練。

• 第5節:實際應用的GNN模型。本節使用前面幾節中描述的技術，展示如何使用GNNs開發用于推薦和欺詐檢測的可伸縮解決方案。在推薦方面，本文提出了一種基于最近鄰的項目推薦方法，該方法通過采用端到端的學習方法，利用GNN模型學習項目嵌入。對于欺詐檢測，它擴展了上一節中的節點分類模型，以處理異構圖，并解決了標記樣本很少的情況。