亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】Yann Lecun在紐約大學開設的2020春季《深度學習》課程，干貨滿滿。最新的一期是來自Facebook AI的研究科學家Ishan Misra講述了計算機視覺中的自監督學習最新進展，108頁ppt，很不錯報告。

在過去的十年中，許多不同的計算機視覺問題的主要成功方法之一是通過對ImageNet分類進行監督學習來學習視覺表示。并且，使用這些學習的表示，或學習的模型權值作為其他計算機視覺任務的初始化，在這些任務中可能沒有大量的標記數據。

但是，為ImageNet大小的數據集獲取注釋是非常耗時和昂貴的。例如:ImageNet標記1400萬張圖片需要大約22年的人類時間。

因此，社區開始尋找替代的標記過程，如社交媒體圖像的hashtags、GPS定位或自我監督方法，其中標簽是數據樣本本身的屬性。

什么是自監督學習？

定義自我監督學習的兩種方式：

• 基礎監督學習的定義，即網絡遵循監督學習，標簽以半自動化的方式獲得，不需要人工輸入。

• 預測問題，其中一部分數據是隱藏的，其余部分是可見的。因此，其目的要么是預測隱藏數據，要么是預測隱藏數據的某些性質。

自監督學習與監督學習和非監督學習的區別:

• 監督學習任務有預先定義的(通常是人為提供的)標簽，

• 無監督學習只有數據樣本，沒有任何監督、標記或正確的輸出。

• 自監督學習從給定數據樣本的共現形式或數據樣本本身的共現部分派生出其標簽。

自然語言處理中的自監督學習

Word2Vec

• 給定一個輸入句子，該任務涉及從該句子中預測一個缺失的單詞，為了構建文本前的任務，該任務特意省略了該單詞。

• 因此，這組標簽變成了詞匯表中所有可能的單詞，而正確的標簽是句子中省略的單詞。

• 因此，可以使用常規的基于梯度的方法對網絡進行訓練，以學習單詞級表示。

為什么自監督學習

自監督學習通過觀察數據的不同部分如何交互來實現數據的學習表示。從而減少了對大量帶注釋數據的需求。此外，可以利用可能與單個數據樣本相關聯的多個模式。

計算機視覺中的自我監督學習

通常，使用自監督學習的計算機視覺管道涉及執行兩個任務，一個前置任務和一個下游任務。

• 下游任務可以是任何類似分類或檢測任務的任務，但是沒有足夠的帶注釋的數據樣本。

• Pre-text task是為學習視覺表象而解決的自監督學習任務，其目的是利用所學習的表象，或下游任務在過程中獲得的模型權值。

發展Pre-text任務

• 針對計算機視覺問題的文本前任務可以使用圖像、視頻或視頻和聲音來開發。

• 在每個pre-text任務中，都有部分可見和部分隱藏的數據，而任務則是預測隱藏的數據或隱藏數據的某些屬性。

下載鏈接： 鏈接: //pan.baidu.com/s/1gNK4DzqtAMXyrD1fBFGa-w 提取碼: ek7i

本課程涉及深度學習和表示學習的最新技術，重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網，并應用于計算機視覺、自然語言理解和語音識別。

第五講：

第六講：

第七講：

【導讀】在最新AAAI2020的邀請嘉賓報告上，Facebook人工智能總監、圖靈獎得主Yann Lecun給了自監督學習的報告《Self-Supervised Learning 》，44頁ppt，介紹了深度學習面臨的挑戰，自監督學習的光明前景，基于能量學習的因變量模型，介紹最新自監督學習的進展與問題，是非常值得看的報告。

自監督學習 Self-Supervised Learning

計算機感知、語音識別和自然語言處理的最新進展幾乎都是建立在有監督的深度學習的基礎上的，在這種學習中，機器預測需要人類提供的標注。如今，DL系統已經成為搜索引擎和社交網絡內容過濾和檢索、醫學圖像分析、駕駛輔助以及許多科學領域的核心。但是，最好的機器學習方法仍然需要比人類和動物學習多得多的數據或與環境的交互。我們如何讓機器像動物和人類一樣，通過獨立于任務的觀察來學習關于世界如何運作的大量背景知識？一種有前途的方法是自監督學習（SSL），即機器從輸入的其他部分預測輸入的一部分。SSL已經在離散領域帶來了巨大的進步，例如語言理解。問題是如何在音頻、圖像和視頻等高維連續域中使用SSL。

本課程涉及深度學習和表示學習的最新技術，重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網，并應用于計算機視覺、自然語言理解和語音識別。

● Course public folder: bit.ly/DLSP20.

● Class material available .

● Piazza Q&A interface available here. Sign-up token: DLSP20.

Yann LeCun（//www.zhuanzhi.ai/topic/20021）

在人工智能研究領域，Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公認為深度學習三巨頭，一起獲得2018年圖靈獎。

Yann LeCun，自稱中文名“楊立昆”，計算機科學家，被譽為“卷積網絡之父”，為卷積神經網絡（CNN，Convolutional Neural Networks）和圖像識別領域做出了重要貢獻，以手寫字體識別、圖像壓縮和人工智能硬件等主題發表過 190 多份論文，研發了很多關于深度學習的項目，并且擁有14項相關的美國專利。他同Léon Bottou和Patrick Haffner等人一起創建了DjVu圖像壓縮技術，同Léon Bottou一起開發了一種開源的Lush語言，比Matlab功能還要強大，并且也是一位Lisp高手。（Backpropagation，簡稱BP）反向傳播這種現階段常用來訓練人工神經網絡的算法，就是 LeCun 和其老師“神經網絡之父”Geoffrey Hinton 等科學家于 20 世紀 80 年代中期提出的，而后 LeCun 在貝爾實驗室將 BP 應用于卷積神經網絡中，并將其實用化，推廣到各種圖像相關任務中。

報告主題： From System 1 Deep Learning to System 2 Deep Learning

報告簡介： 早期，深度學習的進展主要集中在對靜態數據集的學習上，主要用于各類感知任務，這些任務大都依靠人類的直覺，可以在無意識的情況下完成，可稱為第一代系統需求。然而，最近幾年，隨著研究方向的轉變和一些新工具的出現諸如soft-attention和深度強化學習領域的進展，它們為深度學習架構和訓練框架的進一步發展，開啟了新的大門，這種深度架構和訓練框架有助于解決第二代系統需求（這種系統任務需要人類有意識的去完成），如在自然語言處理和其他應用當中的推理、規劃、因果關系捕獲和系統歸納等。從第一代系統的深度學習，擴展到第二代系統的任務之中，對于完成之前挖掘高層次抽象特征的目標是非常重要的，因為我們認為第二代系統需求，將會對表征學習提出更高的要求，以發掘出某種人類可以用語言進行巧妙處理的高級內容。我們認為，為了達到這個目標，soft-attention機制是關鍵因素，它每次都關注其中某幾個概念并進行計算，因為意識先驗及其相關的假設中，許多高層次的依賴關系可以被一個稀疏因子圖近似地捕捉到。最后，報告介紹了元學習，這種先驗意識和代理視角下的表征學習，會更加有助于以新穎的方式，支持強大的合成泛化形式。

嘉賓介紹： Yoshua Bengio是蒙特利爾大學計算機科學與運籌學系的教授，Mila和IVADO的科學總監和創始人，2018年圖靈獎獲得者，加拿大統計學習算法研究主席以及加拿大AI CIFAR主席。 他開創了深度學習的先河，并在2018年每天獲得全球所有計算機科學家中最多的引用。 他是加拿大勛章的官員，加拿大皇家學會的成員，并于2017年被授予基拉姆獎，瑪麗·維克多獎和年度無線電加拿大科學家，并且是NeurIPS顧問的成員, ICLR會議的董事會和聯合創始人，以及CIFAR“機器和大腦學習”計劃的程序總監。 他的目標是幫助發現通過學習產生智力的原理，并促進AI的發展以造福所有人。