亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

借助現代的高容量模型，大數據已經推動了機器學習的許多領域的革命，但標準方法——從標簽中進行監督學習，或從獎勵功能中進行強化學習——已經成為瓶頸。即使數據非常豐富，獲得明確指定模型必須做什么的標簽或獎勵也常常是棘手的。收集簡單的類別標簽進行分類對于數百萬計的示例來說是不可能的，結構化輸出(場景解釋、交互、演示)要糟糕得多，尤其是當數據分布是非平穩的時候。

自監督學習是一個很有前途的替代方法，其中開發的代理任務允許模型和代理在沒有明確監督的情況下學習，這有助于對感興趣的任務的下游性能。自監督學習的主要好處之一是提高數據效率:用較少的標記數據或較少的環境步驟(在強化學習/機器人技術中)實現可比較或更好的性能。

自監督學習(self-supervised learning, SSL)領域正在迅速發展，這些方法的性能逐漸接近完全監督方法。

Lecun近年來一直大推自監督學習。在最新ICLR I2020會議上，Facebook人工智能總監、圖靈獎得主Yann Lecun給了自監督學習的報告《The Future is Self-Supervised 》，40頁ppt，介紹了深度學習面臨的挑戰，自監督學習，基于能量學習的模型，介紹最新自監督學習的進展與問題，是非常值得看的報告。

2020 年的 ICLR 會議原計劃于4 月 26 日至 4 月 30 日在埃塞俄比亞首都亞的斯亞貝巴舉行，這本是首次在非洲舉辦的頂級人工智能國際會議，但受到疫情影響，ICLR 2020 被迫取消線下會議改為線上虛擬會議。今年的 ICLR 論文接受情況如下：共計接收 679 片文章，其中：poster-paper 共 523 篇、Spotlight-paper（焦點論文）共 107 篇、演講 Talk 共 48 篇，另有被拒論文（reject-paper）共計 1907 篇，接受率為 26.48%。

首先解釋他的理解什么是深度學習，并簡單介紹了下監督學習及強化學習。LeCun 表示利用監督學習方法確實可以做一些有效的工作，不過會要求大量標記后的樣本及數據，當有足夠的數據時，監督式學習表現出的效果會非常好。而另一方面的強化學習，雖然在游戲中和模擬中的效果很好，如果要應用至現實生活中還需要大量的試驗否則后果會非常嚴重。并提出了他所認為的目前深度學習三大挑戰：

當標簽數據充足時，針對于感知的監督學習才會有不錯的效果

當實驗成本低廉的時候（如在模擬實驗中）強化學習才可以有較好的效果

以及在當下整個社區都在推進的三個問題：嘗試使用更少的標記樣本或者更少的實驗去訓練，嘗試學會推理并超越簡單的感知計算，嘗試規劃復雜的動作序列。

而對于 LeCun 最傾向的自監督學習，他則表示自監督學習相當于在填補空白，就目前來說自監督學習在自然語言處理領域表現的非常不錯，而在圖像識別及圖像理解方面表現的效果卻是一般。

最后，LeCun 表示自監督學習（SSL）才是未來發展的趨勢，它能在各種任務中學習到分層特征，以及現實生活中可使用的海量數據作為資源。但并不是盡善盡美，同時也面臨處理預測中不確定性的挑戰，比如之前的案例基于能量的模型。 沒有通用人工智能 AGI

【導讀】Yann Lecun在紐約大學開設的2020春季《深度學習》課程，干貨滿滿。最新的一期是來自Facebook AI的研究科學家Ishan Misra講述了計算機視覺中的自監督學習最新進展，108頁ppt，很不錯報告。

在過去的十年中，許多不同的計算機視覺問題的主要成功方法之一是通過對ImageNet分類進行監督學習來學習視覺表示。并且，使用這些學習的表示，或學習的模型權值作為其他計算機視覺任務的初始化，在這些任務中可能沒有大量的標記數據。

但是，為ImageNet大小的數據集獲取注釋是非常耗時和昂貴的。例如:ImageNet標記1400萬張圖片需要大約22年的人類時間。

因此，社區開始尋找替代的標記過程，如社交媒體圖像的hashtags、GPS定位或自我監督方法，其中標簽是數據樣本本身的屬性。

什么是自監督學習？

定義自我監督學習的兩種方式：

• 基礎監督學習的定義，即網絡遵循監督學習，標簽以半自動化的方式獲得，不需要人工輸入。

• 預測問題，其中一部分數據是隱藏的，其余部分是可見的。因此，其目的要么是預測隱藏數據，要么是預測隱藏數據的某些性質。

自監督學習與監督學習和非監督學習的區別:

• 監督學習任務有預先定義的(通常是人為提供的)標簽，

• 無監督學習只有數據樣本，沒有任何監督、標記或正確的輸出。

• 自監督學習從給定數據樣本的共現形式或數據樣本本身的共現部分派生出其標簽。

自然語言處理中的自監督學習

Word2Vec

• 給定一個輸入句子，該任務涉及從該句子中預測一個缺失的單詞，為了構建文本前的任務，該任務特意省略了該單詞。

• 因此，這組標簽變成了詞匯表中所有可能的單詞，而正確的標簽是句子中省略的單詞。

• 因此，可以使用常規的基于梯度的方法對網絡進行訓練，以學習單詞級表示。

為什么自監督學習

自監督學習通過觀察數據的不同部分如何交互來實現數據的學習表示。從而減少了對大量帶注釋數據的需求。此外，可以利用可能與單個數據樣本相關聯的多個模式。

計算機視覺中的自我監督學習

通常，使用自監督學習的計算機視覺管道涉及執行兩個任務，一個前置任務和一個下游任務。

• 下游任務可以是任何類似分類或檢測任務的任務，但是沒有足夠的帶注釋的數據樣本。

• Pre-text task是為學習視覺表象而解決的自監督學習任務，其目的是利用所學習的表象，或下游任務在過程中獲得的模型權值。

發展Pre-text任務

• 針對計算機視覺問題的文本前任務可以使用圖像、視頻或視頻和聲音來開發。

• 在每個pre-text任務中，都有部分可見和部分隱藏的數據，而任務則是預測隱藏的數據或隱藏數據的某些屬性。

下載鏈接： 鏈接: //pan.baidu.com/s/1gNK4DzqtAMXyrD1fBFGa-w 提取碼: ek7i

本課程涉及深度學習和表示學習的最新技術，重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網，并應用于計算機視覺、自然語言理解和語音識別。

第五講：

第六講：

第七講：

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 于美國紐約舉辦。遷移學習近年來受到了非常大的關注，今年AAAI也有很多相關論文，這場Tutorial全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，還討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示，是一個非常全面的遷移表示學習總結，講者最后也介紹了其未來發展趨勢，值得研究者關注和收藏。

遷移表示學習最新進展

Recent Advances in Transferable Representation Learning

Tutorial 目標

本教程針對有興趣將深度學習技術應用于跨域決策任務的AI研究人員和從業人員。這些任務包括涉及多語言和跨語言自然語言處理，特定領域知識以及不同數據模式的任務。本教程將為聽眾提供以下方面的整體觀點：（i）針對未標記的文本，多關系和多媒體數據的多種表示學習方法；（ii）在有限的監督下跨多種表示對齊和遷移知識的技術；以及（iii）在自然語言理解，知識庫和計算生物學中使用這些技術的大量AI應用程序。我們將通過概述該領域未來的研究方向來結束本教程。觀眾不需要有特定的背景知識。

概述

許多人工智能任務需要跨域決策。例如，許多NLP任務涉及跨多種語言的預測，其中可以將不同的語言視為不同的域;在人工智能輔助的生物醫學研究中，藥物副作用的預測常常與蛋白質和有機體相互作用的建模并行進行。為了支持機器學習模型來解決這種跨域任務，必須提取不同域中數據組件的特征和關系，并在統一的表示方案中捕獲它們之間的關聯。為了滿足這一需求，表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣，跨域的知識遷移可以通過向量搭配或變換來實現。這種可遷移的表現形式在涉及跨域決策的一系列人工智能應用中取得了成功。然而，這一領域的前沿研究面臨兩大挑戰。一是在學習資源很少的情況下如何有效地從特定領域中提取特性。另一個是在最少的監督下精確地對齊和傳遞知識，因為連接不同域的對齊信息常常是不充分和有噪聲的。

在本教程中，我們將全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，我們還將討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示。我們還將比較域內嵌入算法和跨域對齊算法的改進和聯合學習過程。此外，我們將討論如何利用獲得的可遷移表征來解決低資源和無標簽的學習任務。參會者將了解本主題的最新趨勢和挑戰，了解代表性工具和學習資源以獲取即用型模型，以及相關的模型和技術如何有益于現實世界AI應用程序。

講者介紹

Muhao Chen目前是美國賓夕法尼亞大學研究生院博士后。他于2019年在加州大學洛杉磯分校獲得了計算機科學博士學位。Muhao從事過機器學習和NLP方面的各種課題。他最近的研究也將相關技術應用于計算生物學。更多信息請訪問//muhaochen.github.io。

Kai-Wei Chang是加州大學洛杉磯分校計算機科學系的助理教授。他的研究興趣包括為大型復雜數據設計魯棒的機器學習方法，以及為社會公益應用程序構建語言處理模型。其他信息請訪問

Dan Roth是賓夕法尼亞大學CIS的Eduardo D. Glandt Distinguished Professor，也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然語言理解建模、機器學習和推理方面的重大概念和理論進展而被認可。更多信息可以參考: /.

報告主題： Energy-Based Self-Supervised Learning

報告摘要：

在監督或多任務學習中，將不會獲得像人類一樣可以泛化的智能。監督學習是有效的，但需要許多帶標簽的樣本，通過舉例而不是編程來訓練機器，當輸出錯誤時，調整機器的參數。在整個領域中可能需要在基于能量的學習方法上做更多的工作，能量函數在AI領域已經存在數十年了，無需創建大量帶有標簽的數據集，也不用花費數千個小時訓練模型，而只是獲取一些豐富的原始數據，讓機器變得足夠大，由此可以訓練機器預測，預測與現實之間的兼容性就是所謂的能級。能量越少越好，更兼容、更準確，因此神經網絡需要努力達到理想的低能量狀態。

嘉賓介紹：

Yann Lecun是一位法裔美國計算機科學家，主要研究領域為機器學習、計算機視覺、移動機器人和計算神經科學。他是紐約大學Courant數學科學研究所的銀牌教授，也是Facebook的副總裁兼首席人工智能科學家。他以研究卷積神經網絡(CNN)的光學字符識別和計算機視覺而聞名，是卷積網絡的創始人之一。他也是DjVu圖像壓縮技術的主要創建者之一(與Leon Bottou和Patrick Haffner一起)。他與Leon Bottou共同開發了Lush編程語言。他是2018年ACM A.M.的聯合獲獎者因為他在深度學習方面的工作獲得了圖靈獎。