【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 于美國紐約舉辦。遷移學習近年來受到了非常大的關注，今年AAAI也有很多相關論文，這場Tutorial全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，還討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示，是一個非常全面的遷移表示學習總結，講者最后也介紹了其未來發展趨勢，值得研究者關注和收藏。
遷移表示學習最新進展
Recent Advances in Transferable Representation Learning
Tutorial 目標
本教程針對有興趣將深度學習技術應用于跨域決策任務的AI研究人員和從業人員。這些任務包括涉及多語言和跨語言自然語言處理，特定領域知識以及不同數據模式的任務。本教程將為聽眾提供以下方面的整體觀點：（i）針對未標記的文本，多關系和多媒體數據的多種表示學習方法；（ii）在有限的監督下跨多種表示對齊和遷移知識的技術；以及（iii）在自然語言理解，知識庫和計算生物學中使用這些技術的大量AI應用程序。我們將通過概述該領域未來的研究方向來結束本教程。觀眾不需要有特定的背景知識。
概述
許多人工智能任務需要跨域決策。例如，許多NLP任務涉及跨多種語言的預測，其中可以將不同的語言視為不同的域;在人工智能輔助的生物醫學研究中，藥物副作用的預測常常與蛋白質和有機體相互作用的建模并行進行。為了支持機器學習模型來解決這種跨域任務，必須提取不同域中數據組件的特征和關系，并在統一的表示方案中捕獲它們之間的關聯。為了滿足這一需求，表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣，跨域的知識遷移可以通過向量搭配或變換來實現。這種可遷移的表現形式在涉及跨域決策的一系列人工智能應用中取得了成功。然而，這一領域的前沿研究面臨兩大挑戰。一是在學習資源很少的情況下如何有效地從特定領域中提取特性。另一個是在最少的監督下精確地對齊和傳遞知識，因為連接不同域的對齊信息常常是不充分和有噪聲的。
在本教程中，我們將全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，我們還將討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示。我們還將比較域內嵌入算法和跨域對齊算法的改進和聯合學習過程。此外，我們將討論如何利用獲得的可遷移表征來解決低資源和無標簽的學習任務。參會者將了解本主題的最新趨勢和挑戰，了解代表性工具和學習資源以獲取即用型模型，以及相關的模型和技術如何有益于現實世界AI應用程序。
講者介紹
Muhao Chen目前是美國賓夕法尼亞大學研究生院博士后。他于2019年在加州大學洛杉磯分校獲得了計算機科學博士學位。Muhao從事過機器學習和NLP方面的各種課題。他最近的研究也將相關技術應用于計算生物學。更多信息請訪問//muhaochen.github.io。
Kai-Wei Chang是加州大學洛杉磯分校計算機科學系的助理教授。他的研究興趣包括為大型復雜數據設計魯棒的機器學習方法，以及為社會公益應用程序構建語言處理模型。其他信息請訪問
Dan Roth是賓夕法尼亞大學CIS的Eduardo D. Glandt Distinguished Professor，也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然語言理解建模、機器學習和推理方面的重大概念和理論進展而被認可。更多信息可以參考: /.
付費5元查看完整內容
相關內容
遷移學習（Transfer Learning）是一種機器學習方法，是把一個領域（即源領域）的知識，遷移到另外一個領域（即目標領域），使得目標領域能夠取得更好的學習效果。遷移學習（TL）是機器學習（ML）中的一個研究問題，著重于存儲在解決一個問題時獲得的知識并將其應用于另一個但相關的問題。例如，在學習識別汽車時獲得的知識可以在嘗試識別卡車時應用。盡管這兩個領域之間的正式聯系是有限的，但這一領域的研究與心理學文獻關于學習轉移的悠久歷史有關。從實踐的角度來看，為學習新任務而重用或轉移先前學習的任務中的信息可能會顯著提高強化學習代理的樣本效率。
【導讀】CVPR2020workshop的視覺與語言研究，邀請了業界學者講述了視覺語言之間的研究進展。來自微軟和facebook的Licheng Yu, Yen-Chun Chen, Linjie Li講述了自監督學習在視覺語言建模中的技術進展，共115頁ppt，不容錯過！
//rohit497.github.io/Recent-Advances-in-Vision-and-Language-Research/
視覺和語言(V+L)研究是計算機視覺和自然語言處理之間聯系的一個有趣的領域，并迅速吸引了這兩個領域的關注。各種各樣的V+L任務，以大規模的人類注釋數據集為基準，已經推動了聯合多模態表示學習的巨大進步。本教程將重點介紹該領域中最近流行的一些任務，如視覺描述、視覺基準、視覺問題回答和推理、文本到圖像的生成以及通用圖像-文本表示的自監督學習。我們將涵蓋這些領域的最新方法，并討論集中體現多模態理解、推理和生成的核心挑戰和機遇的關鍵原則。
付費5元查看完整內容
【導讀】在最新AAAI2020的邀請嘉賓報告上，Facebook人工智能總監、圖靈獎得主Yann Lecun給了自監督學習的報告《Self-Supervised Learning 》，44頁ppt，介紹了深度學習面臨的挑戰，自監督學習的光明前景，基于能量學習的因變量模型，介紹最新自監督學習的進展與問題，是非常值得看的報告。
自監督學習 Self-Supervised Learning
計算機感知、語音識別和自然語言處理的最新進展幾乎都是建立在有監督的深度學習的基礎上的，在這種學習中，機器預測需要人類提供的標注。如今，DL系統已經成為搜索引擎和社交網絡內容過濾和檢索、醫學圖像分析、駕駛輔助以及許多科學領域的核心。但是，最好的機器學習方法仍然需要比人類和動物學習多得多的數據或與環境的交互。我們如何讓機器像動物和人類一樣，通過獨立于任務的觀察來學習關于世界如何運作的大量背景知識？一種有前途的方法是自監督學習（SSL），即機器從輸入的其他部分預測輸入的一部分。SSL已經在離散領域帶來了巨大的進步，例如語言理解。問題是如何在音頻、圖像和視頻等高維連續域中使用SSL。
付費5元查看完整內容
簡介： 許多人工智能任務需要跨域決策。例如，許多NLP任務涉及跨多種語言的預測，其中不同語言可以被視為不同的領域；在人工智能輔助的生物醫學研究中，藥物副作用的預測通常與蛋白質和生物體相互作用的建模并行。為了支持機器學習模型來解決這類跨域任務，需要提取不同域中數據組件的特征和關系，并在統一的表示方案中捕獲它們之間的關聯。針對這一需求，表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣，就可以通過向量配置或變換來實現跨領域的知識轉移。這種可轉移的表示在涉及跨域決策的一系列人工智能應用中取得了成功。然而，這一領域的前沿研究面臨著兩大挑戰。一是在學習資源很少的情況下，有效地從特定領域提取特征。另一種方法是在最少的監督下精確地對齊和傳輸知識，因為連接在不同域之間的對齊信息常常是不足的和有噪聲的。在本教程中，我們將全面回顧可轉移表示學習方法的最新發展，重點是針對文本、多關系和多媒體數據的方法。除了介紹域內嵌入學習方法外，我們還將討論各種半監督、弱監督、多視圖和自監督學習技術，以連接多個特定域的嵌入表示。我們還將比較域內嵌入學習和跨域對齊學習的改進和聯合學習過程。此外，我們將討論如何利用獲得的可轉移表示來解決低資源和無標簽的學習任務。參與者將了解本主題的最新趨勢和新挑戰，獲得現成模型的代表性工具和學習資源，以及相關模型和技術如何有利于現實世界的人工智能應用。
主講人簡介： Muhao Chen，博士后。他于2019年獲得加州大學洛杉磯分校計算機科學博士學位。他的研究重點是結構化和非結構化數據的數據驅動機器學習方法，并將其應用擴展到自然語言理解、知識庫構建、計算生物學和醫學信息學。特別是，他感興趣的是開發具有概括性且需要最少監督的知識感知學習系統。他的工作在主要會議和期刊上發表了30多篇文章。他的論文研究獲得了加州大學洛杉磯分校的論文獎學金。個人主頁：//muhaochen.github.io/等
付費5元查看完整內容
簡介： 計算機視覺研究大多都集中在不重疊的目標對象上，然而，目標對象卻不足以描述豐富的視覺知識，于是，研究者就通過語言特征來獲取更多的信息。通過圖片與文字敘述相結合的多模態信息融合來獲取一個場景圖譜。
場景要旨的吸引人的想法的困難在于，關于“要旨”的內容尚無共識。 場景中某些對象應至少是要點的一部分。必須將對象之間的某些關系編碼為要點。 即使將所有物體都相同，所要表達的含義卻不同。
圖表示學習無處不在：
對具有獨立對象和關系的特征進行學習，將獲得一個場景圖譜：
付費5元查看完整內容
題目： Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends
簡介： 傳統上，語音處理研究將設計人工工程聲學特征（特征工程）的任務與設計有效的機器學習（ML）模型以做出預測和分類決策的任務分離為一個獨立的問題。這種方法有兩個主要缺點：首先，手工進行的特征工程很麻煩并且需要人類知識。其次，設計的功能可能不是最適合當前目標的。這引發了語音社區中采用表示表達學習技術的最新趨勢，該趨勢可以自動學習輸入信號的中間表示，從而更好地適應手頭的任務，從而提高性能。表示學習的重要性隨著深度學習（DL）的發展而增加，在深度學習中，表示學習更有用，對人類知識的依賴性更低，這有助于分類，預測等任務。本文的主要貢獻在于：通過將跨三個不同研究領域（包括自動語音識別（ASR），說話者識別（SR）和說話者情緒識別（SER））的分散研究匯總在一起，對語音表示學習的不同技術進行了最新和全面的調查。最近針對ASR，SR和SER進行了語音復習，但是，這些復習都沒有集中于從語音中學習表示法，這是我們調查旨在彌補的差距。
付費5元查看完整內容
【導讀】越來越明顯的是，廣泛采用的機器學習模型可能導致歧視性結果，并可能加劇訓練數據之間的差異。隨著越來越多的機器學習用于現實世界中的決策任務，必須解決機器學習中的偏見和公平問題。我們的動機是，在各種新興方法中，表示學習為評估和潛在地減輕不公平現象提供了獨特的工具集。本教程介紹了現有的研究，并提出了在表示學習和公平的交集中存在的開放性問題。我們將研究學習公平任務不可知表示的可能性（不可能性），公平性和泛化性能之間的聯系，以及利用來自表示形式學習的工具來實現算法上的個人和群體公平性的機會。本教程旨在為廣大的機器學習實踐者提供幫助，并且必要的背景知識是預測性機器學習的工作知識。
作者介紹
Sanmi Koyejo，伊利諾伊大學香檳分校計算機科學系助理教授。
研究綜述: 我們的研究興趣是開發自適應魯棒機器學習的原理和實踐。最近的一些亮點包括：1）可伸縮的、分布式的和容錯的機器學習；2）度量引出;通過人機交互選擇更有效的機器學習指標。我們的應用研究主要集中在認知神經成像和生物醫學成像方面。最近的一些重點包括①生物圖像的生成模型，②時變腦電圖的估計和分析。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191