元學習可以讓機器學習新的算法。這是一個新興且快速發展的機器學習研究領域,對所有人工智能研究都有影響。最近的成功案例包括自動模型發現、少槍學習、多任務學習、元強化學習,以及教機器閱讀、學習和推理。正如人類不會從頭開始學習新任務,而是利用之前所學的知識一樣,元學習是高效和穩健學習的關鍵。本教程將介紹該領域及其應用的重要數學基礎,包括這個領域中當前技術水平的關鍵方法,該領域對眾多DSAA參與者來說越來越重要。
//metalearningacademy.github.io/tutorial/
人類可以從很少的例子中非常有效地學習,因為我們幾乎不會從頭開始學習新的任務,而是利用我們以前學過的所有東西。元學習在許多不同的方面模仿了這種方法。本教程涵蓋了元學習領域中當前技術狀態下的關鍵方法。
盡管深度學習在圖像分類、語音識別和游戲等有監督和強化學習問題上取得了顯著的成功,但這些模型在很大程度上是專門用于訓練它們的單一任務的。本課程將涵蓋需要解決多個任務的環境,并研究如何利用多個任務產生的結構來更有效地學習。
這包括:
以目標為條件的強化學習技術,它利用所提供的目標空間的結構來快速地學習多個任務; 元學習方法旨在學習可以快速學習新任務的高效學習算法; 課程和終身學習,其中問題需要學習一系列任務,并利用它們的共享結構來實現知識轉移。
這是一門研究生水平的課程。在課程結束時,學生將能夠理解和實施最先進的多任務學習和元學習算法,并準備對這些主題進行研究。
課程鏈接:
本教程將是關于無監督學習和強化學習的交叉。隨著自然語言處理中基于語言模型的預訓練和計算機視覺中的對比學習的出現,無監督學習(UL)在過去幾年中真正得到了發展。在這些領域中,無監督預訓練的一些主要優勢是在下游有監督學習任務中出現的數據效率。在如何將這些技術應用于強化學習和機器人方面,社區中有很多人感興趣。考慮到問題的連續決策性質,RL和機器人技術比被動地從互聯網上的圖像和文本中學習面臨更大的挑戰,它可能不會那么簡單。本教程將涵蓋如何在強化學習中應用和使用無監督學習的基本模塊,希望人們可以帶回最新的最先進的技術和實踐的知識,以及在這個具有挑戰性和有趣的交叉領域的廣泛的未來可能性和研究方向。
社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法,促進下游任務的完成,具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據,為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由于其強大的表示學習能力,GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來,它已成為一個熱門的研究課題,越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題,包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基于GNNs的應用程序。
目錄內容:
元學習可以讓機器學習新的算法。這是一個新興且快速發展的機器學習研究領域,對所有人工智能研究都有影響。最近的成功案例包括自動模型發現、少槍學習、多任務學習、元強化學習,以及教機器閱讀、學習和推理。正如人類不會從頭開始學習新任務,而是利用之前所學的知識一樣,元學習是高效和穩健學習的關鍵。本教程將介紹該領域及其應用的重要數學基礎,包括這個領域中當前技術水平的關鍵方法,該領域對眾多AAAI參與者來說越來越重要。
//sites.google.com/mit.edu/aaai2021metalearningtutorial
內容目錄:
元強化學習算法可以利用以前的經驗來學習如何學習,從而使機器人更快地獲得新技能。然而,目前關于元強化學習的研究大多集中在非常狹窄的任務分布上。例如,一個常用的元強化學習基準將模擬機器人的不同跑步速度作為不同的任務。當策略在如此狹窄的任務分布上進行元訓練時,它們不可能推廣到更快地獲得全新的任務。因此,如果這些方法的目標是能夠更快地獲得全新的行為,我們就必須在任務分布上評估它們,任務分布必須足夠廣泛,以使新行為普遍化。
異常檢測已經得到了廣泛的研究和應用。建立一個有效的異常檢測系統需要研究者和開發者從嘈雜的數據中學習復雜的結構,識別動態異常模式,用有限的標簽檢測異常。與經典方法相比,近年來深度學習技術的進步極大地提高了異常檢測的性能,并將異常檢測擴展到廣泛的應用領域。本教程將幫助讀者全面理解各種應用領域中基于深度學習的異常檢測技術。首先,我們概述了異常檢測問題,介紹了在深度模型時代之前采用的方法,并列出了它們所面臨的挑戰。然后我們調查了最先進的深度學習模型,范圍從構建塊神經網絡結構,如MLP, CNN,和LSTM,到更復雜的結構,如自動編碼器,生成模型(VAE, GAN,基于流的模型),到深度單類檢測模型,等等。此外,我們舉例說明了遷移學習和強化學習等技術如何在異常檢測問題中改善標簽稀疏性問題,以及在實際中如何收集和充分利用用戶標簽。其次,我們討論來自LinkedIn內外的真實世界用例。本教程最后討論了未來的趨勢。
ACM SIGKDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,國際數據挖掘與知識發現大會,簡稱 KDD)是數據挖掘領域國際頂級學術會議,今年的KDD大會將于8月23日至27日在線上召開。賓夕法尼亞州立大學ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了關于小數據學習《Learning with Small Data》教程,116頁ppt涵蓋遷移學習與元學習等最新課題,是非常好的學習材料!
摘要:
在大數據時代,數據驅動的方法在圖像識別、交通信號控制、假新聞檢測等各種應用中越來越受歡迎。這些數據驅動方法的優越性能依賴于大規模的標記訓練數據,而實際應用中可能無法獲得這些數據,即“小(標記)數據”挑戰。例如,預測一個城市的突發事件,發現新出現的假新聞,以及預測罕見疾病的病情發展。在大多數情況下,人們最關心的是這些小數據案例,因此提高帶有小標記數據的機器學習算法的學習效率一直是一個熱門的研究課題。在本教程中,我們將回顧使用小數據進行學習的最新的機器學習技術。這些技術被組織從兩個方面: (1) 提供一個全面的回顧最近的研究關于知識的泛化,遷移,和共享,其中遷移學習,多任務學習,元學習被討論。特別是元學習,提高了模型的泛化能力,近年來已被證明是一種有效的方法; (2) 引入前沿技術,著重于將領域知識融入機器學習模型中。與基于模型的知識遷移技術不同,在現實應用中,領域知識(如物理定律)為我們提供了一個處理小數據挑戰的新角度。具體地說,領域知識可以用來優化學習策略和/或指導模型設計。在數據挖掘領域,我們認為小數據學習是一個具有重要社會影響的熱門話題,將吸引學術界和產業界的研究者和從業者。
目錄:
地址:
來自DeepMind研究人員Feryal Behbahani, Matt Hoffman 和 Bobak Shahriari講解的強化學習教程。
一份來自FarizDarari的簡明教程
題目
自然語言處理中的遷移學習,41 頁PPT
關鍵字
自然語言處理,遷移學習
簡介
本教程,將系統地介紹在自然語言處理中,遷移學習的應用。
內容