【導讀】DeepMind開設了一系列深度學習課程。本次課講述了深度學習自然語言處理。
這個報告由DeepMind研究科學家菲利克斯·希爾(Felix Hill)主持,分為三個部分。首先,他討論了用ANN建模語言的動機:語言是高度上下文相關的,典型的非組合性的,依賴于協調許多競爭的信息來源。本節還涵蓋了Elman的發現結構在時間和簡單遞歸網絡,上下文和transformers的重要性。在第二部分,他探索了從Word2Vec到BERT的語言的無監督和表征學習。最后,Felix討論了情景語言理解,基礎和具體化語言學習。。
深度學習自然語言處理
【導讀】DeepMind開設了一系列深度學習課程。本次課講述了深度學習計算機視覺。
繼上一講之后,DeepMind研究科學家Viorica Patraucean介紹了圖像分類之外的經典計算機視覺任務(目標檢測、語義分割、光流估計),并描述了每種任務的最新模型以及標準基準。她討論了視頻處理任務的類似模型,如動作識別、跟蹤和相關挑戰。她特別提到了最近提高視頻處理效率的工作,包括使用強化學習的元素。接下來,她介紹了單模態和多模態(vision+audio, visio+language)自監督學習的各種設置,在這些設置中,大規模學習是有益的。最后,Viorica討論了視覺中的開放問題,以及計算機視覺研究在構建智能代理這一更廣泛目標中的作用。
過去10年,卷積神經網絡徹底改變了計算機視覺。在這堂課中,DeepMind研究科學家Sander Dieleman通過幾個案例研究,從90年代早期到目前的技術狀態,對卷積網絡架構進行了更深入的研究。他還回顧了一些目前常用的構建模塊,討論了訓練深度模型的挑戰,以及尋找有效架構的策略,重點關注圖像識別。
在過去幾年里,注意力和記憶已經成為深度學習的兩個重要的新組成部分。本講座由DeepMind研究科學家Alex Graves講授現在廣泛使用的注意力機制,包括任何深度網絡中的內隱注意力,以及離散和可區分的變體的顯性注意力。然后討論了具有外部記憶的網絡,并解釋了注意力是如何為他們提供選擇性回憶的。它簡要地回顧了Transformer,一種特別成功的注意力網絡類型,最后看可變計算時間,這可以被視為一種形式的“注意力集中”。
地址:
Alex Graves在愛丁堡大學(University of Edinburgh)完成了理論物理學的理學學士學位,在劍橋大學(University of Cambridge)完成了數學的第三部分,在IDSIA與尤爾根·施米德胡貝爾(Jurgen Schmidhuber)一起完成了人工智能博士學位,之后在慕尼黑工業大學(technology University of Munich)和杰夫·辛頓(Geoff Hinton)一起完成了博士后學位。他現在是DeepMind的一名研究科學家。他的貢獻包括用于序列標簽的連接主義時態分類算法,隨機梯度變分推理,神經圖靈機/可微分神經計算機架構,以及用于強化學習的A2C算法。
關于講座系列:
深度學習講座系列是DeepMind與UCL人工智能中心之間的合作。在過去的十年中,深度學習已發展成為領先的人工智能范例,使我們能夠以前所未有的準確性和規模從原始數據中學習復雜的功能。深度學習已應用于對象識別,語音識別,語音合成,預測,科學計算,控制等問題。由此產生的應用程序觸及我們在醫療保健和醫學研究,人機交互,通信,運輸,保護,制造以及人類努力的許多其他領域中的所有生活。認識到這一巨大影響,深度學習的先驅獲得了2019年圖靈獎,這是計算機領域的最高榮譽。
在本系列講座中,來自領先的AI研究實驗室DeepMind的研究科學家針對深度學習中的一系列令人興奮的主題進行了12次講座,內容涵蓋了通過圍繞記憶,注意力和生成建模的先進思想來訓練神經網絡的基礎知識,以及重要的 負責任的創新主題。
深度學習注意力與記憶機制
【導讀】慕尼黑大學開設的《高級深度學習》技術課程,重點介紹計算機視覺的前沿深度學習技術。最新一期介紹了《生成式對抗網絡》進展,講述了GAN的知識體系,值得關注。
【導讀】這一份最新216頁的ppt概述《深度學習自然語言處理》,包括神經網絡基礎,詞向量表示,序列句子表示,分類標注、生成句子,預訓練。
在過去的幾年中,自然語言處理領域發生了許多巨大的變化。在這篇介紹性的演講中,我們將簡要討論自然語言處理中最大的挑戰是什么,然后深入探討NLP中最重要的深度學習里程碑。我們將包括詞嵌入,語言建模和機器翻譯的遞歸神經網絡,以及最近興起的基于Transformer的模型。
Ji?i Materna:他是一個機器學習專家。在完成博士學位后,他在Seznam擔任研究主管。現在作為一個自由職業者提供機器學習解決方案和咨詢。他是機器學習學院的創始人和講師,也是布拉格國際機器學習會議的組織者。
自然語言處理(NLP)幫助智能機器更好地理解人類語言,實現基于語言的人機交流。計算能力的最新發展和大量語言數據的出現,增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域的應用取得了顯著的進步,數據驅動策略的應用已經非常普遍。本調查對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用,并描述了深度學習方法和模型如何推進這些領域。我們進一步分析和比較不同的方法和最先進的模型。
DeepMind 與 UCL 合作推出了一門深度學習與強化學習進階課程,以在線視頻形式呈現。課件包括18個課程的16個PPT共開放,每節課都長達 1 小時 40 分鐘,內容從深度學習框架 TensoFlow 的介紹到構建游戲智能體,可謂全面。
該課程最初在倫敦大學學院(UCL)進行,為方便在線觀看進行了錄像。多位 DeepMind 的研究人員、UCL 教師參與了課程的設計。
課程由兩部分組成,一是包含深度神經網絡的機器學習,二是利用強化學習進行預測和控制,兩個部分相互穿插。在探討深度學習的過程中,這兩條線交匯在一起,其中的深度神經網絡被訓練為強化學習背景下的函數逼近器。
課程中的深度學習部分首先介紹了神經網絡及使用 TensorFlow 的監督學習,接下來探討了卷積神經網絡、循環神經網絡、端到端及基于能量的學習、優化方法、無監督學習、注意力及記憶。涉及的應用領域包括目標識別和自然語言處理。
視頻課程地址://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs
PPT下載鏈接: 提取碼: 8s86