智能需要記憶。沒有記憶，人類就無法完成各種重要的任務，比如讀小說、玩游戲或解決數學問題。機器學習的最終目標是開發出像人類一樣自動學習和行動的智能系統，因此機器的記憶構建是必然的。人工神經網絡通過權值將計算單元連接起來，對大腦中的神經元和突觸進行建模，這是一種典型的類似于記憶結構的機器學習算法。他們的后代擁有更復雜的建模技術(即深度學習)，已經成功地應用于許多實際問題，并證明了記憶在機器系統學習過程中的重要性。近年來，深度學習中記憶建模的研究主要圍繞外部記憶結構展開，受到計算圖靈模型和生物神經元系統的啟發。注意力機制的產生是為了支持外部記憶的獲取和保留操作。盡管缺乏理論基礎，這些方法已經顯示出幫助機器系統達到更高智能水平的希望。本文的目的是提高對深度學習中記憶和注意力的認識。它的貢獻包括: (i) 呈現記憶分類的集合，(ii)構建支持多個控制和記憶單元的新的記憶增強神經網絡(MANN)， (iii)通過序列生成模型中的記憶引入可變性，(iv)在基于槽的記憶網絡中尋找最佳的寫操作以最大限度地提高記憶能力;(v)通過神經網絡的一種新型外部存儲器——神經存儲程序存儲器來模擬通用圖靈機。
目錄內容： 1 Introduction 2 Taxonomy for Memory in RNNs 3 Memory-augmented Neural Networks 4 Memory Models for Multiple Processes 5 Variational Memory in Generative Models 6 Optimal Writing Memory 7 Neural Stored-Program Memory 8 Conclusions
在這篇論文中，我們介紹了神經網絡的幾種記憶類型，特別是遞歸神經網絡(RNNs)。我們強調記憶作為RNN的外部存儲的概念，其中rnn可以學習讀寫外部記憶，以支持其工作記憶(第2章)。我們回顧了解決訓練RNN困難的進展，如門控和注意機制，特別是基于槽的MANN，這是本文第三章提出的新模型的主要內容。我們的主要貢獻有四方面。首先, 我們MANN作為一個多進程多視點模型來處理復雜的問題,如sequence-to-sequence映射和多視角序列學習(第四章)。我們進一步擴展MANNs作為離散序列的模型生成會話數據可變性和一致性要求(第5章)。我們也解釋到內存中最后，我們介紹了一類新的MANN，它遵循存儲程序存儲原理，可以通過切換控制器的程序來執行不同的功能。
付費5元查看完整內容
相關內容
我們將考慮流行的神經序列處理模型(如RNN和Transformer)與形式化模型(如自動機及其變體)之間的關系。特別地，我們將討論幾種RNN的提取方法，以及通過自動機變體來理解的各種RNN體系結構之間的差異。然后我們將考慮更現代的Transformer。特別是，我們將展示它如何(不!)與現有的正式類相關，并以編程語言的形式提出另一種抽象。
付費5元查看完整內容
目前的機器學習由深度神經網絡驅動，擅長從大量數據和訓練信號中提取預測模式。在過去的七年中，在將這種能力擴展到推理領域方面有了穩步的發展——從現有的知識庫中有意地推導出新的知識的能力。本教程提供了一個有組織的知識體系，涵蓋了圍繞機器學習推理的最新發展，重點是可微分神經網絡架構。我們想要回答的主要問題是，我們是否能學會從數據中進行推理，就像我們學會使用神經網絡進行預測一樣?在本教程中，我們將展示如何通過使用動態神經網絡實現這一點，動態神經網絡的計算圖是由給定的數據和查詢動態組成的。這里的查詢是任意的，例如，在語言形式中。數據和域具有跨越空間和時間的結構，也就是說，數據元素通過關系或隱式或顯式地相互鏈接。涵蓋的主題分為兩部分：理論和應用。理論部分包括推理的雙系統解釋、神經記憶、非結構集和超結構圖的推理以及神經符號整合。應用部分包括機器閱讀理解中的神經推理、視覺問答和組合推理。
第一部分:理論(180分鐘)
本部分進一步分為六個子主題:概念、雙過程理論、神經記憶、對集合的推理、對圖的推理和神經符號的整合。
第1講:神經機器推理的概念(30分鐘)
在這一部分中，我們將回顧學習和推理的關鍵概念，以及這兩種智能是如何相互作用的。特別地，我們將從學習推理的正式框架開始，其中的任務是確定數據是否包含結論[23]。然后，我們展示了如何在這個框架下重新構建問題回答和大多數有監督的機器學習任務。然后，我們將解釋現代神經網絡如何在這個框架中作為學習和推理的基礎機制。其中一個關鍵因素是注意力，這在最近的工作中有所體現。我們還討論了推理如何也可以被視為條件計算的實例，其中計算圖是由查詢與可用數據動態共同決定的。這種方法的一種極端形式是程序合成，即從數據上下文中的查詢自動生成一個謂詞鏈接的程序，程序的執行將提供答案。
**第2講:雙推理系統(30分鐘) **
我們將簡要回顧一個已建立的人類推理框架，即雙過程理論[11]，或者通俗地稱為快與慢思維[22]。近年來，這個話題在人工智能領域非常重要，例如，在諾貝爾獎得主卡尼曼和圖靈獎得主約書亞·本吉奧出席的AAAI 2019小組討論中所討論的。特別是，快速思考過程，也被稱為系統1，通常是并行的、反應的和特定領域的，它相當于目前大多數深度學習模型。另一方面，緩慢的思考過程，也被稱為系統2，是順序的、審慎的和領域不可知的。我們將解釋系統2如何在核心推理形式中發揮作用，包括構成推理、關系推理、時間推理和因果推理。最后，我們將討論系統1和系統2是如何相互作用的。
**第三講:神經記憶(30分鐘) **
在這一部分中，我們將討論推理過程中最重要的一個方面:記憶[12]——一種允許我們記憶、檢索、操縱信息和模擬看不見的場景的心理能力。我們將涵蓋三個不同的概念，這對高階推理至關重要:實體的內存，關系的內存和程序的內存。實體的神經記憶已經被廣泛研究，這屬于記憶增強神經網絡(memory - augmented Neural Networks)的范疇[18,47,49]。很少有人研究，但對高階推理極其重要的是關系記憶，它允許我們顯式地存儲、檢索和操縱在長謂詞鏈接過程[24]中已知的和新形成的關系。我們將描述如何使用張量[28,42,45]或圖[37]來實現關系記憶。在這些模型中，注意力是利用關系建模的常見操作。最后，我們將解釋最近一個被稱為程序存儲器的強大概念是如何對條件計算和自動神經程序合成(推理背后的潛在計算過程)至關重要的。本部分介紹了兩種程序存儲器的方法:模塊化神經網絡[2]和存儲程序存儲器[27]。
第4講: 非結構化集的推理(30分鐘)
最近許多涉及神經推理的工作都可以表述為在非結構集上進行推理。在這些設置中，我們有一組查詢詞，以及知識庫中的一組項目(可以是文本中的單詞，也可以是圖像中提取的視覺特征)。推理的任務是構建一個序列的過程，在這兩個集合中的項目被迭代處理并以組合的方式相互作用。這可能是一個迭代條件作用過程[39]，也可能是構成和注意力的循環模式[17,21]。
第五講: 圖推理(30分鐘)
關系結構已經被證明對推理至關重要[15,50]，這些結構可以方便地用圖[5]表示。這導致了圖推理，當推理由圖上的操作構成或支持時，就會發生圖推理。在這一部分，我們將解釋圖神經網絡如何作為關系推理的基礎主干，無論是在空間還是在時間[6]。我們將涵蓋基本概念，包括節點嵌入、關系網絡[43]和消息傳遞;以及諸如查詢條件圖構造[29]和圖動力學[38]等高級主題。
第6講:混合神經符號推理(30分鐘)
不與符號方法[14]的聯系，神經推理理論是不完整的。這是因為符號方法很容易用于高級邏輯推理，這在許多NLP和數學推理問題中非常重要。此外，符號方法似乎更自然地處理重要問題，如系統泛化，純神經網絡還不是很有效[3,13]。在這個混合神經-符號推理的子主題中，我們將涵蓋最近的工作，包括神經模塊網絡[19,53]和邏輯模型和神經網絡的集成[14]。
參考文獻： [1]Ralph Abboud, Ismail Ilkan Ceylan, and Thomas Lukasiewicz. Learning to reason: Leveraging neural networks for approximate dnf counting. AAAI, 2020. [2]Jacob Andreas, Marcus Rohrbach, Trevor Darrell, and Dan Klein. Neural module networks. In CVPR, pages 39–48, 2016. [3]Dzmitry Bahdanau, Shikhar Murty, Michael Noukhovitch, Thien Huu Nguyen, Harm de Vries, and Aaron Courville. Systematic generalization: what is required and can it be learned? ICLR, 2019. [4]Yunsheng Bai, Derek Xu, Alex Wang, Ken Gu, Xueqing Wu, Agustin Marinovic, Christopher Ro, Yizhou Sun, and Wei Wang. Fast detection of maximum common subgraph via deep q-learning. arXiv preprint arXiv:2002.03129, 2020.
付費5元查看完整內容
隨著以自然為靈感的純粹注意力模型，即transformer的出現，以及它們在自然語言處理(NLP)方面的成功，它們對機器視覺(MV)任務的擴展是不可避免的，而且感覺非常強烈。隨后，視覺變換器(ViTs)的引入給現有的基于深度學習的機器視覺技術帶來了挑戰。然而，純粹的基于注意力的模型/架構，如變換器，需要大量的數據、大量的訓練時間和大量的計算資源。最近的一些工作表明，這兩個不同領域的組合可以證明構建具有這兩個領域的優點的系統。據此，這一現狀的綜述論文是介紹，希望將幫助讀者得到有用的信息，這一有趣的和潛在的研究領域。首先介紹了注意力機制，然后討論了流行的基于注意力的深度架構。隨后，我們討論了基于機器視覺的注意機制與深度學習交叉的主要類別。然后，討論了本文研究范圍內的主要算法、問題和發展趨勢。
付費5元查看完整內容
我們為什么在這里?我們大多數人來到這里的原因很簡單:我們想解決人工智能問題。那么，人工智能和這本書的書名有什么關系呢?人工智能的現代定義之一是對理性代理的研究和設計[RN09]。從這個意義上說，我們將一個系統描述為智能的，當它最大化某些預期的性能概念時。機器學習的子領域處理的是問題和算法的子集，其中代理可以獲得經驗(通常以某種形式的數據)，可以利用這些經驗來改進性能的概念[MRT12]。大多數情況下，性能是由代理人在新的和看不見的情況下如何行動來衡量的，這些情況不構成其訓練經驗的一部分。例如，可以訓練一名代理人將英文翻譯成法文，其訓練經驗包括大量翻譯的聯合國文件。然而，在評估時，它可能會在與它所見過的文件不同的聯合國新文件上進行測試。很自然地，代理在它所看到的訓練經驗和它所評估的新情況下的表現之間存在著差距。代理泛化的能力是通過性能上的差距有多小來衡量的。
希望前面的段落已經解釋了在機器學習的背景下，以及在更大的AI背景下，什么是泛化。那么，標題中還保留著哪些“分布外”詞呢?如前所述，泛化是指減少一個agent在已知訓練情境下的表現與同一agent在未知測試情境下的表現之間的差距。然而，有許多不同類型的未知。統計學習通常處理的一類泛化是分布的:當從訓練示例生成的數據與測試示例生成的數據無法區分時。根據定義，非分布內的泛化問題稱為分布外泛化問題，這是本書的主題。
這項工作的目標很簡單。我們想要回顧，分布外泛化的知識。因此，這項工作的很大一部分將致力于理解(有時是微妙的)不同方法和假設之間的差異和相似性，通常以一種孤立的方式呈現。重點將放在與人工智能或現代大規模機器學習應用等想法上。此外，我們將特別注意研究不同方法的缺點，以及下一步可能是重要的。
-
在第二章中，我們首先討論如何量化分布外泛化。通過幾個例子，我們研究了分布外泛化與處理不同分布外任務的幾種常用方法之間的關系。本文將特別強調這些方法背后的假設，并說明這些方法何時有效，何時無效。
-
在第三章中，我們將關注一個特定的分布外任務類。在這些預測任務中，就像在許多實際問題中一樣，在分布之外泛化的困難在于找出數據中的哪些相關性是假的和不可靠的，以及哪些相關性代表感興趣的現象。
-
在第四章中，我們討論了不同應用領域在實踐中出現的分布外任務的類型，以及這些領域在過去是如何處理這些問題的。
-
在第五章中，我們為分布外泛化和人工智能背景下的新研究領域奠定了基礎。在本章中，我們將關注在探索或強化學習環境中與世界交互的agent，以及它們如何從分布外泛化中獲益。
付費5元查看完整內容
深度預測學習問題與方法研究
隨著移動互聯網、傳感器網絡、計算機視覺的快速發展，人們獲得了海量的 時空數據。本文面向這類數據的時間與空間結構特性，系統研究基于神經網絡的 深度預測學習方法。該方法旨在學習時空序列背后的演變規律，并對其未來狀態 給出近似估計。本文討論深度預測學習的以下難點問題：（1）如何在對時空相關 性的統一建模中考慮層次化的深度網絡特征；（2）如何緩解循環網絡深度和梯度 消失的矛盾，平衡短期與長期的時空特征；（3）針對各種確定性時空數據，研究 如何建模其復雜的趨勢非平穩過程與季節性變化；（4）針對開放視覺環境中的感 知不確定性和動態不確定性，研究如何解決概率預測模型的可信度問題；（5）如 何促進深度預測學習特征向下游語義級的有監督任務泛化。圍繞這些問題，本文 的研究過程可分為以下三個階段，呈遞進關系，每個階段包含 2-3 個創新點：
第一階段，本文探索深度預測學習的基礎網絡結構。針對難點（1），研究基于 循環網絡的記憶狀態跨層轉移方法，實現了時間記憶狀態與多層空間特征的融合；在此基礎上，針對難點（2），本文研究如何在延長循環網絡的記憶狀態轉移路徑 的同時，延緩該路徑上的反向梯度消失。
第二階段，本文根據傳統時間序列分析中的 Cramér 分解理論[1]，分別從時空 信號的非平穩性、季節性和隨機性的角度出發，針對難點（3-4）研究相應的深度 預測學習方法。這些方法依次適用于存在固有動力學模式但趨勢信息相對復雜的 確定性時空數據（如短時雷達回波序列）、季節性時空數據（如交通流量序列）和 從部分可見的環境中采集的時空數據（如帶有噪聲的視頻片段）。
第三階段，本文在數據級的時空序列預測任務的基礎上更進一步，從時序關 系推理的角度出發，再度審視深度預測學習的特征表達。針對難點（5），本文在 循環網絡的狀態轉移方程中分別引入三維卷積算子和可微分的記憶狀態讀寫機制， 旨在同時促進模型對短期時空特征的感知和對長期語義關系的推理。實驗表明，這 些改進對預測模型的任務泛化大有裨益，進而說明了面向時空數據的深度預測學 習是一種有效的無監督表征學習框架。
此外，本文還設計了一套名為 PredLearn 的模型庫，從系統實現的角度對上述 創新性方法及其特點和適用范圍進行了整理、歸納和對比，以便用戶可以根據具 體的場景特性合理選擇模型。最后，本文以災害天氣短時臨近預報作為一種典型 的應用案例，介紹如何實現從本文方法到實際業務平臺的技術轉化。
付費5元查看完整內容
在過去幾年里，注意力和記憶已經成為深度學習的兩個重要的新組成部分。本講座由DeepMind研究科學家Alex Graves講授現在廣泛使用的注意力機制，包括任何深度網絡中的內隱注意力，以及離散和可區分的變體的顯性注意力。然后討論了具有外部記憶的網絡，并解釋了注意力是如何為他們提供選擇性回憶的。它簡要地回顧了Transformer，一種特別成功的注意力網絡類型，最后看可變計算時間，這可以被視為一種形式的“注意力集中”。
地址：
Alex Graves在愛丁堡大學(University of Edinburgh)完成了理論物理學的理學學士學位，在劍橋大學(University of Cambridge)完成了數學的第三部分，在IDSIA與尤爾根·施米德胡貝爾(Jurgen Schmidhuber)一起完成了人工智能博士學位，之后在慕尼黑工業大學(technology University of Munich)和杰夫·辛頓(Geoff Hinton)一起完成了博士后學位。他現在是DeepMind的一名研究科學家。他的貢獻包括用于序列標簽的連接主義時態分類算法，隨機梯度變分推理，神經圖靈機/可微分神經計算機架構，以及用于強化學習的A2C算法。
關于講座系列：
深度學習講座系列是DeepMind與UCL人工智能中心之間的合作。在過去的十年中，深度學習已發展成為領先的人工智能范例，使我們能夠以前所未有的準確性和規模從原始數據中學習復雜的功能。深度學習已應用于對象識別，語音識別，語音合成，預測，科學計算，控制等問題。由此產生的應用程序觸及我們在醫療保健和醫學研究，人機交互，通信，運輸，保護，制造以及人類努力的許多其他領域中的所有生活。認識到這一巨大影響，深度學習的先驅獲得了2019年圖靈獎，這是計算機領域的最高榮譽。
在本系列講座中，來自領先的AI研究實驗室DeepMind的研究科學家針對深度學習中的一系列令人興奮的主題進行了12次講座，內容涵蓋了通過圍繞記憶，注意力和生成建模的先進思想來訓練神經網絡的基礎知識，以及重要的 負責任的創新主題。
深度學習注意力與記憶機制
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191