基于深度學習的機器人感知和認知引入了機器人感知和認知深度學習的廣泛主題和方法。這本書提供了接近從端到端的學習觀點的大量機器人感知和認知任務所需的概念和數學背景。本書適用于機器人視覺、智能控制、機電一體化、深度學習、機器人感知和認知任務的學生、大學和行業研究人員和從業者。
深度學習是指允許計算機利用原始傳感器數據并從經驗中學習以實現感知、認知和行動等高級目標的方法。這是機器人系統需要的基本能力,特別是在感知和認知任務中,機器人需要了解環境,操作物體,并與人、動物和其他機器人以動態的方式互動。傳統的機器人系統對傳感器數據和環境狀態表示依賴大量的特征工程,其次是通常與數據表示分離的數據分析步驟,而基于深度學習的方法將所有這些步驟結合在一起,形成一個通過經驗優化的端到端的基于學習的過程。這允許識別和利用傳感器數據中的復雜模式,實現更高的性能水平,并實時獲得魯棒的解決方案。
這本經過編輯的書介紹了機器人感知和認知深度學習的廣泛主題,以及端到端方法。它涵蓋以下主題:2D/3D目標檢測和跟蹤,語義場景分割,人類活動識別,無人機競賽中的自主導航和規劃,敏捷生產中的機器人抓取,多智能體系統,仿真環境,生物信號和醫學圖像分析。為了提供對這些主題的完整描述,本書的第一章涵蓋了深度學習模型和機器學習范式的基本概念,這可以作為理解如何有效地訓練深度學習模型以實現高性能的參考。這些主題包括神經網絡和反向傳播、卷積神經網絡、圖卷積網絡、循環神經網絡、深度強化學習、輕量級深度學習、知識蒸餾、漸進和壓縮深度學習、表示學習和檢索。最后,給出了機器人開放深度學習工具(OpenDR)解決機器人問題的具體實例。讀者可以使用這些例子作為起點,用深度學習模型有效地編程機器人解決方案。
這本書提供了從端到端機器學習的觀點來接近大量機器人感知和認知任務所需的概念和數學背景。它可以作為深度學習、機器學習、機器人及其子學科如機器人視覺和導航的本科或研究生課程的教科書。隨著深度學習解決方案不斷提供高性能和可靠的解決方案,包括書中涉及的主題在內的相關課程的數量也在增加,許多大學的課程中也加入了新課程。此外,專注于機器人感知和認知任務的機器人視覺、智能控制、機電一體化和深度學習領域的科學家、工程師和實踐者可以對深度學習及其在其研究領域的應用有一個完整的認識。通過這本書,讀者將能夠:
理解深度學習的原理和方法 * 理解在機器人應用中應用端到端學習的原理,設計和訓練深度學習模型 * 將深度學習應用于機器人視覺任務,如物體識別、圖像分類、視頻分析等 * 了解如何使用機器人模擬環境來訓練深度學習模型 * 了解如何將深度學習用于不同的任務,從規劃、導航到生物信號分析
Chapter 1: Introduction * Chapter 2: Neural networks and backpropagation * Chapter 3: Convolutional neural networks * Chapter 4: Graph convolutional networks * Chapter 5: Recurrent neural networks * Chapter 6: Deep reinforcement learning * Chapter 7: Lightweight deep learning * Chapter 8: Knowledge distillation * Chapter 9: Progressive and compressive learning * Chapter 10: Representation learning and retrieval * Chapter 11: Object detection and tracking * Chapter 12: Semantic scene segmentation for robotics * Chapter 13: 3D object detection and tracking * Chapter 14: Human activity recognition * Chapter 15: Deep learning for vision-based navigation in autonomous drone racing * Chapter 16: Robotic grasping in agile production * Chapter 17: Deep learning in multiagent systems * Chapter 18: Simulation environments * Chapter 19: Biosignal time-series analysis * Chapter 20: Medical image analysis * Chapter 21: Deep learning for robotics examples using OpenDR
基于深度學習模型的目標檢測討論了利用深度學習方法進行目標檢測和識別的最新進展,這些方法在計算機視覺和圖像處理領域取得了巨大成功。它提供了深度學習理論及其在計算機視覺應用的最新發展的系統和系統的概述,說明了它們使用的關鍵主題,包括對象檢測,人臉分析,3D對象識別,和圖像檢索。這本書提供了理論與實踐的豐富結合。它適合對深度學習、計算機視覺等感興趣的學生、研究人員和從業人員,也可以作為參考書使用。通過對各種深度學習應用的綜合比較,幫助對機器學習和微積分有基本了解的讀者掌握理論,啟發在其他計算機視覺任務中的應用。特點:
全面介紹自主機器人領域,針對高水平本科生,并提供額外的在線資源。
在機器人的力學和動力學方面提供廣泛算法視角的教科書。**《自主機器人導論》**為三年級和四年級的本科生提供了一個急需的資源,以教授自主機器人設計和控制背后的計算基礎。作者使用類測試和可訪問的方法來提出漸進的,逐步發展的概念,以及廣泛的現實世界的例子和基本概念的機制,感知和驅動,計算和不確定性。在整個過程中,作者平衡了硬件(機構,傳感器,執行器)和軟件(算法)在教學機器人自主的影響。
**《自主機器人導論》**是為工程學和計算機科學專業的本科生編寫的,對線性代數、概率論、三角函數和統計學有較深的理解。內容包括機器人機構的基本概念,如運動和抓取,以及產生的力;傳感器和執行器的工作原理; 視覺與特征檢測的基本算法; 并介紹人工神經網絡,包括卷積和循環變體。文本中的二維碼引導讀者觀看在線講座視頻和動畫。這本書還提供了廣泛的附錄,側重于基于項目的課程,數學的相關領域,反向傳播,寫一篇研究論文,和其他主題,并伴隨著一個開源的,獨立于平臺的模擬(Webots)中不斷增長的練習庫。
這本書為線性代數和概率論的大二學生提供了一個自主機器人的算法視角。機器人技術是機械工程、電氣工程和計算機科學交叉的新興領域。隨著計算機的日益強大,使機器人智能化越來越成為人們關注的焦點和機器人研究最具挑戰性的前沿。雖然有大量關于機器人力學和動力學的教科書可供大二本科生使用,但提供廣泛算法視角的書籍大多僅限于研究生水平。因此,這本書的開發不是為了創造“另一本教科書,而是比其他教科書更好”,而是為了讓我們能夠在科羅拉多大學計算機科學系向三、四年級的本科生教授機器人。
雖然屬于“人工智能”的范疇,但標準的人工智能技術還不足以解決涉及不確定性的問題,比如機器人在現實世界中的互動。這本書使用簡單的三角函數來發展機械臂和移動機器人的運動學方程,然后介紹路徑規劃、傳感和最后的不確定性。通過對誤差傳播的形式化定義,引入了機器人定位問題,包括馬爾可夫定位、粒子濾波和擴展卡爾曼濾波,以及同時定位和映射。本書的重點不是集中在一個特定的子問題的最先進的解決方案上,而是通過反復出現的例子來抓住問題的本質,逐步發展概念。所描述的解決方案不一定是最好的,但是它們很容易理解并在社區中廣泛使用。例如,里程計和直線擬合分別用于解釋正向運動學和最小二乘解決方案,隨后作為定位上下文中的誤差傳播和卡爾曼濾波的激勵示例。
這本書向您介紹自主機器人的設計和控制背后的計算基礎。當機器人根據環境做出決定時(而不是簡單地遵循一組預先編程的動作),它們被認為是自主的。他們利用信號處理、控制理論、人工智能等多種現代技術實現了這一點。這些技術與機器人的機械、傳感器和驅動器緊密地交織在一起。因此,設計一個機器人需要對算法及其與物理世界的接口有深刻的理解。
這本教科書在機器學習的背景下介紹線性代數和優化。書中提供了例子和練習。每個章節末尾的練習解決方案手冊可供教學指導老師使用。本教材針對計算機科學、數學和數據科學領域的研究生和教授。高級本科生也可以使用本教材。本書各章節的組織方式如下:
1. 線性代數及其應用:章節集中在線性代數的基礎以及它們在奇異值分解、矩陣分解、相似矩陣(核方法)和圖分析方面的常見應用。大量的機器學習應用已經被用作例子,如光譜聚類、基于核的分類和異常值檢測。緊密整合的線性代數方法與例子,從機器學習區分這本書從線性代數的一般卷。重點顯然是機器學習線性代數最相關的方面,并教讀者如何應用這些概念。
2. 優化及其應用:機器學習的大部分內容都是優化問題,其中我們試圖最大化回歸和分類模型的準確性。以優化為中心的機器學習的“父問題”是最小二乘回歸。有趣的是,這個問題在線性代數和優化中都有出現,是連接這兩個領域的關鍵問題之一。最小二乘回歸也是支持向量機、邏輯回歸和推薦系統的起點。此外,降維和矩陣分解的方法也需要優化方法的發展。在計算圖中討論了優化的一般觀點,以及它在神經網絡中的反向傳播的應用。
機器學習初學者經常面臨的一個挑戰是線性代數和優化所需的廣泛背景。一個問題是,現有的線性代數和優化課程并不是針對機器學習的;因此,一個人通常需要完成比機器學習所需的更多的課程材料。此外,優化和線性代數的某些類型的思想和技巧在機器學習中出現的頻率比其他以應用程序為中心的設置更高。因此,發展一種更適合機器學習的特定視角的線性代數和優化的觀點具有重要的價值。
摘要
與批量學習不同的是,在批量學習中所有的訓練數據都是一次性可用的,而持續學習代表了一組方法,這些方法可以積累知識,并使用序列可用的數據連續學習。與人類的學習過程一樣,不斷學習具有學習、融合和積累不同時間步的新知識的能力,被認為具有很高的現實意義。因此,持續學習在各種人工智能任務中得到了研究。本文綜述了計算機視覺中持續學習的最新進展。特別地,這些作品是根據它們的代表性技術進行分組的,包括正則化、知識蒸餾、記憶、生成重放、參數隔離以及上述技術的組合。針對每一類技術,分別介紹了其特點及其在計算機視覺中的應用。在概述的最后,討論了幾個子領域,在這些子領域中,持續的知識積累可能會有幫助,而持續學習還沒有得到很好的研究。
//www.zhuanzhi.ai/paper/a13ad85605ab12d401a6b2e74bc01d8a
引言
人類的學習是一個漸進的過程。在人類的一生中,人類不斷地接受和學習新知識。新知識在發揮自身積累作用的同時,也對原有知識進行補充和修正。相比之下,傳統的機器學習和深度學習范式通常區分知識訓練和知識推理的過程,模型需要在有限的時間內在預先準備好的數據集上完成訓練,然后使用這些數據集進行推理。隨著相機和手機的廣泛普及,每天都有大量新的圖片和視頻被捕捉和分享。這就產生了新的需求,特別是在計算機視覺領域,模型在推理過程中要連續不斷地學習和更新自己,因為從頭開始訓練模型以適應每天新生成的數據是非常耗時和低效的。
由于神經網絡與人腦的結構不同,神經網絡訓練不易從原來的批量學習模式轉變為新的連續學習模式。特別是存在兩個主要問題。首先,按照序列學習多個類別的數據容易導致災難性遺忘的問題[1,2]。這意味著,在從新類別的數據更新模型參數后,模型在先前學習類別上的性能通常會急劇下降。其次,當按順序從同一類別的新數據中學習時,也會導致概念漂移問題[3,4,5],因為新數據可能會以不可預見的方式改變該類別的數據分布[6]。因此,持續學習的總體任務是解決穩定性-可塑性困境[7,8],這就要求神經網絡在保持學習新知識的能力的同時,防止遺忘之前學習過的知識。
近年來,在計算機視覺的各個子領域中提出了越來越多的持續學習方法,如圖1所示。此外,2020年和2021年還舉辦了若干與計算機視覺中的持續學習有關的比賽[9,10]。因此,本文綜述了計算機視覺中持續學習的最新進展。我們將這一概述的主要貢獻總結如下。(1)系統地綜述了計算機視覺中持續學習的最新進展。(2)介紹了用于不同計算機視覺任務的各種持續學習技術,包括正則化、知識提取、基于記憶、生成重放和參數隔離。(3)討論了計算機視覺中持續學習可能有所幫助但仍未得到充分研究的子領域。
本文的其余部分組織如下。第二節給出了持續學習的定義。第3節介紹了這一領域常用的評估指標。第4節討論了各種類型的持續學習方法及其在計算機視覺中的應用。在第5節中討論了計算機視覺中沒有很好地利用持續學習的子領域。最后,第六部分對全文進行總結。
社區揭示了不同于網絡中其他社區成員的特征和聯系。社區檢測在網絡分析中具有重要意義。除了經典的譜聚類和統計推理方法,我們注意到近年來用于社區檢測的深度學習技術在處理高維網絡數據方面的優勢有了顯著的發展。因此,通過深度學習對社區檢測的最新進展進行全面概述,對學者和從業者都是及時的。本文設計并提出了一種新的分類方法,包括基于深度神經網絡的深度學習模型、深度非負矩陣分解和深度稀疏濾波。主要的類別,即深度神經網絡,進一步分為卷積網絡,圖注意力網絡,生成對抗網絡和自動編碼器。綜述還總結了流行的基準數據集、模型評估指標和開源實現,以解決實驗設置。然后討論了社區檢測在各個領域的實際應用,并提出了實現方案。最后,通過提出這一快速發展的深度學習領域中具有挑戰性的課題,我們概述了未來的發展方向。
//www.zhuanzhi.ai/paper/eb70a346cb2540dab57be737828445c6
引言
早在20世紀20年代,社會學和社會人類學就對社區進行了研究。然而,直到21世紀之后,研究人員才開始利用強大的數學工具和大規模數據操作來檢測社區,以解決具有挑戰性的問題[2]。自2002年[3]以來,Girvan和Newman將圖劃分問題引起了更廣泛的關注。在過去的10年里,計算機科學研究者廣泛研究了基于網絡拓撲結構[5]-[8]和實體語義信息[9]-[11]、靜態網絡[12]-[14]、小型網絡和大型網絡[15]-[17]的社區檢測問題[4]。越來越多的基于圖的方法被開發出來用于檢測具有復雜數據結構[18],[19]環境中的社區。通過社區檢測,可以詳細分析網絡中社區的動態和影響,如謠言傳播、病毒爆發、腫瘤進化等。
社區的存在推動了社區檢測研究的發展,是一個越來越具有現實意義的研究領域。俗話說,物以類聚,人以群分。根據六度分離理論,世界上任何一個人都可以通過六個熟人認識其他人[21]。事實上,我們的世界是一個由一系列社區組成的巨大網絡。例如,通過檢測社交網絡[22]-[24]中的社區,如圖1所示,平臺贊助商可以向目標用戶推廣他們的產品。在引文網絡[25]中,社區檢測決定了研究主題的重要性、關聯性、演化和識別研究趨勢。在代謝網絡[26]、[27]和蛋白質-蛋白質相互作用(PPI)網絡[28]中,社區檢測揭示了具有相似生物學功能的代謝和蛋白質。同樣,腦網絡[19]、[29]中的社區檢測反映了腦區域的功能和解剖分離。
許多傳統的技術,如譜聚類[30],[31]和統計推理[32]-[35],被用于小型網絡和簡單的場景。然而,由于它們的計算和空間成本巨大,它們無法擴展到大型網絡或具有高維特征的網絡。現實網絡中非線性結構信息豐富,使得傳統模型在實際應用中不太適用。因此,需要更強大的具有良好計算性能的技術。目前,深度學習提供了最靈活的解決方案,因為深度學習模型: (1) 學習非線性網絡屬性,如節點之間的關系,(2) 提供一個低維的網絡表示,保持復雜的網絡結構,(3) 提高了從各種信息中檢測社區的性能。因此,深度學習用于社區檢測是一種新的趨勢,需要及時全面的調查。
據我們所知,本文是第一次全面調研深度學習在社區檢測方面的貢獻。以往的研究主要集中在傳統的社區檢測上,回顧了其在發現網絡固有模式和功能[36]、[37]方面的重要影響。這篇論文綜述了一些具體的技術,但不限于: 基于隨機塊模型(sms)的部分檢測[38],標簽傳播算法(LPAs)[39],[40],以及單目標和多目標優化的進化計算[13],[14]。在網絡類型方面,研究人員綜述了動態網絡[12]、有向網絡[41]和多層網絡[5]中的社區檢測方法。此外,[6],[7]還回顧了一系列關于不相交和重疊的社區缺陷的概述。圍繞應用場景,以往的論文綜述了社交網絡[9]、[42]中的社區檢測技術。
本文旨在幫助研究人員和從業者從以下幾個方面了解社區檢測領域的過去、現在和未來趨勢:
系統性分類和綜合評價。我們為此項綜述提出了一個新的系統分類(見圖3)。對于每個類別,我們回顧、總結和比較代表性的工作。我們還簡要介紹了現實世界中的社區檢測應用。這些場景為未來的社區檢測研究和實踐提供了見解。
豐富的資源和高影響力的參考資料。該綜述不僅是文獻綜述,而且是基準數據集、評估指標、開源實現和實際應用的資源集合。我們在最新的高影響力國際會議和高質量同行評審期刊上廣泛調查社區檢測出版物,涵蓋人工智能、機器學習、數據挖掘和數據發現等領域。
未來的發展方向。由于深度學習是一個新的研究趨勢,我們討論了當前的局限性,關鍵的挑戰和開放的問題,為未來的方向。
社區檢測在網絡分析和數據挖掘中具有重要意義。圖4展示了傳統學習方法和深度學習方法的發展。傳統的方法是在網絡結構上探索社區。這七種方法(圖3左圖)僅以一種簡單的方式捕捉淺連接。傳統方法的檢測結果往往是次優的。我們將在本節簡要回顧它們的代表性方法。深度學習方法(圖3右圖)揭示了深度網絡信息,復雜關系,處理高維數據。
本文提出了一種深度社區檢測的分類方法。分類法將方法歸納為六類: 卷積網絡、圖注意力網絡(GAT)、生成對抗網絡(GAN)、自動編碼器(AE)、深度非負矩陣分解(DNMF)和基于深度稀疏濾波(DSF)的深度社區檢測方法。卷積網絡包括卷積神經網絡(CNN)和圖卷積網絡(GCN)。AE又分為堆疊型AE、稀疏型AE、去噪型AE、圖卷積型AE、圖關注型AE和變分型AE (VAE)。
這本教科書是關于計算機科學的。它也是關于Python的。然而,還有更多。算法和數據結構的研究是理解計算機科學的核心。學習計算機科學與學習其他困難的學科沒有什么不同。要想成功,唯一的方法就是有意識地、不斷地接觸基本思想。初學計算機的科學家需要實踐,以便在繼續學習課程中較復雜的部分之前有一個徹底的了解。此外,初學者需要獲得成功的機會和獲得信心。本教材旨在作為數據結構和算法的第一門課程的教材,通常作為計算機科學課程的第二門課程教授。雖然第二門課程被認為比第一門課程更高級,但本書假設你是這個水平的初學者。您可能還在努力學習第一門計算機科學課程的一些基本思想和技能,但已經準備好進一步探索這一學科并繼續實踐解決問題的方法。我們將介紹抽象數據類型和數據結構、編寫算法和解決問題。我們將研究大量數據結構,并解決出現的經典問題。你在這里學到的工具和技術將會在你繼續學習計算機科學的過程中不斷地被應用。
本書旨在介紹大數據處理的一些定義、方法、工具、框架和解決方案,從信息提取和知識表示的過程開始,通過知識處理和分析,再到可視化、意義構建和實際應用。本書的每一章都講述了數據處理鏈的一些相關方面,特別關注于理解企業知識圖、語義大數據架構和智能數據分析解決方案。這本書是針對研究生從技術學科,專業觀眾繼續教育短期課程,并研究人員從不同的領域自學課程。具備計算機科學、數學和統計學的基本技能。
//www.springer.com/gp/book/9783030531980
人體姿態估計的目的是通過圖像、視頻等輸入數據定位人體部位,構建人體表征(如人體骨架)。在過去的十年中,它受到了越來越多的關注,并被廣泛應用于人機交互、運動分析、增強現實和虛擬現實等領域。盡管最近開發的基于深度學習的解決方案在人體姿態估計方面取得了很高的性能,但由于訓練數據不足、深度模糊和遮擋,仍然存在挑戰。本綜述論文的目的是通過對基于輸入數據和推理的解決方案進行系統的分析和比較,對最近基于深度學習的二維和三維姿態估計解決方案進行全面的回顧。這項綜述涵蓋了自2014年以來的240多篇研究論文。此外,還包括了二維和三維人體姿態估計數據集和評估指標。本文總結和討論了現有方法在流行數據集上的定量性能比較。最后,對所涉及的挑戰、應用和未來的研究方向進行了總結。
//www.zhuanzhi.ai/paper/7459265d2fbd81f9b91bf0f7b461bcc7
當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現,那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域,在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示,以免由于迭代參數更新而出現災難性地遺忘的情況。然而,各個方法的比較是與現實應用程序隔離的,通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中,一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰,因為眾所周知,神經網絡會對未知的實例提供過于自信的錯誤預測,并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓,我們提出了一個統一的觀點,以搭建持續學習,主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明,這不僅有利于每個個體范式,而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進,同時在以前提出的方法失敗的地方展示了強大的開放世界應用。
//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c
概述:
隨著實用機器學習系統的不斷成熟,社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同,在孤立學習中,系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段,持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用,回顧一下最近關于終身機器學習[3]的書,深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4],[5],正如最近的評論[6],[7],[8],[9]和對深度持續學習[8],[10],[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應,機器學習模型貪婪地根據給定的數據群更新參數,比如神經網絡迭代地更新其權值,使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時,學習到的表示集被單向引導,以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征,導致突然忘記以前獲得的信息。
盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘,但我們認為,一種非常不同形式的災難性遺忘的風險正在增長,即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊,但除了只捕獲災難性遺忘[12]的度量之外,我們還高度關注了實際的需求和權衡,例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障,那么大多數當前系統會立即崩潰,這幾乎可以被視為誤導。封閉世界的假設似乎無所不在,即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據,這在真實的開放世界中是非常不現實的,因為在開放世界中,數據可以根據不同的程度變化,而這些變化是不現實的,無法捕獲到訓練集中,或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時,不可避免地會產生完全沒有意義的預測,這是眾所周知的事實,已經被暴露了幾十年了,但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務,通常總結在開放集識別的傘下。然而,大多數現有的深度連續學習系統仍然是黑盒,不幸的是,對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16],這些系統并沒有表現出理想的魯棒性。
除了目前的基準測試實踐仍然局限于封閉的世界之外,另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性,關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是,從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓,似乎并沒有整合到現代的連續學習實踐中。在主動學習中,目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下,逐步地找到與任務解決方案最接近的方法。因此,它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息,而不是無休止地積累所有的數據,而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱,但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位,這些挑戰將再次面臨。
在這項工作中,我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題,然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論,這些看似獨立的主題不僅從另一個角度受益,而且應該結合起來看待。在這個意義上,我們建議將當前的持續學習實踐擴展到一個更廣泛的視角,將持續學習作為一個總括性術語,自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案,而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展,以說明一種走向全面框架的可能選擇。重要的是,它作為論證的基礎,努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性,通過實證證明,概述了未來研究的含義和有前景的方向。
如果您是用Python編程的新手,并且正在尋找可靠的介紹,那么這本書就是為您準備的。由計算機科學教師開發,在“為絕對初學者”系列叢書通過簡單的游戲創造教授編程的原則。您將獲得實際的Python編程應用程序所需的技能,并將了解如何在真實場景中使用這些技能。在整個章節中,你會發現一些代碼示例來說明所提出的概念。在每一章的結尾,你會發現一個完整的游戲,展示了這一章的關鍵思想,一章的總結,以及一系列的挑戰來測試你的新知識。當你讀完這本書的時候,你將非常精通Python,并且能夠將你所學到的基本編程原理應用到你要處理的下一種編程語言。