亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

這本書的目的是介紹計算機科學家所需要的一些基本數學知識。讀者并不期望自己是數學家，我們希望下面的內容對你有用。

對數學感興趣的學生，他們尋求洞察“這門學科的本質”，他們為了發現這門學科的真正意義而廣泛閱讀，可能會產生一種合理的印象，那就是嚴肅的數學是一門嚴肅的、但遙遠的山脈，只有那些獻身于探索的人才能到達。他們可能會得出這樣的結論:初學者只能通過難以跨越的距離來欣賞它的粗略輪廓。最好的受歡迎者有時能傳達出更多的信息——包括最近發展背后的人類故事，以及不同分支和結果以意想不到的方式相互作用的方式;但是，數學的本質仍然是難以捉摸的，他們所描繪的圖景不可避免地是一個寬泛的畫筆，代替了生活中的數學細節。

這本書采用了不同的方法。我們首先觀察到，數學不是一個固定的實體——就像人們可能無意識地從“嚴峻的山脈”的比喻中推斷出來的那樣。數學是一個精神世界，是我們集體想象中的一個未完成的工作，它會隨著時間急劇增長，其最終范圍似乎是不受約束的——沒有任何明顯的限制。當應用于小細節時，這種無限性也起著相反的作用:我們認為我們已經理解的特征被反復填充或重新解釋，以新的方式揭示出越來越精細的微觀結構。

我們試圖在這些問題中抓住的“數學的本質”大多是隱含的，因此往往留給讀者去提取。有時，強調某一特定問題的某些方面或其解決方案似乎是適當的。一些這類評論已經包含在文本中，穿插在問題之間。但在很多情況下，只有在讀者努力為自己解決問題后，才能欣賞需要發表的評論或觀察。在這種情況下，將觀察結果放在正文中可能會有過早泄露秘密的風險。因此，許多重要的觀察結果隱藏在解決方案中，或者在許多解決方案后面的注釋中。更經常的是，我們選擇不作明確的評論，而只是試圖以這樣一種方式來塑造和歸類問題，使問題本身能夠無聲地傳達所要傳達的信息。

神經網絡是一組計算單元的集合，這些計算單元被連接在一起，稱為神經元，每個神經元產生一個實際值的結果，稱為激活。輸入神經元從感知環境的傳感器中被激活，而其他神經元從之前的神經元激活中被激活。這種結構使神經元能夠相互發送信息，從而理順那些有助于成功解決問題的連接，減少那些導致失敗的連接。

這本書從數學的角度描述了神經網絡如何運作。因此，神經網絡既可以解釋為函數通用逼近器，也可以解釋為信息處理器。目前工作的主要目標是把神經網絡的思想和概念寫成精確的現代數學語言，這些思想和概念現在在直觀的水平上使用。這本書是一個古老的好古典數學和現代概念的深入學習的混合物。主要的焦點是在數學方面，因為在今天的發展趨勢中，忽略了許多數學細節，大多數論文只強調計算機科學的細節和實際應用。

//www.springer.com/gp/book/9783030367206

現代機器學習擅長于從固定的數據集和固定的環境中訓練出強大的模型，常常超過人類的能力。然而，這些模型未能模擬人類的學習過程，而人類的學習過程是有效的、穩健的，并且能夠從非平穩世界的連續經驗中逐步學習。對于這一局限性的見解可以從神經網絡優化的本質中獲得，這意味著持續學習技術可以從根本上提高深度學習，并打開了新的應用領域的大門。持續學習的有前途的方法可以在最細粒度的層次上找到，使用基于梯度的方法，也可以在體系結構層次上找到，使用模塊化和基于內存的方法。我們也認為元學習是一個潛在的重要方向。

人工智能研究在過去的幾個月中取得了巨大的進步，但它主要依賴于固定的數據集和固定的環境。持續學習是一個日益相關的研究領域，它表明人工系統可能像生物系統一樣，從連續不斷的相關數據流中有序地學習。在目前的回顧中，我們將持續學習與神經網絡的學習動力學聯系起來，強調它在穩步提高數據效率方面的潛力。我們進一步考慮了近年來出現的許多受生物學啟發的新方法，重點關注那些利用正規化、模塊化、記憶和元學習的方法，并強調了一些最有前途和最有影響的方向。

世界不是靜止不動的

人工智能成功的一個常見基準是模仿人類學習的能力。我們測量人類識別圖像、玩游戲和駕駛汽車的能力，舉幾個例子，然后開發機器學習模型，如果有足夠的訓練數據，它可以匹配或超過這些能力。這種范式把重點放在最終結果上，而不是學習過程上，并且忽略了人類學習的一個關鍵特征:它對不斷變化的任務和連續的經驗是魯棒的。人類以這種方式學習也許并不奇怪，畢竟，時間是不可逆的，世界是不穩定的(見詞匯表)，所以人類的學習已經進化到在動態學習環境中茁壯成長。然而，這種魯棒性與最強大的現代機器學習方法形成了鮮明的對比，后者只有在數據經過仔細的洗牌、平衡和均質后才能表現良好。這些模型不僅表現不佳，而且在某些情況下，它們會完全失敗，或者在早期學習的任務上遭遇快速的性能下降，即所謂的災難性遺忘。

基于生物系統持續學習基礎

對自然世界及其智能物種的研究經常與人工智能研究交叉，包括與持續學習有關的方面[1]。生物學為在復雜環境中成功地持續學習提供了存在證據，也暗示了成功方法的設計原則和權衡。有多種機制使生物系統能夠適應不斷變化的環境，而不固執或遺忘。因此，在本節中，我們將通過類比來介紹四種持續學習模式，并將每種方法的詳細討論留到后面的章節中。此外，可以通過描述它們的規范模型來簡要地描述這些方法，如圖1(關鍵圖)所示。

持續學習的定義

持續學習的問題通常是由順序訓練協議和解決方案所期望的特性來定義的。與靜態數據集或環境的普通機器學習設置相反，持續學習設置明確地關注非平穩或變化的環境，通常被劃分為需要按順序完成的一組任務。這種設置可能在任務轉換(平滑或離散)、任務長度和重復、任務類型(如無監督、監督或強化學習)方面有所不同，或者甚至可能沒有定義明確的任務[9-11]。與課程學習相比[12,13]，學習者不能控制任務的順序。

支持現代機器學習的獨立同分布假設

神經網絡大量利用現代技術來并行計算，同時考慮大量數據;事實上，這種易于伸縮的特性使得它們在過去的十年中成為了語音、視覺和語言應用程序的主流方法。 在典型的學習設置中，目標是通過設置網絡的參數來最小化一些損失函數，例如真輸出和預測輸出之間的誤差。基于梯度的學習,最有效的和廣泛使用的范式,是一種迭代算法,在每一次迭代,使一個小變化的參數,以減少損失(更詳細的解釋,見盒2)。這條規則的機制在拔河的動態結果,其中每個數據樣本正試圖拉動每個參數更大或更小。通過平均梯度，我們因此創建了一個拔河游戲，其中應用于每個參數的更新(因為它是正的或負的)揭示了哪個數據樣本贏了或輸了。在許多優化步驟上組合許多拔河式更新，可以進行學習(圖3)。

基于梯度的解決方案

由前面描述的拔河式學習動態驅動，一種有前途的方法是直接調節不同任務的梯度。這不僅是優化問題的核心，而且是由生物大腦[3]中突觸鞏固的研究激發的。一種方法是迫使梯度與之前學習任務的梯度保持一致[19,20]，消除潛在干擾。這些方法在其他環境中也有好處，例如，在多任務學習中，它們有可能在目標沖突的情況下提高學習效率[21-23]。

模塊化架構

模塊化的神經網絡結構是一種自然有效的解決持續學習中的干擾和災難性遺忘問題的方法。模塊化提供了一個折衷方案，即使用一個容易遺忘的單一單片網絡，以及為每個任務使用獨立的網絡，這既可以防止災難性遺忘，也可以防止任務之間的轉移(參見圖1C的模塊化架構說明)。模塊化在生物系統中也很明顯，它支持大腦區域的功能專門化。

人工學習系統的記憶

基于梯度和模塊化的方法可能更適合短期的持續學習，而不是長期的記憶。基于梯度的方法不能防止任意長任務序列的遺忘，而模塊化方法可以在長時間尺度上保存知識，它們可能在神經網絡能力方面達到實際的極限。考慮一下這樣一個具有挑戰性的場景:在幾個月的時間里，把食物藏在1000個不同的地方，然后在更多的食物消失后，正確地找到每一個食物。這個特征是每個冬天都會出現的，比如夜鶯、松鴉和鴉類[57]。通過調整一個簡單的神經網絡的參數來保存存儲食物的順序經驗既具有挑戰性又效率低下。一個更可伸縮的策略是使用專用的讀寫內存對空間位置進行編碼。

元學習:發現持續學習的歸納偏差

到目前為止所討論的所有解決方案都規定了用于持續學習的手工設計的機制或架構，歸納偏差。每種歸納偏差都在需求(如良好的知識保留與基于記憶的方法中的正向遷移)之間達成了不同的權衡。值得考慮的是，從數據中學習解決方案，而不是依靠人類的獨創性來設計它，是否能夠實現更好的權衡。歷史上，許多元學習或學習-學習方法已經證明，解決方案可以通過自動學習歸納偏差(如架構、數據和學習參數)來改進，否則需要手工設計(圖1E) 。

結論和未來方向

機器學習研究人員經常指出，人類具有快速學習和概括(例如，從幾個例子中推斷出一個模式)的非凡能力。然而，我們并不經常重新評價人類在一生的教育和經歷中不斷學習的能力，盡管正是這種能力使人類在科學、藝術和工業上取得成就。這篇文章不僅試圖強調持續學習的重要性，而且還暴露了現代神經網絡在這方面的局限性，特別是導致效率低下、基于梯度的拔河的信用分配問題。

通過對這一空間的調查，我們發現了一種學習模式，如果擴展到更有雄心的領域，它就有可能發揮真正的影響力。毫不奇怪，這些范式都有很強的平行神經科學和生物系統。基于梯度的方法直接修改了神經網絡的操作時間，并被證明可以減少災難性遺忘。

模塊化架構為干擾和災難性遺忘提供了實用的解決方案，同時通過技能和知識的層次重組實現面向遷移。端到端記憶模型可以成為長時間學習的可擴展解決方案，元學習方法可以超越手工設計的算法和架構。有了這些潛在的積極影響，也必須認識到部署不斷變化的機器學習模型所涉及的風險，因為任何安全和預期行為的初始評估都不能輕易地永久保證。然而，通過提高學習算法的長期可靠性，以及通過開發確保某些規則或邊界不被違反的架構，持續學習解決方案可以降低這些風險。

本章從數學角度描述了卷積神經網絡(CNN)的工作原理。這一章是自成一體的，重點是讓初學者能夠理解CNN領域。

卷積神經網絡(CNN)在許多計算機視覺、機器學習和模式識別問題上表現出優異的性能。關于這個主題已經發表了許多可靠的論文，并且已經提供了許多高質量的開源CNN軟件包。

也有寫得很好的CNN教程或CNN軟件手冊。但是，我們認為，專門為初學者準備的介紹CNN的材料仍然是需要的。研究論文通常很簡潔，缺乏細節。對于初學者來說，閱讀這樣的論文可能是困難的。針對有經驗的研究人員的教程可能無法涵蓋理解CNN如何運行的所有必要細節。

本章試圖提出一個文檔：

• 自成一體。所有需要的數學背景知識都將在本章(或本書其他章節)中介紹;

• 有所有衍生的細節。這一章的目的是詳細解釋所有必要的數學。我們盡量不忽略推導過程中的任何重要步驟。因此，初學者應該能夠跟上(盡管專家可能會發現這一章有點重復);

• 忽略實現細節。目的是讓讀者了解CNN是如何在數學層面運作的。我們將忽略這些實現細節。在CNN中，對各種實現細節做出正確的選擇是其高準確性的關鍵之一(即“細節決定成敗”)。然而，我們有意省略了這一部分，以便讀者關注數學。在了解了數學原理和細節之后，通過親身體驗CNN編程來學習這些實現和設計細節會更有優勢。本章的練習問題提供了動手制作CNN編程的機會。

CNNs在很多應用中都很有用，特別是在與圖像相關的任務中。CNNs的應用包括圖像分類、圖像語義分割、圖像中的目標檢測等。在本章中，我們將重點討論圖像分類。在圖像分類中，每幅圖像都有一個主要的對象，占圖像的很大一部分。一個圖像根據其主要對象的身份被分類到其中一個類中。狗、飛機、鳥等。