亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中，我們將回顧這些框架，以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中，即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響，因為它們是最近大多數最先進的架構的基礎。因此，我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例，用于評估最先進的模型的訓練前資源和基準任務/數據集。

//compstat-lmu.github.io/seminar_nlp_ss20/

在過去的幾十年里，人工智能技術的重要性和應用不斷得到關注。在當今時代，它已經與構成人類塑造環境的大部分環境密不可分。因此，商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中，我們將仔細研究自然語言處理(NLP)的現代方法。

這本小冊子詳細介紹了用于自然語言處理的現代方法，如深度學習和遷移學習。此外，本研究亦會研究可用于訓練自然語言處理任務的資源，并會展示一個將自然語言處理應用于自然語言生成的用例。

為了分析和理解人類語言，自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練，因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的，深度神經網絡。為了解決容易的任務，可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性，采用了遞歸和卷積神經網絡。因此，遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型，卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中，將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。

遷移學習是每個任務或領域的學習模型的替代選擇。在這里，可以使用相關任務或領域的現有標記數據來訓練模型，并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練，并且可以節省訓練模型的時間，同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力，它使解碼器能夠注意到整個輸入序列，或自注意，它允許一個Transformer 模型處理所有輸入單詞，并建模一個句子中所有單詞之間的關系，這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合，介紹了BERT模型、GTP2模型和XLNet模型。

為NLP建模，需要資源。為了找到任務的最佳模型，可以使用基準測試。為了在基準實驗中比較不同的模型，需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標，深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA，以及可以找到資源的預訓練模型和數據庫，如“帶代碼的論文”和“大壞的NLP數據庫”。

在小冊子的最后一章中，介紹了生成性NLP處理自然語言生成，從而在人類語言中生成可理解的文本。因此，不同的算法將被描述，聊天機器人和圖像字幕將被展示，以說明應用的可能性。

本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法，并提供了一個更詳細的討論，以及各種示例的潛力和限制。

“語言標注是自然語言處理的關鍵環節，但是它很少在計算語言學課程中被提及。這是第一本手把手講解標注的書籍，從規范和設計到使用機器學習算法面面俱到。它必然成為本科和研究生的計算語言學課程的范本。” ——Nancy Ide Vassar學院的計算機科學教授

是時候創建屬于你自己的用于機器學習的自然語言訓練語料庫了。無論你使用英語、漢語或者其他任何一種自然語言，本書都可以手把手地指導你一種經驗證的標注開發周期——把元語添加到你的訓練語料庫中來幫助機器學習算法更有效工作的過程。你無需任何編程或者語言學方面的經驗就可以上手。

通過每一步中的詳細示例，你將學到“標注開發過程”是如何幫助你建模、標注、訓練、測試、評估和修正你的訓練語料庫。你也將了解到一個實際標注項目的完整演示。

在收集你的數據集（語料庫）之前定義一個清晰的標注目標 學習用于分析你的語料庫中語言內容的工具 搭建用于你的標注項目的模型和規范 檢查從基本的XML到語言標記框架這樣一些不同的標注格式 創建適合于訓練和測試機器學習算法的黃金標準語料庫

選擇用來處理你的標注數據的機器學習算法 評估測試結果并修正你的標注任務 學習如何使用用于標注文本和調整標注的輕量級軟件

James Pustejovsky是Brandeis大學的教授，他在該大學的計算機科學系講解和研究人工智能及計算語言學。

Amber Stubbs剛剛獲得了Brandeis大學標注方法論的博士學位。她現在是SUNY Albany大學的博士后。

文本無處不在，對社會科學家來說，它是一個極好的資源。然而，由于信息非常豐富，而且語言又是千變萬化的，通常很難提取出我們想要的信息。人工智能的整個子領域與文本分析(自然語言處理)有關。開發的許多基本分析方法現在都可以作為Python實現使用。這本書將告訴您何時使用哪個方法、它如何工作的數學背景以及實現它的Python代碼。

概述：

今天，文本是我們生活中不可或缺的一部分，也是最豐富的信息來源之一。平均每天，我們閱讀約9000字，包括電子郵件、短信、新聞、博客文章、報告、推特，以及街道名稱和廣告。在你一生的閱讀過程中，這會讓你有大約2億字。這聽起來令人印象深刻(事實也的確如此)，然而，我們可以在不到0.5 g的空間里存儲這些信息:我們可以在u盤上隨身攜帶一生都值得閱讀的信息。在我寫這篇文章的時候，互聯網上估計至少有超過1200 TB的文本，或250萬人的閱讀價值。現在，大部分文本都以社交媒體的形式存在:微博、推特、Facebook狀態、Instagram帖子、在線評論、LinkedIn個人資料、YouTube評論等等。然而，文本即使在線下也是豐富的——季度收益報告、專利申請、問卷答復、書面信函、歌詞、詩歌、日記、小說、議會會議記錄、會議記錄，以及成千上萬的其他形式，可以(也正在)用于社會科學研究和數據挖掘。

文本是一個極好的信息來源，不僅僅是因為它的規模和可用性。它(相對)是永久性的，而且——最重要的是——它對語言進行編碼。這一人類能力(間接地，有時甚至直接地)反映了廣泛的社會文化和心理結構:信任、權力、信仰、恐懼。因此，文本分析被用于衡量社會文化結構，如信任(Niculae, Kumar, Boyd-Graber， & danescul - niculescul - mizil, 2015)和權力(Prabhakaran, Rambow， & Diab, 2012)。語言編碼了作者的年齡、性別、出身和許多其他人口統計因素(Labov, 1972;Pennebaker, 2011;Trudgill, 2000)。因此，文本可以用來衡量社會隨著時間推移對這些目標概念的態度(見Garg, Schiebinger, Jurafsky， & Zou, 2018;Hamilton, Leskovec， & Jurafsky, 2016;Kulkarni, Al-Rfou, Perozzi， & Skiena, 2015)。

然而，這種海量數據可能很快就會讓人喘不過氣來，處理這些數據可能會讓人望而生畏。文本通常被稱為非結構化數據，這意味著它不是以電子表格的形式出現，而是整齊地按類別排列。它有不同的長度，如果不首先對其進行格式化，就不能很容易地將其送入您喜歡的統計分析工具。然而，正如我們將看到的，“非結構化”是一個有點用詞不當。文本絕不是沒有任何結構的——它遵循非常規則的結構，受語法規則的控制。如果你知道這些，理解文本就會變得容易得多。

這本書分成兩部分。在前半部分，我們將學習文本和語言的一些基本屬性——語言分析的層次、語法和語義成分，以及如何描述它們。我們還將討論為我們的分析刪除哪些內容，保留哪些內容，以及如何計算簡單、有用的統計數據。在下半部分，我們將著眼于探索，發現數據中的潛在結構。我們將從簡單的統計學習到更復雜的機器學習方法，如主題模型、詞嵌入和降維。

持續學習(CL)是一種特殊的機器學習范式，它的數據分布和學習目標會隨著時間的推移而改變，或者所有的訓練數據和客觀標準都不會立即可用。學習過程的演變是以一系列學習經驗為模型的，其中的目標是能夠在學習過程中一直學習新的技能，而不會忘記之前學過的知識。CL可以看作是一種在線學習，需要進行知識融合，以便從按順序及時呈現的數據流中學習。在學習過程中，不斷學習的目的還在于優化記憶、計算能力和速度。機器學習的一個重要挑戰不是必須找到在現實世界中有效的解決方案，而是找到可以在現實世界中學習的穩定算法。因此，理想的方法是在嵌入的平臺中處理現實世界:自治的代理。持續學習在自主代理或機器人中是有效的，它們將通過時間自主學習外部世界，并逐步發展一套復雜的技能和知識。機器人必須學會通過連續的觀察來適應環境并與之互動。一些最近的方法旨在解決機器人持續學習的問題，但最近關于持續學習的論文只是在模擬或靜態數據集的實驗方法。不幸的是，對這些算法的評估并不能說明它們的解決方案是否有助于在機器人技術的背景下持續學習。這篇論文的目的是回顧持續學習的現有狀態，總結現有的基準和度量標準，并提出一個框架來展示和評估機器人技術和非機器人技術的方法，使這兩個領域之間的轉換更加容易。我們在機器人技術的背景下強調持續學習，以建立各領域之間的聯系并規范方法。

//www.sciencedirect.com/science/article/pii/S07377#sec0001

概要：

機器學習(ML)方法通常從平穩數據分布中隨機采樣的數據流中學習。這通常是有效學習的必要條件。然而，在現實世界中，這種設置相當少見。持續學習(CL)[128]匯集了解決當數據分布隨時間變化時，以及在永無止境的數據流中需要考慮的知識融合的學習問題的工作和方法。因此，CL是處理災難性遺忘[47]的范式[102]。

為了方便起見，我們可以根據經驗將數據流分割成幾個子段，這些子段有時間邊界，我們稱之為任務。然后我們可以觀察在學習一項新任務時所學到或忘記了什么。即使對任務沒有強制約束，任務通常指的是一段特定的時間，其中數據分布可能(但不一定)是平穩的，并且目標函數是常量。就學習目標而言，任務可以是相互獨立的，也可以是相互關聯的，并且取決于設置。

持續學習的一個解決方案是保存所有數據，打亂它，然后回到傳統的機器學習設置。不幸的是，在這種情況下，這并不總是可能的，也不是最佳的。這里有幾個例子，其中持續學習是必要的:

你有一個訓練過的模型，你想用新的數據更新它，但是原來的訓練數據被丟棄了，或者你沒有權利再訪問它。

你想在一系列任務上訓練一個模型，但你不能存儲你的所有數據，或者你沒有計算能力從所有數據中重新訓練模型(例如，在嵌入式平臺中)。

您希望智能代理學習多種策略，但您不知道學習目標何時發生變化，如何變化。

您希望從持續的數據流中學習，這些數據可能會隨著時間而變化，但您不知道如何變化，何時變化。

為了處理這些設置，表示應該通過在線方式學習[87]。隨著數據被丟棄并且生命周期有限，忘記不重要的東西而保留對未來有意義的東西的能力是持續學習的主要目標和重點。

從機器人技術的角度來看，CL是發展機器人技術的機器學習答案[93]。發展機器人技術是一種交叉學科的方法，用于自主設計人工主體的行為和認知能力，直接從兒童自然認知系統中觀察到的發展原則和機制中獲得靈感。

在這種情況下，CL必須包含一個學習累積技能的過程，并能逐步提高所處理任務的復雜性和多樣性。

自主主體在這樣的環境中以開放式的[36]方式學習，但也以持續的方式學習。這種發展方法的關鍵組成部分包括學習自主產生目標和探索環境的能力，開發內在動機[113]和好奇心的計算模型[112]。

我們提出了一個框架來連接持續學習和機器人技術。這個框架也為持續學習提供了機會，以一個有框架的數學公式以清晰和系統的方式呈現方法。

首先，我們介紹了持續學習的背景和歷史。其次，我們的目標是在不斷學習的基礎上理清概念匯。第三，我們將介紹我們的框架作為一種標準的CL方法，以幫助在不同的持續學習領域之間進行轉換，特別是對于機器人技術。第四，我們提供了一組度量標準，它將有助于更好地理解每一類方法的質量和缺點。最后，我們提出了持續學習機器人技術的細節和機會，這使得CL變得如此重要。

對于機器人技術和非機器人技術領域，我們保持了定義、框架、策略和評估的一般性。盡管如此，最后一節，機器人持續學習(第6節)受益于前幾節的內容，以呈現機器人領域持續學習的特殊性。

小樣本學習旨在通過少量樣本學習到解決問題的模型.近年來在大數據訓練模型的趨勢下，機器學習和深度學習在許多領域中取得了成功.但是在現實世界中的很多應用場景中，樣本量很少或者標注樣本很少，而對大量無標簽樣本進行標注工作將會耗費很大的人力.所以，如何用少量樣本進行學習就成為了目前人們需要關注的問題.本文系統梳理了當前小樣本學習的相關工作，具體介紹了基于模型微調、基于數據增強和基于遷移學習三大類小樣本學習模型與算法的研究進展；本文將基于數據增強的方法細分為基于無標簽數據、基于數據合成和基于特征增強三類，將基于遷移學習的方法細分為基于度量學習、基于元學習和基于圖神經網絡三類.本文還總結了目前常用的小樣本數據集，以及代表性的小樣本學習模型在這些數據集上的實驗結果，隨后對小樣本學習的現狀和挑戰進行了概述，最后展望了小樣本學習的未來發展方向.

//www.jos.org.cn/jos/ch/reader/create_pdf.aspx?file_no=6138&journal_id=jos

隨著大數據時代的到來,深度學習模型已經在圖像分類、文本分類等任務中取得了先進成果.但深度學習模型的成功很大程度 上依賴于大量訓練數據,而在現實世界的真實場景中某些類別只有少量數據或少量標注數據,而對無標簽數據進行標注將會消耗 大量的時間和人力.與此相反,人類只需要通過少量數據就能做到快速學習.例如一個五六歲的小孩子從未見過企鵝,但如果給他看 過一張企鵝的圖像,當他進入動物園看到真正的企鵝時,就會馬上認出這是自己曾經在圖像上見過的“企鵝”,這就是機器學習和人類學習之間存在的差距.受到人類學習觀點的啟發[1],小樣本學習[2] [3](few-shot learning)的概念被提出,使得機器學習更加靠近人類思維.

早在 20 世紀八九十年代,就有一些研究人員注意到了單樣本學習(one-shot learning)的問題,直到 2003 年 Li 等[4]才正式提出了 單樣本學習的概念.他們認為當新的類別只有一個或幾個帶標簽的樣本時,已經學習到的舊類別可以幫助預測新類別[5].小樣本學 習也叫作少樣本學習(low-shot learning) [7],其目標是從少量樣本中學習到解決問題的方法.與小樣本學習相關的概念還有零樣本學 習(zero-shot learning)等.零樣本學習是指在沒有訓練數據的情況下,利用類別的屬性等信息訓練模型,從而識別新類別.

小樣本學習的概念最早從計算機視覺(Computer Vision) [8]領域興起,近幾年受到廣泛關注,在圖像分類任務中已有很多性能優 異的算法模型[34][37][45].但是在自然語言處理領域(Natural Language Processing) [9]的發展較為緩慢,原因在于圖像和語言特性不同.圖 像相比文本更為客觀,所以當樣本數量較少時,圖像的特征提取比文本更加容易[87].不過近年來小樣本學習在自然語言處理領域也 有了一些研究和發展[10][46][48].根據所采用方法的不同,本文將小樣本學習分為基于模型微調、基于數據增強和基于遷移學習三種. 基于模型微調的方法首先在含有大量數據的源數據集上訓練一個分類模型,然后在含有少量數據的目標數據集上對模型進行微 調.但這種做法可能導致模型過擬合,因為少量數據并不能很好地反映大量數據的真實分布情況.為解決上述過擬合的問題,基于數 據增強和基于遷移學習的小樣本學習方法被提出.基于數據增強的方法是利用輔助數據集或者輔助信息增強目標數據集中樣本的 特征或擴充對目標數據集,使模型能更好地提取特征.本文根據學習方法不同,將基于數據增強的小樣本學習方法進一步細分為基 于無標簽數據、基于數據合成和基于特征增強三類方法.基于遷移學習的方法是目前比較前沿的方法,是指將已經學會的知識遷移 到一個新的領域中.本文根據學習框架將基于遷移學習的方法細分為基于度量學習、基于元學習和基于圖神經網絡(Graph Neural Networks)的方法.在度量學習的框架下目前已有許多性能較好的小樣本學習模型,例如比較著名的原型網絡(Prototypical Networks) [34]和匹配網絡(Matching Networks) [31]等.基于元學習的方法不僅在目標任務上訓練模型,而是從許多不同的任務中學習 元知識,當一個新的任務到來時,利用元知識調整模型參數,使模型能夠快速收斂.近年來隨著圖神經網絡的興起,研究者將圖神經網 絡也應用到小樣本學習中,取得了先進的結果.

除了圖像分類和文本分類這兩個主要任務,許多其他任務也面臨著小樣本問題.在計算機視覺應用中,利用小樣本學習進行人臉識別[8][60][82]、食品識別[61]、表情識別[66]、手寫字體識別[70][79]以及其他的圖像識別[65]. 在自然語言處理應用中,使用小樣本方法 實現對話系統[67]、口語理解[62],或者完成 NLP 的基本任務,例如 word embedding[63].在多媒體領域應用中,可以使用小樣本方法實現 影像提取[73]和聲紋識別[80]等.在生物與醫學領域,可以應用于疾病診斷[71][72]、臨床實驗[84]、護士能力評價[75]、農作物病害識別[69][81]、 水量分析[76]等.在經濟領域,可應用于產品銷量預測[77]等.在工業與軍事領域,可應用于齒輪泵壽命預測[78]、軍事目標識別[74]和目標 威脅評估[83]等.

本文首先從基于模型微調、基于數據增強和基于遷移學習三種方法介紹小樣本學習的研究進展,總結小樣本學習的幾個著名數據集以及已有模型在這些數據集上的實驗結果;接下來,本文對小樣本學習的研究現狀和主要挑戰進行總結;最后展望了未來的 發展趨勢.

賦予機器以感知三維世界的能力，就像我們人類一樣，是人工智能領域一個基本且長期存在的主題。給定不同類型的視覺輸入，如二維/三維傳感器獲取的圖像或點云，一個重要的目標是理解三維環境的幾何結構和語義。傳統的方法通常利用手工特征來估計物體或場景的形狀和語義。然而，他們很難推廣到新的對象和場景，并努力克服關鍵問題造成的視覺遮擋。相比之下，我們的目標是理解場景和其中的對象，通過學習一般和魯棒的表示使用深度神經網絡，訓練在大規模的真實世界3D數據。為了實現這些目標，本文從單視圖或多視圖的物體級三維形狀估計到場景級語義理解三個方面做出了核心貢獻。

在第3章中，我們從一張圖像開始估計一個物體的完整三維形狀。利用幾何細節恢復密集的三維圖形，提出一種強大的編碼器解碼器結構，并結合對抗式學習，從大型三維對象庫中學習可行的幾何先驗。在第4章中，我們建立了一個更通用的框架來從任意數量的圖像中精確地估計物體的三維形狀。通過引入一種新的基于注意力的聚合模塊和兩階段的訓練算法，我們的框架能夠集成可變數量的輸入視圖，預測穩健且一致的物體三維形狀。在第5章中，我們將我們的研究擴展到三維場景，這通常是一個復雜的個體對象的集合。現實世界的3D場景，例如點云，通常是雜亂的，無結構的，閉塞的和不完整的。在借鑒以往基于點的網絡工作的基礎上，我們引入了一種全新的端到端管道來同時識別、檢測和分割三維點云中的所有對象。

總的來說，本文開發了一系列新穎的數據驅動算法，讓機器感知我們真實的3D環境，可以說是在推動人工智能和機器理解的邊界。

//ora.ox.ac.uk/objects/uuid:5f9cd30d-0ee7-412d-ba49-44f5fd76bf28

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

在復雜的以人為中心的系統中，每天的決策都具有決策相關信息不完全的特點。現有決策理論的主要問題是，它們沒有能力處理概率和事件不精確的情況。在這本書中，我們描述了一個新的理論的決策與不完全的信息。其目的是將決策分析和經濟行為的基礎從領域二價邏輯轉向領域模糊邏輯和Z約束，從行為決策的外部建模轉向組合狀態的框架。

這本書將有助于在模糊邏輯，決策科學，人工智能，數學經濟學，和計算經濟學的專業人員，學者，經理和研究生。

讀者:專業人士，學者，管理者和研究生在模糊邏輯，決策科學，人工智能，數學經濟學，和計算經濟學。

機器學習是計算機科學中增長最快的領域之一，具有深遠的應用。本書的目的是介紹機器學習，以及它所提供的算法范例。本書對機器學習的基本原理和將這些原理轉化為實際算法的數學推導提供了理論解釋。在介紹了基礎知識之后，這本書涵蓋了以前教科書沒有涉及到的一系列廣泛的中心主題。這些包括討論學習的計算復雜性和凸性和穩定性的概念;重要的算法范例包括隨機梯度下降、神經網絡和結構化輸出學習;以及新興的理論概念，如PAC-Bayes方法和基于壓縮的界限。本文面向高級本科生或剛畢業的學生，使統計學、計算機科學、數學和工程學領域的學生和非專業讀者都能接觸到機器學習的基本原理和算法。

//www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html

概述

機器學習是指自動檢測數據中有意義的模式。在過去的幾十年里，它已經成為幾乎所有需要從大數據集中提取信息的任務的通用工具。我們被一種基于機器學習的技術包圍著:搜索引擎學習如何給我們帶來最好的結果(同時投放有利可圖的廣告)，反垃圾郵件軟件學習如何過濾我們的電子郵件信息，信用卡交易被一種學習如何偵測欺詐的軟件保護著。數碼相機學會識別人臉，智能手機上的智能個人輔助應用學會識別語音指令。汽車配備了使用機器學習算法構建的事故預防系統。機器學習還廣泛應用于生物信息學、醫學和天文學等科學領域。

所有這些應用程序的一個共同特征是，與計算機的更傳統使用相比，在這些情況下，由于需要檢測的模式的復雜性，人類程序員無法提供關于這些任務應該如何執行的明確、詳細的規范。以智慧生物為例，我們的許多技能都是通過學習我們的經驗(而不是遵循給我們的明確指示)而獲得或改進的。機器學習工具關注的是賦予程序“學習”和適應的能力。

這本書的第一個目標是提供一個嚴格的，但易于遵循，介紹機器學習的主要概念: 什么是機器學習?

本書的第二個目標是介紹幾種關鍵的機器學習算法。我們選擇展示的算法一方面在實踐中得到了成功應用，另一方面提供了廣泛的不同的學習技術。此外，我們特別關注適合大規模學習的算法(又稱“大數據”)，因為近年來，我們的世界變得越來越“數字化”，可用于學習的數據量也在急劇增加。因此，在許多應用中數據量大，計算時間是主要瓶頸。因此，我們明確地量化了學習給定概念所需的數據量和計算時間。

目錄：

• Introduction

Part I: Foundations

• A gentle start
• A formal learning model
• Learning via uniform convergence
• The bias-complexity trade-off
• The VC-dimension
• Non-uniform learnability
• The runtime of learning

Part II: From Theory to Algorithms

• Linear predictors
• Boosting
• Model selection and validation
• Convex learning problems
• Regularization and stability
• Stochastic gradient descent
• Support vector machines
• Kernel methods
• Multiclass, ranking, and complex prediction problems
• Decision trees
• Nearest neighbor
• Neural networks

Part III: Additional Learning Models

• Online learning
• Clustering
• Dimensionality reduction
• Generative models
• Feature selection and generation

Part IV: Advanced Theory

• Rademacher complexities
• Covering numbers
• Proof of the fundamental theorem of learning theory
• Multiclass learnability
• Compression bounds
• PAC-Bayes

Appendices

• Technical lemmas
• Measure concentration
• Linear algebra

強化一詞來源于實驗心理學中對動物學習的研究，它指的是某一事件的發生，與某一反應之間有恰當的關系，而這一事件往往會增加該反應在相同情況下再次發生的可能性。雖然心理學家沒有使用“強化學習”這個術語，但它已經被人工智能和工程領域的理論家廣泛采用，用來指代基于這一強化原理的學習任務和算法。最簡單的強化學習方法使用的是一個常識，即如果一個行為之后出現了一個令人滿意的狀態，或者一個狀態的改善，那么產生該行為的傾向就會得到加強。強化學習的概念在工程領域已經存在了幾十年(如Mendel和McClaren 1970)，在人工智能領域也已經存在了幾十年(Minsky 1954, 1961;撒母耳1959;圖靈1950)。然而，直到最近，強化學習方法的發展和應用才在這些領域占據了大量的研究人員。激發這種興趣的是兩個基本的挑戰:1) 設計能夠在復雜動態環境中在不確定性下運行的自主機器人代理，2) 為非常大規模的動態決策問題找到有用的近似解。