亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度神經網絡在擁有大量數據集和足夠的計算資源的情況下能夠取得巨大的成功。然而，他們快速學習新概念的能力相當有限。元學習是解決這一問題的一種方法，通過使網絡學會如何學習。令人興奮的深度元學習領域正在高速發展，但缺乏對當前技術的統一、深刻的概述。這項工作就是這樣。在為讀者提供理論基礎之后，我們研究和總結了主要的方法，這些方法被分為i)度量；ii)模型；和iii)基于優化的技術。此外，我們確定了主要的開放挑戰，如在異構基準上的性能評估，以及元學習計算成本的降低。

摘要：

近年來，深度學習技術在各種任務上取得了顯著的成功，包括游戲(Mnih et al., 2013; Silver et al., 2016)，圖像識別(Krizhevsky et al., 2012; He et al., 2015）和機器翻譯(Wu et al.， 2016)。盡管取得了這些進展，但仍有大量的挑戰有待解決，例如實現良好性能所需的大量數據和訓練。這些要求嚴重限制了深度神經網絡快速學習新概念的能力，這是人類智能的定義方面之一(Jankowski等人，2011;(Lake等，2017)。

元學習被認為是克服這一挑戰的一種策略(Naik and Mammone, 1992; Schmidhuber, 1987; Thrun, 1998)。其關鍵思想是元學習主體隨著時間的推移提高自己的學習能力，或者等價地說，學會學習。學習過程主要與任務(一組觀察)有關，并且發生在兩個不同的層次上:內部和外部。在內部層，一個新的任務被提出，代理試圖快速地從訓練觀察中學習相關的概念。這種快速的適應是通過在外部層次的早期任務中積累的知識來促進的。因此，內部層關注的是單個任務，而外部層關注的是多個任務。

從歷史上看，元學習這個術語的使用范圍很廣。從最廣泛的意義上說，它概括了所有利用之前的學習經驗以更快地學習新任務的系統(Vanschoren, 2018)。這個廣泛的概念包括更傳統的機器學習算法選擇和hyperparameter優化技術(Brazdil et al ., 2008)。然而，在這項工作中，我們專注于元學習領域的一個子集，該領域開發元學習程序來學習(深度)神經網絡的良好誘導偏差。1從今以后,我們使用術語深元學習指元學習的領域。

深度元學習領域正在快速發展，但它缺乏一個連貫、統一的概述，無法提供對關鍵技術的詳細洞察。Vanschoren(2018)對元學習技術進行了調查，其中元學習被廣泛使用，限制了對深度元學習技術的描述。此外，在調查發表后，深度元學習領域也出現了許多令人興奮的發展。Hospedales等人(2020)最近的一項調查采用了與我們相同的深度元學習概念，但目標是一個廣泛的概述，而忽略了各種技術的技術細節。

我們試圖通過提供當代深度元學習技術的詳細解釋來填補這一空白，使用統一的符號。此外，我們確定了當前的挑戰和未來工作的方向。更具體地說，我們覆蓋了監督和強化學習領域的現代技術，已經實現了最先進的性能，在該領域獲得了普及，并提出了新的想法。由于MAML (Finn et al.， 2017)和相關技術對該領域的影響，我們給予了格外的關注。本研究可作為深度元學習領域的系統性介紹，并可作為該領域資深研究人員的參考資料。在整個過程中，我們將采用Vinyals(2017)所使用的分類法，該分類法確定了三種深度元學習方法:i)度量、ii)模型和iii)基于優化的元學習技術。

眾包是一種計算范式，在這種范式中，人類積極參與計算任務，特別是那些本質上人類比計算機更容易完成的任務。空間眾包是移動互聯網和共享經濟時代眾包中日益流行的一種，任務是時空的，必須在特定的地點和時間完成。事實上，空間眾包激發了最近一系列的產業成功，包括城市服務的共享經濟(Uber和Gigwalk)和時空數據收集(OpenStreetMap和Waze)。本調查深入探討了空間眾包的獨特性帶來的挑戰和技術。特別地，我們確定了空間眾包的四個核心算法問題: (1)任務分配，(2)質量控制，(3)激勵機制設計，(4)隱私保護。我們對上述四個問題的現有研究進行了全面和系統的回顧。我們還分析了具有代表性的空間眾包應用程序，并解釋了它們是如何通過這四個技術問題實現的。最后，我們討論了未來空間眾包研究和應用中需要解決的開放問題。

//link.springer.com/article/10.1007/s00778-019-00568-7

主動學習試圖在具有盡可能少標注樣本的同時最大化模型的性能增益。深度學習(Deep learning, DL)需要大量標注數據，如果模型要學習如何提取高質量的特征，就需要大量的數據供應來優化大量的參數。近年來，由于互聯網技術的飛速發展，我們進入了一個以海量可用數據為特征的信息豐富性時代。因此，DL得到了研究者的極大關注，并得到了迅速的發展。但與DL相比，研究者對AL的興趣相對較低，這主要是因為在DL興起之前，傳統機器學習需要的標記樣本相對較少，這意味著早期的AL很少被賦予應有的價值。雖然DL在各個領域都取得了突破，但大部分的成功都要歸功于大量公開的帶標注的數據集。然而，獲取大量高質量的帶注釋數據集需要耗費大量人力，在需要較高專業知識水平的領域(如語音識別、信息提取、醫學圖像等)是不可行的，因此AL逐漸得到了它應該得到的重視。

因此，研究是否可以使用AL來降低數據標注的成本，同時保留DL強大的學習能力是很自然的。由于這些調研的結果，深度主動學習(DAL)出現了。雖然對這一課題的研究相當豐富，但至今還沒有對相關著作進行全面的調研; 因此，本文旨在填補這一空白。我們為現有的工作提供了一個正式的分類方法，以及一個全面和系統的概述。此外，我們還從應用的角度對DAL的發展進行了分析和總結。最后，我們討論了與DAL相關的問題，并提出了一些可能的發展方向。

概述：

深度學習(DL)和主動學習(AL)在機器學習領域都有重要的應用。由于其優良的特性，近年來引起了廣泛的研究興趣。更具體地說，DL在各種具有挑戰性的任務上取得了前所未有的突破;然而，這很大程度上是由于大量標簽數據集的發表[16,87]。因此，在一些需要豐富知識的專業領域，樣品標注成本高限制了DL的發展。相比之下，一種有效的AL算法在理論上可以實現標注效率的指數加速。這將極大地節省數據標注成本。然而，經典的AL算法也難以處理高維數據[160]。因此，DL和AL的結合被稱為DAL，有望取得更好的效果。DAL被廣泛應用于多個領域，包括圖像識別[35,47,53,68]，文本分類[145,180,185]，視覺答題[98]，目標檢測[3,39,121]等。雖然已經發表了豐富的相關工作，DAL仍然缺乏一個統一的分類框架。為了填補這一空白，在本文中，我們將全面概述現有的DAL相關工作，以及一種正式的分類方法。下面我們將簡要回顧DL和AL在各自領域的發展現狀。隨后，在第二節中，進一步闡述了DL與AL結合的必要性和挑戰。

圖1所示。DL、AL和DAL的典型體系結構比較。(a)一種常見的DL模型:卷積神經網絡。(b) 基于池化的AL框架: 使用查詢策略查詢未標記的樣本池U和將其交給oracle進行標注,然后將查詢樣本添加到標記的訓練數據集L，然后使用新學到的知識查詢的下一輪。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。(c) DAL的一個典型例子:在標簽訓練集L0上初始化或預訓練DL模型的參數的常變量，利用未標記池U的樣本通過DL模型提取特征。然后根據相應的查詢策略選擇樣本，在查詢時對標簽進行查詢，形成新的標簽訓練集L，然后在L上訓練DL模型，同時更新U。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。

DAL結合了DL和AL的共同優勢:它不僅繼承了DL處理高維圖像數據和自動提取特征的能力，也繼承了AL有效降低標注成本的潛力。因此，DAL具有令人著迷的潛力，特別是在標簽需要高水平的專業知識和難以獲得的領域。

摘要：這項工作考慮了這樣一個問題: 獲取大量數據的便利程度如何影響我們學習因果效應和關系的能力。在大數據時代，學習因果關系與傳統因果關系有哪些不同或相同之處?為了回答這個問題，這項綜述提供了一個在因果關系和機器學習之間聯系的全面和結構化的回顧。

//www.zhuanzhi.ai/paper/6ad7902913e98bd48540a5596b978edc

因果性是結果與引起結果的原因之間的一種一般性關系。它很難定義，而且我們通常只憑直覺知道原因和結果。因為下雨，街道是濕的。因為這個學生不學習，所以他考試考得很差。因為烤箱是熱的，奶酪在披薩上融化了。當用數據學習因果關系時，我們需要意識到統計關聯和因果之間的區別。例如，當天氣炎熱時，一家冰淇淋店的老板可能會注意到高昂的電費和較高的銷售額。因此，她會觀察到電費和銷售數字之間有很強的聯系，但電費并不是導致高銷售額的原因——讓商店的燈徹夜開著不會對銷售產生影響。在這種情況下，外部溫度是高電費和高銷售額的共同原因，我們說它是一個混亂的因果關系。

學習因果關系的能力被認為是人類水平智能的重要組成部分，可以作為AI的基礎(Pearl, 2018)。從歷史上看，學習因果關系已經在包括教育在內的許多高影響領域被研究過(LaLonde, 1986;Dehejia和Wahba, 1999年;Heckerman et al ., 2006;希爾，2011)，醫學科學(馬尼和庫珀，2000;經濟學(Imbens, 2004)、流行病學(Hernan et al.， 2000;Robins等人，2000年;、氣象學(Ebert-Uphoff和Deng, 2012)和環境衛生(Li et al.， 2014)。受限于數據量，堅實的先驗因果知識是學習因果關系所必需的。研究人員對通過精心設計的實驗收集的數據進行研究，堅實的先驗因果知識至關重要(Heckerman et al.， 2006)。以隨機對照試驗的原型為例(Cook et al.， 2002)，為了研究一種藥物的療效，患者將被隨機分配服用或不服用該藥物，這將保證平均而言，治療組和未治療組(對照組)在所有相關方面是等同的，排除任何其他因素的影響。然后，藥物對某些健康結果的影響——比如，偏頭痛的持續時間——可以通過比較兩組的平均結果來衡量。

這個綜述的目的是考慮在現在的大數據時代學習因果關系的新可能性和挑戰，這里指的是海量數據集的可用性。舉個例子，考慮到無法測量的混雜因素的可能性——可能會被減輕，因為可以測量更多的特征。因此，一方面，研究人員有可能在大數據的幫助下回答有趣的因果問題。例如，Yelp的正面評論是促使顧客去餐館，還是僅僅反映了受歡迎程度而沒有影響?這個因果問題可以通過Yelp維護的龐大數據庫中的數據來解決。另一方面，用大數據來回答因果問題，會帶來一些獨特的新問題。例如,盡管公共數據庫或通過web爬行收集的數據或應用程序編程接口(api)是空前巨大的,我們有很少的直覺對什么類型的偏差數據集可以遭受——數據更豐富,也更神秘,因此,負責任地更難模型。與此同時，大數據給其他學習任務(如預測)帶來的基本統計困難，使得因果調查更具挑戰性。也許這方面最顯著的例子是現代數據的高維性(Li et al.， 2017a)，比如文本數據(Imai et al.， 2013)。

當前關于機器學習方面的資料非常豐富：Andrew NG在Coursera上的機器學習教程、Bishop的《機器學習與模式識別》 和周志華老師的《機器學習》都是非常好的基礎教材；Goodfellow等人的《深度學習》是學習深度學習技術的首選資料；MIT、斯坦福等名校的公開課也非常有價值；一些主要會議的Tutorial、keynote也都可以在網上搜索到。然而，在對學生們進行培訓的過程中， 我深感這些資料專業性很強，但入門不易。一方面可能是由于語言障礙，另一個主要原因在于機器學習覆蓋 面廣，研究方向眾多，各種新方法層出不窮，初學者往往在各種復雜的名詞，無窮無盡的 算法面前產生畏難情緒，導致半途而廢。

本書的主體內容是基于該研討班形成的總結性資料。基于作者的研究背景，這本書很難說 是機器學習領域的專業著作，而是一本學習筆記，是從一個機器學習 技術使用者角度對機器學習知識的一次總結，并加入我們在本領域研究中的一些經驗和發現。與其說是一本教材，不如說是一本科普讀物， 用輕松活潑的語言和深入淺出的描述為初學者打開機器學習這扇充滿魔力的大門。打開大門以后，我們會發現這是個多么讓人激動人心的 領域，每天都有新的知識、新的思路、新的方法產生，每天都有令人振奮的成果。我們希望這本書 可以讓更多學生、工程師和相關領域的研究者對機器學習產生興趣，在這片異彩紛呈的海域上找到 屬于自己的那顆貝殼。

強烈推薦給所有初學機器學習的人，里面有： 書籍的pdf 課堂視頻 課堂slides 各種延伸閱讀 MIT等世界名校的slides 學生的學習筆記等

隨著圖像處理,語音識別等人工智能技術的發展,很多學習方法尤其是采用深度學習框架的方法取得了優異的性能,在精度和速度方面有了很大的提升,但隨之帶來的問題也很明顯,這些學習方法如果要獲得穩定的學習效果,往往需要使用數量龐大的標注數據進行充分訓練,否則就會出現欠擬合的情況而導致學習性能的下降。因此,隨著任務復雜程度和數據規模的增加,對人工標注數據的數量和質量也提出了更高的要求,造成了標注成本和難度的增大。同時,單一任務的獨立學習往往忽略了來自其他任務的經驗信息,致使訓練冗余重復因而導致了學習資源的浪費,也限制了其性能的提升。為了緩解這些問題,屬于遷移學習范疇的多任務學習方法逐漸引起了研究者的重視。與單任務學習只使用單個任務的樣本信息不同,多任務學習假設不同任務數據分布之間存在一定的相似性,在此基礎上通過共同訓練和優化建立任務之間的聯系。這種訓練模式充分促進任務之間的信息交換并達到了相互學習的目的,尤其是在各自任務樣本容量有限的條件下,各個任務可以從其它任務獲得一定的啟發,借助于學習過程中的信息遷移能間接利用其它任務的數據,從而緩解了對大量標注數據的依賴,也達到了提升各自任務學習性能的目的。在此背景之下,本文首先介紹了相關任務的概念,并按照功能的不同對相關任務的類型進行劃分后再對它們的特點進行逐一描述。然后,本文按照數據處理模式和任務關系建模過程的不同將當前的主流算法劃分為兩大類:結構化多任務學習算法和深度多任務學習算法。其中,結構化多任務學習算法采用線性模型,可以直接針對數據進行結構假設并且使用原有標注特征表述任務關系,同時,又可根據學習對象的不同將其細分為基于任務層面和基于特征層面兩種不同結構,每種結構有判別式方法和生成式方法兩種實現手段。與結構化多任務學習算法的建模過程不同,深度多任務學習算法利用經過多層特征抽象后的深層次信息進行任務關系描述,通過處理特定網絡層中的參數達到信息共享的目的。緊接著,以兩大類算法作為主線,本文詳細分析了不同建模方法中對任務關系的結構假設、實現途徑、各自的優缺點以及方法之間的聯系。最后,本文總結了任務之間相似性及其緊密程度的判別依據,并且分析了多任務作用機制的有效性和內在成因,從歸納偏置和動態求解等角度闡述了多任務信息遷移的特點。 //gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019

隨著web技術的發展，多模態或多視圖數據已經成為大數據的主要流，每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中于如何融合來自多模態空間的能量或信息，以提供比單一模態的同行更優越的性能。最近，深度神經網絡展示了一種強大的架構，可以很好地捕捉高維多媒體數據的非線性分布，對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢，從本質上深化了多模態深特征空間的融合。在這篇文章中，我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中，我們進一步指出，該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最后，我們就這一領域未來的一些方向分享我們的觀點。

當對大量的標記數據集合(如ImageNet)進行訓練時，深度神經網絡展示了它們在特殊監督學習任務(如圖像分類)上的卓越表現。然而，創建這樣的大型數據集需要大量的資源、時間和精力。這些資源在很多實際案例中可能無法獲得，限制了許多深度學習方法的采用和應用。為了尋找數據效率更高的深度學習方法，以克服對大型標注數據集的需求，近年來，我們對半監督學習應用于深度神經網絡的研究興趣日益濃厚，通過開發新的方法和采用現有的半監督學習框架進行深度學習設置。在本文中，我們從介紹半監督學習開始，對深度半監督學習進行了全面的概述。然后總結了在深度學習中占主導地位的半監督方法。