當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。
//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c
概述：
隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。
盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。
除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。
在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。
付費5元查看完整內容
相關內容
知識圖譜是關于實體及其關系的集合，是非常有用資源。然而，由于知識圖通常是不完備的，所以進行知識圖補全或鏈接預測是有用的，即預測一個不在知識圖譜中的關系是否可能是真的。本文綜述了用于知識圖譜完成的實體和關系嵌入模型，總結了在標準基準數據集上最新的實驗結果，并指出了未來可能的研究方向。
付費5元查看完整內容
近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。
付費5元查看完整內容
視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此，多年來出現了一系列廣泛的方法，這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述，但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域，如計算機視覺、自然語言處理等。然而，這項調查關注的是深度學習是如何改進的，并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外，還討論了常用的數據集以及常用的評價指標。然后，對最近的研究方法進行了綜合討論，以提供未來研究的方向和可能的領域。
付費5元查看完整內容
空間眾包
·
眾包是一種計算范式，在這種范式中，人類積極參與計算任務，特別是那些本質上人類比計算機更容易完成的任務。空間眾包是移動互聯網和共享經濟時代眾包中日益流行的一種，任務是時空的，必須在特定的地點和時間完成。事實上，空間眾包激發了最近一系列的產業成功，包括城市服務的共享經濟(Uber和Gigwalk)和時空數據收集(OpenStreetMap和Waze)。本調查深入探討了空間眾包的獨特性帶來的挑戰和技術。特別地，我們確定了空間眾包的四個核心算法問題: (1)任務分配，(2)質量控制，(3)激勵機制設計，(4)隱私保護。我們對上述四個問題的現有研究進行了全面和系統的回顧。我們還分析了具有代表性的空間眾包應用程序，并解釋了它們是如何通過這四個技術問題實現的。最后，我們討論了未來空間眾包研究和應用中需要解決的開放問題。
付費5元查看完整內容
主動學習試圖在具有盡可能少標注樣本的同時最大化模型的性能增益。深度學習(Deep learning, DL)需要大量標注數據，如果模型要學習如何提取高質量的特征，就需要大量的數據供應來優化大量的參數。近年來，由于互聯網技術的飛速發展，我們進入了一個以海量可用數據為特征的信息豐富性時代。因此，DL得到了研究者的極大關注，并得到了迅速的發展。但與DL相比，研究者對AL的興趣相對較低，這主要是因為在DL興起之前，傳統機器學習需要的標記樣本相對較少，這意味著早期的AL很少被賦予應有的價值。雖然DL在各個領域都取得了突破，但大部分的成功都要歸功于大量公開的帶標注的數據集。然而，獲取大量高質量的帶注釋數據集需要耗費大量人力，在需要較高專業知識水平的領域(如語音識別、信息提取、醫學圖像等)是不可行的，因此AL逐漸得到了它應該得到的重視。
因此，研究是否可以使用AL來降低數據標注的成本，同時保留DL強大的學習能力是很自然的。由于這些調研的結果，深度主動學習(DAL)出現了。雖然對這一課題的研究相當豐富，但至今還沒有對相關著作進行全面的調研; 因此，本文旨在填補這一空白。我們為現有的工作提供了一個正式的分類方法，以及一個全面和系統的概述。此外，我們還從應用的角度對DAL的發展進行了分析和總結。最后，我們討論了與DAL相關的問題，并提出了一些可能的發展方向。
概述：
深度學習(DL)和主動學習(AL)在機器學習領域都有重要的應用。由于其優良的特性，近年來引起了廣泛的研究興趣。更具體地說，DL在各種具有挑戰性的任務上取得了前所未有的突破;然而，這很大程度上是由于大量標簽數據集的發表[16,87]。因此，在一些需要豐富知識的專業領域，樣品標注成本高限制了DL的發展。相比之下，一種有效的AL算法在理論上可以實現標注效率的指數加速。這將極大地節省數據標注成本。然而，經典的AL算法也難以處理高維數據[160]。因此，DL和AL的結合被稱為DAL，有望取得更好的效果。DAL被廣泛應用于多個領域，包括圖像識別[35,47,53,68]，文本分類[145,180,185]，視覺答題[98]，目標檢測[3,39,121]等。雖然已經發表了豐富的相關工作，DAL仍然缺乏一個統一的分類框架。為了填補這一空白，在本文中，我們將全面概述現有的DAL相關工作，以及一種正式的分類方法。下面我們將簡要回顧DL和AL在各自領域的發展現狀。隨后，在第二節中，進一步闡述了DL與AL結合的必要性和挑戰。
圖1所示。DL、AL和DAL的典型體系結構比較。(a)一種常見的DL模型:卷積神經網絡。(b) 基于池化的AL框架: 使用查詢策略查詢未標記的樣本池U和將其交給oracle進行標注,然后將查詢樣本添加到標記的訓練數據集L，然后使用新學到的知識查詢的下一輪。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。(c) DAL的一個典型例子:在標簽訓練集L0上初始化或預訓練DL模型的參數的常變量，利用未標記池U的樣本通過DL模型提取特征。然后根據相應的查詢策略選擇樣本，在查詢時對標簽進行查詢，形成新的標簽訓練集L，然后在L上訓練DL模型，同時更新U。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。
DAL結合了DL和AL的共同優勢:它不僅繼承了DL處理高維圖像數據和自動提取特征的能力，也繼承了AL有效降低標注成本的潛力。因此，DAL具有令人著迷的潛力，特別是在標簽需要高水平的專業知識和難以獲得的領域。
付費5元查看完整內容
摘要：這項工作考慮了這樣一個問題: 獲取大量數據的便利程度如何影響我們學習因果效應和關系的能力。在大數據時代，學習因果關系與傳統因果關系有哪些不同或相同之處?為了回答這個問題，這項綜述提供了一個在因果關系和機器學習之間聯系的全面和結構化的回顧。
//www.zhuanzhi.ai/paper/6ad7902913e98bd48540a5596b978edc
因果性是結果與引起結果的原因之間的一種一般性關系。它很難定義，而且我們通常只憑直覺知道原因和結果。因為下雨，街道是濕的。因為這個學生不學習，所以他考試考得很差。因為烤箱是熱的，奶酪在披薩上融化了。當用數據學習因果關系時，我們需要意識到統計關聯和因果之間的區別。例如，當天氣炎熱時，一家冰淇淋店的老板可能會注意到高昂的電費和較高的銷售額。因此，她會觀察到電費和銷售數字之間有很強的聯系，但電費并不是導致高銷售額的原因——讓商店的燈徹夜開著不會對銷售產生影響。在這種情況下，外部溫度是高電費和高銷售額的共同原因，我們說它是一個混亂的因果關系。
學習因果關系的能力被認為是人類水平智能的重要組成部分，可以作為AI的基礎(Pearl, 2018)。從歷史上看，學習因果關系已經在包括教育在內的許多高影響領域被研究過(LaLonde, 1986;Dehejia和Wahba, 1999年;Heckerman et al ., 2006;希爾，2011)，醫學科學(馬尼和庫珀，2000;經濟學(Imbens, 2004)、流行病學(Hernan et al.， 2000;Robins等人，2000年;、氣象學(Ebert-Uphoff和Deng, 2012)和環境衛生(Li et al.， 2014)。受限于數據量，堅實的先驗因果知識是學習因果關系所必需的。研究人員對通過精心設計的實驗收集的數據進行研究，堅實的先驗因果知識至關重要(Heckerman et al.， 2006)。以隨機對照試驗的原型為例(Cook et al.， 2002)，為了研究一種藥物的療效，患者將被隨機分配服用或不服用該藥物，這將保證平均而言，治療組和未治療組(對照組)在所有相關方面是等同的，排除任何其他因素的影響。然后，藥物對某些健康結果的影響——比如，偏頭痛的持續時間——可以通過比較兩組的平均結果來衡量。
這個綜述的目的是考慮在現在的大數據時代學習因果關系的新可能性和挑戰，這里指的是海量數據集的可用性。舉個例子，考慮到無法測量的混雜因素的可能性——可能會被減輕，因為可以測量更多的特征。因此，一方面，研究人員有可能在大數據的幫助下回答有趣的因果問題。例如，Yelp的正面評論是促使顧客去餐館，還是僅僅反映了受歡迎程度而沒有影響?這個因果問題可以通過Yelp維護的龐大數據庫中的數據來解決。另一方面，用大數據來回答因果問題，會帶來一些獨特的新問題。例如,盡管公共數據庫或通過web爬行收集的數據或應用程序編程接口(api)是空前巨大的,我們有很少的直覺對什么類型的偏差數據集可以遭受——數據更豐富,也更神秘,因此,負責任地更難模型。與此同時，大數據給其他學習任務(如預測)帶來的基本統計困難，使得因果調查更具挑戰性。也許這方面最顯著的例子是現代數據的高維性(Li et al.， 2017a)，比如文本數據(Imai et al.， 2013)。
付費5元查看完整內容
當前關于機器學習方面的資料非常豐富：Andrew NG在Coursera上的機器學習教程、Bishop的《機器學習與模式識別》 和周志華老師的《機器學習》都是非常好的基礎教材；Goodfellow等人的《深度學習》是學習深度學習技術的首選資料；MIT、斯坦福等名校的公開課也非常有價值；一些主要會議的Tutorial、keynote也都可以在網上搜索到。然而，在對學生們進行培訓的過程中， 我深感這些資料專業性很強，但入門不易。一方面可能是由于語言障礙，另一個主要原因在于機器學習覆蓋 面廣，研究方向眾多，各種新方法層出不窮，初學者往往在各種復雜的名詞，無窮無盡的 算法面前產生畏難情緒，導致半途而廢。
本書的主體內容是基于該研討班形成的總結性資料。基于作者的研究背景，這本書很難說 是機器學習領域的專業著作，而是一本學習筆記，是從一個機器學習 技術使用者角度對機器學習知識的一次總結，并加入我們在本領域研究中的一些經驗和發現。與其說是一本教材，不如說是一本科普讀物， 用輕松活潑的語言和深入淺出的描述為初學者打開機器學習這扇充滿魔力的大門。打開大門以后，我們會發現這是個多么讓人激動人心的 領域，每天都有新的知識、新的思路、新的方法產生，每天都有令人振奮的成果。我們希望這本書 可以讓更多學生、工程師和相關領域的研究者對機器學習產生興趣，在這片異彩紛呈的海域上找到 屬于自己的那顆貝殼。
強烈推薦給所有初學機器學習的人，里面有： 書籍的pdf 課堂視頻 課堂slides 各種延伸閱讀 MIT等世界名校的slides 學生的學習筆記等
付費5元查看完整內容
多模態數據分析
·
隨著web技術的發展，多模態或多視圖數據已經成為大數據的主要流，每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中于如何融合來自多模態空間的能量或信息，以提供比單一模態的同行更優越的性能。最近，深度神經網絡展示了一種強大的架構，可以很好地捕捉高維多媒體數據的非線性分布，對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢，從本質上深化了多模態深特征空間的融合。在這篇文章中，我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中，我們進一步指出，該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最后，我們就這一領域未來的一些方向分享我們的觀點。
付費5元查看完整內容
深度半監督學習
·
當對大量的標記數據集合(如ImageNet)進行訓練時，深度神經網絡展示了它們在特殊監督學習任務(如圖像分類)上的卓越表現。然而，創建這樣的大型數據集需要大量的資源、時間和精力。這些資源在很多實際案例中可能無法獲得，限制了許多深度學習方法的采用和應用。為了尋找數據效率更高的深度學習方法，以克服對大型標注數據集的需求，近年來，我們對半監督學習應用于深度神經網絡的研究興趣日益濃厚，通過開發新的方法和采用現有的半監督學習框架進行深度學習設置。在本文中，我們從介紹半監督學習開始，對深度半監督學習進行了全面的概述。然后總結了在深度學習中占主導地位的半監督方法。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191