深度學習
·
近年來，深度學習技術在多個領域的應用中取得了令人難以置信的成功。然而，由于其復雜性與多樣性，深度學習模型通常被大家認為是黑箱模型。在許多學習任務當中，什么樣的深度學習模型以及相應的參數配置能夠取得優越的性能？為什么這些模型與配置會有其優越性？我們需要如何找到這樣的模型與配置等問題？以上這些未解之謎使得深度學習更像是一門隨性的藝術，而非嚴謹的科學。
為從科學的角度揭示深度學習的內在運作機制，為深度學習模型設計與參數配置提供客觀有效的指引，并提供相應的理論支撐與可解釋性，香港浸會大學計算機科學系劉際明教授課題組系統地創建與展示了一個深度學習模型設計和信息論分析的全面框架。針對給定的學習任務與相應數據集，該學習框架能夠構建合適的深度學習模型、從理論上對模型的學習行為進行嚴謹的分析、并從捕獲信息的角度定量的刻畫模型的學習能力（information capacity，簡稱i-CAP）、并據此判定模型的必要與充分配置（Necessary and Sufficient Configurations）。通過該框架，我們可以解決深度學習中一個懸而未決的問題，即如何針對給定的學習數據集確定所設計的深度學習模型及其正確的參數配置。該論文剛剛被人工智能/機器學習/神經網絡國際頂級期刊IEEE Transactions on Neural Networks and Learning Systems（TNNLS）所接收，目前已見刊并對公眾開放（Open Access: //ieeexplore.ieee.org/document/9185001）。
付費5元查看完整內容
相關內容
醫學社區的長期目標是高效和智能地呈現和分析醫學圖像。一方面，這意味著要找到有效的方法來獲取高質量的醫療圖像，以便醫療保健提供者能夠隨時使用。另一方面，它意味著發現智能的方式來解釋醫學圖像，以促進醫療保健的交付。為此，研究人員和醫學專業人員通常尋求使用計算機系統，這些系統通過機器學習技術來處理醫學圖像。應用機器學習的一個關鍵步驟是獲得能很好地描述醫學圖像的信息表示。通常，這是通過手動特征工程來完成的，然而這需要相當多的醫學領域的專業知識。一種可能的解決方法是允許模型從原始數據中自動發現關于目標域的潛在表示。為此，本文將重點放在深度學習上，深度學習只是更廣泛的機器學習家族的一個子集，但最近已經取得了前所未有的進展，在發現高維數據的復雜結構方面顯示出令人難以置信的能力。對于許多計算機視覺任務，深度學習方法已經取得了最先進的性能，以顯著的優勢。本文開發了用于醫學圖像分析、重建和合成的深度學習模型和技術。在醫學圖像分析中，我們注重對醫學圖像內容的理解和對執業醫師的指導。特別是，我們研究了深度學習的方法來解決分類，檢測，分割和配準醫學圖像。在醫學圖像重建和合成中，我們提出利用深度學習的方法內在地學習醫學數據空間，有效地合成真實的醫學圖像。對于重建，我們的目標是生成高質量的醫學圖像和較少的偽影。對于合成，我們的目標是生成真實的醫學圖像，以幫助學習醫學圖像分析或重建模型。這篇論文的貢獻有三方面。首先，我們提出了利用深度學習解決醫學問題的各種方法。其次，我們展示了醫學知識融合在深度學習架構設計中的重要性和有效性。第三，我們展示了深度生成模型在解決醫學圖像重建和合成問題的潛力。
付費5元查看完整內容
神經網絡在諸多應用領域展現了巨大的潛力，成為當前最熱門的研究方向之一。神經網絡的訓練主要通過求解一個優化問題來完成，但這是一個困難的非線性優化問題，傳統的優化理論難以直接應用。在神經網絡和優化的交叉領域，長期以來研究人員積累了大量的理論研究知識，不過這些研究或過于理論而不被大部分實踐者所了解，或過于偏工程而不被理論學者所理解和欣賞。本文的目的是總結目前對于神經網絡優化基本理論和算法的現狀，架起理論和實踐、優化和機器學習界之間的橋梁。
對苦于調參常感到困惑的工程師而言，本文可以提供一些已有的理論理解以供參考，并提供一些思考的方式。對理論學者而言，本文力圖解釋其作為數學問題的困難之所在以及目前的理論進展，以期吸引更多研究者投身神經網絡優化理論和算法研究。
本文概述了神經網絡的算法和優化理論。首先，我們討論梯度爆炸/消失問題和更一般的譜控制問題，然后討論實際中常用的解決方案，包括初始化方法和歸一化方法。其次，我們回顧用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和大規模分布式訓練方法，以及這些算法的現有理論結果。第三，我們回顧了最近關于神經網絡訓練的全局問題的研究，包括局部極值、模式連接、彩票假設和無限寬度分析等方面的結果。
付費5元查看完整內容
深度學習利用多個處理層來學習具有多個層次特征的數據表示。自2014年以來，隨著Deepface和DeepID方法的突破，這一新興技術已經重塑了人臉識別的研究領域。從那時起，深度人臉識別(FR)技術，利用層次結構學習區分的人臉表示，已經極大地提高了最先進的性能，并培養了許多成功的現實世界的應用。在這篇論文中，我們提供了一個全面深度學習人臉識別綜述。首先，我們總結了在快速發展的深度FR方法中提出的不同的網絡結構和損耗函數。其次，相關的人臉處理方法被分為兩個類:“一對多增強”和“多對一歸一化”。然后，對常用的模型訓練和評價數據庫進行了總結和比較。第三，對跨因素場景、異質場景、多媒體場景和行業場景進行了深入分析。最后，指出了現有方法的潛在不足和未來的發展方向。
付費5元查看完整內容
深度學習方法對各種醫學診斷任務都非常有效，甚至在其中一些任務上擊敗了人類專家。然而，算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發，討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。
付費5元查看完整內容
智能視頻監控(IVS)是當前計算機視覺和機器學習領域的一個活躍研究領域，為監控操作員和取證視頻調查者提供了有用的工具。人的再識別(PReID)是IVS中最關鍵的問題之一，它包括識別一個人是否已經通過網絡中的攝像機被觀察到。PReID的解決方案有無數的應用，包括檢索顯示感興趣的個體的視頻序列，甚至在多個攝像機視圖上進行行人跟蹤。文獻中已經提出了不同的技術來提高PReID的性能，最近研究人員利用了深度神經網絡(DNNs)，因為它在類似的視覺問題上具有令人信服的性能，而且在測試時執行速度也很快。鑒于再識別解決方案的重要性和廣泛的應用范圍，我們的目標是討論在該領域開展的工作，并提出一項最先進的DNN模型用于這項任務的調查。我們提供了每個模型的描述以及它們在一組基準數據集上的評估。最后，我們對這些模型進行了詳細的比較，并討論了它們的局限性，為今后的研究提供了指導。
付費5元查看完整內容
題目：
Communication-Efficient Distributed Deep Learning: A Comprehensive Survey
簡介：
隨著深度模型和數據集規模的增加，通過利用多個計算設備（例如GPU / TPU）來減少總體訓練時間，分布式深度學習變得非常普遍。但是，計算設備之間的數據通信可能是限制系統可伸縮性的潛在瓶頸。近年來，如何解決分布式深度學習中的交流問題成為研究的熱點。在本文中，我們對系統級和算法級優化中的通信有效的分布式訓練算法進行了全面的概述。在系統級，我們對系統的設計和實現進行神秘化處理以降低通信成本。在算法級別，我們將不同的算法與理論收斂范圍和通信復雜性進行比較。具體來說，我們首先提出數據并行分布式訓練算法的分類法，它包含四個主要方面：通信同步，系統架構，壓縮技術以及通信和計算的并行性。然后，我們討論解決四個維度問題的研究，以比較通信成本。我們進一步比較了不同算法的收斂速度，這使我們能夠知道算法在迭代方面可以收斂到解決方案的速度。根據系統級通信成本分析和理論收斂速度的比較，我們為讀者提供了在特定的分布式環境下哪種算法更有效的方法，并推斷出可能的方向以進行進一步的優化。
付費5元查看完整內容
最近數據采集工具的技術進步使生命科學家能夠從不同的生物應用領域獲取多模式數據。大致分為三種類型（即序列，圖像和信號），這些數據數量巨大且性質復雜。挖掘如此大量的數據用于模式識別是一項巨大的挑戰，需要復雜的數據密集型機器學習技術。基于人工神經網絡的學習系統以其模式識別能力而聞名，最近它們的深度架構-稱為深度學習（DL）-已成功應用于解決許多復雜的模式識別問題。本文調研了DL在識別生物數據模式中的作用，提供了-DL在生物序列，圖像和信號數據中的應用；這些數據的開放獲取源的概述；適用于這些數據的開源DL工具的描述；并從定性和定量的角度比較這些工具。最后，它概述了挖掘生物數據的一些開放式研究挑戰，并提出了一些可能的未來前景。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191