人工神經網絡與其他學科領域聯系日益緊密,人們通過對人工神經網絡層結構的探索和改進來解決各個領域的問題。根據人工神經網絡相關文獻進行分析,綜述了人工神經網絡算法以及網絡模型結構的發展史,根據神經網絡的發展介紹了人工神經網絡相關概念,其中主要涉及到多層感知器、反向傳播神經網絡、卷積神經網絡以及遞歸神經網絡,描述了卷積神經網絡發展當中出現的部分卷積神經網絡模型和遞歸神經網絡中常用的相關網絡結構,分別綜述了各個人工神經網絡算法在相關領域的應用情況,總結了人工神經網絡的未來發展方向。
傳統的“試錯”型材料研究方法存在周期長、成本高和偶然性大等不足,已經不能滿足現代材料研發的需求,提高研發針對性、縮短材料研發周期、降低材料研發成本成為全世界的研究熱點。隨著數據量的不斷累積以及計算機技術的不斷發展,數據密集型科學逐漸成為科學研究的第四范式。從大量數據中尋找能反映材料本征的“基因”,是材料現行的研究趨勢。人工神經網絡方法因具備自學習、聯想存儲以及高速尋找優化解的能力的優點而被廣泛應用于材料科學領域。研究者利用人工神經網絡等機器學習模型對材料的試驗或理論計算數據進行挖掘,在專家經驗和理論指導下轉化為可靠的知識并能夠輔助智能決策,從而建立材料從微觀結構到宏觀性能間的一一映射關系。
早期,人工神經網絡主要被用于尋求材料的宏觀參數與材料宏觀性能之間的關系,如材料的成分設計,加工過程的工藝參數優化,以及尋找影響材料使用性能的環境參數;人工神經網絡通過對第一性原理計算結果進行學習,被用于描述原子尺度下體系之間的作用關系,以此實現計算速度與精度的平衡;而卷積神經網絡等深度神經網絡方法在圖像處理上的獨到優勢,使得其在材料表征領域得到了更廣泛的應用,如SEM、TEM中微結構識別與重構。借助人工神經網絡等方法,實現材料微觀、介觀到宏觀性能之間跨尺度的聯系,是實現材料設計這一終極目標的可能途徑。
本文回顧了人工神經網絡的發展歷史,對目前材料領域應用最為廣泛的BP神經網絡與卷積神經網絡原理進行了闡釋,綜述了人工神經網絡在材料宏觀性能、計算模擬、材料表征等領域的應用,探討了人工神經網絡在材料領域應用存在的不足,最后對未來的發展趨勢進行了展望。
摘要:隨著深度學習技術的快速發展,許多研究者嘗試利用深度學習來解決文本分類問題,特別是在卷積神經網絡和循環神經網絡方面,出現了許多新穎且有效的分類方法。對基于深度神經網絡的文本分類問題進行分析,介紹卷積神經網絡、循環神經網絡、注意力機制等方法在文本分類中的應用和發展,分析多種典型分類方法的特點和性能,從準確率和運行時間方面對基礎網絡結構進行比較,表明深度神經網絡較傳統機器學習方法在用于文本分類時更具優勢,其中卷積神經網絡具有優秀的分類性能和泛化能力。在此基礎上,指出當前深度文本分類模型存在的不足,并對未來的研究方向進行展望。
//www.ecice06.com/article/2021/1000-3428/2121.htm
文本分類技術經歷了從專家系統到機器學習再到深度學習的發展過程。在20世紀80年代以前,基于規則系統的文本分類方法需要領域專家定義一系列分類規則,通過規則匹配判斷文本類別。基于規則的分類方法容易理解,但該方法依賴專家知識,系統構建成本高且可移植性差。20世紀90年代,機器學習技術逐漸走向成熟,出現了許多經典的文本分類算法,如決策樹[1]、樸素貝葉斯[2]、支持向量機[3]、最大熵[4]、最近鄰[5]等,這些方法部分克服了上述缺點,一定程度上實現了分類器的自動生成,被廣泛應用于各個領域。然而,機器學習方法在構建分類器之前通常需要繁雜的人工特征工程,這限制了其進一步發展。
2012年之后,深度學習算法引起了研究者的廣泛關注。深度學習為機器學習建模提供了一種直接端到端的解決方案,可避免復雜的特征工程。GolVe[6]和word2vec[7]等詞向量模型的提出,使深度學習算法成功地應用到文本處理領域,隨后出現了各種基于深度神經網絡(Deep Neural Network,DNN)的文本分類方法。這些方法主要采用卷積神經網絡(Convolutional Neural Network,CNN)、循環神經網絡(Recurrent Neural Network,RNN)和注意力機制等深度學習技術,并且取得了比傳統方法更為出色的性能。近年來,圖卷積網絡(Graph Convolutional Network,GCN)、區域嵌入和元學習等一些新的深度學習方法也被應用于文本分類領域。
本文對基于深度神經網絡的文本分類技術進行介紹和分析,闡述卷積神經網絡、循環神經網絡和注意力機制等方法在文本分類中的應用和發展情況,總結各類方法的特點及區別,并對不同方法的性能表現和適用場景進行比較,討論在應用深度學習方法處理文本分類任務時應當注意的問題。在此基礎上,指出針對該技術未來的研究方向。
深度學習是機器學習和人工智能研究的最新趨勢,作為一個十余年來快速發展的嶄新領域,越來越受到研究者的關注。卷積神經網絡(CNN)模型是深度學習模型中最重要的一種經典結構,其性能在近年來深度學習任務上逐步提高。由于可以自動學習樣本數據的特征表示,卷積神經網絡已經廣泛應用于圖像分類、目標檢測、語義分割以及自然語言處理等領域。首先分析了典型卷積神經網絡模型為提高其性能增加網絡深度以及寬度的模型結構,分析了采用注意力機制進一步提升模型性能的網絡結構,然后歸納分析了目前的特殊模型結構,最后總結并討論了卷積神經網絡在相關領域的應用,并對未來的研究方向進行展望。
地址: //fcst.ceaj.org/CN/abstract/abstract2521.shtml
深度強化學習主要被用來處理感知-決策問題,已經成為人工智能領域重要的研究分支。概述了基于值函數和策略梯度的兩類深度強化學習算法,詳細闡述了深度Q網絡、深度策略梯度及相關改進算法的原理,并綜述了深度強化學習在視頻游戲、導航、多智能體協作以及推薦系統等領域的應用研究進展。最后,對深度強化學習的算法和應用進行展望,針對一些未來的研究方向和研究熱點給出了建議。
摘要: 隨著深度學習技術的快速發展,許多研究者嘗試利用深度學習來解決文本分類問題,特別在卷積神 經網絡和循環神經網絡方面,出現了許多新穎且富有成效的分類方法。本文對基于深度神經網絡的文本分類問題進行分析。分類介紹基于深度學習的文本分類方法,研究卷積神經網絡、循環神經網絡、注意力機 制等方法在文本分類中的應用和發展,分析不同深度學習文本分類方法的特點和性能,從準確率和運行時 間方面對基礎網絡結構進行比較。已有研究和本文實驗結果表明,深度神經網絡方法的分類性能超過了傳 統的機器學習方法,卷積神經網絡具有良好的分類性能。分析當前深度文本分類模型的不足,并對未來的 研究方向進行展望。
//www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059099
文本分類技術經歷了從專家系統到機器學習再到深度學習的發展過程。上世紀 80 年代 以前,基于規則系統的文本分類方法需要領域專家定義一系列分類規則,通過規則匹配判斷 文本類別。基于規則的分類方法容易理解,但該方法依賴專家知識,構建成本高,系統可移 植性差。到上世紀 90 年代,機器學習技術逐漸走向成熟,出現了許多經典的文本分類算法, 如決策樹[1]、樸素貝葉斯[2]、支持向量機[3]、最大熵[4]、最近鄰方法[5]等,這些方法部分克服 了前述缺點,一定程度上實現了分類器的自動生成,被廣泛應用的各個領域,但其缺點是在 構建分類器之前,通常需要繁雜的人工特征工程。2012 年開始,深度學習算法引起了越來 越多人的關注,深度學習為機器學習建模提供了一種直接端到端的解決方案,避免了復雜的 特征工程。Golve[6]和 word2vec[7]等詞向量模型的提出,為深度學習算法應用到文本處理領域 上鋪平了道路,隨后出現了各種基于深度神經網絡的文本分類方法,這些方法主要采用了卷 積神經網絡(convolutional neural networks,CNN)、循環神經網絡(recurrent neural networks, RNN)、注意力機制(attention mechanism)等深度學習技術,并且取得了比傳統方法更為 出色的性能。近年來,圖卷積網絡(graph convolutional network,GCN)、區域嵌入(region embedding)、元學習(meta-learning)等一些新的深度學習方法也被應用到文本分類領域。本文對基于深度神經網絡的文本分類技術進行了介紹和分析,將詳細介紹卷積神經網 絡、循環神經網絡、組合模型、注意力機制等方法在文本分類中的應用和發展,分析各類方 法的特點以及之間的區別,對不同方法的性能表現和適用場景進行分析比較,討論在應用深度學習方法處理文本分類任務時應當注意的問題,最后指出未來的研究方向。
深度學習能自動從大樣本數據中學習獲得優良的特征表達,有效提升各種機器學習任務的性能,已廣泛應用于信號處理、計算機視覺和自然語言處理等諸多領域。基于深度學習的醫學影像智能計算是目前智慧醫療領域的研究熱點,其中深度學習方法已經應用于醫學影像處理、分析的全流程。由于醫學影像內在的特殊性、復雜性,特別是考慮到醫學影像領域普遍存在的小樣本問題,相關學習任務和應用場景對深度學習方法提出了新要求。本文以臨床常用的X射線、超聲、計算機斷層掃描和磁共振等4種影像為例,對深度學習在醫學影像中的應用現狀進行綜述, 特別面向圖像重建、病灶檢測、圖像分割、圖像配準和計算機輔助診斷這5大任務的主要深度學習方法的進展進行介紹,并對發展趨勢進行展望。
卷積神經網絡(Convolutional Neural Network, CNN)是深度學習領域中最重要的網絡之一。由于CNN在計算機視覺和自然語言處理等諸多領域都取得了令人矚目的成就,因此在過去的幾年里,CNN受到了業界和學術界的廣泛關注。現有的綜述主要關注CNN在不同場景下的應用,并沒有從整體的角度來考慮CNN,也沒有涉及到最近提出的一些新穎的想法。在這篇綜述中,我們的目標是在這個快速增長的領域提供盡可能多的新想法和前景。不僅涉及到二維卷積,還涉及到一維和多維卷積。首先,這篇綜述首先簡單介紹了CNN的歷史。第二,我們提供CNN的概述。第三,介紹了經典的和先進的CNN模型,特別是那些使他們達到最先進的結果的關鍵點。第四,通過實驗分析,得出一些結論,并為函數選擇提供一些經驗法則。第五,介紹了一維、二維和多維卷積的應用。最后,討論了CNN的一些有待解決的問題和有發展前景的方向,為今后的工作提供參考。