機器學習 (ML) 的使用已迅速擴展到多個領域,在結構動力學和振動聲學 (SD&V) 中產生了許多應用。在前所未有的數據可用性、算法進步和計算能力的推動下,ML 從數據中揭示洞察力的能力不斷增強,增強了決策制定、不確定性處理、模式識別和實時評估。 SD&V 中的三個主要應用都利用了這些優勢。在結構健康監測中,機器學習檢測和預測導致安全操作和優化維護計劃。 ML 技術在主動噪聲控制和主動振動控制中利用了系統識別和控制設計。最后,所謂的基于 ML 的代理模型為昂貴的模擬提供了快速替代方案,從而實現了穩健和優化的產品設計。盡管該地區有許多作品,但尚未對其進行審查和分析。因此,為了跟蹤和理解這種持續的領域整合,本文對機器學習在 SD&V 分析中的應用進行了調查,闡明了當前的實施狀態和新出現的機會。為這三種應用中的每一種確定了主要的方法、優勢、局限性和基于科學知識的建議。此外,本文還考慮了數字孿生和物理引導 ML 在克服當前挑戰和推動未來研究進展方面的作用。因此,該調查對在 SD&V 中應用的機器學習的現狀進行了廣泛的概述,并引導讀者深入了解該領域的進展和前景。
圖 9:結構健康監測工作流程:(a)在經典方法中,特征提取和選擇是手工制作的,然后是 ML 方法;(b) 如果使用深度學習,則通過 ML 方法自動執行特征提取和選擇。
圖 15:數字孿生框架:來自物理的數據由數字孿生的數據驅動方法處理,在整個產品生命周期中支持優化和穩健的決策。
機器學習(ML)是一種系統從大規模數據中自動獲取、整合、開發知識,然后通過發現新信息自主擴展所獲得知識的能力,而無需專門編程。簡而言之,ML算法可以在以下方面找到應用: (1)對生成研究數據的網絡事件有更深入的了解,(2)以模型的形式捕獲對事件的低估,(3)基于構建的模型預測事件將產生的未來價值,(4)主動檢測現象的任何異常行為,以便提前采取適當的糾正措施。ML是一個不斷發展的領域,隨著最近的技術創新,特別是隨著更智能算法的發展以及硬件和存儲系統的進步,它已經能夠更高效、更精確地執行大量任務,這在幾十年前甚至是無法想象的。在過去的幾年中,深度學習(deep learning, DL)也在不斷發展,它是機器學習的一個專門子集,涉及更復雜的架構、算法和模型,用于解決復雜問題和預測復雜事件的未來結果。
//www.zhuanzhi.ai/paper/a2722f2cd41de99beda43da11ddddf66
近年來,機器學習算法系統發展迅速,特別是在強化學習、自然語言處理、計算機和機器人視覺、圖像處理、語音、情感處理和理解等方面。目前,機器學習在一些業務領域已經出現或正在發展,如醫藥和醫療保健、金融和投資、銷售和市場營銷、運營和供應鏈、人力資源、媒體和娛樂等。
近年來,工業上應用的ML系統呈現出一些突出的發展趨勢。這些趨勢將利用ML和人工智能(AI)系統的力量,進一步在商業和社會中獲取利益。其中一些趨勢如下:(1)更少的代碼量和更快的ML系統實現;(2)越來越多地使用適合在資源受限的物聯網設備上工作的輕量級系統;(3) ML模型構建代碼的自動生成;(4)為ML系統開發的魯棒管理設計新的流程,以提高可靠性和效率;(5)深度學習解決方案在各個領域和應用產品中得到更廣泛的應用;6)增加使用基于生成對抗式網絡(GAN)的各種圖像處理應用,包括圖像搜索、圖像增強等;7)更加突出非監督學習系統,不需要或更少的人為干預;(8)使用強化學習系統;最后,(9)基于零樣本的學習系統的進化。
隨著ML模型、算法及其應用的重要性和相關性的增加,以及基于DL和人工智能系統的更多創新應用的出現,本卷介紹了一些創新的研究工作及其在現實世界中的應用,如股票交易、醫療和醫療保健系統、和軟件自動化如何設計、優化ML和DL算法和模型,并將其應用于真實世界場景中的業務和其他流程,以實現更高的精度和效率。本書介紹了6個章節,重點介紹了機器學習、深度學習和人工智能的不同架構、模型、算法和應用。本書各章節討論的主題說明了在真實世界的應用中涉及到的設計、訓練、驗證、測試和部署機器學習和深度學習模型的復雜性。
摘要:隨著深度學習技術的快速發展,許多研究者嘗試利用深度學習來解決文本分類問題,特別是在卷積神經網絡和循環神經網絡方面,出現了許多新穎且有效的分類方法。對基于深度神經網絡的文本分類問題進行分析,介紹卷積神經網絡、循環神經網絡、注意力機制等方法在文本分類中的應用和發展,分析多種典型分類方法的特點和性能,從準確率和運行時間方面對基礎網絡結構進行比較,表明深度神經網絡較傳統機器學習方法在用于文本分類時更具優勢,其中卷積神經網絡具有優秀的分類性能和泛化能力。在此基礎上,指出當前深度文本分類模型存在的不足,并對未來的研究方向進行展望。
//www.ecice06.com/article/2021/1000-3428/2121.htm
文本分類技術經歷了從專家系統到機器學習再到深度學習的發展過程。在20世紀80年代以前,基于規則系統的文本分類方法需要領域專家定義一系列分類規則,通過規則匹配判斷文本類別。基于規則的分類方法容易理解,但該方法依賴專家知識,系統構建成本高且可移植性差。20世紀90年代,機器學習技術逐漸走向成熟,出現了許多經典的文本分類算法,如決策樹[1]、樸素貝葉斯[2]、支持向量機[3]、最大熵[4]、最近鄰[5]等,這些方法部分克服了上述缺點,一定程度上實現了分類器的自動生成,被廣泛應用于各個領域。然而,機器學習方法在構建分類器之前通常需要繁雜的人工特征工程,這限制了其進一步發展。
2012年之后,深度學習算法引起了研究者的廣泛關注。深度學習為機器學習建模提供了一種直接端到端的解決方案,可避免復雜的特征工程。GolVe[6]和word2vec[7]等詞向量模型的提出,使深度學習算法成功地應用到文本處理領域,隨后出現了各種基于深度神經網絡(Deep Neural Network,DNN)的文本分類方法。這些方法主要采用卷積神經網絡(Convolutional Neural Network,CNN)、循環神經網絡(Recurrent Neural Network,RNN)和注意力機制等深度學習技術,并且取得了比傳統方法更為出色的性能。近年來,圖卷積網絡(Graph Convolutional Network,GCN)、區域嵌入和元學習等一些新的深度學習方法也被應用于文本分類領域。
本文對基于深度神經網絡的文本分類技術進行介紹和分析,闡述卷積神經網絡、循環神經網絡和注意力機制等方法在文本分類中的應用和發展情況,總結各類方法的特點及區別,并對不同方法的性能表現和適用場景進行比較,討論在應用深度學習方法處理文本分類任務時應當注意的問題。在此基礎上,指出針對該技術未來的研究方向。
通過人工神經網絡等獲得的預測具有很高的準確性,但人類經常將這些模型視為黑盒子。對于人類來說,關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域,對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義,概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述,回顧過去和最近可解釋的SML方法,并根據介紹的定義對它們進行分類。最后,我們通過一個解釋性的案例研究來說明原則,并討論未來的重要方向。
//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c
目前人工智能(AI)模型的準確性是顯著的,但準確性并不是最重要的唯一方面。對于高風險的領域,對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出,醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域,深刻理解人工智能的應用是至關重要的,對可解釋人工智能(XAI)的需求是顯而易見的。
可解釋性在許多領域很重要,但不是在所有領域。我們已經提到了可解釋性很重要的領域,例如衛生保健。在其他領域,比如飛機碰撞避免,算法多年來一直在沒有人工交互的情況下運行,也沒有給出解釋。當存在某種程度的不完整時,需要可解釋性。可以肯定的是,不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面,不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如,刑事風險評估工具應該是公正的,它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域,它是主觀的,很難正式化。相比之下,飛機避免碰撞是一個很容易理解的問題,也可以被精確地描述。如果一個系統能夠很好地避免碰撞,就不用再擔心它了。不需要解釋。
本文詳細介紹了可解釋SML的定義,并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義,將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋,區分局部解釋和全局解釋。
綜上所述,本文的貢獻如下:
序列標記是一個基礎性研究問題,涉及詞性標記、命名實體識別、文本分塊等多種任務。盡管在許多下游應用(如信息檢索、問題回答和知識圖譜嵌入)中普遍和有效,傳統的序列標記方法嚴重依賴于手工制作或特定語言的特征。最近,深度學習已經被用于序列標記任務,因為它在自動學習實例的復雜特征和有效地產生藝術表現的強大能力。在本文中,我們旨在全面回顧現有的基于深度學習的序列標記模型,這些模型包括三個相關的任務,如詞性標記、命名實體識別和文本組塊。然后,在科學分類的基礎上,結合SL領域中廣泛使用的實驗數據集和常用的評價指標,系統地介紹了現有的方法。此外,我們還對不同的SL模型進行了深入分析,分析了可能影響SL領域性能和未來發展方向的因素。
序列標記是自然語言處理(NLP)中重要的一種模式識別任務。從語言學的角度來看,語言中最小的意義單位通常被認為是語素,因此每句話都可以看作是語素構成的序列。相應的,NLP領域中的序列標記問題可以將其表述為一種任務,目的是為一類在句子語法結構中通常具有相似角色和相似語法屬性的語素分配標簽,所分配標簽的意義通常取決于特定任務的類型,經典任務的例子有詞性標注[71]、命名實體識別(NER)[52]、文本分塊[65]等,在自然語言理解中起著至關重要的作用,有利于各種下游應用,如句法解析[81]、關系提取[64]和實體共指解析[78]等,并因此迅速得到廣泛關注。
通常,傳統的序列標記方法通常基于經典的機器學習技術,如隱馬爾科夫模型(HMM)[3]和條件隨機字段(CRFs)[51],這些技術通常嚴重依賴于手工制作的特征(如一個單詞是否大寫)或特定于語言的資源(如地名詞典)。盡管實現了卓越的性能,但對大量領域知識的需求和對特征工程的努力使得它們極難擴展到新的領域。在過去的十年中,深度學習(DL)由于其在自動學習復雜數據特征方面的強大能力而取得了巨大的成功。因此,對于如何利用深度神經網絡的表示學習能力來增強序列標記任務的研究已經有了很多,其中很多方法已經陸續取得了[8],[1],[19]的先進性能。這一趨勢促使我們對深度學習技術在序列標記領域的現狀進行了全面的綜述。通過比較不同深度學習架構的選擇,我們的目標是識別對模型性能的影響,以便后續研究人員更好地了解這些模型的優缺點。
本綜述的目的是全面回顧深度學習在序列標記(SL)領域的最新應用技術,并提供一個全景,以啟發和指導SL研究社區的研究人員和從業者快速理解和進入該領域。具體來說,我們對基于深度學習的SL技術進行了全面的調研,并按照嵌入模塊、上下文編碼器模塊和推理模塊三個軸進行了科學的分類,系統地總結了目前的研究現狀。此外,我們還概述了序列標記領域中常用任務的實驗設置(即數據集或評價指標)。此外,我們討論和比較了最具代表性的模型給出的結果,以分析不同因素和建筑的影響。最后,我們向讀者展示了當前基于dll的序列標記方法所面臨的挑戰和開放問題,并概述了該領域的未來發展方向。
本綜述旨在全面回顧深度學習技術在序列標注中的應用,并提供一個全景視圖,以便讀者對這一領域有一個全面的了解。我們以科學的分類學對文獻進行了總結。此外,我們提供了一般研究的序列標記問題的數據集和評價指標的概述。此外,我們還討論和比較了不同模型的結果,并分析了影響性能的因素和不同架構。最后,我們向讀者展示了當前方法面臨的挑戰和開放問題,并確定了該領域的未來方向。我們希望這項調查能對序列標記感興趣的研究者、從業者和教育者有所啟發和指導。
摘要
文本分類是自然語言處理中最基本、最基本的任務。過去十年,由于深度學習取得了前所未有的成功,這一領域的研究激增。大量的方法、數據集和評價指標已經在文獻中提出,提高了全面和更新綜述的需要。本文通過回顧1961年到2020年的先進方法的現狀來填補這一空白,側重于從淺到深的模型學習。我們根據所涉及的文本和用于特征提取和分類的模型創建文本分類的分類法。然后我們詳細討論每一個類別,處理支持預測測試的技術發展和基準數據集。本綜述還提供了不同技術之間的綜合比較,以及確定各種評估指標的優缺點。最后,總結了本研究的關鍵意義、未來研究方向和面臨的挑戰。
介紹
在許多自然語言處理(NLP)應用中,文本分類(為文本指定預定義標簽的過程)是一個基本和重要的任務, 如情緒分析[1][2][3],主題標簽[4][5][6],問答[7][8][9]和對話行為分類。在信息爆炸的時代,手工對大量文本數據進行處理和分類是一項耗時且具有挑戰性的工作。此外,手工文本分類的準確性容易受到人為因素的影響,如疲勞、專業知識等。人們希望使用機器學習方法來自動化文本分類過程,以產生更可靠和較少主觀的結果。此外,通過定位所需信息,可以提高信息檢索效率,緩解信息超載的問題。 圖1給出了在淺層和深層分析的基礎上,文本分類所涉及的步驟流程圖。文本數據不同于數字、圖像或信號數據。它需要NLP技術來仔細處理。第一個重要的步驟是對模型的文本數據進行預處理。淺層學習模型通常需要通過人工方法獲得良好的樣本特征,然后用經典的機器學習算法對其進行分類。因此,特征提取在很大程度上制約了該方法的有效性。然而,與淺層模型不同,深度學習通過學習一組直接將特征映射到輸出的非線性轉換,將特征工程集成到模型擬合過程中。
主要文本分類方法的示意圖如圖2所示。從20世紀60年代到21世紀10年代,基于淺層學習的文本分類模型占據了主導地位。淺層學習意味著在樂此不疲的模型,如 Na??ve Bayes(NB)[10], K-近鄰(KNN)[11],和支持向量機(SVM)[12]。與早期基于規則的方法相比,該方法在準確性和穩定性方面具有明顯的優勢。然而,這些方法仍然需要進行特征工程,這是非常耗時和昂貴的。此外,它們往往忽略文本數據中自然的順序結構或上下文信息,使學習詞匯的語義信息變得困難。自2010年代以來,文本分類逐漸從淺層學習模式向深度學習模式轉變。與基于淺層學習的方法相比,深度學習方法避免了人工設計規則和特征,并自動提供文本挖掘的語義意義表示。因此,大部分文本分類研究工作都是基于DNNs的,這是一種計算復雜度很高的數據驅動方法。很少有人關注于用淺層學習模型來解決計算和數據的局限性。
在文獻中,Kowsari等[13]考慮了不同的文本特征提取、降維方法、文本分類的基本模型結構和評價方法。Minaee等人[14]回顧了最近基于深度學習的文本分類方法、基準數據集和評估指標。與現有的文本分類研究不同,我們利用近年來的研究成果對現有的模型進行了從淺到深的總結。淺層學習模型強調特征提取和分類器設計。一旦文本具有精心設計的特征,就可以通過訓練分類器來快速收斂。在不需要領域知識的情況下,DNNs可以自動進行特征提取和學習。然后給出了單標簽和多標簽任務的數據集和評價指標,并從數據、模型和性能的角度總結了未來的研究挑戰。此外,我們在4個表中總結了各種信息,包括經典淺層和深度學習模型的必要信息、DNNs的技術細節、主要數據集的主要信息,以及在不同應用下的最新方法的一般基準。總而言之,本研究的主要貢獻如下:
我們在表1中介紹了文本分類的過程和發展,并總結了經典模式在出版年份方面的必要信息,包括地點、應用、引用和代碼鏈接。
根據模型結構,從淺層學習模型到深度學習模型,對主要模型進行了全面的分析和研究。我們在表2中對經典或更具體的模型進行了總結,并主要從基本模型、度量和實驗數據集方面概述了設計差異。
我們介紹了現有的數據集,并給出了主要的評價指標的制定,包括單標簽和多標簽文本分類任務。我們在表3中總結了基本數據集的必要信息,包括類別的數量,平均句子長度,每個數據集的大小,相關的論文和數據地址。
我們在表5中總結了經典模型在基準數據集上的分類精度得分,并通過討論文本分類面臨的主要挑戰和本研究的關鍵意義來總結綜述結果。
簡介:
近年來,由于機器學習(ML)/深度學習(DL)技術使用多維醫學圖像,在從一維心臟信號的心臟驟停的預測到計算機輔助診斷(CADx)的各種醫療保健應用中的卓越性能,見證了機器學習(ML)/深度學習(DL)技術的廣泛采用。盡管ML / DL的性能令人印象深刻,但對于ML / DL在醫療機構中的健壯性仍然存有疑慮(由于涉及眾多安全性和隱私問題,傳統上認為ML / DL的挑戰性很大),尤其是鑒于最近的研究結果表明ML / DL容易受到對抗性攻擊。在本文中,我們概述了醫療保健中各個應用領域,這些領域從安全性和隱私性的角度利用了這些技術,并提出了相關的挑戰。此外,我們提出了潛在的方法來確保醫療保健應用程序的安全和隱私保護機器學習。最后,我們提供了有關當前研究挑戰的見解以及未來研究的有希望的方向。
內容大綱:
題目: Understanding Deep Learning Techniques for Image Segmentation
簡介: 機器學習已被大量基于深度學習的方法所淹沒。各種類型的深度神經網絡(例如卷積神經網絡,遞歸網絡,對抗網絡,自動編碼器等)有效地解決了許多具有挑戰性的計算機視覺任務,例如在不受限制的環境中對對象進行檢測,定位,識別和分割。盡管有很多關于對象檢測或識別領域的分析研究,但相對于圖像分割技術,出現了許多新的深度學習技術。本文從分析的角度探討了圖像分割的各種深度學習技術。這項工作的主要目的是提供對圖像分割領域做出重大貢獻的主要技術的直觀理解。從一些傳統的圖像分割方法開始,本文進一步描述了深度學習對圖像分割域的影響。此后,大多數主要的分割算法已按照專用于其獨特貢獻的段落進行了邏輯分類。