亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中，我們將回顧這些框架，以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中，即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響，因為它們是最近大多數最先進的架構的基礎。因此，我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例，用于評估最先進的模型的訓練前資源和基準任務/數據集。

//compstat-lmu.github.io/seminar_nlp_ss20/

在過去的幾十年里，人工智能技術的重要性和應用不斷得到關注。在當今時代，它已經與構成人類塑造環境的大部分環境密不可分。因此，商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中，我們將仔細研究自然語言處理(NLP)的現代方法。

這本小冊子詳細介紹了用于自然語言處理的現代方法，如深度學習和遷移學習。此外，本研究亦會研究可用于訓練自然語言處理任務的資源，并會展示一個將自然語言處理應用于自然語言生成的用例。

為了分析和理解人類語言，自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練，因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的，深度神經網絡。為了解決容易的任務，可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性，采用了遞歸和卷積神經網絡。因此，遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型，卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中，將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。

遷移學習是每個任務或領域的學習模型的替代選擇。在這里，可以使用相關任務或領域的現有標記數據來訓練模型，并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練，并且可以節省訓練模型的時間，同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力，它使解碼器能夠注意到整個輸入序列，或自注意，它允許一個Transformer 模型處理所有輸入單詞，并建模一個句子中所有單詞之間的關系，這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合，介紹了BERT模型、GTP2模型和XLNet模型。

為NLP建模，需要資源。為了找到任務的最佳模型，可以使用基準測試。為了在基準實驗中比較不同的模型，需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標，深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA，以及可以找到資源的預訓練模型和數據庫，如“帶代碼的論文”和“大壞的NLP數據庫”。

在小冊子的最后一章中，介紹了生成性NLP處理自然語言生成，從而在人類語言中生成可理解的文本。因此，不同的算法將被描述，聊天機器人和圖像字幕將被展示，以說明應用的可能性。

本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法，并提供了一個更詳細的討論，以及各種示例的潛力和限制。

知識表示和推理是人工智能挑戰的核心: 要充分理解智能和認知的本質，使計算機能夠表現出類似人類的能力。早在1958年，約翰·麥卡錫(John McCarthy)就考慮過可以運用常識的人工智能系統。從這些早期工作中，研究人員確信(人工)智能可以被形式化為具有明確知識表征的符號推理，而研究的核心挑戰是弄清楚如何在計算機中表示知識，并使用它的算法來解決問題。

多年以后，這本書調研了構成知識表示和推理領域的大量科學和工程見解。在三個方面取得了進展。首先，研究人員探索了知識表示和推理的一般方法，解決了跨越應用領域的基本問題。其次，研究人員開發了專門的知識表示和推理方法來處理核心領域，如時間、空間、因果關系和行動。第三，研究人員處理了知識表示和推理的重要應用，包括查詢回答、規劃和語義網。因此，本書分為三個部分來涵蓋這些主題。

//www.elsevier.com/books/handbook-of-knowledge-representation/van-harmelen/978-0-444-52211-5

第一部分主要介紹人工智能系統中表示知識的一般方法。它從經典邏輯和定理證明的背景開始，然后轉向擴展經典邏輯的新方法——例如，處理定性的或不確定的信息——并改進其計算可處理性。

• 第一章通過調研自動化推理的經典邏輯和方法，為后面章節提供了背景知識。
• 第二章描述了可滿足性(SAT)求解器的顯著成功。研究人員發現，這類自動推理可以用于越來越多的實際應用，而且效率驚人。
• 第三章回顧了描述邏輯的研究，提供了用術語知識表示和推理的方法。描述邏輯是語義Web表示語言的核心。
• 第四章描述了約束規劃，一個解決組合搜索問題的強大范例。這種類型的知識表示和推理結合了來自人工智能、運籌學、算法和圖論的廣泛技術。
• 第五章回顧了在概念圖方面有影響的研究。這種結構化的表示提供了一種表達性語言和強大的推理方法，這對于自然語言理解等應用程序是必不可少的。
• 第六章介紹了非單調邏輯，它處理與處理一般規則異常相關的復雜問題。這些邏輯被稱為“非單調”，因為它們描述了當考慮到額外的異常時從知識庫撤回信息的情況。
• 第七章建立在上一章的基礎上，描述了答案集邏輯，它巧妙地處理了默認規則和例外，以及它們所產生的非單調推理。這種邏輯形式也支持關于行為的因果效應的推理——常識的另一個關鍵特征。
• 第八章通過對信念修正技術的調查繼續了這個主題，也就是說，一個主體是如何根據與之前的信念相矛盾的新信息改變其知識庫的。
• 第九章解釋了連續系統定性模型的作用。這些模型實現了常識的另一個關鍵特征: 使用不完整信息進行推理。這種推理形式可以計算，例如，一個系統可能的未來狀態，這是重要的許多任務，如診斷和輔導。
• 第十章證明了這些理論和技術為問題解決者建立了基礎，這些解決者利用系統行為的明確模型來完成諸如設計、測試和診斷等任務。這種基于模型的問題解決器以基本原理知識和具有正式邏輯基礎的推理引擎為基礎，而不是與特定實例和情況相關聯的經驗，實現了知識表示和推理技術的工業應用所需的能力和健壯性。
• 第十一章直面現實世界領域中不可避免的不確定性問題，并調查了貝葉斯網絡作為一種建模和基于不確定信念進行推理的方法的廣泛研究。

第二部分探討了用知識的一些核心領域(包括時間、空間、因果關系和行動)來表示和推理的特殊挑戰。這些挑戰在應用程序領域中普遍存在，因此解決方案必須是通用的和可組合的。

• 第十二章討論了如何表示一個不斷變化的時序世界。在這個貫穿本節的主題中，這提出了各種有趣的本體論問題——比如時間應該用點還是間隔來建模，以及在什么層次上粒度化——以及這些決定的實際后果。
• 第十三章調研了空間的定性表示，包括拓撲、方向、形狀、大小和距離，以及適用于每個空間的推理方法。雖然沒有單一的理論涵蓋這些主題全面，研究人員已經產生了一個強大的工具包。
• 第十四章建立在前兩章的基礎上，并對定性建模進行了研究，以解決一般的物理推理問題。發展了兩個重要的領域理論(液體和固體)，并探討了在替代模型之間轉換的關鍵問題。
• 第十五章調研了一個主體的知識和信念的表現，包括關于其他主體的知識狀態的命題(例如，“湯姆相信瑪麗知道……”)。這種工作可以很好地擴展到在智能體社區中處理公共知識和分布式知識。
• 第十六章考察了“情境演算”的悠久歷史——為處理動態世界而設計的知識表示。麥卡錫和海斯首先定義的情形是“宇宙在某一時刻的完整狀態”。因為情境是可以被量化的一階對象，這個框架已經被證明是關于變化的推理的一個強有力的基礎。
• 第十七章描述了事件演算作為一種情景演算的替代，它具有一些額外的好特性。特別是，事件演算有助于表示連續事件、不確定性影響、持續時間事件、觸發事件等等。
• 第十八章通過引入時態動作邏輯，繼續開發為動態世界設計的表示語言。這個語言家族特別適合于推理持久性，也就是說，世界上的特性會隨著時間的推移而不變，直到一個動作影響到它們。它簡化了不確定性動作、有持續時間的動作、并發動作和動作的延遲效果的表示，部分原因是它使用了顯式時間，并且它將自動計劃器與形式主義緊密地結合在一起。
• 第十九章關注于非單調因果邏輯，它使用框架問題的強解決方案來處理動態世界。這一邏輯始于這樣的假設:每件事都有一個原因:要么是先前的動作，要么是慣性(持久性)。這導致了一些關鍵問題的很好的形式化，比如分支、隱含的操作前提條件和操作的并發交互影響。

第三部分介紹了知識表示和推理的重要應用。應用領域涵蓋了人工智能的廣度，包括問題回答、語義網、計劃、機器人和多智能體系統。每一項應用都廣泛借鑒了第一部分和第二部分中所述的研究結果。

• 第二十章調研了問答系統。這些系統會回答相關文檔的問題，在某些情況下，還會回答常識信息的知識庫。該系統的挑戰是選擇相關的文本段落(一個信息檢索任務)，解釋它們(一個自然語言理解任務)和推斷問題的答案(一個推理任務)。
• 第二十一章回顧了語義網的發展:萬維網的一個擴展，在它的內容是用一種正式的語言表達的，使軟件代理能夠發現、整合和推理它。這帶來了許多挑戰，包括將知識表示方法縮放到Web的大小。
• 第二十二章調查了自動化規劃的進展，這使得這些系統比早期人工智能的“經典規劃”更加強大。例如，新框架支持不確定性操作和部分可觀察性，這是現實領域的重要屬性。
• 第二十三章將知識表示和推理擴展到一個新的方向:認知機器人。這一應用的挑戰在于，機器人的世界是動態的、不完全已知的，這需要重新思考傳統的人工智能任務方法，比如規劃，以及耦合高級推理和低級感知。
• 第二十四章對多智能體系統的研究進行了調查，其中每個智能體代表和推理環境中的其他智能體是很重要的。當代理有不同的，或者更糟的——沖突的目標時，這就特別具有挑戰性。
• 第二十五章描述了知識工程的工具和技術:如何獲得可以用其他章節中描述的形式來表達的知識。

此外，這25章，組織在三個部分“一般方法”，“專門的表示和“應用”，提供了一個獨特的調研，最好的知識表示已經取得，由幫助塑造領域的研究人員寫。我們希望學生，研究人員和從業者在所有領域的人工智能和認知科學將發現這本書是一個有用的資源。

自然語言處理(NLP)為解決人工智能方面的問題提供了無限的機會，使Amazon Alexa和谷歌翻譯等產品成為可能。如果您是NLP和深度學習的新手，那么本實用指南將向您展示如何使用PyTorch(一個基于python的深度學習庫)應用這些方法。

作者Delip Rao和Brian McMahon為您提供了關于NLP和深度學習算法的堅實基礎，并演示了如何使用PyTorch構建應用程序，其中包含針對您所面臨問題的文本的豐富表示。每一章包括幾個代碼示例和插圖。

• 探索計算圖表和監督學習范式
• 掌握PyTorch優化張量操作庫的基礎知識
• 對傳統的NLP概念和方法進行概述
• 學習建立神經網絡的基本概念
• 使用嵌入來表示單詞、句子、文檔和其他特性
• 探索序列預測并生成序列對序列模型
• 學習構建生產NLP系統的設計模式

//www.oreilly.com/library/view/natural-language-processing/9781491978221/

越來越多來自不同領域的計算機科學家使用離散數學結構來解釋概念和問題。在教學經驗的基礎上，作者提供了一個容易理解的文本，強調了離散數學的基礎及其高級課題。這篇文章展示了如何用清晰的數學語言表達精確的思想。學生發現離散數學在描述計算機科學結構和解決問題方面的重要性。他們還學習如何掌握離散數學將幫助他們發展重要的推理技能，這些技能將在他們的職業生涯中繼續發揮作用。

摘要

文本分類是自然語言處理中最基本、最基本的任務。過去十年，由于深度學習取得了前所未有的成功，這一領域的研究激增。大量的方法、數據集和評價指標已經在文獻中提出，提高了全面和更新綜述的需要。本文通過回顧1961年到2020年的先進方法的現狀來填補這一空白，側重于從淺到深的模型學習。我們根據所涉及的文本和用于特征提取和分類的模型創建文本分類的分類法。然后我們詳細討論每一個類別，處理支持預測測試的技術發展和基準數據集。本綜述還提供了不同技術之間的綜合比較，以及確定各種評估指標的優缺點。最后，總結了本研究的關鍵意義、未來研究方向和面臨的挑戰。

介紹

在許多自然語言處理(NLP)應用中，文本分類（為文本指定預定義標簽的過程）是一個基本和重要的任務, 如情緒分析[1][2][3],主題標簽[4][5][6],問答[7][8][9]和對話行為分類。在信息爆炸的時代，手工對大量文本數據進行處理和分類是一項耗時且具有挑戰性的工作。此外，手工文本分類的準確性容易受到人為因素的影響，如疲勞、專業知識等。人們希望使用機器學習方法來自動化文本分類過程，以產生更可靠和較少主觀的結果。此外，通過定位所需信息，可以提高信息檢索效率，緩解信息超載的問題。 圖1給出了在淺層和深層分析的基礎上，文本分類所涉及的步驟流程圖。文本數據不同于數字、圖像或信號數據。它需要NLP技術來仔細處理。第一個重要的步驟是對模型的文本數據進行預處理。淺層學習模型通常需要通過人工方法獲得良好的樣本特征，然后用經典的機器學習算法對其進行分類。因此，特征提取在很大程度上制約了該方法的有效性。然而，與淺層模型不同，深度學習通過學習一組直接將特征映射到輸出的非線性轉換，將特征工程集成到模型擬合過程中。

主要文本分類方法的示意圖如圖2所示。從20世紀60年代到21世紀10年代，基于淺層學習的文本分類模型占據了主導地位。淺層學習意味著在樂此不疲的模型,如 Na??ve Bayes(NB)[10], K-近鄰(KNN)[11],和支持向量機(SVM)[12]。與早期基于規則的方法相比，該方法在準確性和穩定性方面具有明顯的優勢。然而，這些方法仍然需要進行特征工程，這是非常耗時和昂貴的。此外，它們往往忽略文本數據中自然的順序結構或上下文信息，使學習詞匯的語義信息變得困難。自2010年代以來，文本分類逐漸從淺層學習模式向深度學習模式轉變。與基于淺層學習的方法相比，深度學習方法避免了人工設計規則和特征，并自動提供文本挖掘的語義意義表示。因此，大部分文本分類研究工作都是基于DNNs的，這是一種計算復雜度很高的數據驅動方法。很少有人關注于用淺層學習模型來解決計算和數據的局限性。

在文獻中，Kowsari等[13]考慮了不同的文本特征提取、降維方法、文本分類的基本模型結構和評價方法。Minaee等人[14]回顧了最近基于深度學習的文本分類方法、基準數據集和評估指標。與現有的文本分類研究不同，我們利用近年來的研究成果對現有的模型進行了從淺到深的總結。淺層學習模型強調特征提取和分類器設計。一旦文本具有精心設計的特征，就可以通過訓練分類器來快速收斂。在不需要領域知識的情況下，DNNs可以自動進行特征提取和學習。然后給出了單標簽和多標簽任務的數據集和評價指標，并從數據、模型和性能的角度總結了未來的研究挑戰。此外，我們在4個表中總結了各種信息，包括經典淺層和深度學習模型的必要信息、DNNs的技術細節、主要數據集的主要信息，以及在不同應用下的最新方法的一般基準。總而言之，本研究的主要貢獻如下:

• 我們在表1中介紹了文本分類的過程和發展，并總結了經典模式在出版年份方面的必要信息，包括地點、應用、引用和代碼鏈接。

• 根據模型結構，從淺層學習模型到深度學習模型，對主要模型進行了全面的分析和研究。我們在表2中對經典或更具體的模型進行了總結，并主要從基本模型、度量和實驗數據集方面概述了設計差異。

• 我們介紹了現有的數據集，并給出了主要的評價指標的制定，包括單標簽和多標簽文本分類任務。我們在表3中總結了基本數據集的必要信息，包括類別的數量，平均句子長度，每個數據集的大小，相關的論文和數據地址。

• 我們在表5中總結了經典模型在基準數據集上的分類精度得分，并通過討論文本分類面臨的主要挑戰和本研究的關鍵意義來總結綜述結果。

隨著圖像處理,語音識別等人工智能技術的發展,很多學習方法尤其是采用深度學習框架的方法取得了優異的性能,在精度和速度方面有了很大的提升,但隨之帶來的問題也很明顯,這些學習方法如果要獲得穩定的學習效果,往往需要使用數量龐大的標注數據進行充分訓練,否則就會出現欠擬合的情況而導致學習性能的下降。因此,隨著任務復雜程度和數據規模的增加,對人工標注數據的數量和質量也提出了更高的要求,造成了標注成本和難度的增大。同時,單一任務的獨立學習往往忽略了來自其他任務的經驗信息,致使訓練冗余重復因而導致了學習資源的浪費,也限制了其性能的提升。為了緩解這些問題,屬于遷移學習范疇的多任務學習方法逐漸引起了研究者的重視。與單任務學習只使用單個任務的樣本信息不同,多任務學習假設不同任務數據分布之間存在一定的相似性,在此基礎上通過共同訓練和優化建立任務之間的聯系。這種訓練模式充分促進任務之間的信息交換并達到了相互學習的目的,尤其是在各自任務樣本容量有限的條件下,各個任務可以從其它任務獲得一定的啟發,借助于學習過程中的信息遷移能間接利用其它任務的數據,從而緩解了對大量標注數據的依賴,也達到了提升各自任務學習性能的目的。在此背景之下,本文首先介紹了相關任務的概念,并按照功能的不同對相關任務的類型進行劃分后再對它們的特點進行逐一描述。然后,本文按照數據處理模式和任務關系建模過程的不同將當前的主流算法劃分為兩大類:結構化多任務學習算法和深度多任務學習算法。其中,結構化多任務學習算法采用線性模型,可以直接針對數據進行結構假設并且使用原有標注特征表述任務關系,同時,又可根據學習對象的不同將其細分為基于任務層面和基于特征層面兩種不同結構,每種結構有判別式方法和生成式方法兩種實現手段。與結構化多任務學習算法的建模過程不同,深度多任務學習算法利用經過多層特征抽象后的深層次信息進行任務關系描述,通過處理特定網絡層中的參數達到信息共享的目的。緊接著,以兩大類算法作為主線,本文詳細分析了不同建模方法中對任務關系的結構假設、實現途徑、各自的優缺點以及方法之間的聯系。最后,本文總結了任務之間相似性及其緊密程度的判別依據,并且分析了多任務作用機制的有效性和內在成因,從歸納偏置和動態求解等角度闡述了多任務信息遷移的特點。 //gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019

這本教科書通過提供實用的建議，使用直接的例子，并提供相關應用的引人入勝的討論，以一種容易理解的方式介紹了基本的機器學習概念。主要的主題包括貝葉斯分類器，最近鄰分類器，線性和多項式分類器，決策樹，神經網絡，和支持向量機。后面的章節展示了如何通過“推進”的方式結合這些簡單的工具，如何在更復雜的領域中利用它們，以及如何處理各種高級的實際問題。有一章專門介紹流行的遺傳算法。

這個修訂的版本包含關于工業中機器學習的實用應用的關鍵主題的三個全新的章節。這些章節研究了多標簽域，無監督學習和它在深度學習中的使用，以及歸納邏輯編程的邏輯方法。許多章節已經被擴展，并且材料的呈現已經被增強。這本書包含了許多新的練習，許多解決的例子，深入的實驗，和獨立工作的計算機作業。

//link.springer.com/book/10.1007/978-3-319-63913-0#about

本書概述了現代數據科學重要的數學和數值基礎。特別是，它涵蓋了信號和圖像處理(傅立葉、小波及其在去噪和壓縮方面的應用)、成像科學(反問題、稀疏性、壓縮感知)和機器學習(線性回歸、邏輯分類、深度學習)的基礎知識。重點是對方法學工具(特別是線性算子、非線性逼近、凸優化、最優傳輸)的數學上合理的闡述，以及如何將它們映射到高效的計算算法。

//mathematical-tours.github.io/book/

它應該作為數據科學的數字導覽的數學伴侶，它展示了Matlab/Python/Julia/R對這里所涵蓋的所有概念的詳細實現。

本備忘單是機器學習手冊的濃縮版，包含了許多關于機器學習的經典方程和圖表，旨在幫助您快速回憶起機器學習中的知識和思想。

這個備忘單有兩個顯著的優點:

1. 清晰的符號。數學公式使用了許多令人困惑的符號。例如，X可以是一個集合，一個隨機變量，或者一個矩陣。這是非常混亂的，使讀者很難理解數學公式的意義。本備忘單試圖規范符號的使用，所有符號都有明確的預先定義，請參見小節。

2. 更少的思維跳躍。在許多機器學習的書籍中，作者省略了數學證明過程中的一些中間步驟，這可能會節省一些空間，但是會給讀者理解這個公式帶來困難，讀者會在中間迷失。