亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

我們世界中的事件無處不在，大到疾病爆發和地震，中到系統故障和犯罪，小到網絡行為和化學反應。事件的分析在不同的領域中已經有重要應用，諸如醫療保健、商業、網絡領域、政治和娛樂，幾乎影響著生活的每一個角落。因此，事件分析在過去幾年引起了極大的關注，可以分為事件總結、檢測和預測。其中總結和檢測為回顧性分析，與它們不同，本綜述專注的事件預測側重于預測未來的事件。對未來事件的準確預測使人們能夠最大限度地減少與未來某些事件相關的損失，可能為社會的諸多方面如疾病預防、災害管理、商業智能和經濟穩定性帶來不可估量的收益。

事件預測歷來在不同領域都極具挑戰性，因為我們對大多數領域的事件發生的真正原因和驅動機制的了解一般并不完整。然而，大數據時代、高性能計算、以及人工智能技術的進步對上述挑戰的解決提供了前所未有的機會。通過基于數據驅動的方式，比如例如機器學習、數據挖掘、模式識別、統計和其他計算模型，我們有了更多的機會彌補上述不足，甚至能夠有機會幫助發現事件發生的動因和發展規律。該領域目前正經歷高速發展，以期解決諸多事件預測領域獨特的挑戰：

挑戰 1: 異構多輸出預測問題。事件預測方法通常需要預測事件的多個方面，包括時間、地點、主題、強度和持續時間，每個方面都經常使用不同的數據結構。除了異構性，多個輸出之前也有很強的相關性。另外，復雜的輸出也導致了訓練數據標注的難度和精度，以及預測準確性評估的難度。

挑戰 2: 不同輸出之間的復雜關系。不同于機器學習里經常使用的傳統的獨立性假設，真實世界的事件預測往往是互相影響甚至互為因果。因此，除了建立當前觀測與未來事件的前瞻性映射，未來事件之間的相關性也需要考慮。

挑戰 3: 實時預測的需求。事件預測一般需要對觀測進行實施持續監控從而及時預報未來事件。然而在這個過程中，經過訓練的預測模型逐漸變得過時，因為現實世界的規則和概念是持續變化的，數據的分布也是在變化的，比如社交媒體數據的用戶年齡分布、全球氣候情況等。

挑戰 4: 事件大數據本身的挑戰。上述提到的挑戰在事件預測的任務中進一步導致收集和利用事件數據的困難。這包括諸如帶有異構噪聲、數據不完整、多模態，多分辨率這些常見問題。同時事件的發生一般屬罕見現象，因此樣本的不平衡性是重要問題。另外在很多情況下會有對抗性數據引入，比如輿論監管導致的定向性數據缺失。

近年來，大量研究致力于事件預測技術的開發和應用，以解決上述挑戰。當前，事件預測技術整體上仍處于起步階段，但事件預測的研究和應用已出現在非常廣泛的眾多領域中。現存最多的事件預測方法是為特定的應用領域設計的，然而不同領域中事件預測技術其實有很多共性和聯系。不同的應用領域方法的相互參考和討論目前仍然大量的缺失，然而這樣的跨領域思考對于事件預測領域的技術進步極為重要。此外，事件預測結果的質量評估也缺乏統一標準。因此該領域需要系統性綜述以確定其規范、技術分類、前沿問題、以及尚需解決的問題。本綜述的發表正式為了滿足上述需求，主要有以下幾方面貢獻：

對現有技術的系統分類和總結。本文提供了事件預測方法的正式問題表述，并據此對當前技術進行系統性分類。同時本文討論了不同子類別之間的關系、優點和缺點，以及每個子類別下技術的詳細信息。穩重提出的分類法可以幫助領域專家找到合適的技術從而有針對性的解決問題。

主要應用領域的綜合分類和總結。本文提供了對事件預測的應用領域詳細分類。闡明每個應用領域的實際意義、難點、常用技術以及數據。這將有望幫助數據科學家和模型開發人員搜索其他應用領域和數據集來評估他們提出的方法，并擴展他們的先進技術以涵蓋新的應用領域。

標準化的評估指標和程序。如前所述，事件預測的數據結構是復雜的，包含時間、位置、語義等。本文全面總結了事件預測的實驗方法，從而標準化了事件預測的評估體系和方法。

對該領域研究現狀和未來方向的深入討論。基于對現有的工作的調查，本文總結和劃定了當前事件預測技術和應用的研究前沿。文章最后提出對當前瓶頸、長期挑戰和未來方向的討論。

這篇綜述對事件預測的問題及方法歸類如下：其首先按不同輸出進行分類，分為時間預測，地點預測，主題預測，以及多輸出預測。每個類別根據輸出的數據形式進一步分類并給出相應的預測技術。

圖 1：文章提出的對事件預測技術分類方法。

摘要

對話系統是一個流行的自然語言處理(NLP)任務，因為它在現實生活中應用前景廣闊。這也是一個復雜的任務，因為涉及到許多需要研究的自然語言處理任務。因此，關于深度學習的對話系統研究的大量工作開展了。在這個綜述中，我們主要關注基于深度學習的對話系統。我們全面回顧了對話系統的研究成果，并從模型類型和系統類型兩個角度對其進行了分析。具體地，從模型類型的角度，討論了對話系統中廣泛應用的各種模型的原理、特點和應用。這將幫助研究人員了解這些模型，并了解它們如何應用于最先進的框架中，這在設計一個新的對話系統時非常有幫助。從系統類型的角度，討論了任務導向對話系統和開放領域對話系統這兩個研究方向，并對相關的熱點問題進行了深入的探討。此外，我們還對對話系統的評價方法和數據集進行了全面的綜述，為未來的研究鋪平了道路。最后，根據最近的研究成果，確定了一些可能的研究趨勢。據我們所知，這個綜述是目前對話系統和對話相關任務領域中最全面和最新的，廣泛覆蓋了流行的框架、主題和數據集。

//www.zhuanzhi.ai/paper/a34ced4ac06f1af10dea73064600db50

引言

對話系統(或聊天機器人)正在世界上發揮更大的作用。人們可能仍然有一種刻板印象，即聊天機器人是那些給銀行打電話時死板的代理。然而，由于人工智能的復興，現代聊天機器人可以談論豐富的話題，從你的生日派對到拜登的演講，如果你愿意，它們甚至可以為你預訂聚會地點或播放演講視頻。對話系統是目前自然語言處理領域的熱點之一，在工業和日常生活中都有很高的要求。聊天機器人的市場規模預計將從2021年的26億美元增長到2024年的94億美元，復合年增長率(CAGR)為29.7%。預計到2021年底，80%的企業將配備聊天機器人自動化。

對話系統可以與人聊天，也可以作為對話的助手。根據其應用，對話系統通常分為兩類:面向任務的對話系統和開放域對話系統。面向任務的對話系統解決了特定領域的特定問題，如電影票預訂、餐廳餐桌預訂等。傳統的任務導向對話系統采用流水線結構，由四個功能模塊組成: 自然語言理解、對話狀態跟蹤、策略學習和自然語言生成，這將在第三節詳細討論。許多最先進的作品設計端到端面向任務的對話系統，以實現比流水線方法更好的優化。開放域對話系統的目標是在沒有任務和域限制的情況下與用戶聊天，而不是專注于任務完成(Ritter et al.， 2011)，這通常是完全數據驅動的。開放域對話系統一般分為三類: 生成式系統、基于檢索的系統和集成系統。生成系統運用序列到序列模型將用戶消息和對話歷史映射到一個可能不會出現在訓練語料庫中的響應序列。相比之下，基于檢索的系統嘗試從某個回復應集中選擇已存在的回復。集成系統通過兩種方式將生成法和基于檢索的方法相結合: 將檢索到的響應與生成的響應進行比較，從中選擇最優的回復; 生成模型還可以用于提煉檢索到的回復(Zhu et al., 2018; Song et al., 2016; Qiu et al., 2017; Serban et al., 2017b)。生成系統可以產生靈活的、對話的、與上下文相關的回復，但有時它們缺乏連貫性，傾向于做出枯燥的回應。基于檢索的系統從人的回復集中選擇回復，從而能夠獲得更好的表層語言的連貫性。然而，檢索系統受限于響應集的有限性，有時檢索到的回復與對話上下文的相關性較弱(Zhu et al.， 2018)。

對于對話系統，現有的綜述論文(Arora et al., 2013; Wang and Yuan, 2016; Mallios and Bourbakis, 2016; Chen et al., 2017a; Gao et al., 2018)要么過時，要么不全面。這些論文中的一些定義目前已經不再使用，很多新的著作和話題沒有涉及到。此外，它們大多缺乏多角度的分析。因此，在本綜述中，我們全面回顧了近年來基于深度學習方法的高質量研究，并從模型角度和系統角度提供了對最新研究的見解。此外，本綜述根據最新的研究成果更新了定義，并廣泛覆蓋了對話系統中的各種熱點問題。

傳統的對話系統大多是基于有限狀態(Arora et al.， 2013)、基于統計學習和基于機器學習的系統。基于有限狀態的系統易于實現，并且能夠自然地響應，這使得它們在早期的行業產品中很受歡迎。但是，這些系統的對話流是預先確定的，這使對話系統的應用程序保持在特定的場景中。基于統計學習和基于機器學習的系統通常執行模板填充來管理某些任務。與基于有限狀態的系統相比，這些系統更加靈活，因為對話流不是預先確定的。但是，由于模板固定，在模板填寫方面F1分數不高，在應用場景和響應多樣性方面也受到限制。大多數最先進的對話系統都是基于深度學習的系統。深度學習的快速增長提高了對話系統的性能(Chen et al.， 2017a)。深度學習可以被看作是多層神經網絡的表示學習。深度學習體系結構廣泛應用于對話系統及其子任務。第2節討論了各種流行的深度學習架構。

從對話系統出發，NLP也有很多與對話相關的任務，包括但不限于問答、閱讀理解、對話解纏、視覺對話、視覺問答、對話推理、對話語義解析、對話關系提取、對話情感分析、仇恨言語檢測，MISC檢測等。在這個調查中，我們還談到了一些處理這些對話相關任務的工作，因為對話系統的設計可以從這些相關領域的進展中受益。

我們為這篇長文章制作了一個圖，以幫助讀者熟悉整體結構(圖1)。在這個綜述中，第一部分簡要介紹了對話系統和深度學習;第二節討論了現代對話系統中流行的神經模型及其相關工作;第三部分介紹了任務導向對話系統的原理和相關工作，并討論了當前的研究挑戰和熱點問題;第4節簡要介紹了這三種系統，并重點介紹了開放域對話系統的研究熱點;第5節回顧了對話系統的主要評價方法;第6節全面總結了對話系統常用的數據集;最后，第七部分對全文進行了總結，并提出了一些研究趨勢。

機器閱讀理解(MRC)旨在教會機器閱讀和理解人類語言，這是自然語言處理(NLP)的長期目標。隨著深度神經網絡的爆發和上下文語言模型(CLMs)的發展，MRC的研究經歷了兩個重大突破。MRC和CLM作為一種現象，對NLP社區產生了巨大的影響。本文從以下幾個方面對MRC進行了全面的比較研究:1)MRC和CLM的起源和發展，特別是CLM的作用;2) MRC和CLM對NLP社區的影響;3) MRC的定義、數據集和評價;(4)基于人類認知過程視角的兩階段譯碼解算體系結構視角下的通用MRC體系結構與技術方法;5)以往研究的亮點、新出現的課題以及我們的實證分析，其中我們特別關注了在MRC研究的不同時期的作用。針對這些主題，我們提出了一個全視圖分類和新的分類法。我們的主要觀點是:1)MRC促進了從語言處理到理解的進程;2) MRC系統的快速改進得益于CLMs的發展;3) MRC的主題逐漸從淺層的文本匹配轉向認知推理。

//www.zhuanzhi.ai/paper/4a9e5f961d514baf95a9ab3cae550262

摘要

多任務學習(Multi-Task Learning, MTL)是機器學習中的一種學習范式，其目的是利用多個相關任務中包含的有用信息來幫助提高所有任務的泛化性能。

本文從算法建模、應用和理論分析三個方面對MTL進行了綜述。在算法建模方面，給出了MTL的定義，并將不同的MTL算法分為特征學習、低秩、任務聚類、任務關系學習和分解五類，并討論了每種方法的特點。

為了進一步提高學習任務的性能，MTL可以與半監督學習、主動學習、無監督學習、強化學習、多視圖學習和圖形模型等學習范式相結合。當任務數量較大或數據維數較高時，我們回顧了在線、并行和分布式的MTL模型，以及維數降維和特征哈希，揭示了它們在計算和存儲方面的優勢。

許多現實世界的應用程序使用MTL來提高它們的性能，我們在本文中回顧了代表性的工作。最后，我們對MTL進行了理論分析，并討論了MTL的未來發展方向。

引言

人類可以同時學習多個任務，在這個學習過程中，人類可以使用在一個任務中學習到的知識來幫助學習另一個任務。例如，根據我們學習打網球和壁球的經驗，我們發現打網球的技巧可以幫助學習打壁球，反之亦然。多任務學習(Multi-Task learning, MTL)[1]是機器學習的一種學習范式，受人類這種學習能力的啟發，它的目標是共同學習多個相關的任務，使一個任務中包含的知識能夠被其他任務利用，從而提高手頭所有任務的泛化性能。

在其早期階段，MTL的一個重要動機是緩解數據稀疏問題，即每個任務都有有限數量的標記數據。在數據稀疏性問題中，每個任務中標記數據的數量不足以訓練出一個準確的學習器，而MTL則以數據增強的方式將所有任務中的標記數據進行聚合，從而為每個任務獲得更準確的學習器。從這個角度來看，MTL可以幫助重用已有的知識，降低學習任務的手工標注成本。當“大數據”時代在計算機視覺和自然語言處理(NLP)等領域到來時，人們發現，深度MTL模型比單任務模型具有更好的性能。MTL有效的一個原因是與單任務學習相比，它利用了更多來自不同學習任務的數據。有了更多的數據，MTL可以為多個任務學習到更健壯、更通用的表示形式和更強大的模型，從而更好地實現任務間的知識共享，提高每個任務的性能，降低每個任務的過擬合風險。

MTL與機器學習中的其他學習范式有關，包括遷移學習[2]、多標簽學習[3]和多輸出回歸。MTL的設置與遷移學習相似，但存在顯著差異。在MTL中，不同任務之間沒有區別，目標是提高所有任務的性能。而遷移學習是借助源任務來提高目標任務的性能，因此目標任務比源任務起著更重要的作用。總之，MTL對所有的任務一視同仁，但在遷移學習中目標任務最受關注。從知識流的角度來看，遷移學習中的知識轉移流是從源任務到目標任務，而在多任務學習中，任何一對任務之間都存在知識共享流，如圖1(a)所示。持續學習[4]是一個一個地學習任務，任務是有順序的，而MTL是將多個任務一起學習。在多標簽學習和多輸出回歸中，每個數據點都與多個標簽相關聯，這些標簽可以是分類的或數字的。如果我們把所有可能的標簽都當作一個任務，那么多標簽學習和多輸出回歸在某種意義上可以看作是多任務學習的一種特殊情況，不同的任務在訓練和測試階段總是共享相同的數據。一方面，這種多標簽學習和多輸出回歸的特點導致了與MTL不同的研究問題。例如，排名損失使得與數據點相關的標簽的分數(例如分類概率)大于沒有標簽的分數，可以用于多標簽學習，但它不適合MTL，因為不同的任務擁有不同的數據。另一方面，這種在多標簽學習和多輸出回歸中的特性在MTL問題中是無效的。例如，在2.7節中討論的一個MTL問題中，每個任務都是根據19個生物醫學特征預測患者帕金森病的癥狀評分，不同的患者/任務不應該共享生物醫學數據。總之，多標簽學習和多輸出回歸與圖1(b)所示的多任務學習是不同的，因此我們不會對多標簽學習和多輸出回歸的文獻進行綜述。此外，多視圖學習是機器學習的另一種學習范式，每個數據點與多個視圖相關聯，每個視圖由一組特征組成。雖然不同的視圖有不同的特征集，但是所有的視圖是一起學習同一個任務的，因此多視圖學習屬于具有多組特征的單任務學習，這與圖1(c)所示的MTL是不同的。

在過去的幾十年里，MTL在人工智能和機器學習領域引起了廣泛的關注。許多MTL模型已經被設計出來，并在其他領域得到了廣泛的應用。此外，對MTL的理論問題也進行了大量的分析。本文從算法建模、應用和理論分析三個方面對MTL進行了綜述。在算法建模方面，首先給出了MTL的定義，然后將不同的MTL算法分為5類: 特征學習方法，又可分為特征轉換與特征選擇方法、低秩方法、任務聚類方法、任務關系學習方法和分解方法。然后，我們討論了MTL與其他學習范式的結合，包括半監督學習、主動學習、無監督學習、強化學習、多視圖學習和圖形模型。為了處理大量的任務，我們回顧了在線、并行和分布式的MTL模型。對于高維空間中的數據，引入特征選擇、降維和特征哈希作為處理這些數據的重要工具。MTL作為一種很有前途的學習范式，在計算機視覺、生物信息學、健康信息學、語音、自然語言處理、web等領域有著廣泛的應用。從理論分析的角度，對MTL的相關工作進行回顧。最后，討論了MTL的未來發展方向。

文本生成的目標是讓機器用人類語言表達。它是自然語言處理(NLP)中最重要也是最具挑戰性的任務之一。自2014年以來，各種由Seq2Seq首創的神經編解碼器模型被提出，通過學習將輸入文本映射到輸出文本來實現這一目標。然而，僅憑輸入文本往往無法提供有限的知識來生成所需的輸出，因此在許多真實場景中，文本生成的性能仍然遠遠不能令人滿意。為了解決這個問題，研究人員考慮將輸入文本之外的各種形式的知識納入生成模型中。這一研究方向被稱為知識增強文本生成。在這項綜述中，我們提出了一個全面的綜述，在過去的五年里，知識增強文本生成的研究。主要內容包括兩部分:(一)將知識集成到文本生成中的一般方法和體系結構;(二)根據不同形式的知識數據的具體技術和應用。這項綜述在學術界和工業可以有廣泛的受眾，研究人員和實踐者。

//arxiv.org/abs/2010.04389

深度神經網絡在擁有大量數據集和足夠的計算資源的情況下能夠取得巨大的成功。然而，他們快速學習新概念的能力相當有限。元學習是解決這一問題的一種方法，通過使網絡學會如何學習。令人興奮的深度元學習領域正在高速發展，但缺乏對當前技術的統一、深刻的概述。這項工作就是這樣。在為讀者提供理論基礎之后，我們研究和總結了主要的方法，這些方法被分為i)度量；ii)模型；和iii)基于優化的技術。此外，我們確定了主要的開放挑戰，如在異構基準上的性能評估，以及元學習計算成本的降低。

摘要：

近年來，深度學習技術在各種任務上取得了顯著的成功，包括游戲(Mnih et al., 2013; Silver et al., 2016)，圖像識別(Krizhevsky et al., 2012; He et al., 2015）和機器翻譯(Wu et al.， 2016)。盡管取得了這些進展，但仍有大量的挑戰有待解決，例如實現良好性能所需的大量數據和訓練。這些要求嚴重限制了深度神經網絡快速學習新概念的能力，這是人類智能的定義方面之一(Jankowski等人，2011;(Lake等，2017)。

元學習被認為是克服這一挑戰的一種策略(Naik and Mammone, 1992; Schmidhuber, 1987; Thrun, 1998)。其關鍵思想是元學習主體隨著時間的推移提高自己的學習能力，或者等價地說，學會學習。學習過程主要與任務(一組觀察)有關，并且發生在兩個不同的層次上:內部和外部。在內部層，一個新的任務被提出，代理試圖快速地從訓練觀察中學習相關的概念。這種快速的適應是通過在外部層次的早期任務中積累的知識來促進的。因此，內部層關注的是單個任務，而外部層關注的是多個任務。

從歷史上看，元學習這個術語的使用范圍很廣。從最廣泛的意義上說，它概括了所有利用之前的學習經驗以更快地學習新任務的系統(Vanschoren, 2018)。這個廣泛的概念包括更傳統的機器學習算法選擇和hyperparameter優化技術(Brazdil et al ., 2008)。然而，在這項工作中，我們專注于元學習領域的一個子集，該領域開發元學習程序來學習(深度)神經網絡的良好誘導偏差。1從今以后,我們使用術語深元學習指元學習的領域。

深度元學習領域正在快速發展，但它缺乏一個連貫、統一的概述，無法提供對關鍵技術的詳細洞察。Vanschoren(2018)對元學習技術進行了調查，其中元學習被廣泛使用，限制了對深度元學習技術的描述。此外，在調查發表后，深度元學習領域也出現了許多令人興奮的發展。Hospedales等人(2020)最近的一項調查采用了與我們相同的深度元學習概念，但目標是一個廣泛的概述，而忽略了各種技術的技術細節。

我們試圖通過提供當代深度元學習技術的詳細解釋來填補這一空白，使用統一的符號。此外，我們確定了當前的挑戰和未來工作的方向。更具體地說，我們覆蓋了監督和強化學習領域的現代技術，已經實現了最先進的性能，在該領域獲得了普及，并提出了新的想法。由于MAML (Finn et al.， 2017)和相關技術對該領域的影響，我們給予了格外的關注。本研究可作為深度元學習領域的系統性介紹，并可作為該領域資深研究人員的參考資料。在整個過程中，我們將采用Vinyals(2017)所使用的分類法，該分類法確定了三種深度元學習方法:i)度量、ii)模型和iii)基于優化的元學習技術。

自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。計算能力的最新發展和大量語言數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本調查對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們進一步分析和比較不同的方法和最先進的模型。