亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： A Survey on Transfer Learning in Natural Language Processing

摘要：

深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。

題目： A Survey on Dynamic Network Embedding

簡介：

現實世界的網絡由各種相互作用和不斷發展的實體組成，而大多數現有研究只是將它們描述為特定的靜態網絡，而沒有考慮動態網絡的發展趨勢。近來，在跟蹤動態網絡特性方面取得了重大進展，它利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與靜態網絡嵌入方法相比，動態網絡嵌入致力于將節點編碼為低維密集表示形式，從而有效地保留了網絡結構和時間動態特性，這對眾多下游機器學習任務是有益的。在本文中，我們對動態網絡嵌入進行了系統的調查。特別是，描述了動態網絡嵌入的基本概念，特別是，我們首次提出了一種基于現有動態網絡嵌入技術的新分類法，包括基于矩陣分解的方法，基于Skip-Gram的方法，基于自動編碼器，基于神經網絡和其他嵌入方法。此外，我們仔細總結了常用的數據集以及動態網絡嵌入可以帶來的各種后續任務。之后，我們提出了現有算法面臨的幾個挑戰，并概述了促進未來研究的可能方向，例如動態嵌入模型，大規模動態網絡，異構動態網絡，動態屬性網絡，面向任務的動態網絡嵌入和更多的嵌入空間。

題目： KG-BERT: BERT for Knowledge Graph Completion

摘要： 知識圖譜是許多人工智能任務的重要資源，但往往是不完整的。在這項工作中，我們使用預訓練的語言模型來對知識圖譜進行補全。我們將知識圖譜中的三元組視為文本序列，并提出了一種新的框架結構——知識圖譜雙向編碼方向轉換器(KG-BERT)來對這些三元組進行建模。該方法以一個三元組的實體描述和關系描述作為輸入，利用KG-BERT語言模型計算三元組的評分函數。在多個基準知識圖譜上的實驗結果表明，我們的方法在三元組分類、鏈接預測和關系預測任務上都能達到最新的性能。

題目： Time Series Forecasting With Deep Learning: A Survey

摘要：

為了適應不同領域的時間序列數據集的多樣性，已經開發了大量的深度學習體系結構。在這篇文章中，我們調查了常用的編碼器和譯碼器設計，它們都被用于一階前和多視距的時間序列預測——描述了時間信息是如何被每個模型合并到預測中的。接下來，將重點介紹混合深度學習模型的最新發展，該模型將經過充分研究的統計模型與神經網絡組件相結合，以改進這兩類中的純方法。最后，我們概述了一些方法，即深度學習也可以促進決策支持與時間序列數據。

題目： A Survey on Knowledge Graphs: Representation, Acquisition and Applications

摘要： 人類知識提供了對世界的正確的理解。表征實體間結構關系的知識圖譜已成為認知和人類智能研究的一個日益流行的研究方向。在本次綜述中，我們對知識圖譜進行了全面的綜述，涵蓋了知識圖表示學習、知識獲取與補全、時序知識圖譜、知識感知應用等方面的研究課題，并總結了最近的突破和未來的研究方向。我們建議對這些主題進行全視圖分類和新的分類法。知識圖譜嵌入從表示空間、評分函數、編碼模型和輔助信息四個方面進行組織。對知識獲取，特別是知識圖譜的補全、嵌入方法、路徑推理和邏輯規則推理進行了綜述。我們進一步探討了幾個新興的主題，包括元關系學習、常識推理和時序知識圖譜。為了方便未來對知識圖的研究，我們還提供了一個關于不同任務的數據集和開源庫的管理集合。最后，我們對幾個有前景的研究方向進行了深入的展望。

分布式向量表示或嵌入將可變長度的文本映射到密集的固定長度的向量，并捕獲可以轉移到下游任務的先驗知識。盡管嵌入式已經成為基于深度學習的NLP任務中一般和臨床領域中文本表示的事實上的標準，但是還沒有一篇調查論文對嵌入式在臨床自然語言處理中的應用進行詳細的回顧。在這篇調查論文中，我們討論了各種醫學語料庫及其特點、醫學規范，并對流行的嵌入式模型進行了簡要的概述和比較。我們對臨床包埋進行分類，并詳細討論每種包埋類型。我們討論了各種評估方法，并提出了可能的解決方案，以應對臨床嵌入治療中的各種挑戰。最后，我們總結了一些未來的方向，將推進臨床嵌入式研究。

上下文嵌入，如ELMo和BERT，超越了像Word2Vec這樣的全局單詞表示，在廣泛的自然語言處理任務中取得了突破性的性能。上下文嵌入根據上下文為每個單詞分配一個表示，從而捕獲不同上下文中單詞的用法，并對跨語言傳輸的知識進行編碼。在這項綜述中，我們回顧了現有的上下文嵌入模型、跨語言的多語言預訓練、上下文嵌入在下游任務中的應用、模型壓縮和模型分析。

在大型語料庫無監督訓練的分布式詞表示(Turian et al., 2010; Mikolov et al., 2013; Pennington et al., 2014）在現代自然語言處理系統中得到了廣泛的應用。但是，這些方法只獲得每個單詞的一個全局表示，而忽略了它們的上下文。與傳統的單詞表示不同，上下文嵌入超越了單詞級語義，因為每個標記都與作為整個輸入序列的函數的表示相關聯。這些與上下文相關的表示可以在不同的上下文中捕捉到詞匯的許多句法和語義特征。(Peters et al., 2018; Devlin et al., 2018; Yang et al., 2019; Raffel et al., 2019)的研究表明，在大規模未標記的語料庫上預訓練的上下文嵌入，在文本分類、問題回答和文本摘要等一系列自然語言處理任務上取得了最先進的表現。進一步的分析(Liu et al., 2019a; Hewitt and Liang, 2019; Hewitt and Manning, 2019; Tenney et al., 2019a)證明了上下文嵌入能夠學習跨語言的有用且可遷移的表示。

綜述論文的其余部分組織如下。在第2節中，我們定義了上下文嵌入的概念。在第3節中，我們將介紹獲取上下文嵌入的現有方法。第四部分介紹了多語言語料庫中下文嵌入的預處理方法。在第5節中，我們描述了在下游任務中應用預訓練的上下文嵌入的方法。在第6節中，我們詳細介紹了模型壓縮方法。在第7節中，我們調查了旨在識別通過語境嵌入學到的語言知識的分析。在第8節中，我們通過強調未來研究的一些挑戰來結束綜述。

對于自然語言理解任務來說，外部知識通常是有用的。我們介紹了一個上下文文本表示模型，稱為概念上下文(CC)嵌入，它將結構化的知識合并到文本表示中。與實體嵌入方法不同，我們的方法將知識圖編碼到上下文模型中。就像預先訓練好的語言模型一樣，CC嵌入可以很容易地在廣泛的任務中重用。我們的模型利用語義泛化，有效地編碼了龐大的UMLS數據庫。在電子健康記錄(EHRs)和醫療文本處理基準上的實驗表明，我們的模型大大提高了監督醫療NLP任務的性能。

論文題目： Learning Conceptual-Contextual Embeddings for Medical Text

論文摘要：

對于自然語言理解任務來說，外部知識通常是有用的。本文介紹了一個上下文文本表示模型，稱為概念上下文(CC)嵌入，它將結構化的知識合并到文本表示中。與實體嵌入方法不同，文中提到的方法將知識圖編碼到上下文模型中。就像預先訓練好的語言模型一樣，CC嵌入可以很容易地在廣泛的任務中重用。模型利用語義泛化，有效地編碼了龐大的UMLS數據庫。電子實驗健康記錄(EHRs)和醫療文本處理基準表明，而使得模型大大提高了監督醫療NLP任務的性能。