亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

當對大量的標記數據集合(如ImageNet)進行訓練時，深度神經網絡展示了它們在特殊監督學習任務(如圖像分類)上的卓越表現。然而，創建這樣的大型數據集需要大量的資源、時間和精力。這些資源在很多實際案例中可能無法獲得，限制了許多深度學習方法的采用和應用。為了尋找數據效率更高的深度學習方法，以克服對大型標注數據集的需求，近年來，我們對半監督學習應用于深度神經網絡的研究興趣日益濃厚，通過開發新的方法和采用現有的半監督學習框架進行深度學習設置。在本文中，我們從介紹半監督學習開始，對深度半監督學習進行了全面的概述。然后總結了在深度學習中占主導地位的半監督方法。

基于Transformer的模型目前在NLP中得到了廣泛的應用，但我們對它們的內部工作原理仍然知之甚少。本文綜合了40多項分析研究，對著名的BERT模型(Devlin et al 2019)的已知情況進行了描述。我們還提供了對模型及其訓練機制的擬議修改的概述。然后我們概述了進一步研究的方向。

概述

自2017年推出以來，Transformers（Vaswani et al 2017）掀起了NLP的風暴，提供了增強的并行化和更好的長依賴建模。最著名的基于Transformers 的模型是BERT (Devlin et al 2019)，他們在許多基準測試中獲得了最先進的結果，并集成在谷歌搜索中，提升了10%的查詢準確率。

雖然很明顯BERT和其他基于Transformer的模型工作得非常好，但是不太清楚為什么，這限制了架構的進一步假設驅動的改進。與CNNs不同，Transformer幾乎沒有認知動機，而且這些模型的大小限制了我們進行預訓練實驗和消融研究的能力。這解釋了過去一年里大量的研究試圖理解BERT表現背后的原因。

本文概述了迄今為止所了解到的情況，并強調了仍未解決的問題。我們重點研究BERT學習的知識的類型，這些知識在哪里體現，如何學習，以及提出的改進方法。

BERT架構

從根本上說，BERT是一堆由多個“頭”組成的Transformer 編碼器層，即全連接神經網絡增強了一個自我注意機制。對于序列中的每個輸入標記，每個頭計算鍵、值和查詢向量，這些向量用于創建加權表示。將同一層中所有磁頭的輸出合并并通過全連接層運行。每個層都用一個跳過連接進行包裝，并在它之后應用層規范化。

圖1 BERT模型

目錄：

• BERT嵌入
• BERT擁有什么知識
• 局部化語言知識
• 訓練BERT
• BERT模型尺寸
• 多語言BERT

醫療機器人已經證明了操作經皮器械進入軟組織解剖的能力，同時工作超越人類感知和靈活性的極限。機器人技術進一步提供了在資源有限的情況下以最少的監督完成關鍵任務的自主性。在這里，我們提出了一種便攜式機器人設備，能夠將針頭和導管引入可變形的組織，如血管，以自主地抽血或輸送液體。機器人插管是由一系列深度卷積神經網絡的預測驅動的，這些神經網絡從多模態圖像序列中編碼時空信息來指導實時伺服。通過對志愿者的成像和機器人跟蹤研究，我們證明了該設備在存在解剖變異和運動的情況下，對周圍血管進行分割、分類、定位和跟蹤的能力。然后，我們評估了機器人在幻肢和動物模型中難以獲得血管的性能，并表明，與訓練有素的操作員手工插管相比，該設備可以提高成功率和操作時間，特別是在具有挑戰性的生理條件下。這些結果表明，自主系統有可能在復雜的視覺運動任務上超越人類，并展示了將這些能力轉化為臨床應用的一個步驟。

表是組織和操作數據的強大而流行的工具。在網上可以找到大量的表格，這是一種寶貴的知識資源。這項調查的目的是綜合和介紹二十年來對web表的研究。特別地，我們將現有的文獻組織成六類主要的信息訪問任務:表提取、表解釋、表搜索、問題回答、知識庫擴展和表擴展。對于這些任務中的每一個，我們將識別和描述重要的方法，提供相關的資源，并指出不同任務之間的相互依賴性。

本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文，主要研究兩個NLP任務：關系提取和主題建模。本文將神經網絡和主題模型兩種互補的學習范式結合在一個神經復合模型中，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

慕尼黑大學自19世紀以來便是德國和歐洲最具聲望大學之一，也是德國精英大學、U15大學聯盟和歐洲研究型大學聯盟成員，其社會科學、人文科學、物理，化學，生命科學，醫學，數學等領域均在國際上享有盛名。本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文。

自然語言處理（Natural language processing，NLP）涉及構建計算技術，允許計算機自動分析和有意義地表示人類語言。隨著數字時代數據的指數增長，基于NLP的系統的出現使我們能夠通過廣泛的應用程序，如網絡搜索引擎、語音助理等，輕松地訪問相關信息。為了實現這一目標，幾十年來的一項長期研究一直集中在NLP和機器學習交叉的技術上。

近年來，深度學習技術利用了人工神經網絡（ANNs）的表現力，在廣泛的NLP任務中取得了最先進的性能。深度神經網絡（DNNs）可以從輸入數據中自動提取復雜的特征，從而為手工特征工程提供了一種替代方法。除了ANN之外，概率圖形模型（PGMs）、圖論和概率方法的耦合還具有描述系統隨機變量之間因果結構的能力，并捕捉到不確定性的原則概念。考慮到DNNs和PGMs的特點，它們被有利地結合起來建立強大的神經模型，以了解數據的潛在復雜性。

傳統的基于機器學習的NLP系統采用了淺層計算方法（如SVM或Logistic回歸），并依賴于手工特征，這類方法耗時、復雜且往往是不夠完整的。基于深度學習和神經網絡的方法最近在機器翻譯、文本分類、命名識別、關系提取、文本相似性等NLP任務上取得了較好的效果。這些神經模型可以從訓練數據中自動提取有效的特征表示。

本文主要研究兩個NLP任務：關系提取和主題建模。前者的目的是識別句子或文檔中實體或名詞之間的語義關系。成功地提取語義關系有助于構建結構化知識庫，在網絡搜索、問答、推薦引擎等下游NLP應用領域很有用。另一方面，主題建模的任務旨在理解文檔集合中的主題結構。主題建模是一種流行的文本挖掘工具，它可以自動分析大量的文檔集合，并在不實際閱讀的情況下理解主題語義。主題建模分別生成用于文檔理解和信息檢索的Word集群（即主題）和文檔表示。

本質上，關系提取和主題建模主要基于從文本中學習到的表示的質量。在本文中，我們提出了特定于任務的學習表示神經模型，并分別在監督和非監督機器學習范式領域進行關系提取和主題建模任務。更具體地說，我們在開發NLP任務的神經模型方面做出了以下貢獻：

神經關系提取：首先，我們提出了一種新的基于遞歸神經網絡的table-filling體系結構，以便在句子中聯合執行實體和關系提取。然后，我們進一步擴展了跨句子邊界實體之間關系的提取范圍，并提出了一種新的基于依賴關系的神經網絡體系結構。這兩個貢獻在于機器學習的監督范式。此外，我們還在構建一個受缺乏標記數據約束的魯棒關系提取器方面做出了貢獻，其中我們提出了一種新的弱監督引導技術。考慮到這些貢獻，我們進一步探索了遞歸神經網絡的可解釋性，以解釋它們對關系提取的預測。

神經主題建模：除了有監督神經體系結構外，我們還開發了無監督神經模型，以學習主題建模框架中有意義的文檔表示。首先，我們提出了一種新的動態主題模型，它捕獲了隨著時間的推移的主題。接下來，我們在不考慮時間依賴性的情況下建立了靜態主題模型，其中我們提出了神經主題建模體系結構，這些體系結構也利用外部知識，即Word嵌入來解決數據稀疏性。此外，我們還開發了神經主題模型，其中包含了使用單詞嵌入和來自許多來源的潛在主題的知識遷移。最后，我們通過引入語言結構（如語序、局部句法和語義信息等）來改進神經主題建模。它處理傳統主題模型中的詞袋問題。本節中提出的神經NLP模型是基于PGMs、深度學習和ANN交叉技術。

在這里，神經關系提取的任務使用神經網絡來學習通常在句子級別上的表示，而不訪問更廣泛的文檔上下文。然而，主題模型可以訪問跨文檔的統計信息。因此，我們將兩種互補的學習范式結合在一個神經復合模型中是有利的，它由一個神經主題和一個神經語言模型組成，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

總的來說，我們在本論文中的研究貢獻擴展了基于NLP的系統，用于關系提取和主題建模任務，同時具有最先進的性能。