亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

使用生成模型的無監督學習具有發現3D場景豐富表示的潛力。這種神經場景表示可能隨后支持各種下游任務，從機器人技術到計算機圖形再到醫學成像。然而，現有的方法忽略了場景最基本的屬性之一:三維結構。在這項工作中，我們使神經場景表征與一個感應偏差的三維結構的情況。我們證明了這種歸納偏差如何使無監督的發現幾何和外觀，只給定的二維圖像。通過學習一組這樣的三維結構感知神經表征的分布，我們可以執行聯合重建的三維形狀和外觀只給出一個單一的二維觀察。我們表明，在這個過程中學習到的特征使整個類對象的三維語義分割成為可能，只訓練了30個帶標記的例子，證明了三維形狀、外觀和語義分割之間的緊密聯系。最后，我們討論了場景表示學習在計算機視覺本身中的本質和潛在作用，并討論了未來工作的前景。

凸優化作為一個數學問題已經被研究了一個多世紀，并在許多應用領域的實踐中應用了大約半個世紀，包括控制、金融、信號處理、數據挖掘和機器學習。本文主要研究凸優化的幾個問題，以及機器學習的具體應用。

本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文，主要研究兩個NLP任務：關系提取和主題建模。本文將神經網絡和主題模型兩種互補的學習范式結合在一個神經復合模型中，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

慕尼黑大學自19世紀以來便是德國和歐洲最具聲望大學之一，也是德國精英大學、U15大學聯盟和歐洲研究型大學聯盟成員，其社會科學、人文科學、物理，化學，生命科學，醫學，數學等領域均在國際上享有盛名。本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文。

自然語言處理（Natural language processing，NLP）涉及構建計算技術，允許計算機自動分析和有意義地表示人類語言。隨著數字時代數據的指數增長，基于NLP的系統的出現使我們能夠通過廣泛的應用程序，如網絡搜索引擎、語音助理等，輕松地訪問相關信息。為了實現這一目標，幾十年來的一項長期研究一直集中在NLP和機器學習交叉的技術上。

近年來，深度學習技術利用了人工神經網絡（ANNs）的表現力，在廣泛的NLP任務中取得了最先進的性能。深度神經網絡（DNNs）可以從輸入數據中自動提取復雜的特征，從而為手工特征工程提供了一種替代方法。除了ANN之外，概率圖形模型（PGMs）、圖論和概率方法的耦合還具有描述系統隨機變量之間因果結構的能力，并捕捉到不確定性的原則概念。考慮到DNNs和PGMs的特點，它們被有利地結合起來建立強大的神經模型，以了解數據的潛在復雜性。

傳統的基于機器學習的NLP系統采用了淺層計算方法（如SVM或Logistic回歸），并依賴于手工特征，這類方法耗時、復雜且往往是不夠完整的。基于深度學習和神經網絡的方法最近在機器翻譯、文本分類、命名識別、關系提取、文本相似性等NLP任務上取得了較好的效果。這些神經模型可以從訓練數據中自動提取有效的特征表示。

本文主要研究兩個NLP任務：關系提取和主題建模。前者的目的是識別句子或文檔中實體或名詞之間的語義關系。成功地提取語義關系有助于構建結構化知識庫，在網絡搜索、問答、推薦引擎等下游NLP應用領域很有用。另一方面，主題建模的任務旨在理解文檔集合中的主題結構。主題建模是一種流行的文本挖掘工具，它可以自動分析大量的文檔集合，并在不實際閱讀的情況下理解主題語義。主題建模分別生成用于文檔理解和信息檢索的Word集群（即主題）和文檔表示。

本質上，關系提取和主題建模主要基于從文本中學習到的表示的質量。在本文中，我們提出了特定于任務的學習表示神經模型，并分別在監督和非監督機器學習范式領域進行關系提取和主題建模任務。更具體地說，我們在開發NLP任務的神經模型方面做出了以下貢獻：

神經關系提取：首先，我們提出了一種新的基于遞歸神經網絡的table-filling體系結構，以便在句子中聯合執行實體和關系提取。然后，我們進一步擴展了跨句子邊界實體之間關系的提取范圍，并提出了一種新的基于依賴關系的神經網絡體系結構。這兩個貢獻在于機器學習的監督范式。此外，我們還在構建一個受缺乏標記數據約束的魯棒關系提取器方面做出了貢獻，其中我們提出了一種新的弱監督引導技術。考慮到這些貢獻，我們進一步探索了遞歸神經網絡的可解釋性，以解釋它們對關系提取的預測。

神經主題建模：除了有監督神經體系結構外，我們還開發了無監督神經模型，以學習主題建模框架中有意義的文檔表示。首先，我們提出了一種新的動態主題模型，它捕獲了隨著時間的推移的主題。接下來，我們在不考慮時間依賴性的情況下建立了靜態主題模型，其中我們提出了神經主題建模體系結構，這些體系結構也利用外部知識，即Word嵌入來解決數據稀疏性。此外，我們還開發了神經主題模型，其中包含了使用單詞嵌入和來自許多來源的潛在主題的知識遷移。最后，我們通過引入語言結構（如語序、局部句法和語義信息等）來改進神經主題建模。它處理傳統主題模型中的詞袋問題。本節中提出的神經NLP模型是基于PGMs、深度學習和ANN交叉技術。

在這里，神經關系提取的任務使用神經網絡來學習通常在句子級別上的表示，而不訪問更廣泛的文檔上下文。然而，主題模型可以訪問跨文檔的統計信息。因此，我們將兩種互補的學習范式結合在一個神經復合模型中是有利的，它由一個神經主題和一個神經語言模型組成，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

總的來說，我們在本論文中的研究貢獻擴展了基于NLP的系統，用于關系提取和主題建模任務，同時具有最先進的性能。

隨著技術的傳播，世界各地的人們比以往任何時候都更加緊密地聯系在一起，無縫溝通和理解的需求變得至關重要。根據Simons 2018年的研究，世界上現存的語言有7097種。然而，語料中，大多數成對的語言最多有幾百到幾千個平行的句子，而且成對的語言數量有限。由于統計機器翻譯(SMT)和神經機器翻譯(NMT)都是需要大量數據的機器學習方法，因此缺乏數據是訓練合適機器翻譯(MT)系統的一個嚴重問題。

Tom Kocmi的博士論文《Exploring Benefits of Transfer Learning in Neural Machine Translation》（《探索遷移學習在神經機器翻譯中的益處》）提出相關的遷移學習技術，并提供了詳細地分析。論文展示了幾種利用基于大量資源語言對訓練的模型來提升少量資源情況下的模型訓練。在分析過程中，作者發現:

• 遷移學習同時適用于少量資源和大量資源的語言對，并且比隨機初始化訓練的性能更好。
• 遷移學習在神經機器翻譯中沒有其他領域所知的負面影響，可以作為神經機器翻譯實驗的初始化方法。
• 結果表明，在遷移學習中，平行語料庫的數量比語言對的相關性更重要。
• 作者觀察到，遷移學習是一種更好的初始化技術，即使兩個模型面向的語言沒有交集，性能也能得到提升。

除了上述主要的貢獻，論文也描述其他幾個研究的想法，包括作者對Czech-English平行語料庫的貢獻（Bojar et al., 2016a）、使用預訓練詞嵌入的實驗（Kocmi and Bojar, 2017c）、使用子詞信息的詞嵌入（Kocmi and Bojar, 2016）、神經語言識別工具（Kocmi and Bojar, 2017b）。另外，作者還為一個sequence-to-sequence的研究框架Nerual Monkey（Helcl et al., 2018）的實現做了貢獻。

博士論文《Exploring Benefits of Transfer Learning in Neural Machine Translation》的內容大致如下：

• 簡介
  • 貢獻
  • 論文結構
• 背景
  • 語言資源
  • LanideNN：語言識別工具
  • 訓練數據
  • 機器翻譯評價
• 神經機器翻譯
  • 詞嵌入
  • 子詞表示
  • 神經機器翻譯架構
  • 神經機器翻譯模型設置
  • 度量訓練過程
• 遷移學習
  • 術語
  • 域適應
  • 遷移學習
  • 冷啟動遷移學習
  • 冷啟動直系遷移
  • 冷啟動詞匯變換
  • 熱啟動遷移學習
  • 熱啟動和冷啟動對比
  • 相關工作
  • 總結
• 分析
  • 負遷移
  • 共享語言的位置是否影響遷移學習
  • 語言相關性和數據量
  • 語言特征和更好的初始化
  • 遷移學習分析匯總
  • 案例：反翻譯遷移學習
• 總結
  • 生態追蹤
  • 結束語

自然語言理解（NLU）系統需要把人類產生的文本進行編碼，然后在深層次的語義層面上進行推理。NLU系統通常都會包括到兩個部分：第一個是編碼器（encoder）,它將語言中的單詞組合在一起作為輸入，編碼產生一個新的表示，然后將這些表示作為第二部分--預測器（predictor）中的特征，然后在這些編碼過的輸入信息上進行推理并生成所需的輸出。本文的研究目標是構建一個端到端的NLU系統，能夠結合相關的背景知識對輸入信息進行編碼，然后在上下文的語境中對其進行推理。

論文目錄

Part I 背景知識編碼

• 相關工作：學習編碼
• 用本體論的背景知識來編碼句子
• 將選擇偏好作為編碼事件的背景知識

Part II 用上下文知識進行推理

• 相關工作：學習推理
• 用于語義分析的解碼約束
• 使用迭代覆蓋引導搜索來訓練語義分析器

論文摘要：

教機器理解人類語言文檔是人工智能中最難以捉摸和長期存在的挑戰之一。本文探討了閱讀理解的問題:如何構建計算機系統來閱讀文章和回答理解問題。一方面，我們認為閱讀理解是評價計算機系統對人類語言理解程度的一項重要任務。另一方面，如果我們能夠構建高性能的閱讀理解系統，那么它將成為問答和對話系統等應用的關鍵技術。本文以神經閱讀理解為研究對象:一種基于深度神經網絡的閱讀理解模型。與傳統的稀疏的、手工設計的基于特征的模型相比，這些端到端神經模型在學習豐富的語言現象方面更加有效，并且在所有現代閱讀理解基準上的表現都有很大的提高。本文由兩部分組成。第一部分是對神經閱讀理解的本質進行概括，介紹我們在構建有效的神經閱讀理解模型方面所做的努力，更重要的是了解神經閱讀理解模型實際學到了什么，以及解決當前任務需要什么樣的語言理解深度。我們還總結了該領域的最新進展，討論了該領域的未來發展方向和有待解決的問題。在本文的第二部分，我們探討了如何在最近神經閱讀理解成功的基礎上建立實際應用。特別是，我們開創了兩個新的研究方向:1)如何將信息檢索技術與神經閱讀理解相結合，解決大規模開放領域的問題;(2)如何從當前的單圈、跨步閱讀理解模式中構建會話問答系統。我們在DrQA和CoQA項目中實現了這些想法，并證明了這些方法的有效性。我們相信他們對推動未來的語言技術有很大幫助。

論文題目：

Compositional visual intelligence

作者：

Johnson Justin

貢獻者：

Li, Fei Fei, 1976- degree supervisor.

Goodman, Noah, degree committee member.

Ré, Christopher, degree committee member.

Stanford University. Computer Science Departmen

網址：

//searchworks.stanford.edu/view/12746402

論文摘要：

計算機視覺領域在過去幾年取得了巨大的進步，這主要歸功于卷積神經網絡。盡管在傳統的計算機視覺任務上取得了成功，但我們的機器系統離人類的一般視覺智能還有很長的路要走。視覺智能的一個重要方面是組合——對整體的理解源于對部分的理解。為了實現組成視覺智能的目標，我們必須探索新的計算機視覺任務，創建新的數據集，開發利用組成性的新模型。在這篇論文中，我將討論我的工作在三個不同的計算機視覺任務涉及語言，其中包含的合規性幫助我們建立具有更豐富的視覺智能的系統。我將首先討論圖像標題描述:傳統系統生成描述圖像的簡短句子，但是通過將圖像分解為區域和描述分解為短語，我們可以生成兩種更豐富的描述:密集的標題和段落。其次，我將討論視覺問答:現有的數據集主要由簡短的問題組成;為了研究更復雜的需要復合位置推理的問題，我們引入了一個新的benchark數據集。在此基礎上，提出了一種可視化問題交互的顯式組成模型，該模型將問題轉換為功能程序，并通過組合神經模塊來執行這些程序。第三，我將討論文本到圖像生成:現有的系統可以根據文本描述檢索或生成單個對象的簡單圖像，但難以處理更復雜的描述。用對象和關系的構成場景圖代替自由形式的自然語言，可以檢索和生成包含多個對象的復雜圖像。

CMU大神博士生Brandon Amos，馬上就要畢業了。博士期間，他在可微優化機器學習建模方向，發表了ICLR 一篇，ICML 三篇，NeurIPS 三篇，分析了可微優化機器學習建模的很多問題。近日，他將自己的博士論文也開放了出來，系統的講述了可微優化機器學習建模的方方面面。

博士論文簡介

我們提出了兩種基于優化建模的基本方法:

1. OptNet體系結構，將優化問題作為單個層集成到更大的端到端可訓練深度網絡中，2)引入凸神經網絡(ICNN)結構，使基于深度能量和結構化預測模型的推理和學習更加容易。

然后，我們將展示如何使用OptNet方法，1)將無模型和基于模型的強化學習與可微最優控制相結合，2)針對top-k學習問題，我們展示了如何將cvxpy領域特定的語言轉換為可微優化層，從而實現本文方法的快速原型化。