亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

語言交互中的視覺推理研究

視覺語言是計算機視覺與自然語言處理的交叉領域，對機器的感知和認知 能力均有較高的要求。隨著深度學習的發展和計算能力的提高，機器的感知能 力得到了顯著提升，研究者們開始探索機器的認知能力，尤其是推理能力。本 文從知識建模和知識推斷兩個方面入手，對視覺語言交互任務中的視覺推理問 題進行研究。其中，知識建模指通過模型的構建，從視覺媒介和自然語言中提 取視覺和語言知識，并進行特征表示；知識推斷指機器對視覺和語言兩個模態 的知識進行綜合考慮，并進行無偏的推斷與估計。

對于知識建模而言，本文通過單輪交互和多輪交互兩個場景，分別選取指 稱語理解和視覺對話兩個代表性任務進行闡述。對于單輪交互情形下的指稱語 理解任務而言，機器需要從圖像中對自然語言描述的目標物體進行定位。本文 提出了變分背景框架，借助背景建模的思想，對自然語言指代的目標和其背景 信息的共生關系進行建模，通過候選目標對語義背景進行估計，并基于估計出 的語義背景對指代目標進行定位。對于多輪交互情形下的視覺對話而言，機器 需要結合圖像及多輪對話歷史，對當前問題進行回答。本文提出了遞歸視覺注 意力機制，借助于視覺指代消解的思想，希望機器模擬人的思維方式，以遞歸 的形式對對話歷史進行回顧，并以視覺注意力機制的方式聚焦在與話題相關的 視覺物體上。

對于知識推斷而言，視覺問答是視覺語言領域中存在知識偏差的典型問題。視覺問答需要結合圖像內容，對問題進行回答。視覺問答模型可能會過多地關 注問題和答案之間的聯系，從而缺少了對圖像內容的關注。不同于傳統的基于 統計相關性的模型，本文提出了反事實視覺問答框架，從因果效應的視角出發， 借助因果推斷中的反事實思維，通過單一語言分支顯式地對語言相關性進行建 模。通過從問題和圖像的總體因果效應中去除問題對答案的直接因果效應，有 效地克服了視覺問答模型對語言偏差的依賴。

摘要

作為一種比傳統機器學習方法更有效的訓練框架，元學習獲得了廣泛的歡迎。然而，在多模態任務等復雜任務分布中，其泛化能力尚未得到深入研究。近年來，基于多模態的元學習出現了一些研究。本綜述從方法論和應用方面提供了基于多模態的元學習景觀的全面概述。我們首先對元學習和多模態的定義進行了形式化的界定，并提出了這一新興領域的研究挑戰，如何豐富少樣本或零樣本情況下的輸入，以及如何將模型泛化到新的任務中。然后我們提出了一個新的分類系統，系統地討論了結合多模態任務的典型元學習算法。我們對相關論文的貢獻進行了調研，并對其進行了分類總結。最后，提出了該領域的研究方向。

//www.zhuanzhi.ai/paper/3cf8fdad89ed44f7ea803ce6e0ab21b5

引言

深度學習方法在語音、語言和視覺領域取得了顯著進展[1,2,3]。然而，這些方法的性能嚴重依賴于大量標記數據的可用性，而在大多數應用中，獲取這些數據可能不切實際或成本高昂。僅使用有限的標記數據往往會導致過擬合問題，導致泛化到新數據[4]或完全不同的分布的不確定性。另一方面，人類學習過程中使用的“學會學習”機制[5]使我們能夠從很少的樣本[6]中快速學習新的概念。已有證據表明，通過結合先驗知識和情境，人類可以在有限情景下獲得多個先驗任務的經驗，在有限情景下，習得的抽象經驗被一般化，以提高未來對新概念的學習表現。受此啟發，提出了一種名為元學習(meta-learning)的計算范式[7,8]，用來模擬人類學習廣義任務經驗的能力，旨在讓機器從類似任務中獲取先驗知識，并快速適應新任務。通過在動態選擇中提取跨領域任務目標，元學習過程比傳統機器學習模型更具數據效率[9,10]。

由于元學習能夠泛化到新的任務，我們的目的是了解元學習如何發揮作用，當任務更復雜時，例如，數據源不再是單模態的，或原始模態中的數據是有限的。最近的研究集中在將元學習框架應用于復雜任務的分配上[11,12]，但僅限于單一的模態。特別是，在多個應用[7]、學習優化步驟[13]的先驗知識、數據嵌入[14,15]或模型結構[16]的多任務和單任務場景中，元學習已經被證明是成功的。然而，在異構任務模態下，如何巧妙地利用元學習給研究人員帶來了獨特的挑戰。要在額外模態的幫助下從這些任務中學習新概念，示例應該以成對或多種方式提供，其中每個示例包含同一概念的兩個或多個項目，但在不同的模態。

首先在圖像分類的零樣本學習(ZSL) /廣義零樣本學習(GSZL)領域探討了不同模態的異質特征。語義模式被認為在模型訓練中提供強大的先驗知識和輔助視覺模式。為了更好地將知識從可見的類遷移到不可見的類，基于元的算法被廣泛引入來捕獲配對模態之間的屬性關系。然而，訓練過程大多將一個模態視為主要模態，并通過添加另一個模態來利用額外的信息。它不涉及在真實的復雜情景中對多種模態的分析，如未配對的模態、缺失的模態以及模態之間的關聯。因此，一些研究進一步將元學習方法應用于由其他模態構成的任務。具體來說，當不同任務的模態來自不同的數據分布，或者不同任務的模態被遺漏或不平衡時，通過充分利用元學習背景下的多模態數據，可以將不同模式的優勢整合到問題中，從而提高績效。另一方面，元學習本身的訓練框架有助于提高原多模態學習者在新任務中的泛化能力。雖然對這兩個概念的跨學科研究聽起來很有前景，但目前的研究大多將元學習算法和多模態學習算法分開進行總結，導致多模態與元學習結合的研究存在差距。

最后，我們希望在本次綜述中對基于多模態的元學習算法進行系統而全面的研究。我們旨在為不同的方法提供直觀的解釋，并有助于:

識別將元學習算法應用于多模態任務的挑戰; 提出一個新的分類，并為每個類別提供深刻的分析; 總結解決不同挑戰的具體貢獻，包括其方法和與其他方法的區別; 強調當前的研究趨勢和未來可能的方向。

本綜述的其余部分組織如下。在第二節中，我們首先對元學習和多模態的定義進行了形式化界定，然后給出了基于多模態的元學習挑戰的總體范式。然后我們在第3節提出了一個基于元學習算法可以學習的先驗知識的新分類。我們分別在第4節、第5節和第6節對如何使原始元學習方法適應多模態數據的相關研究進行了考察，在第7節對這些工作進行了總結。最后，我們總結了目前的研究趨勢在第8節和可能的方向，未來的工作在第9節。

在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。

本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。

我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。

//www.zhuanzhi.ai/paper/c5e7a9742d6a6313d63c5976499166dc

近年來，人工智能研究取得了驚人的發展和進步。這些進步主要是在三個方面取得的:計算機視覺、自然語言處理和機器人技術。例如，圖像識別被廣泛認為是計算機視覺的圣杯，而語言建模和翻譯一直是自然語言處理的基本任務。然而，許多實際應用程序和任務需要解決的不僅僅是這些特定于領域的問題，而是需要解決涉及所有三個領域的問題。一個自主系統不僅需要能夠識別圖像中的物體，而且還需要解釋自然語言的描述或命令，并理解它們如何與它所感知的視覺觀察相關聯。此外，機器人需要利用這些信息進行決策，并決定為了完成任務而采取哪些物理行動。在本文的第一部分，我提出了一種學習如何將自然語言與三維形狀聯系起來的方法，使系統能夠將文本描述中描述的“圓”等詞與三維物體中的圓的幾何屬性進行連接。為了將這兩種模式聯系起來，我們依賴一個跨模態嵌入空間來進行多模態推理，并在沒有細粒度、屬性級分類注釋的情況下學習這個空間。通過學習如何將這兩種模態聯系起來，我們可以執行諸如文本到形狀的檢索和形狀操作等任務，還可以實現新的任務，如文本到形狀的生成。在本論文的第二部分，我們允許主體被具體化，并探索一個依賴于所有三個領域(計算機視覺、自然語言和機器人)的任務:機器人導航通過遵循自然語言指令。不再依賴于固定的圖像或3D對象數據集，代理程序現在位于一個物理環境中，并使用機載相機捕捉自己對空間的視覺觀察。為了在視覺、語言和機器人物理狀態之間建立聯系，我們提出了一個使用拓撲圖執行規劃和控制的系統。這種基本的抽象允許主體將語言指令的部分與環境的相關空間區域聯系起來，并將一系列視覺觀察與物理動作和行動聯系起來。

//searchworks.stanford.edu/view/13876455

在過去的幾年中，深度學習和醫學的交叉領域取得了快速的發展，特別是在醫學圖像的解譯方面。在本文中，我描述了三個關鍵方向，為醫學圖像解釋的深度學習技術的發展提出了挑戰和機遇。首先，我討論了專家級醫學圖像解譯算法的發展，重點是用于低標記醫學數據設置的遷移學習和自監督學習算法。其次，我討論了高質量數據集的設計和管理以及它們在推進算法發展中的作用，重點是使用有限的手動注釋的高質量標記。第三，我討論了真實世界的評估醫學圖像算法的研究，系統地分析了在臨床相關分布變化下的性能。總之，這篇論文總結了關鍵貢獻和見解，在這些方向與關鍵應用跨醫學專業。

//searchworks.stanford.edu/view/13876519

在21世紀，人們與技術互動的方式發生了重大變化，自然語言生成(NLG)發揮著核心作用。智能手機和智能家居設備的用戶現在希望他們的設備能夠了解他們的處境，并在交互中產生自然的語言輸出。本文從人類溝通的三個方面來確定如何讓機器聽起來像人類——風格、內容和結構。本文提供了深度學習的解決方案來控制這些變量在神經文本生成。我首先概述了可以操縱的各種模塊，以進行有效的可控文本生成。我提供了一種使用反向翻譯進行樣式轉換的新穎解決方案，并引入了兩個新任務，將來自非結構化文檔的信息利用到生成過程中。我還為句子排序任務提供了一種新的優雅設計，以學習有效的文檔結構。最后，我提供了一個關于可控制文本生成應用的倫理考慮的討論。提出的工作，我計劃:(I) 提供對各種可控文本生成技術的經驗理解，(ii) 提供對樣式的計算理解并構建有用的樣式表示，(iii) 設計有效的內容基礎生成方式，以及(iv) 探索可控文本生成的更廣泛影響。

//www.cs.cmu.edu/~sprabhum/

多模態機器學習(MMML)是一個充滿活力的多學科研究領域，通過整合和建模多種交流模態(包括語言、聲音和視覺信息)來實現人工智能的一些原始目標。隨著對視聽語音識別的初步研究，以及最近的語言和視覺項目，如圖像和視頻字幕，這個研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模式之間經常發現的偶然性。本課程將教授與MMML相關的基本數學概念，包括多模態對齊與融合、異質表示學習和多流時間建模。我們還將回顧最近描述最先進的MMML概率模型和計算算法的論文，并討論當前和即將面臨的挑戰。

本課程將介紹機器學習和深度學習中與多模態機器學習中的五個主要挑戰相關的基本數學概念:(1)多模態表示學習，(2)平移與映射，(3)模態對齊，(4)多模態融合和(5)協同學習。這些包括但不限于，多模態自動編碼器，深度典型相關分析，多核學習，注意力模型和多模態遞歸神經網絡。本課程還將討論MMML的許多最新應用，包括多模式的情感識別、圖像和視頻字幕以及跨模式的多媒體檢索。

課程目錄:

• 課程導論
• 多模態應用與數據集
• 基本概念：神經網絡
• 網絡優化
• 視覺單模態表示學習
• 語言單模態表示學習
• 多模態表示學習
• 多模態對齊
• 結構化表示
• 概率圖模型
• 判別性圖模型
• 神經生成模型
• 強化學習
• 多模態強化學習
• 融合與協同學習
• 多語言表示學習

摘要：大數據是多源異構的。在信息技術飛速發展的今天，多模態數據已成為近來數據資源的主要形式。研究多模態學習方法，賦予計算機理解多源異構海量數據的能力具有重要價值。本文歸納了多模態的定義與多模態學習的基本任務，介紹了多模態學習的認知機理與發展過程。在此基礎上，重點綜述了多模態統計學習方法與深度學習方法。此外，本文系統歸納了近兩年較為新穎的基于對抗學習的跨模態匹配與生成技術。本文總結了多模態學習的主要形式，并對未來可能的研究方向進行思考與展望。

作者Jacob Andreas是自然語言處理的研究者，研究興趣為用語言作為更有效學習的支架和理解模型行為的探針，以及結合深度表示和離散組合性優點的結構化神經方法。近期公開發布了他的博士論文。

博士論文介紹：

本文探討了語言結構在結構和參數化中用于語言處理和其他應用的機器學習模型的方法。作者將該模型應用于問答系統，指令跟蹤，圖像分類等多種任務。

作者首先介紹一類稱為神經模塊網絡（NMN）的模型，并介紹它們在自然語言問答中的應用。NMN旨在實現同時利用深層網絡的表征能力和構成問題的語言結構。我們的方法將問題分解為語言子結構，并使用這些子結構動態地從可重復使用的模塊庫構建網絡。由此產生的復合網絡是共同訓練的。作者并在含有圖像和結構化知識庫的問答數據集上的方法評估模型。隨后，作者將這種思想轉移到策略學習中，研究在面對不同但相似的問題時，怎么組合策略。