亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要: 現有的不流利檢測方法大多嚴重依賴人工標注的數據,而在實踐中獲取這些數據的成本很高。為了解決訓練數據的瓶頸,我們研究了將多個自監督任務相結合的方法。在監督任務中,無需人工標記就可以收集數據。首先,我們通過隨機添加或刪除未標記新聞數據中的單詞來構建大規模的偽訓練數據,并提出了兩個自我監督的訓練前任務:(i)標記任務來檢測添加的噪聲單詞。(ii)對句子進行分類,區分原句和語法錯誤句子。然后我們將這兩個任務結合起來共同訓練一個網絡。然后使用人工標注的不流利檢測訓練數據對訓練前的網絡進行微調。在常用的英語交換機測試集上的實驗結果表明,與以前的系統(使用完整數據集進行訓練)相比,我們的方法只需使用不到1%(1000個句子)的訓練數據,就可以獲得具有競爭力的性能。我們的方法在全數據集上進行訓練,明顯優于以前的方法,在英語Switchboard上將錯誤率降低了21%。

付費5元查看完整內容

相關內容

 現實生活中常常會有這樣的問題:缺乏足夠的先驗知識,因此難以人工標注類別或進行人工類別標注的成本太高。很自然地,我們希望計算機能代我們完成這些工作,或至少提供一些幫助。根據類別未知(沒有被標記)的訓練樣本解決模式識別中的各種問題,稱之為。

題目: Deep Isometric Learning for Visual Recognition

簡介: 初始化,正則化和skip連接被認為是訓練非常深的卷積神經網絡并獲得最新性能的三種必不可少的技術。 本文表明,無需規范化或skip連接的深層卷積網絡也可以訓練出在標準圖像識別基準上獲得令人驚訝的良好性能。 這是通過在初始化和訓練過程中強制卷積內核接近等距來實現的,還可以通過使用ReLU的變體來實現等距變遷。 進一步的實驗表明,如果與skip連接結合使用,則即使完全不進行正則化,此類近等距網絡也可以達到ResNet在ImageNet與COCO數據集上相同的性能。

付費5元查看完整內容

主題: TIMME-Twitter Ideology-detection via Multi-task Multi-relational Embedding

摘要: 跨平臺帳戶匹配在社交網絡分析中起著重要作用,并且有利于廣泛的應用。但是,現有方法要么嚴重依賴高質量的用戶生成內容(包括用戶配置文件),要么遭受數據不足的問題為了解決這一問題,我們提出了一種新穎的框架,該框架同時考慮了本地網絡結構和超圖結構上的多級圖卷積。所提出的方法克服了現有工作的數據不足的問題,并且不必依賴于用戶人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段空間調節機制,以在基于網絡分區的并行訓練和不同社交網絡上的帳戶匹配中對齊嵌入空間。在兩個大型的現實生活社交網絡上進行了廣泛的實驗。實驗結果表明,所提出的方法在很大程度上優于最新模型。

付費5元查看完整內容

最近發布的GPT-3讓我對NLP中的零學習和小樣本的狀態產生了興趣。雖然大多數的零樣本學習研究集中在計算機視覺,也有一些有趣的工作在NLP領域。

我將會寫一系列的博文來涵蓋現有的關于NLP零樣本學習的研究。在這第一篇文章中,我將解釋Pushp等人的論文“一次訓練,到處測試:文本分類的零樣本學習”。本文從2017年12月開始,首次提出了文本分類的零樣本學習范式。

什么是零樣本學習?

零樣本學習是檢測模型在訓練中從未見過的類的能力。它類似于我們人類在沒有明確監督的情況下歸納和識別新事物的能力。

例如,我們想要做情感分類和新聞分類。通常,我們將為每個數據集訓練/微調一個新模型。相比之下,零樣本學習,你可以直接執行任務,如情緒和新聞分類,沒有任何特定的任務訓練。

一次訓練,隨處測試

本文提出了一種簡單的零樣本分類方法。他們沒有將文本分類為X類,而是將任務重新組織為二元分類,以確定文本和類是否相關。

//amitness.com/2020/05/zero-shot-text-classification/

付費5元查看完整內容

題目

跨語言表示學習,Unsupervised Cross-lingual Representation Learning at Scale

關鍵詞

自然語言處理,表示學習,跨語言,人工智能

簡介

本文表明,針對多種跨語言轉換任務,大規模地對多語言語言模型進行預訓練可以顯著提高性能。 我們使用超過2 TB的經過過濾的CommonCrawl數據在一百種語言上訓練了基于Transformer的屏蔽語言模型。 我們的模型稱為XLM-R,在各種跨語言基準測試中,其性能明顯優于多語言BERT(mBERT),包括XNLI的平均精度為+ 13.8%,MLQA的平均F1得分為+ 12.3%,NER的平均F1得分為+ 2.1%。 XLM-R在低資源語言上表現特別出色,與以前的XLM模型相比,斯瓦希里語的XNLI準確性提高了11.8%,烏爾都語的準確性提高了9.2%。 我們還對獲得這些收益所需的關鍵因素進行了詳細的實證評估,包括(1)積極轉移和能力稀釋以及(2)大規模資源資源的高低性能之間的權衡。 最后,我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性。 XLM-R在GLUE和XNLI基準測試中具有強大的單語言模型,因此非常具有競爭力。 我們將公開提供XLM-R代碼,數據和模型。

作者

Alexis Conneau, Kartikay Khandelwal等。

付費5元查看完整內容

主題: Weakly-Supervised Salient Object Detection via Scribble Annotations

摘要: 與費力的逐像素密集標記相比,這種方法更容易通過涂抹來標記數據,僅花費1-2秒即可標記一張圖像。然而,尚未有人探索使用可劃線標簽來學習顯著物體檢測。在本文中,我們提出了一種弱監督的顯著物體檢測模型,以從此類注釋中學習顯著性。為此,我們首先使用亂碼對現有的大型顯著物體檢測數據集進行重新標記,即S-DUTS數據集。由于對象的結構和詳細信息不能通過亂寫識別,因此直接訓練帶有亂寫的標簽將導致邊界位置局限性的顯著性圖。為了緩解這個問題,我們提出了一個輔助的邊緣檢測任務來明確地定位對象邊緣,并提出了門控結構感知損失以將約束置于要恢復的結構范圍上。此外,我們設計了一種涂鴉增強方案來迭代地整合我們的涂鴉注釋,然后將其作為監督來學習高質量的顯著性圖。我們提出了一種新的度量標準,稱為顯著性結構測量,用于測量預測顯著性圖的結構對齊方式,這與人類的感知更加一致。在六個基準數據集上進行的大量實驗表明,我們的方法不僅優于現有的弱監督/無監督方法,而且與幾種完全監督的最新模型相提并論。

付費5元查看完整內容

題目: Self-supervised learning for audio-visual speaker diarization

摘要:

主講人二值化是一種尋找特定主講人語音片段的技術,在視頻會議、人機交互系統等以人為中心的應用中得到了廣泛的應用。在這篇論文中,我們提出一種自監督的音視頻同步學習方法來解決說話人的二值化問題,而不需要大量的標注工作。我們通過引入兩個新的損失函數:動態三重損失和多項式損失來改進前面的方法。我們在一個真實的人機交互系統上進行了測試,結果表明我們的最佳模型獲得了顯著的+8%的f1分數,并降低了二值化的錯誤率。最后,我們介紹了一種新的大規模的音視頻語料庫,以填補漢語音視頻數據集的空白。

付費5元查看完整內容

題目: MULTI-TASK SELF-SUPERVISED LEARNING FOR ROBUST SPEECH RECOGNITION

摘要: 盡管人們對無監督學習越來越感興趣,但從無標簽的音頻中提取有意義的知識仍然是一個公開的挑戰。為了在這個方向上邁出一步,我們最近提出了一個問題不可知的語音編碼器(PASE),它結合了一個卷積編碼器和多個神經網絡,稱為workers,其任務是解決自監督的問題,不需要手動注釋的真值。PASE證明能夠捕捉相關的語音信息,包括說話者的聲紋和音素。本文提出了一種改進的PASE+,用于在噪聲和混響環境下進行魯棒語音識別。為此,我們使用了一個在線語音失真模塊,它用各種隨機干擾來污染輸入信號。然后,我們提出一種改進的編碼器,更好地學習短期和長期語音動態與遞歸網絡和卷積網絡的有效結合。最后,我們完善了用于自監督的workers,以鼓勵更好的合作。

TIMIT、DIRHA和CHiME-5的結果表明,PASE+ sig-明顯優于之前版本的PASE以及常見的聲學特性。有趣的是,PASE+學習適用于高度不匹配的聲學條件的可轉移特征。

付費5元查看完整內容

Most existing approaches to disfluency detection heavily rely on human-annotated data, which is expensive to obtain in practice. To tackle the training data bottleneck, we investigate methods for combining multiple self-supervised tasks-i.e., supervised tasks where data can be collected without manual labeling. First, we construct large-scale pseudo training data by randomly adding or deleting words from unlabeled news data, and propose two self-supervised pre-training tasks: (i) tagging task to detect the added noisy words. (ii) sentence classification to distinguish original sentences from grammatically-incorrect sentences. We then combine these two tasks to jointly train a network. The pre-trained network is then fine-tuned using human-annotated disfluency detection training data. Experimental results on the commonly used English Switchboard test set show that our approach can achieve competitive performance compared to the previous systems (trained using the full dataset) by using less than 1% (1000 sentences) of the training data. Our method trained on the full dataset significantly outperforms previous methods, reducing the error by 21% on English Switchboard.

We introduce and tackle the problem of zero-shot object detection (ZSD), which aims to detect object classes which are not observed during training. We work with a challenging set of object classes, not restricting ourselves to similar and/or fine-grained categories cf. prior works on zero-shot classification. We follow a principled approach by first adapting visual-semantic embeddings for ZSD. We then discuss the problems associated with selecting a background class and motivate two background-aware approaches for learning robust detectors. One of these models uses a fixed background class and the other is based on iterative latent assignments. We also outline the challenge associated with using a limited number of training classes and propose a solution based on dense sampling of the semantic label space using auxiliary data with a large number of categories. We propose novel splits of two standard detection datasets - MSCOCO and VisualGenome and discuss extensive empirical results to highlight the benefits of the proposed methods. We provide useful insights into the algorithm and conclude by posing some open questions to encourage further research.

In multi-task learning, a learner is given a collection of prediction tasks and needs to solve all of them. In contrast to previous work, which required that annotated training data is available for all tasks, we consider a new setting, in which for some tasks, potentially most of them, only unlabeled training data is provided. Consequently, to solve all tasks, information must be transferred between tasks with labels and tasks without labels. Focusing on an instance-based transfer method we analyze two variants of this setting: when the set of labeled tasks is fixed, and when it can be actively selected by the learner. We state and prove a generalization bound that covers both scenarios and derive from it an algorithm for making the choice of labeled tasks (in the active case) and for transferring information between the tasks in a principled way. We also illustrate the effectiveness of the algorithm by experiments on synthetic and real data.

北京阿比特科技有限公司