在大量標記語音數據上使用監督學習算法訓練的深度神經網絡在各種語音處理應用中取得了顯著的性能，往往在相應的排行榜上處于領先地位。然而，訓練這些系統依賴于大量帶注釋的語音這一事實，為繼續發展最先進的性能造成了可擴展性瓶頸，而且對在語音領域部署深度神經網絡構成了更根本的障礙，因為標記數據本質上是罕見的，昂貴的，或耗時的收集。
與帶注釋的語音相比，未轉錄的音頻通常積累起來要便宜得多。在這篇論文中，我們探索使用自我監督學習——一種學習目標由輸入本身產生的學習范式——來利用這種易于擴展的資源來提高口語技術的性能。提出了兩種自監督算法，一種基于"未來預測"的思想，另一種基于"從未被掩碼中預測被掩碼"的思想，用于從未標記語音數據中學習上下文化語音表示。我們證明了我們的自監督算法能夠學習表征，將語音信號的高級屬性，如語音內容和說話人特征轉換為比傳統聲學特征更容易獲得的形式，并證明了它們在提高深度神經網絡在廣泛的語音處理任務中的性能方面的有效性。除了提出新的學習算法，我們還提供了廣泛的分析，旨在理解學習的自監督表示的屬性，以及揭示使一個自監督模型不同于另一個的設計因素。 //dspace.mit.edu/handle/1721.1/144761
如今，深度神經網絡或深度學習技術為最先進的人工智能系統提供了能力，用于各種數據類型的廣泛應用——圖像分類(He et al.，2016;Liu et al.，2022)、機器翻譯(Vaswani et al.，2017)和語音識別(Gulati et al.，2020)等等。然而，訓練這些系統的傳統范式一直是監督學習，其中系統的性能隨著用于訓練它們的標記數據的大小大致呈對數增長(Sun et al.，2017)。獲取這種帶注釋的數據的成本已經被證明是最先進系統持續開發的可擴展瓶頸，而且對于在數據和注釋收集本來就很少、昂貴或耗時的應用領域部署深度神經網絡來說，這是一個更根本的障礙。
上述情況激發了一波關于自監督表征學習的研究浪潮，其中，由精心設計的前置任務生成的免費標簽被用作監督信號，以預訓練深度神經網絡。然后，從預訓練的深度神經網絡的參數全部或部分用于初始化任務特定的深度神經網絡的參數，以解決下游的任務，使用比傳統監督學習相對較少的注釋數據。自監督指的是要求深度神經網絡預測給定的輸入數據的一部分(或通過編程派生的標簽)的學習任務。
自監督學習技術已被成功地用于提高各種模式下學習的樣本效率，包括圖像(Chen et al., 2020; Grill et al., 2020; Caron et al., 2020)，視頻(Xu et al., 2019; Alwassel et al., 2020)，語音和音頻(Baevski et al., 2020b; Gong et al., 2022)，文本(Mikolov et al., 2013; Peters et al., 2018b; Devlin et al., 2019; Liu et al., 2019)，到圖表(Velickovic et al.，2019年)，舉幾個例子。一些結果表明，自監督表示的質量也是未標記訓練前數據量的對數函數(Goyal等人，2019)。如果這一趨勢保持不變，那么隨著時間的推移，可實現的性能可能會“免費”提高，因為數據收集和計算能力的改進允許使用越來越大的預訓練集，而不需要手動注釋新數據。在本論文中，我們著重于將自監督學習策略應用于語音領域，目的是推動口語技術的最先進性能，并提高訓練它們的數據效率。我們致力于開發新的自監督語音表征學習方法，并分析其學習表征的特性。
論文貢獻：
1. 介紹了最早成功的自監督語音表征學習框架之一。我們利用了“未來預測”的思想，并提出了一個簡單而有效的自監督目標，稱為自回歸預測編碼(APC)，用于訓練深度神經網絡。設計的未來幀預測任務能夠利用未標記的語音數據學習表示，使語音的高級屬性，如語音內容和說話人的特征更容易被下游任務訪問(定義為線性可分性)。APC是最早展示自監督表征優于傳統手工制作的聲學特征(如Mel-frequency倒譜系數(MFCCs)和log Mel 聲譜圖)的工作之一，表明使用自監督學習來提高口語技術表現的潛力。
2. 介紹了目前最先進的自監督語音表示學習框架之一。我們利用了“從未掩碼中預測掩碼”的想法，并提出了w2v-BERT，這是目前最先進的框架之一，用于對語音應用的深度神經網絡進行預訓練。我們訓練一個語音離散器(通過優化對比損失)來將連續語音信號表示為鑒別標記，并使用它們來訓練一個類似BERT的模型。與vq-wav2vec和HuBERT等現有框架相比，w2v-BERT可以以端到端方式優化離散化器和上下文網絡，避免了多個訓練階段之間的協調，這些階段往往涉及脆弱的建模選擇。我們展示了w2v-BERT的有效性，在基準良好的語音識別數據集和谷歌收集的語音搜索數據集上，它優于包括HuBERT和wav2vec 2.0在內的最新技術。
3.引入一種分析方法，能夠在自監督的目標和他們學習表示的屬性之間建立連接。我們探索使用矢量量化來控制深度神經網絡內部的信息流量，以獲得具有相同的自監督目標但模型容量下降的模型譜。我們將這種分析方法應用于APC的研究，并診斷了APC在模型容量受限時保存信息的偏好。我們的分析結果解釋了為什么APC可以學習捕捉高級語音和說話人信息的表征。該分析方法具有普適性，也可用于其他自監督目標的分析。
4. 不同自監督模型的幾個共享性質的演示。在分析我們自己和其他已有的自監督模型時，我們發現，盡管這些模型在訓練目標和神經網絡結構上存在差異，但它們都存在一些共同的特性。這類屬性之一就是隱式發現有意義的聲音單元庫存的能力。我們發現，在自監督模型中通常存在一些層，其中表示與英語電話具有相當高的互信息(當模型在英語語料庫上訓練時)，即使模型沒有明確地訓練以發現它們。大多數自監督模型共有的另一個特性是，不同層次的語音信息被捕獲在不同的層中，盡管信息分布可能因模型而異。例如，在APC中，較低的層次往往對說話者更具辨別能力，而較高層提供更多的語音內容。意識到這一點有助于選擇適當的層，從中提取表示，以便在感興趣的任務中獲得最佳性能。
5. 識別訓練影響其表征相似性的自監督模型的建模因素的重要性順序。我們在訓練過程中比較了一組具有不同建模選擇的自監督模型，并使用諸如典型相關分析(CCA)等措施來量化它們的兩兩相似性。我們考慮了三個建模因素: 訓練目標、模型的方向性(即模型是單向的還是雙向的)和神經網絡構建塊(CNN/RNN/Transformer)，并表明這三個因素在使一個自監督表示不同于另一個方面具有不同的權重。具體而言，我們發現在所有因素中，訓練目標對表征相似性的影響最大;在相同的訓練目標下，模型的方向性對表征相似性的影響大于其神經網絡構件。
付費5元查看完整內容
相關內容
深度學習推動了應用的爆炸式增長，然而訓練深度神經網絡通常需要昂貴的人工注釋。在這篇論文中，我們探索了在訓練深度神經網絡時避免大量依賴人工注釋示例的替代方案。具體來說，要么采用自監督方法來自動糾正自由獲得的數據標簽，要么完全放棄使用人工標簽，而是利用音頻和視覺信息的自然共生來學習視頻中的對象表示。越來越多的數字數據通常會提供噪聲標簽，這些標簽可以用來監督學習過程。傳統的數據預處理包括在訓練識別模型之前糾正/清理數據，但這可能需要大量的人工工作。我們考慮自動更正注釋噪聲，從而避免了昂貴的手動注釋的需要。我們構建和擴展了最近的突破，使用一致性損失(consistency loss)和空間記憶映射(space memory map)來提供靈活的實例級注冊，從而實現更大的泛化。進一步探索了多模態感覺流，利用模態冗余，即模態之間的重疊信息，為模型提供自監督。表示是通過利用不同的模式來學習的，而不使用任何人類注釋的標簽。我們將使用三個不同的應用程序演示此技術。
首先，我們自動管理一個大型音頻數據集VGG-Sound，使用視覺引導收集了超過200k的視頻，并在此基礎上進行訓練，生成最先進的音頻識別模型。其次，我們提出了一種改進和擴展最近聲源定位技術的方法，通過引入一種機制來挖掘硬樣本并自動將其添加到對比學習公式中。最后，與在一個特定領域執行的現有視聽同步任務不同，我們建議通過探索使用幾種基于transformer的體系結構來解決開放世界設置中的同步問題。通過這些模型，我們在具有挑戰性的語音數據集中獲得了最先進的結果，并在一般聲音數據集中顯示了出色的泛化效果。
付費5元查看完整內容
本文探討了計算機如何使用自監督學習在沒有強監督的情況下學習視覺對象的結構。我們演示了我們可以使用一個以重構為關鍵學習信號的自動編碼框架來學習對象的結構表示。我們通過工程瓶頸將對象結構從其他變化因素中分離出來來做到這一點。此外，設計了以2D和3D物體地標或3D網格形式表示物體結構的瓶頸。具體來說，我們開發了一種自動發現2D對象地標的方法，無需任何注釋，該方法使用帶有2D關鍵點瓶頸的條件自動編碼器，將表示為2D關鍵點的姿勢和外觀分離開來。**盡管自監督學習方法能夠學習穩定的物體地標，但自動發現的地標與人類標注者標注的地標不一致。為解決這個問題，本文提出一種方法，通過引入一種新的地標自編碼，將未配對的經驗先驗注入到條件自編碼器中，可以利用對抗性學習中使用的強大圖像鑒別器。**這些條件自動編碼方法的一個副產品是，可以通過操縱瓶頸中的關鍵點來交互控制生成。我們利用這一特點在一個新的方法進行交互式3D形狀變形。該方法以自監督的方式訓練，使用自動發現的3D地標來對齊對3D形狀。在測試時間內，該方法允許用戶通過發現的三維物體標志進行物體形狀的交互變形。最后，我們提出了一種利用光幾何自編碼器恢復物體類別三維形狀的方法，而不需要任何三維注釋。它使用視頻進行訓練，并學會將輸入的圖像分解為剛性的姿勢、紋理和可變形的形狀模型。
付費5元查看完整內容
盡管深度學習模型徹底改變了語音和音頻處理領域，但它們迫使為個別任務和應用場景構建專家模型。深度神經模型也會在標記數據有限的方言和語言中遇到瓶頸。
自監督表示學習方法有望提供一個單一的通用模型，使一系列任務和領域受益。他們最近在NLP和計算機視覺領域取得了成功，達到了新的性能水平，同時減少了許多下游場景所需的標簽。語音表征學習也有類似的進展，主要有三種類型:生成式、對比式和預測式。其他方法依賴于多模態數據進行訓練前的預處理，將文本或視覺數據流與語音混合。雖然自我監督語音表示仍是一個新興的研究領域，但它與聲學詞嵌入和零詞匯資源學習密切相關**。本教程將介紹自監督語音表征學習方法及其與相關研究領域的聯系**。由于目前的許多方法只將自動語音識別作為下游任務，我們將回顧最近對已學習的表示進行基準測試的努力，以擴展這種表示在語音識別之外的應用。本教程的實踐部分將提供構建和評估語音表示模型的實際指導。
付費5元查看完整內容
深度神經網絡在計算機視覺、機器學習和人工智能等許多領域都取得了顯著的經驗成功。隨著經驗上的成功，深度學習在理論上已被證明在表達能力方面具有吸引力。即具有一個隱層的神經網絡可以近似任意連續函數，而具有更深層次的神經網絡可以近似具有較少參數的特定類函數。表達理論指出，在一定規模的神經網絡中，存在近似目標函數的最優參數向量。然而，在神經網絡優化過程中，表達理論并不能保證能夠有效地找到這樣的最優向量。優化是深度學習的關鍵步驟之一，因為對數據的學習是通過優化來實現的，即對深度神經網絡的參數進行優化，使網絡與數據保持一致的過程。這個過程通常需要非凸優化，這對于一般的高維問題來說是不可擴展的。事實上，一般來說，神經網絡的優化是不可擴展的，除非對其架構做額外的假設。
本文通過研究可擴展性中的一些基本瓶頸，如次最優局部極小值和鞍點，研究了各種深度神經網絡體系結構的非凸優化問題。特別地，對于深度神經網絡，我們給出了局部極小值和臨界點的各種保證，以及梯度下降找到的點。證明了在深度神經網絡非凸優化中，對實際度進行適度的過參數化可以保證梯度下降找到全局最小值。此外，即使沒有過度參數化，我們表明，無論是理論還是經驗，增加參數的數量，改善臨界點和局部極小值的值向全局最小值。我們還證明了殘差神經網絡局部極小值的理論保證。此外，本文提出了一個統一的理論來分析這些特定架構之外的各種深度神經網絡的臨界點和局部極小值。這些結果表明，盡管在理論的最壞情況和最壞的架構中存在可伸縮性問題，但我們可以避免這個問題，并在實踐中對各種有用架構的大型問題進行良好的可擴展性。
付費5元查看完整內容
近年來，人工智能研究取得了驚人的發展和進步。這些進步主要是在三個方面取得的:計算機視覺、自然語言處理和機器人技術。例如，圖像識別被廣泛認為是計算機視覺的圣杯，而語言建模和翻譯一直是自然語言處理的基本任務。然而，許多實際應用程序和任務需要解決的不僅僅是這些特定于領域的問題，而是需要解決涉及所有三個領域的問題。一個自主系統不僅需要能夠識別圖像中的物體，而且還需要解釋自然語言的描述或命令，并理解它們如何與它所感知的視覺觀察相關聯。此外，機器人需要利用這些信息進行決策，并決定為了完成任務而采取哪些物理行動。在本文的第一部分，我提出了一種學習如何將自然語言與三維形狀聯系起來的方法，使系統能夠將文本描述中描述的“圓”等詞與三維物體中的圓的幾何屬性進行連接。為了將這兩種模式聯系起來，我們依賴一個跨模態嵌入空間來進行多模態推理，并在沒有細粒度、屬性級分類注釋的情況下學習這個空間。通過學習如何將這兩種模態聯系起來，我們可以執行諸如文本到形狀的檢索和形狀操作等任務，還可以實現新的任務，如文本到形狀的生成。在本論文的第二部分，我們允許主體被具體化，并探索一個依賴于所有三個領域(計算機視覺、自然語言和機器人)的任務:機器人導航通過遵循自然語言指令。不再依賴于固定的圖像或3D對象數據集，代理程序現在位于一個物理環境中，并使用機載相機捕捉自己對空間的視覺觀察。為了在視覺、語言和機器人物理狀態之間建立聯系，我們提出了一個使用拓撲圖執行規劃和控制的系統。這種基本的抽象允許主體將語言指令的部分與環境的相關空間區域聯系起來，并將一系列視覺觀察與物理動作和行動聯系起來。
付費5元查看完整內容
深度卷積網絡的出現推動了視覺識別領域的新一波進步。這些學習到的表示大大優于手工設計的特征，在視覺任務上獲得更高的性能，同時在數據集上有更好的泛化性。盡管這些模型看起來很普遍，但當它們所訓練的數據與所要求操作的數據之間存在不匹配時，它們仍然會受到影響。領域適應提供了一種潛在的解決方案，允許我們將網絡從源領域訓練到新的目標領域。在這些領域中，標記數據是稀疏的或完全缺失的。然而，在端到端可學習表示出現之前，視覺域適應技術很大程度上局限于在固定的、手工設計的視覺特征上訓練的分類器。在這篇論文中，我們展示了如何將視覺域適應與深度學習相結合，以直接學習能夠適應域移動的表示，從而使模型能夠泛化到源域之外。
在第2章中，我們將演示如何設計損失，以衡量兩個領域的不同程度。我們表明，通過優化表示來最小化這些損失，我們可以學習從源到目標更好地泛化的表示。在第3章和第4章中，我們展示了我們可以訓練模型來嘗試測量域差異，而不是手工設計這些域損失。由于這些模型本身是端到端可學習的，我們可以通過它們反向傳播來學習表示，從而最小化學習的差異。這在概念上與生成式對抗網絡類似，我們還探索了兩者之間的關系，以及我們如何在對抗環境中使用為GANs開發的技術。最后，在第5章和第6章中，我們證明了適應性不需要局限于深度網絡的中間特征。對抗適應技術也可以用于訓練模型，直接改變圖像的像素，將它們轉換成跨域的類似物。然后，這些轉換后的圖像可以用作標記的偽目標數據集，以學習更適合目標領域的監督模型。我們表明，這種技術是基于特征的適應性的補充，當兩者結合時產生更好的性能。
//www2.eecs.berkeley.edu/Pubs/TechRpts/2020/EECS-2020-69.html
付費5元查看完整內容
自監督學習由于能夠避免標注大規模數據集的成本而受到歡迎。它能夠采用自定義的偽標簽作為監督，并將學習到的表示用于幾個下游任務。具體來說，對比學習最近已成為計算機視覺、自然語言處理(NLP)等領域的自主監督學習方法的主要組成部分。它的目的是將同一個樣本的增廣版本嵌入到一起，同時試圖將不同樣本中的嵌入推開。這篇論文提供了一個廣泛的自我監督的方法綜述，遵循對比的方法。本研究解釋了在對比學習設置中常用的借口任務，以及到目前為止提出的不同架構。接下來，我們將對圖像分類、目標檢測和動作識別等多個下游任務的不同方法進行性能比較。最后，我們總結了目前方法的局限性和需要進一步的技術和未來方向取得實質性進展。
概述：
隨著深度學習技術的發展，它已成為目前大多數智能系統的核心組件之一。深度神經網絡(DNNs)能夠從現有的大量數據中學習豐富的模式，這使得它在大多數計算機視覺(CV)任務(如圖像分類、目標檢測、圖像分割、動作識別)以及自然語言處理(NLP)任務(如句子分類、語言模型、機器翻譯等)中成為一種引人注目的方法。然而，由于手工標注數百萬個數據樣本的工作量很大，從標記數據中學習特征的監督方法已經幾乎達到了飽和。這是因為大多數現代計算機視覺系統(受監督的)都試圖通過查找大型數據集中數據點及其各自注釋之間的模式來學習某種形式的圖像表示。像GRAD-CAM[1]這樣的工作提出了一種技術，可以為模型所做的決策提供可視化的解釋，從而使決策更加透明和可解釋。
傳統的監督學習方法很大程度上依賴于可用的帶注釋的訓練數據的數量。盡管有大量的可用數據，但缺乏注解促使研究人員尋找替代方法來利用它們。這就是自監督方法在推動深度學習的進程中發揮重要作用的地方，它不需要昂貴的標注，也不需要學習數據本身提供監督的特征表示。
監督學習不僅依賴昂貴的注釋，而且還會遇到泛化錯誤、虛假的相關性和對抗攻擊[2]等問題。最近，自監督學習方法集成了生成和對比方法，這些方法能夠利用未標記的數據來學習潛在的表示。一種流行的方法是提出各種各樣的代理任務，利用偽標簽來幫助學習特征。諸如圖像inpainting、灰度圖像著色、拼圖游戲、超分辨率、視頻幀預測、視聽對應等任務已被證明是學習良好表示的有效方法。
生成式模型在2014年引入生成對抗網絡(GANs)[3]后得到普及。這項工作后來成為許多成功架構的基礎，如CycleGAN[4]、StyleGAN[5]、PixelRNN[6]、Text2Image[7]、DiscoGAN [8]等。這些方法激發了更多的研究人員轉向使用無標簽數據在自監督的設置下訓練深度學習模型。盡管取得了成功，研究人員開始意識到基于GAN的方法的一些并發癥。它們很難訓練，主要有兩個原因: (a)不收斂——模型參數發散很多，很少收斂; (b)鑒別器太過成功，導致生成網絡無法產生類似真實的假信號，導致學習無法繼續。此外，生成器和判別器之間需要適當的同步，以防止判別器收斂和生成器發散。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191