ACL 是計算語言學和自然語言處理領域的頂級國際會議，由國際計算語言學協會組織，每年舉辦一次。一直以來，ACL 在 NLP 領域的學術影響力都位列第一，它也是 CCF-A 類推薦會議。今年的 ACL 大會已是第 60 屆，將于 5 月 22-5 月 27 在愛爾蘭都柏林舉辦。
ACL 2022論文獎項公布，伯克利摘得最佳論文，陳丹琦、楊笛一等華人團隊獲杰出論文
來自DeepMind等學者Aishwarya Agrawal, Damien Teney, Aida Nematzadeh做了關于《視覺語言預訓練:當前趨勢與未來》教程，值得關注！
本教程的目標是概述多模態預訓練問題的處理所需的要素，特別是視覺和語言。我們還將討論這一領域的一些開放性問題和有希望的未來方向。
在過去的幾年里，人們對建立多模態(視覺語言)模型越來越感興趣，這些模型是在較大但噪聲較大的數據集上進行預訓練的，其中兩種模態(如圖像和文本)松散地相互對應(如ViLBERT和CLIP)。給定一個任務(比如可視的問題回答)，這些模型通常會針對特定于任務的監督數據集進行微調。除了更大的預訓練數據集，Transformer體系結構，特別是應用于兩種模態的自注意力，最近的預訓練模型在下游任務上的令人印象深刻的性能。
這種方法之所以有吸引力，有幾個原因: 首先，預訓練數據集通常是自動從Web上整理出來的，以微不足道的收集成本提供了巨大的數據集。第二，我們可以訓練大型模型一次，并在各種任務中重用它們。最后，這些預訓練方法的表現更好或與以前的特定任務模型持平。一個有趣的問題是，除了良好的任務表現，這些預訓練的模型是否學習了更好地捕捉兩種模態之間的一致性的表征。在本教程中，我們關注最近的視覺語言預訓練范例。我們的目標是首先提供圖像-語言數據集、基準和建模創新。接下來，我們討論用于視覺語言預訓練的不同模型家族，強調它們的優點和缺點。最后，我們討論了通過統計學習進行視覺語言預訓練的局限性，以及因果建模等替代方法的必要性。
目錄內容：
**1. 引言 Introduction: the goal of the tutorial (5 minutes) **
2. 視覺語言概覽 Vision-language landscape before the pretraining era (55 minutes)
**Motivation for vision-language research from both application and research point of views. **
**Popular vision-language tasks, datasets and benchmarks (e.g., image-retrieval, referring expressions, image captioning, visual question answering). **
Task specific modelling approaches and fundamental innovations before the pretraining era (e.g., CNN + LSTM based approaches, language guided image attention, multimodal pooling, compositional networks).
**3. 視覺語言預訓練 Vision-language pretraining (VLP) (60 minutes) **
**– Inspiration from pretraining successes in NLP (transformers, BERT, GPT). **
**– Different families of VLP models (all are transformer based models): * Models using task-specific heads for each downstream task (e.g., ViLBERT, LXMERT, UNITER, OSCAR, VinVL). **
*** Models treating all downstream tasks as language generation tasks, i.e. no task-specific head (e.g., VL-T5, VLBART, SimVLM). **
*** Models using VLP data for improving performance on vision tasks (e.g., CLIP, ALIGN). **
*** Models using VLP data for improving performance on language tasks, including multilingual data (e.g., Vokenization, M3P, VL-T5, SimVLM). **
– Different VLP datasets and how they affect the downstream task performance w.r.t their size, degree of noise, and similarity with downstream datasets.
4. Beyond statistical learning in vision-language
講者：
Aishwarya Agrawal (DeepMind, University of Montreal, Mila), Damien Teney (Idiap Research Institute), and Aida Nematzadeh (DeepMind)
付費5元查看完整內容
相關內容
人類通過多種渠道感知世界，如眼睛看到的圖像或耳朵聽到的聲音。盡管任何一個單獨的通道可能是不完整的或有噪聲的，但人類可以自然地將從多個通道收集的信息進行排列和融合，以便掌握更好地理解世界所需的關鍵概念。人工智能的核心愿望之一是開發算法，使計算機具有從多模態(或多通道)數據中有效學習的能力。這些數據類似于通過視覺和語言獲得的視覺和聲音，幫助人類理解周圍的世界。例如，計算機可以通過搜索最相似的圖像來進行文本查詢(反之亦然)，并通過使用自然語言描述圖像的內容來模擬這種能力。
視覺與語言(VL)，一個位于計算機視覺和自然語言處理(NLP)之間的熱門研究領域，旨在實現這一目標。視覺與語言預訓練(vision and language pre-training, VLP)受到語言模型預訓練在NLP中的巨大成功的啟發，近年來迅速引起了兩方面的關注。在本教程中，我們將涵蓋VLP前沿的最新方法和原則，包括(1) 基于區域特征和端到端圖像文本訓練前;(2) 統一的視覺語言建模;(3) 延伸到視頻語言預訓練; (4) 從語言監督中學習視覺模型;(5) 視覺合成。
//dvsml2022-tutorial.github.io/index.html/
付費5元查看完整內容
隨著大規模預訓練模型的出現，自然語言處理中的知識化趨勢日益明顯。注意知識的自然語言處理模型可以訪問無限數量的外部信息; Ii) 將參數空間的知識存儲任務委托給知識源; Iii)獲取最新信息; Iv) 通過選擇知識，使預測結果更具可解釋性。在本教程中，我們將介紹將知識集成到自然語言處理中的關鍵步驟，包括從文本中建立知識基礎、知識表示和融合。我們還將介紹最新的最先進的應用，融合知識到語言理解，語言生成和常識推理。
//github.com/zcgzcgzcg1/ACL2022_KnowledgeNLP_Tutorial/
付費5元查看完整內容
自然語言處理(NLP)在神經模型的基礎上，在過去的十年中取得了很大的進展，經常利用大量的標記數據來實現最先進的性能。對標記數據的依賴使NLP模型無法應用于低資源設置和語言，因為通常需要時間、金錢和專業知識來標記大量文本數據。因此，在有限的標記數據下學習的能力對于將神經系統部署到真實的NLP應用是至關重要的。近年來，人們已經探索了許多方法來緩解自然語言處理中對標記數據的需求，如數據增強和半監督學習。
本教程旨在提供這些方法的系統和最新的概述，以幫助研究人員和從業人員理解從有限的標記數據中學習的方法和挑戰，這是計算語言學社區的一個新興話題。我們將考慮應用于各種各樣的NLP任務(包括文本分類、生成和結構化預測)，并將突出當前的挑戰和未來的方向。
//github.com/diyiy/ACL2022_Limited_Data_Learning_Tutorial
目錄內容：
數據增強
數據增強是一種常用的技術，用于人為地增加給定訓練數據集的大小(即數據點的數量)和多樣性(即偏離真實數據分布)。小標記訓練數據集往往會導致過擬合，數據增強可以通過自動或手動創建增強數據來幫助緩解這個問題。這些技術在計算機視覺(CV)領域中得到了廣泛的探索，包括幾何/顏色空間轉換、混合和隨機擦除等方法。雖然文本數據由于其復雜的句法和語義結構而具有一定的挑戰性，但文本數據的增強方法卻非常廣泛。
NLP中具有代表性的數據增強方法包括: token增強，如隨機刪除或屏蔽令牌(Bowman et al.， 2015)，用同義詞或相關詞替換單詞(Zhang et al.， 2015;Kobayashi, 2018)，以及用隨機token插入或替換不重要的token (Xie et al.，2017,2019); 通過釋義提高句子水平(Roy and Grangier, 2019; Edunov et al., 2018)的基礎上，先將句子翻譯成某些中間語言，然后再將它們翻譯回來，生成具有不同詞匯和語言結構(如詞性、句法等)的中間語言的意譯，可以引入一定的方差，即雙向翻譯(Xie et al., 2019; Coulombe, 2018)，或根據給定的標簽生成句子;對抗性數據增強，使用受擾動的數據顯著影響模型的預測和信心，而不影響人類判斷(Morris et al., 2020)，例如使用梯度在模型的隱藏表示中尋找鄰居(Cheng et al., 2019)或連接分散但無意義的句子作為段落的結尾(Jia和Liang, 2017);隱藏空間增強，通過添加噪聲或對其他數據點進行插值等擾動來操縱隱藏表示(Chen等人，2020a)。
我們將向觀眾介紹最近廣泛使用的數據增強方法，并以NLP應用實例(如無監督翻譯的反向翻譯)為例，演示如何在實踐中利用這些代表性的數據增強技術。
半監督學習
當只有一個小的標簽訓練數據集可用時，數據增強可以應用在監督設置中產生更好的結果，數據增強也常用在半監督學習中。半監督學習在訓練模型時提供了一種利用未標記數據的方法，當只有有限的標記數據可用時，這種方法可以顯著改進模型。這在普通設置中特別有用，因為與有標記的數據相比，未標記的數據更便宜、更容易獲得。在本教程中，我們將使用示例應用程序或任務，簡要討論最近在NLP研究中探索的各種半監督技術。我們根據現有的半監督學習方法如何利用未標記的數據，將它們分成不同的類別:自訓練利用了固有存在或可以從數據集自動生成的監督(McClosky et al.，2006);多任務訓練利用帶有標簽的額外輔助任務，進一步利用與感興趣任務相關的未標記數據;一致性正則化訓練模型，當輸入通過數據增強受到干擾時，輸出相同的預測(Sachan et al., 2019; Xie et al., 2019; Chen et al., 2020a,b)。
低資源語言的有限數據學習與未來工作
解決數據有限的學習問題還有其他相關方向，如其他半監督學習方法，如自訓練(He et al., 2020)、生成模型(Cheng et al., 2016)和協同訓練(Clark et al., 2018)。我們將簡要討論這些方法，更具體地說，我們將通過案例研究向觀眾介紹如何利用上述技術提高低資源語言的性能，包括跨語言遷移學習，它將模型從資源豐富的語言轉移到資源貧乏的語言(Schuster et al., 2019)，很少/零樣本學習(Pham et al., 2019; Abad et al., 2020)，只使用了來自低資源領域的幾個例子，以適應在另一個領域訓練的模型。盡管近年來在數據有限的情況下取得了成功，但為了更好地學習，仍有一些挑戰需要解決。為此，我們將通過強調一些挑戰來結束我們的教程，包括但不限于數據分布的轉移，量化增強的多樣性和效率，處理域外未標記的數據，學習特定于文本的數據增強策略，并討論未來可能有助于推進該領域的方向。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191