亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

多模態信息抽取，Multi-modal Information Extraction from Text, Semi-structured, and Tabular Data on the Web

Organizers: Xin Luna Dong, Hannaneh Hajishirzi, Colin Lockard and Prashant Shiralkar

萬維網以多種形式包含大量的文本信息:非結構化文本、基于模板的半結構化網頁(以鍵-值對和列表的形式呈現數據)和表格。從這些資源中提取信息并將其轉換為結構化形式的方法一直是自然語言處理(NLP)、數據挖掘和數據庫社區研究的目標。雖然這些研究人員已經很大程度上根據數據的模態將web數據的提取分離到不同的問題中，但他們也面臨著類似的問題，比如使用有限的標記數據進行學習，定義(或避免定義)本體，利用先驗知識，以及針對web規模的縮放解決方案。在本教程中，我們將從整體的角度來看待信息抽取，探索挑戰中的共性，以及為解決這些不同形式的文本而開發的解決方案。

地址：

//sites.google.com/view/acl-2020-multi-modal-ie

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

OpenAI在昨天悄然放出了GPT第三代——《Language Models are Few-Shot Learners》。刷遍Twitter！史無前例！論文介紹了GPT-3這是一種由1750億個參數組成的最先進的語言模型。論文由32位作者72頁pdf。

最近的工作表明，通過對大量文本進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了巨大的進展。盡管這種方法在架構中通常與任務無關，但它仍然需要成千上萬個特定于任務的實例微調數據集。相比之下，人類通常只需要幾個例子或簡單的指令就可以完成一項新的語言任務——這是目前的NLP系統仍然難以做到的。在這里，我們展示了擴展語言模型極大地提高了任務無關性、低命中率的性能，有時甚至達到了與先前最先進的微調方法的匹配性能。具體來說，我們訓練了一個帶有1750億個參數的自回歸語言模型GPT-3，比以前任何非稀疏語言模型都多10倍，并在小樣本設置下測試了它的性能。對于所有任務，GPT-3的應用沒有任何梯度更新或微調，任務和小樣本演示指定純粹通過與模型的文本交互。GPT-3在許多NLP數據集上實現了強大的性能，包括翻譯、問答和完形填空任務，以及一些需要即時推理或領域適應的任務，如整理單詞、在句子中使用新單詞或執行3位算術。同時，我們還確定了一些數據集，其中GPT-3的小樣本學習仍然效果不佳，以及一些數據集，其中GPT-3面臨著與大型web語料庫上的訓練有關的方法問題。最后，我們發現GPT-3可以生成新聞文章的樣本，這些文章是人類評價者難以區分的。我們討論了這個發現和一般的GPT-3的更廣泛的社會影響。

GPT-3的主要目標是用更少的領域數據、且不經過精調步驟去解決問題。

為了達到上述目的，作者們用預訓練好的GPT-3探索了不同輸入形式下的推理效果。

這里的Zero-shot、One-shot、Few-shot都是完全不需要精調的，因為GPT-3是單向transformer，在預測新的token時會對之前的examples進行編碼。

作者們訓練了以下幾種尺寸的模型進行對比：

實驗證明Few-shot下GPT-3有很好的表現：

最重要的是，GPT-3在Few-shot設定下，在部分NLU任務上超越了當前Fine-tuning的SOTA。

深度和大型的預訓練語言模型是各種自然語言處理任務的最新技術。然而，這些模型的巨大尺寸可能會阻礙在實踐中使用它們。最近的一些并行工作使用知識蒸餾來將這些龐大的模型壓縮成小型模型。在這項工作中，我們以多語言命名實體識別(NER)為重點來研究知識蒸餾。特別地，我們研究了幾種提煉策略，并提出了一種利用教師內部表征的階段性優化方案，該方案不考慮教師體系結構，并證明其優于以往工作中所采用的策略。此外，我們還研究了幾個因素的作用，比如未標記數據的數量、注釋資源、模型架構和推理延遲等等。我們證明，我們的方法可以將類mbert教師模型的參數壓縮高達35倍，批量推理的延遲壓縮51倍，而NER超過41種語言的95%的f1分都保留下來。

題目

跨語言表示學習，Unsupervised Cross-lingual Representation Learning at Scale

關鍵詞

自然語言處理，表示學習，跨語言，人工智能

簡介

本文表明，針對多種跨語言轉換任務，大規模地對多語言語言模型進行預訓練可以顯著提高性能。 我們使用超過2 TB的經過過濾的CommonCrawl數據在一百種語言上訓練了基于Transformer的屏蔽語言模型。 我們的模型稱為XLM-R，在各種跨語言基準測試中，其性能明顯優于多語言BERT（mBERT），包括XNLI的平均精度為+ 13.8％，MLQA的平均F1得分為+ 12.3％，NER的平均F1得分為+ 2.1％。 XLM-R在低資源語言上表現特別出色，與以前的XLM模型相比，斯瓦希里語的XNLI準確性提高了11.8％，烏爾都語的準確性提高了9.2％。 我們還對獲得這些收益所需的關鍵因素進行了詳細的實證評估，包括（1）積極轉移和能力稀釋以及（2）大規模資源資源的高低性能之間的權衡。 最后，我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性。 XLM-R在GLUE和XNLI基準測試中具有強大的單語言模型，因此非常具有競爭力。 我們將公開提供XLM-R代碼，數據和模型。

作者

Alexis Conneau， Kartikay Khandelwal等。

本文表明，在大規模的多語言預訓練模型，可以顯著地提高跨語言遷移任務的性能。我們使用超過2TB的過濾CommonCrawl數據，在100種語言上訓練一個基于Transformer的掩碼語言模型。我們的模型被稱為XLM-R，在多種跨語言基準測試中顯著優于多語言BERT (mBERT)，包括XNLI的平均正確率+13.8%，MLQA的平均F1分數+12.3%，NER的平均F1分數+2.1%。XLM- r在低資源語言上表現特別好，與以前的XLM模型相比，XNLI在斯瓦希里語上的準確率提高了11.8%，在烏爾都語上的準確率提高了9.2%。我們還對實現這些收益所需的關鍵因素進行了詳細的實證評估，包括(1)積極遷移和能力稀釋之間的權衡，以及(2)大規模高資源語言和低資源語言的性能。最后，我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性;XLM-Ris在GLUE和XNLI基準上有很強的單語言模型，非常有競爭力。我們將使XLM-R代碼、數據和模型公開可用。

我們常常希望將表征性知識從一個神經網絡轉移到另一個神經網絡。例如，將一個大的網絡提煉成一個較小的網絡，將知識從一種感覺模態傳遞到另一種感覺模態，或者將一組模型集成到一個單獨的估計器中。知識蒸餾是解決這些問題的標準方法，它最小化了教師和學生網絡的概率輸出之間的KL分歧。我們證明這一目標忽視了教師網絡的重要結構知識。這激發了另一個目標，通過這個目標，我們訓練學生從老師對數據的描述中獲取更多的信息。我們把這個目標稱為對比學習。實驗表明，我們得到的新目標在各種知識轉移任務(包括單模型壓縮、集成蒸餾和跨模態轉移)上的性能優于知識蒸餾和其他前沿蒸餾器。我們的方法在許多轉移任務中設置了一個新的水平，有時甚至超過教師網絡與知識蒸餾相結合。

簡介：

作為面向任務的對話系統中的關鍵組件，自然語言生成（NLG）模塊將以語義形式表示的對話行為轉換為自然語言的響應。傳統的基于模板或統計模型的成功通常依賴于帶有大量注釋的數據，這對于新領域而言是不可行的。因此，對于NLG系統而言，在實際應用中使用有限的標記數據很好地泛化至關重要。為此，我們展示了FewShotWOZ，這是第一個NLG基準測試，用于模擬面向任務的對話系統中的少量學習設置。此外，我們開發了SC-GPT模型。它在大量帶注釋的NLG語料庫上進行了預訓練，以獲取可控的生成能力，并僅用少數幾個特定于域的標簽進行微調以適應新的域。在FewShotWOZ和大型Multi-Domain-WOZ數據集上進行的實驗表明，通過各種自動指標和人工評估，提出的SC-GPT明顯優于現有方法。

題目： Large Scale Learning of General Visual Representations for Transfer

摘要： 在訓練深層視覺神經網絡時，預訓練表示的傳遞提高了樣本效率，簡化了超參數整定。我們重新審視了在大監督數據集上進行預訓練和微調目標任務權重的范例。我們擴大了訓練前的規模，并創建了一個簡單的配方，我們稱之為大轉移（BiT）。通過組合一些精心挑選的組件，并使用簡單的啟發式進行傳輸，我們在20多個數據集上獲得了很強的性能。BiT在一系列出人意料的數據體系中表現良好——從10到100萬個標記示例。BiT在ILSVRC-2012上達到87.8%的top-1精度，在CIFAR-10上達到99.3%，在視覺任務適應基準（包括19個任務）上達到76.7%。在小型數據集上，ILSVRC-2012每類25個示例的BiT達到86.4%，CIFAR-10每類10個示例的BiT達到97.6%。我們對導致高傳輸性能的主要組件進行了詳細的分析。

作者簡介： Alexander Kolesnikov，谷歌儀器科學家。個人主頁：[//neutrons.ornl.gov/contacts/kolesnikovai]{}

題目： Understanding Knowledge Distillation in Non-autoregressive Machine Translation

摘要： 非自回歸機器翻譯(NAT)系統并行地預測輸出標記序列，與自回歸模型相比，在生成速度上獲得了實質性的改進。現有的NAT模型通常依賴于知識蒸餾技術，該技術從一個預先訓練好的自回歸模型中創建訓練數據，以獲得更好的性能。知識蒸餾在經驗上是有用的，它使NAT模型的準確性得到了很大的提高，但是這種成功的原因到目前為止還不清楚。在這篇論文中，我們首先設計了系統的實驗來研究為什么知識蒸餾對于NAT訓練是至關重要的。我們發現，知識蒸餾可以降低數據集的復雜性，并幫助NAT對輸出數據的變化進行建模。此外，在NAT模型的容量和為獲得最佳翻譯質量而提取的數據的最優復雜度之間存在很強的相關性。基于這些發現，我們進一步提出了幾種可以改變數據集復雜性的方法，以提高NAT模型的性能。我們為基于nat的模型實現了最先進的性能，并縮小了與WMT14 En-De基準上的自回歸基線的差距。