近期，文本編輯模型已成為單語文本生成任務的重要替代，如語法錯誤修正、文本簡化和風格轉換。這些任務有一個共同的特點 - 它們在源文本和目標文本之間顯示出大量的文本重疊。
文本編輯模型利用這一觀察結果，學習通過預測對源序列應用的編輯操作來生成輸出。相比之下，seq2seq模型從頭開始逐詞生成輸出，這使得它們在推理時很慢。文本編輯模型相對于seq2seq模型提供了若干優勢，包括更快的推理速度、更高的樣本效率，以及更好的輸出控制和解釋性。
本教程提供了基于文本編輯的模型和當前最先進方法的全面概述，并分析了它們的優缺點。我們討論了與部署相關的挑戰，以及這些模型如何有助于減輕幻覺和偏見，這兩個都是文本生成領域的迫切挑戰。 目錄內容：
講者:
付費5元查看完整內容
相關內容
教導機器對文本進行推理一直是自然語言處理（NLP）的長期目標。為此，研究人員設計了一系列復雜的推理任務，涉及組合推理、知識檢索、基礎理解、常識推理等多個方面。
構建能執行所需類型推理的系統的標準選擇是在特定下游任務上對語言模型（LM）進行微調或提示。然而，最近的研究表明，這種簡單的方法往往容易出現問題，這些模型的推理能力僅限于表面層面，即僅僅利用數據模式。因此，通過技術手段增強LM的魯棒性和有效性成為一個活躍的研究領域。
本教程概述了標準預訓練語言模型在復雜推理任務中的失敗之處。隨后，本教程回顧了近期有前景的解決這些任務的方法。具體而言，我們關注以下幾種明確考慮問題結構的方法：（1）知識增強方法，在微調或預訓練過程中將知識加入模型；（2）少樣本提示方法，有效地指導模型按照指令進行推理；（3）神經符號方法，生成明確的中間表示；以及（4）基于理由的方法，這是神經符號方法中最受歡迎的形式之一，用于將輸入的子集作為對個體模型預測的解釋。
通過探索這些不同方法，研究人員旨在克服標準微調和提示方法的局限性，開發出能夠更有效地進行文本推理的模型。本教程概述了這些領域的當前研究現狀，重點介紹了最新進展和未來研究的有前景的方向。
講者：
付費5元查看完整內容
大規模文本語料庫上的模型預訓練已經被證明在NLP領域的各種下游應用中非常有效。在圖挖掘領域，也可以類比預訓練圖模型在大規模圖上，以期望從中獲益于下游圖應用，這也被一些最近的研究所探索。然而，現有的研究從未研究過在具有豐富文本信息的大型異構圖（也就是大型圖譜語料庫）上預訓練文本加圖模型，然后在具有不同圖模式的不同相關下游應用上對模型進行微調。為了解決這個問題，我們提出了一個在大型圖譜語料庫上進行圖感知語言模型預訓練（GaLM）的框架，該框架結合了大型語言模型和圖神經網絡，并在下游應用上提供了各種微調方法。我們在亞馬遜的真實內部數據集和大型公共數據集上進行了廣泛的實驗。全面的實證結果和深入的分析證明了我們提出的方法的有效性，以及我們從中學到的經驗。
付費5元查看完整內容
文本編輯模型最近已經成為seq2seq模型在單語言文本生成任務(如語法錯誤糾正、文本簡化和樣式轉移)中的重要替代方案。這些任務有一個共同的特點——它們在源文本和目標文本之間表現出大量的文本重疊。
文本編輯模型利用了這一觀察結果，并通過預測應用于源序列的編輯操作來生成輸出。相反，seq2seq模型從頭開始逐字生成輸出，因此在推斷時速度很慢。文本編輯模型比seq2seq模型有幾個優點，包括更快的推理速度、更高的樣本效率、更好的輸出控制和可解釋性。
本教程提供了基于文本編輯的模型的全面概述，以及分析其優缺點的當前最先進的方法。我們討論了與部署相關的挑戰，以及這些模型如何幫助減輕幻覺和偏見，這兩者都是文本生成領域的緊迫挑戰。
付費5元查看完整內容
本教程介紹常用的處理多語言語料庫的方法，并討論了它們各自的優缺點。然后，研討會通過一個應用的例子，包括免費機器翻譯，多語言句子和單詞嵌入，以及時間允許的多語言Transformer。
大部分的政治文本集是多語言的，主要是進行比較定量分析。然而，現有的跨語言文本分析方法需要依賴語言上合格的人工編碼人員、人工翻譯人員或可靠的機器翻譯，因此往往阻礙了比較研究。在本文中，我提出了一種依賴于多語言文本嵌入的替代方法:使用公開的多語言模型將不同語言編寫的文本嵌入到一個聯合語義空間中。然后將得到的文本嵌入作為輸入來訓練監督機器學習分類器。為了驗證所提出的方法，我在三個不同的政治語料庫上進行了一系列的文本分類實驗。這些實驗表明，訓練于多語言文本嵌入的分類器通過了三個重要的測試:它們對伸出文本的分類與訓練于單語言或翻譯文本的可比分類器一樣準確。它們在不同語言間的執行大體上是一致的。他們對用訓練數據中沒有的語言編寫的文本進行分類，預測性能幾乎沒有損失。綜合來看，這些結果為多語言文本嵌入提供了一種可靠的、可復制的、經濟有效的多語言文本分類方法。因此，這項研究有助于新興的方法論文獻在政治科學的多語種定量文本分析。
付費5元查看完整內容
智能體隊通常必須以一種分布式的方式協調他們的決策，以實現個體和共享的目標。示例包括面向服務的計算、傳感器網絡問題和智能設備協調家庭問題。這類問題可以形式化并以不同的方式求解，但一般來說，多智能體協調過程是非易的，NP -難求解的。
在本多智能體分布式約束優化教程中，我們將討論在多智能體系統(MAS)文獻中提出的處理協調問題的兩種基本方法，一種基于分布式約束優化問題(DCOPs)，另一種基于聯盟形成(CF)。
在第一部分中，我們將介紹關于DCOP的核心概念和模型的可訪問的和結構化的概述。我們還將闡述解決DCOP的最優和次優方法。
在第二部分，我們將討論用于MAS建模的核心概念，即特征函數博弈(CFGs)，以及在無約束和有約束的CFGs中，哪些最優和近似的方法可以形成聯盟。我們將通過在第一部分和第二部分之間建立一個有趣的聯系來結束這一部分，展示如何使用約束優化問題(cop)來解決CF問題。
最后，我們將邀請與會者對來自實際應用的一些示例問題進行建模，并討論相關的解決方法。本文將概述python庫pyDCOP中的一些代碼和可執行示例。本教程將以最常見的挑戰和開放問題結束。
//www.gauthier-picard.info/dcop-tutorial/#outline-short-description
付費5元查看完整內容
GPT-3: Few-Shot Learning with a Giant Language Model
最近的工作表明，通過對大量文本語料庫進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了實質性進展。雖然這種方法在架構中通常與任務無關，但它仍然需要成千上萬個樣例的特定于任務的微調數據集。相比之下，人類通常只通過幾個例子或簡單的指令就能完成一項新的語言任務——這是目前的NLP系統在很大程度上難以做到的。我將討論GPT-3，這是一種具有1750億個參數的自回歸語言模型，它演示了如何擴大語言模型可以極大地改善與任務無關的、少樣本的性能，有時甚至可以達到與先前的最先進的微調方法相媲美的競爭力。GPT-3可以應用于沒有任何漸變更新或微調的任務，與少數樣本演示指定純粹通過文本與模型的交互。我將概述GPT-3是什么以及它是如何工作的，討論我們從這樣一個系統中看到的功能，以及它們如何啟用與語言模型交互的新方式，此外還將關注這些交互帶來的局限性和更廣泛的問題。
//nlp.stanford.edu/seminar/details/melaniesubbiah.shtml
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191