亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

OpenAI在昨天悄然放出了GPT第三代——《Language Models are Few-Shot Learners》。刷遍Twitter！史無前例！論文介紹了GPT-3這是一種由1750億個參數組成的最先進的語言模型。論文由32位作者72頁pdf。

最近的工作表明，通過對大量文本進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了巨大的進展。盡管這種方法在架構中通常與任務無關，但它仍然需要成千上萬個特定于任務的實例微調數據集。相比之下，人類通常只需要幾個例子或簡單的指令就可以完成一項新的語言任務——這是目前的NLP系統仍然難以做到的。在這里，我們展示了擴展語言模型極大地提高了任務無關性、低命中率的性能，有時甚至達到了與先前最先進的微調方法的匹配性能。具體來說，我們訓練了一個帶有1750億個參數的自回歸語言模型GPT-3，比以前任何非稀疏語言模型都多10倍，并在小樣本設置下測試了它的性能。對于所有任務，GPT-3的應用沒有任何梯度更新或微調，任務和小樣本演示指定純粹通過與模型的文本交互。GPT-3在許多NLP數據集上實現了強大的性能，包括翻譯、問答和完形填空任務，以及一些需要即時推理或領域適應的任務，如整理單詞、在句子中使用新單詞或執行3位算術。同時，我們還確定了一些數據集，其中GPT-3的小樣本學習仍然效果不佳，以及一些數據集，其中GPT-3面臨著與大型web語料庫上的訓練有關的方法問題。最后，我們發現GPT-3可以生成新聞文章的樣本，這些文章是人類評價者難以區分的。我們討論了這個發現和一般的GPT-3的更廣泛的社會影響。

GPT-3的主要目標是用更少的領域數據、且不經過精調步驟去解決問題。

為了達到上述目的，作者們用預訓練好的GPT-3探索了不同輸入形式下的推理效果。

這里的Zero-shot、One-shot、Few-shot都是完全不需要精調的，因為GPT-3是單向transformer，在預測新的token時會對之前的examples進行編碼。

作者們訓練了以下幾種尺寸的模型進行對比：

實驗證明Few-shot下GPT-3有很好的表現：

最重要的是，GPT-3在Few-shot設定下，在部分NLU任務上超越了當前Fine-tuning的SOTA。

自回歸文本生成模型通常側重于局部的流暢性，在長文本生成過程中可能導致語義不一致。此外，自動生成具有相似語義的單詞是具有挑戰性的，而且手工編寫的語言規則很難應用。我們考慮了一個文本規劃方案，并提出了一個基于模型的模仿學習方法來緩解上述問題。具體來說，我們提出了一種新的引導網絡來關注更長的生成過程，它可以幫助下一個單詞的預測，并為生成器的優化提供中間獎勵。大量的實驗表明，該方法具有較好的性能。

題目： Natural Language Processing and Query Expansion

簡介：

大量知識資源的可用性刺激了開發和增強信息檢索技術的大量工作。用戶的信息需求以自然語言表達，成功的檢索很大程度上取決于預期目的的有效溝通。自然語言查詢包含多種語言功能，這些語言功能代表了預期的搜索目標。導致語義歧義和對查詢的誤解以及其他因素（例如，對搜索環境缺乏了解）的語言特征會影響用戶準確表示其信息需求的能力，這是由概念意圖差距造成的。后者直接影響返回的搜索結果的相關性，而這可能不會使用戶滿意，因此是影響信息檢索系統有效性的主要問題。我們討論的核心是通過手動或自動捕獲有意義的術語，短語甚至潛在的表示形式來識別表征查詢意圖及其豐富特征的重要組成部分，以手動或自動捕獲它們的預期含義。具體而言，我們討論了實現豐富化的技術，尤其是那些利用從文檔語料庫中的術語相關性的統計處理或從諸如本體之類的外部知識源中收集的信息的技術。我們提出了基于通用語言的查詢擴展框架的結構，并提出了基于模塊的分解，涵蓋了來自查詢處理，信息檢索，計算語言學和本體工程的主題問題。對于每個模塊，我們都會根據所使用的技術回顧分類和分析的文獻中的最新解決方案。

題目： Adversarial Training for Large Neural Language Models

簡介： 泛化性和魯棒性都是設計機器學習方法的關鍵要求。對抗性訓練可以增強魯棒性，但是過去的工作常常發現它不利于推廣。在自然語言處理（NLP）中，預訓練大型神經語言模型（例如BERT）在針對各種任務的通用化方面顯示出令人印象深刻的收益，而從對抗性微調中得到了進一步的改進。但是，這些模型仍然容易受到對抗性攻擊。在本文中，我們表明對抗性預訓練可以同時提高泛化性和魯棒性。我們提出了一種通用算法ALUM（大型神經語言模型的專家訓練），該算法通過在嵌入空間中應用擾動來最大化訓練目標，從而使對抗性損失最大化。我們將對所有階段的對抗訓練進行全面的研究，包括從頭開始進行預訓練，在訓練有素的模型上進行連續的預訓練以及針對特定任務的微調。在常規和對抗性方案中，在各種NLP任務上，ALUM都比BERT獲得了可觀的收益。即使對于已經在超大型文本語料庫上進行過良好訓練的模型（例如RoBERTa），ALUM仍可以通過連續的預訓練獲得可觀的收益，而傳統的非對抗方法則不能。可以將ALUM與特定于任務的微調進一步結合以獲取更多收益。

由于任務型對話系統在人機交互和自然語言處理中的重要意義和價值，越來越受到學術界和工業界的重視。在這篇論文中，我們以一個具體問題的方式綜述了最近的進展和挑戰。我們討論三個關鍵主題面向任務對話框系統: (1)提高數據效率促進對話系統建模在資源匱乏的設置,(2)建模多輪動態對話框策略學習獲得更好的完成任務的性能,和(3)將領域本體知識集成到模型在管道和端到端模型所示的對話框。本文還綜述了近年來對話評價的研究進展和一些被廣泛使用的語料庫。我們相信這項綜述可以為未來面向任務的對話系統的研究提供一些啟示。

題目

知識增強的常識性故事生成預訓練模型，A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation

關鍵字

知識增強，故事生成，預訓練，機器學習，神經網絡，語言模型

簡介

故事生成，即從主導語境中生成真實的故事，是一項重要而富有挑戰性的任務。盡管成功建模流暢性和本地化，現有的神經語言生成模型（例如，GPT-2）仍然遭受重復，邏輯沖突，缺乏長期連貫性在生成的故事。我們推測，這是由于關聯相關常識知識、理解因果關系、規劃實體和事件具有適當的時間順序等方面的困難，本文設計了一個常識故事生成的知識增強預訓練模型，并提出了利用常識知識的方法來自外部知識庫的知識，以生成合理的故事。為了進一步捕捉可推理故事中句子之間的因果關系和時間依賴關系，我們采用了多任務學習法，在微調過程中結合辨別目標來區分真假故事。自動和手動評估表明，我們的模型可以生成比藝術基線狀態更合理的故事，特別是在邏輯和全局一致性方面。

作者

Jian Guan, Fei Huang, Xiaoyan Zhu, Minlie Huang，來自人工智能研究所，智能技術與系統國家重點實驗室；北京國家信息科學技術研究中心；清華大學計算機科學與技術系。 Zhihao Zhao,來自北京航空航天大學軟件學院。

題目： DAWSON: A Domain Adaptive Few Shot Generation Framework

摘要：

為一個新領域從無到有地訓練一個可生成對抗網絡(GAN)需要大量的訓練數據和幾天的訓練時間。為此，我們提出了一種基于元學習的GANs領域自適應少鏡頭生成框架DAWSON。在GANs上應用元學習的一個主要挑戰是，由于GANs的無概率特性，通過在開發集上對生成器進行評估來獲得生成器的梯度。為了解決這一挑戰，我們提出了一個替代的GAN訓練過程，它自然地結合了GANs的兩步訓練過程和元學習算法的兩步訓練過程。DAWSON是一個即插即用的框架，它支持一個廣泛的元學習算法家族和各種具有體系結構變體的GANs。在DAWSON的基礎上，我們還提出了音樂日場，這是第一個少鏡頭的音樂生成模型。我們的實驗表明，音樂日場可以快速適應新的領域，只有幾十首歌曲從目標領域。我們還表明，DAWSON可以學習生成新的數字只有四個樣本在MNIST數據集。我們在PyTorch和Tensorflow中發布了DAWSON的源代碼實現，生成了兩種類型的音樂樣本和快閃視頻。

作者：

Weixin Liang,斯坦福大學，主要研究方向為自然語言處理，對話系統，計算機系統。

論文題目： Unsupervised Pre-training for Natural Language Generation

論文摘要： 最近，由于無監督預訓練在促進自然語言理解（NLU）方面取得了令人驚訝的成功以及有效利用大規模未標記語料庫的潛力，因此在計算語言學領域正變得越來越受歡迎。但是，無論NLU是否成功，當涉及自然語言生成（NLG）時，無監督預訓練的功能只能被部分挖掘。 NLG特質的主要障礙是：文本通常是基于特定的上下文生成的，可能會因目標應用程序而異。結果，像在NLU場景中一樣，設計用于預訓練的通用體系結構是很難的。此外，在目標任務上學習時保留從預訓練中學到的知識也是不容置疑的。這篇綜述總結了近期在無監督的預訓練下增強NLG系統的工作，特別著重于催化將預訓練的模型集成到下游任務中的方法。根據它們處理上述障礙的方式，它們分為基于體系結構的方法和基于策略的方法。還提供了討論，以提供這兩種工作方式之間的進一步相互了解，一些有益的經驗現象以及未來工作可能涉及的一些方向。