亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

自回歸文本生成模型通常側重于局部的流暢性，在長文本生成過程中可能導致語義不一致。此外，自動生成具有相似語義的單詞是具有挑戰性的，而且手工編寫的語言規則很難應用。我們考慮了一個文本規劃方案，并提出了一個基于模型的模仿學習方法來緩解上述問題。具體來說，我們提出了一種新的引導網絡來關注更長的生成過程，它可以幫助下一個單詞的預測，并為生成器的優化提供中間獎勵。大量的實驗表明，該方法具有較好的性能。

題目： Adversarial Training for Large Neural Language Models

簡介： 泛化性和魯棒性都是設計機器學習方法的關鍵要求。對抗性訓練可以增強魯棒性，但是過去的工作常常發現它不利于推廣。在自然語言處理（NLP）中，預訓練大型神經語言模型（例如BERT）在針對各種任務的通用化方面顯示出令人印象深刻的收益，而從對抗性微調中得到了進一步的改進。但是，這些模型仍然容易受到對抗性攻擊。在本文中，我們表明對抗性預訓練可以同時提高泛化性和魯棒性。我們提出了一種通用算法ALUM（大型神經語言模型的專家訓練），該算法通過在嵌入空間中應用擾動來最大化訓練目標，從而使對抗性損失最大化。我們將對所有階段的對抗訓練進行全面的研究，包括從頭開始進行預訓練，在訓練有素的模型上進行連續的預訓練以及針對特定任務的微調。在常規和對抗性方案中，在各種NLP任務上，ALUM都比BERT獲得了可觀的收益。即使對于已經在超大型文本語料庫上進行過良好訓練的模型（例如RoBERTa），ALUM仍可以通過連續的預訓練獲得可觀的收益，而傳統的非對抗方法則不能。可以將ALUM與特定于任務的微調進一步結合以獲取更多收益。

主題： FLAT: Chinese NER Using Flat-Lattice Transformer

摘要： 最近，通過結合單詞信息，已證明字符-單詞格結構對中文命名實體識別（NER）有效。 然而，由于晶格結構復雜且動態，因此大多數現有的基于晶格的模型難以充分利用GPU的并行計算，并且推理速度通常較低。 在本文中，我們提出了FLAT：中文NER的平面格子變壓器，它將晶格結構轉換為由跨度組成的平面結構。 每個跨度對應一個字符或潛在單詞及其在原始格中的位置。 借助Transformer的功能和精心設計的位置編碼，FLAT可以充分利用晶格信息，并具有出色的并行化能力。 在四個數據集上進行的實驗表明，FLAT在性能和效率上均優于其他基于詞典的模型。

簡介：

作為面向任務的對話系統中的關鍵組件，自然語言生成（NLG）模塊將以語義形式表示的對話行為轉換為自然語言的響應。傳統的基于模板或統計模型的成功通常依賴于帶有大量注釋的數據，這對于新領域而言是不可行的。因此，對于NLG系統而言，在實際應用中使用有限的標記數據很好地泛化至關重要。為此，我們展示了FewShotWOZ，這是第一個NLG基準測試，用于模擬面向任務的對話系統中的少量學習設置。此外，我們開發了SC-GPT模型。它在大量帶注釋的NLG語料庫上進行了預訓練，以獲取可控的生成能力，并僅用少數幾個特定于域的標簽進行微調以適應新的域。在FewShotWOZ和大型Multi-Domain-WOZ數據集上進行的實驗表明，通過各種自動指標和人工評估，提出的SC-GPT明顯優于現有方法。

論文題目： Keyphrase Generation for Scientific Articles using GANs

論文摘要：

本文提出了一種基于條件生成對抗網絡的關鍵詞生成方法。在GAN模型中，基于標題和摘要生成一系列關鍵短語，一篇科學文章的標題。識別器學會區分機器生成的關鍵字和人工組織的關鍵字。我們在標準的基準數據集上評估了這種方法。我們的模型在生成抽象關鍵字方面達到了最先進的性能，并可與性能最好的提取技術相媲美。并且還演示了我們的方法生成更多不同的關鍵字并使這些實現公開可用。