亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Semantic Graphs for Generating Deep Questions

摘要：

本文提出了深度問題生成(Deep Question Generation, DQG)問題，其目的是生成需要對輸入通道的多條信息進行推理的復雜問題。為了捕獲文檔的全局結構并便于推理，我們提出了一個新的框架，該框架首先為輸入文檔構造一個語義級圖，然后通過引入一個基于注意的GGNN (Att-GGNN)對語義圖進行編碼。然后，我們融合文檔級和圖形級的表示來執行內容選擇和問題解碼的聯合訓練。在HotpotQA以深度問題為中心的數據集上，我們的模型大大改善了需要對多個事實進行推理的問題的性能，從而實現了最先進的性能。

題目： Adversarial Training for Large Neural Language Models

簡介： 泛化性和魯棒性都是設計機器學習方法的關鍵要求。對抗性訓練可以增強魯棒性，但是過去的工作常常發現它不利于推廣。在自然語言處理（NLP）中，預訓練大型神經語言模型（例如BERT）在針對各種任務的通用化方面顯示出令人印象深刻的收益，而從對抗性微調中得到了進一步的改進。但是，這些模型仍然容易受到對抗性攻擊。在本文中，我們表明對抗性預訓練可以同時提高泛化性和魯棒性。我們提出了一種通用算法ALUM（大型神經語言模型的專家訓練），該算法通過在嵌入空間中應用擾動來最大化訓練目標，從而使對抗性損失最大化。我們將對所有階段的對抗訓練進行全面的研究，包括從頭開始進行預訓練，在訓練有素的模型上進行連續的預訓練以及針對特定任務的微調。在常規和對抗性方案中，在各種NLP任務上，ALUM都比BERT獲得了可觀的收益。即使對于已經在超大型文本語料庫上進行過良好訓練的模型（例如RoBERTa），ALUM仍可以通過連續的預訓練獲得可觀的收益，而傳統的非對抗方法則不能。可以將ALUM與特定于任務的微調進一步結合以獲取更多收益。

題目： MuTual: A Dataset for Multi-Turn Dialogue Reasoning

摘要： 近年來，非任務導向的對話系統取得了巨大的成功，這得益于大量可訪問的對話數據和深度學習技術的發展。在給定的上下文中，當前的系統能夠產生相關的、流暢的響應，但是由于推理能力較弱，有時會出現邏輯錯誤。為了便于會話推理的研究，我們引入了一個用于多回合對話推理的新數據集MuTual，包括8,860個基于中國學生英語聽力考試的手動注釋對話。與以前的非面向任務的對話系統的基準測試相比，MuTual測試更具挑戰性，因為它需要一個能夠處理各種推理問題的模型。實證結果表明，最先進的推理方法只能達到71%，遠遠落后于人類94%的表現，說明推理能力還有很大的提升空間。

題目： MEMORY-BASED GRAPH NETWORKS

摘 要:

圖神經網絡是一類對任意拓撲結構的數據進行操作的深度模型。我們為GNNs引入了一個有效的記憶層，它可以聯合學習節點表示并對圖進行粗化。在此基礎上，我們還引入了兩個新的網絡:基于記憶的GNN (MemGNN)和可以學習層次圖表示的圖存儲網絡(GMN)。實驗結果表明，所提出的模型在9個圖分類和回歸基準中有8個達到了最新的結果。我們也證明了這些表示學習可以對應于分子數據中的化學特征。

題目： Tensor Graph Convolutional Networks for Text Classification

摘要： 文本分類是自然語言處理中一個重要而經典的問題。已有許多研究將卷積神經網絡（如規則網格上的卷積，序列）應用于分類。然而，只有有限數量的研究已經探索了更靈活的圖卷積神經網絡（卷積在非網格上，例如，任意圖）的任務。在這項工作中，我們建議使用圖卷積網絡進行文本分類。基于詞的共現關系和文檔詞之間的關系，我們為一個語料庫建立一個文本圖，然后學習一個文本圖卷積網絡（text GCN）。我們的文本GCN使用word和document的一個熱表示進行初始化，然后在已知文檔類標簽的監督下，共同學習word和document的嵌入。我們在多個基準數據集上的實驗結果表明，沒有任何外部單詞嵌入或知識的普通文本GCN優于最新的文本分類方法。另一方面，文本GCN還學習預測詞和文檔嵌入。此外，實驗結果表明，隨著訓練數據百分比的降低，文本GCN相對于現有比較方法的改進變得更加突出，這表明文本GCN對文本分類中較少的訓練數據具有魯棒性。

題目： Probabilistic Logic Neural Networks for Reasoning

摘要：

知識圖譜推理的目的是通過對觀測到的事實進行推理來預測缺失的事實，它在許多應用中起著至關重要的作用。傳統的基于邏輯規則的方法和近年來的知識圖譜嵌入方法都對這一問題進行了廣泛的探討。馬爾可夫邏輯網絡(MLN)是一種有原則的基于規則的邏輯方法，它能夠利用一階邏輯的領域知識，同時處理不確定性。然而，由于其復雜的圖形結構，MLNs的推理通常是非常困難的。與MLNs不同的是，知識圖的嵌入方法(如TransE、DistMult)學習有效的實體嵌入和關系嵌入進行推理，這樣更有效、更高效。然而，他們無法利用領域知識。在本文中，我們提出了概率邏輯神經網絡(pLogicNet)，它結合了兩種方法的優點。pLogicNet使用一階邏輯的馬爾可夫邏輯網絡定義所有可能的三聯體的聯合分布，該網絡可以通過變分EM算法進行有效優化。采用知識圖譜嵌入模型推斷缺失的三聯體，根據觀測到的三聯體和預測到的三聯體更新邏輯規則權值。在多個知識圖譜的實驗證明了pLogicNet在許多競爭基線上的有效性。

作者：

瞿錳是蒙特利爾學習算法研究所的一年級博士生，之前，在伊利諾伊大學香檳分校獲得了碩士學位，此外，在北京大學獲得了學士學位。主要研究方向為機器學習、貝葉斯深度學習、數據挖掘和自然語言處理。

論文題目： Learning Conceptual-Contextual Embeddings for Medical Text

論文摘要：

對于自然語言理解任務來說，外部知識通常是有用的。本文介紹了一個上下文文本表示模型，稱為概念上下文(CC)嵌入，它將結構化的知識合并到文本表示中。與實體嵌入方法不同，文中提到的方法將知識圖編碼到上下文模型中。就像預先訓練好的語言模型一樣，CC嵌入可以很容易地在廣泛的任務中重用。模型利用語義泛化，有效地編碼了龐大的UMLS數據庫。電子實驗健康記錄(EHRs)和醫療文本處理基準表明，而使得模型大大提高了監督醫療NLP任務的性能。