亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

《Recurrent Hierarchical Topic-Guided RNN for Language Generation》，也被今年ICML錄用。該論文屬于自然語言處理領域。語言模型是各種自然語言處理任務的關鍵組成部分，其主要目的是捕獲單詞序列的分布，但它們通常忽略了文檔中句子的順序和文檔上下文。在語言建模中，如何尋找更好的方法，既能捕捉單詞之間的順序，又能捕捉全局語義信息是比較有挑戰的問題。不同于語言模型，主題模型是用來在一系列文檔中發現抽象主題的一種統計模型。主題模型可以提取具有全局語義的隱表示，但是它們通常將每個文檔視為一袋單詞(BoW)，忽略了單詞之間的順序。

因此針對上述討論的語言模型的問題，以及主題模型和語言模型各自的優勢，本次研究提出使用深層時序主題模型來指導語言模型進行建模（rGBN-RNN）。如圖1(a)所示，所提模型由兩個關鍵部分組成:(1)一個層次遞歸主題模型（rGBN）；(2)一個基于多層RNN的語言模型（RNN）。主題模型用于捕獲跨文檔的全局語義和文檔中句子間的長期依賴關系，而語言模型用于學習句子中單詞之間的局部語法關系。

![](//cdn.zhuanzhi.ai/vfiles/ed8aef3746e3c4d4d24e4ebf0c99a711)   

圖1 rGBN-RNN模型的總體結構，由解碼器(rGB和語言模型)和編碼器(變分時序推理)兩部分構成，紅色箭頭表示主題權向量的推理，黑色箭頭表示數據生成。

如圖1(b)所示，所提模型將層次時序的主題權重向量作為額外輸入集成到語言模型中。因此不同于傳統的基于RNN的語言模型，所提出的模型不僅捕獲句子內的單詞依賴關系，而且捕獲句子之間的相關性，同時利用主題模型考慮了文本的全局語義信息。為了進行推理，本次工作提出了隨機梯度馬爾科夫鏈蒙特卡洛和遞歸變分自編碼的混合算法。圖1(c)展示了rGBN-RNN的整個框架，包含了生成模型（編碼器）和推理模型（解碼器）。如圖2所示，我們利用新聞數據訓練三層rGBN-RNN，并將學習到的層次主題以及這些主題指導生成的句子進行了可視化。一方面，rGBN-RNN能夠捕捉到不同層次主題之間可解釋的層次關系，以及同一層次主題之間的時間關系（如圖中彩色實線框所示）。另一方面，如圖中虛線框所示，依據一個或者多個主題生成的句子大部分與相應主題高度相關。這種相關不一定在關鍵字的相似，更多是語義內容的接近，表明層次時序的主題能夠成功地引導語言模型。這些觀察結果表明，rGBN-RNN能夠成功地捕獲自然語言生成所需要的語法和全局語義信息。此外，模型還能生成語法正確、語義連貫的句子和段落。

圖1（三層rGBN-RNN基于APNEWS（新聞）數據集推斷出的主題，以及在主題指導下生成的句子。由上至下，第3層、第2層、第1層主題分別用橙色、黃色和藍色實線框表示，生成的句子用虛線框表示，虛線框中標注了生成句子所用的主題索引號。圖的底部是由不同層次的主題組合生成的句子。

圖表示學習已經成為解決現實問題的一種強大的技術。節點分類、相似度搜索、圖分類和鏈接預測等各種下游圖學習任務都受益于它的最新發展。然而，現有的圖表示學習技術側重于特定領域的問題，并為每個圖訓練專用的模型，這些模型通常不能轉移到域外數據。受最近自然語言處理和計算機視覺的預訓練進展的啟發，我們設計了圖對比編碼(GCC)——一種無監督圖表示學習框架——來捕獲跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡中或跨網絡的子圖級實例識別，并利用對比學習來授權模型學習內在的和可轉移的結構表示。我們對三個圖學習任務和十個圖數據集進行了廣泛的實驗。結果表明，在一組不同的數據集上進行預訓練的GCC可以取得與任務相關的從零開始訓練的GCC具有競爭力或更好的性能。這表明，預訓練和微調范式為圖表示學習提供了巨大的潛力。

//arxiv.org/abs/2006.09963

實體交互預測在許多重要的應用如化學、生物、材料科學和醫學中是必不可少的。當每個實體由一個復雜的結構(即結構化實體)表示時，這個問題就變得非常具有挑戰性，因為涉及到兩種類型的圖:用于結構化實體的局部圖和用于捕獲結構化實體之間交互的全局圖。我們注意到，現有的結構化實體交互預測工作不能很好地利用圖的唯一圖模型。在本文中，我們提出了一個圖的神經網絡圖，即GoGNN，它以分層的方式提取了結構化實體圖和實體交互圖中的特征。我們還提出了雙重注意力機制，使模型在圖的兩個層次上都能保持相鄰的重要性。在真實數據集上的大量實驗表明，GoGNN在兩個有代表性的結構化實體交互作用預測任務上的表現優于最先進的方法:化學-化學交互作用預測和藥物-藥物交互作用預測。我們的代碼可以在Github上找到。

主題： FLAT: Chinese NER Using Flat-Lattice Transformer

摘要： 最近，通過結合單詞信息，已證明字符-單詞格結構對中文命名實體識別（NER）有效。 然而，由于晶格結構復雜且動態，因此大多數現有的基于晶格的模型難以充分利用GPU的并行計算，并且推理速度通常較低。 在本文中，我們提出了FLAT：中文NER的平面格子變壓器，它將晶格結構轉換為由跨度組成的平面結構。 每個跨度對應一個字符或潛在單詞及其在原始格中的位置。 借助Transformer的功能和精心設計的位置編碼，FLAT可以充分利用晶格信息，并具有出色的并行化能力。 在四個數據集上進行的實驗表明，FLAT在性能和效率上均優于其他基于詞典的模型。

基于注意力的、基于RNN的編解碼器體系結構在對新聞文章進行抽象摘要方面取得了令人矚目的成績。然而，這些方法不能解釋文檔句子中的長期依賴關系。這個問題在多文檔摘要任務中更加嚴重，例如在社區問答(CQA)網站(如Yahoo!答案,Quora。這些線索包含的答案往往相互重疊或相互矛盾。在這項工作中，我們提出了一種基于結構注意力建模這種句子間和文檔間依賴關系的層次編碼器。我們將流行的指針-生成器體系結構及其派生的一些體系結構設置為基線，并說明它們無法在多文檔設置中生成良好的摘要。我們進一步證明，我們提出的模型在單文檔和多文檔摘要設置方面都比基線有了顯著的改進——在前一種設置中，它分別比CNN和CQA數據集上的最佳基線提高了1.31和7.8個ROUGE-1點;在后一種設置中，CQA數據集的性能進一步提高了1.6個ROUGE-1點。

在NLP中，“域內數據”的概念常常過于簡單和模糊，因為文本數據在許多細微的語言方面存在差異，比如主題、風格或正式程度。此外，域標簽很多時候是不可用的，這使得構建特定于域的系統變得很困難。我們證明了大量的預先訓練的語言模型隱式地學習句子表示，這些句子表示在沒有監督的情況下由域進行聚類——這表明文本數據中域的簡單數據驅動定義。我們利用這一特性，提出了基于這些模型的域數據選擇方法，這些方法只需要少量的域內單語數據。我們評估了我們的神經機器翻譯的數據選擇方法在五個不同的領域，在這些領域中，它們的表現優于現有的方法，包括BLEU和句子選擇的精確度以及對oracle的召回率。

現實世界中的數據通常包含了多種實體類型，這些實體通過不同的實體關系互相關聯形成了錯綜復雜的異構信息網絡。為了有效地挖掘業務中廣泛存在的異構信息網絡，滴滴AI Labs團隊自主研發了一種基于注意力機制的異構圖神經網絡模型（HetSANN），該模型無需使用傳統模型中由專家定義的元路徑，能夠直接自動化地處理、挖掘原異質信息網絡中豐富的語義信息，為網絡中的實體提取出更有效的編碼表示以應用到實體分類等下游任務中。

相較之前方法的局限性，本文的主要創新點為：

1. 提出的HetSANN模型利用基于注意力機制的圖卷積神經網絡直接對異質信息網絡進行嵌入式表示學習，不再需要用人為定義的元路徑對異質信息網絡進行處理；
2. 文本還探索了異質信息網絡中關系的方向性、實體類型變換過程中的循環一致性、以及HetSANN在多任務學習中的應用；

本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文，主要研究兩個NLP任務：關系提取和主題建模。本文將神經網絡和主題模型兩種互補的學習范式結合在一個神經復合模型中，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

慕尼黑大學自19世紀以來便是德國和歐洲最具聲望大學之一，也是德國精英大學、U15大學聯盟和歐洲研究型大學聯盟成員，其社會科學、人文科學、物理，化學，生命科學，醫學，數學等領域均在國際上享有盛名。本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文。

自然語言處理（Natural language processing，NLP）涉及構建計算技術，允許計算機自動分析和有意義地表示人類語言。隨著數字時代數據的指數增長，基于NLP的系統的出現使我們能夠通過廣泛的應用程序，如網絡搜索引擎、語音助理等，輕松地訪問相關信息。為了實現這一目標，幾十年來的一項長期研究一直集中在NLP和機器學習交叉的技術上。

近年來，深度學習技術利用了人工神經網絡（ANNs）的表現力，在廣泛的NLP任務中取得了最先進的性能。深度神經網絡（DNNs）可以從輸入數據中自動提取復雜的特征，從而為手工特征工程提供了一種替代方法。除了ANN之外，概率圖形模型（PGMs）、圖論和概率方法的耦合還具有描述系統隨機變量之間因果結構的能力，并捕捉到不確定性的原則概念。考慮到DNNs和PGMs的特點，它們被有利地結合起來建立強大的神經模型，以了解數據的潛在復雜性。

傳統的基于機器學習的NLP系統采用了淺層計算方法（如SVM或Logistic回歸），并依賴于手工特征，這類方法耗時、復雜且往往是不夠完整的。基于深度學習和神經網絡的方法最近在機器翻譯、文本分類、命名識別、關系提取、文本相似性等NLP任務上取得了較好的效果。這些神經模型可以從訓練數據中自動提取有效的特征表示。

本文主要研究兩個NLP任務：關系提取和主題建模。前者的目的是識別句子或文檔中實體或名詞之間的語義關系。成功地提取語義關系有助于構建結構化知識庫，在網絡搜索、問答、推薦引擎等下游NLP應用領域很有用。另一方面，主題建模的任務旨在理解文檔集合中的主題結構。主題建模是一種流行的文本挖掘工具，它可以自動分析大量的文檔集合，并在不實際閱讀的情況下理解主題語義。主題建模分別生成用于文檔理解和信息檢索的Word集群（即主題）和文檔表示。

本質上，關系提取和主題建模主要基于從文本中學習到的表示的質量。在本文中，我們提出了特定于任務的學習表示神經模型，并分別在監督和非監督機器學習范式領域進行關系提取和主題建模任務。更具體地說，我們在開發NLP任務的神經模型方面做出了以下貢獻：

神經關系提取：首先，我們提出了一種新的基于遞歸神經網絡的table-filling體系結構，以便在句子中聯合執行實體和關系提取。然后，我們進一步擴展了跨句子邊界實體之間關系的提取范圍，并提出了一種新的基于依賴關系的神經網絡體系結構。這兩個貢獻在于機器學習的監督范式。此外，我們還在構建一個受缺乏標記數據約束的魯棒關系提取器方面做出了貢獻，其中我們提出了一種新的弱監督引導技術。考慮到這些貢獻，我們進一步探索了遞歸神經網絡的可解釋性，以解釋它們對關系提取的預測。

神經主題建模：除了有監督神經體系結構外，我們還開發了無監督神經模型，以學習主題建模框架中有意義的文檔表示。首先，我們提出了一種新的動態主題模型，它捕獲了隨著時間的推移的主題。接下來，我們在不考慮時間依賴性的情況下建立了靜態主題模型，其中我們提出了神經主題建模體系結構，這些體系結構也利用外部知識，即Word嵌入來解決數據稀疏性。此外，我們還開發了神經主題模型，其中包含了使用單詞嵌入和來自許多來源的潛在主題的知識遷移。最后，我們通過引入語言結構（如語序、局部句法和語義信息等）來改進神經主題建模。它處理傳統主題模型中的詞袋問題。本節中提出的神經NLP模型是基于PGMs、深度學習和ANN交叉技術。

在這里，神經關系提取的任務使用神經網絡來學習通常在句子級別上的表示，而不訪問更廣泛的文檔上下文。然而，主題模型可以訪問跨文檔的統計信息。因此，我們將兩種互補的學習范式結合在一個神經復合模型中是有利的，它由一個神經主題和一個神經語言模型組成，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

總的來說，我們在本論文中的研究貢獻擴展了基于NLP的系統，用于關系提取和主題建模任務，同時具有最先進的性能。