亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

生成式常識推理是文本生成的一個關鍵瓶頸，它旨在使機器能夠根據一組概念生成具有推理能力的句子。即使是最先進的預訓練語言生成模型也難以完成這一任務，而且常常產生不合邏輯和異常的句子。其中一個原因是，他們很少考慮將知識圖譜整合進來，因為知識圖譜可以在常識概念之間提供豐富的關系信息。為了提高常識性推理生成文本的能力，我們提出了一種新的知識圖譜增強的預訓練語言生成模型KG-BART，該模型通過知識圖譜包含了復雜的概念關系，并生成了更符合邏輯和自然的句子作為輸出。此外，KG-BART可以利用圖上的注意力來聚集豐富的概念語義，從而增強對看不見的概念集的模型泛化。在基準commonen數據集上進行的實驗驗證了本文方法的有效性，并與幾個強的預訓練語言生成模型進行了比較，特別是在BLEU - 3,4方面，KG-BART的性能比BART高出5.80、4.60。此外，我們還表明，通過我們的模型生成的上下文可以作為背景場景，從而有利于下游的常識性QA任務。

//www.zhuanzhi.ai/paper/5478cc149a0d6a523665d68c6d3c170a

論文概述：視頻中的時序關系建模對于行為動作理解（如動作識別和動作分割）至關重要。盡管圖卷積網絡（GCN）在許多任務的關系推理中顯示出令人鼓舞的優勢，但如何在長視頻序列上有效地應用圖卷積網絡仍然是一個挑戰。其主要原因是大量存在的視頻幀節點使GCN難以捕獲和建模視頻中的時序依賴關系。為了解決此問題，本文引入了一個有效的GCN模塊，即膨脹時序圖推理模塊（DTGRM），該模塊旨在對不同時間跨度視頻幀之間的時序關系和相關性進行建模，尤其可以通過構造多級擴張的時序圖來捕獲和建模長跨度的時序關系。此外，為了增強所提出模型的時序推理能力，本文提出了一種輔助的自監督任務，以鼓勵膨脹的時序圖推理模塊找到并糾正視頻中錯誤的時序關系。本模型在三個具有挑戰性的數據集上均優于最新的行動分割模型。

//www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355

自然語言推理（NLI）是自然語言處理的一項基本任務，主要研究兩個文本之間的蘊含關系。流行的NLI數據集是對該任務句子級別的研究。它們可以用來探討語義表示，但并未涉及基于長文本的上下文推理，而這是人類推理過程的自然組成部分。我們提出了ConTRoL數據集來用于研究長文本的上下文推理。ConTRoL由8,325個專家設計的帶有高質量標簽的“上下文-假設”對組成，是一個段落級別的NLI數據集，重點關注復雜的上下文推理類型，例如邏輯推理。它是從競爭性甄選和招聘測試（推理測試）衍生而來的，具有很高的質量。與以前的NLI基準相比，ConTRoL中的材料更具挑戰性，涉及多種推理類型。

實證結果表明，最先進的語言模型在ConTRoL上的性能表現遠不如受過良好教育的人類。我們的數據集還可以用作下游任務（如檢查摘要的事實正確性）的測試集。

編碼器-解碼器模型是功能強大的工具，已在許多NLP任務中獲得成功，但是現有方法仍然存在兩個關鍵問題。首先，由于遞歸神經網絡（RNN）的固有缺陷，它們無法捕獲長期依賴關系，從而導致重要信息的丟失，否則將在句子中反映出來，從而導致模型無法應用更長的文本。第二，缺乏工作致力于生成忠實的三元組，序列到序列的體系結構會產生不忠實的序列，從而產生意義上的矛盾。例如，給定句子“美國總統特朗普在紐約市皇后區長大，并居住在那里直到13歲”，該模型可以生成事實“（特朗普出生于皇后區）”。盡管從邏輯上講是正確的，但我們無法從給定的句子中找到直接的證據來支持它。

為了解決這些問題，我們引入了帶有生成變換器（CGT）的對比學習三元組提取框架，該框架是一個共享的Transformer模塊，支持編碼器-解碼器的生成式三元組對比學習多任務學習。首先，我們使用分隔符和部分因果掩碼機制將輸入序列與目標序列連接起來，以區分編碼器-解碼器表示形式。除了預先訓練的模型之外，我們的模型不需要任何其他參數。然后，我們介紹了一種新穎的三元組對比學習對象，該對象利用真實的三元組作為正實例，并利用隨機令牌采樣將損壞的三元組構造為負實例。為了共同優化三元組生成對象和對比學習對象，我們引入了分批動態注意掩碼機制，該機制允許我們動態選擇不同的對象并共同優化任務。最后，我們介紹了一種新穎的三元組校準算法，以在推理階段濾除虛假三元組。

多元序列學習的本質是如何提取數據中的相關性。這些數據集，如重癥監護病房的每小時醫療記錄和多頻語音時間序列，通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶)，而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎，我們采用數據驅動的方法，構建了一種新的循環網絡結構，稱為記憶門控循環網絡(mGRN)，門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合，我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。

//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0

從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中，我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系，并對每個問答(QA)對進行語義級交互。然而，目前AVI的研究大多集中在如何更好地表示問題和答案上，而忽視了它們之間的依賴信息和相互作用，而這是QA評估的關鍵。在這項工作中，我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說，我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖，我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后，我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。

//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1

擁有良好醫學知識的人類醫生，只需與病人進行幾次有關癥狀的對話，就能診斷出疾病。相比之下，現有的以知識為基礎的對話系統往往需要大量對話實例來學習，因為它們無法捕捉不同疾病之間的相關性，忽視了它們之間共享的診斷經驗。為解決這一問題，我們提出了一種更自然、更實用的范式，即低資源的醫療對話生成，它可以將源疾病的診斷經驗轉移到有少量數據可供適應的目標疾病。它利用常識知識圖譜來表征先前的疾病癥狀關系。此外，我們還開發了一個圖演化元學習(GEML)框架，該框架通過學習進化常識圖譜來推理一種新疾病的疾病癥狀相關性，有效地緩解了大量對話的需求。更重要的是，通過動態演變的疾病癥狀圖，GEML還很好地解決了現實世界的挑戰，即每種疾病的疾病癥狀相關性可能隨著更多診斷病例而變化或演變。在CMDD數據集和我們新收集的Chunyu數據集上的大量實驗結果證明了我們的方法優于最先進的方法。此外，GEML還可以在線生成豐富的對話敏感的知識圖譜，對其他基于知識圖譜的任務有借鑒意義。

//www.zhuanzhi.ai/paper/e378691f4b084a18b1a0238815c63fb6

圖神經網絡(gnn)的優勢在于對結構化數據的拓撲信息進行顯式建模。然而，現有的gnn在獲取層次圖表示方面的能力有限，而層次圖表示在圖形分類中起著重要的作用。本文創新性地提出了層次圖膠囊網絡(HGCN)，該網絡可以聯合學習節點嵌入和提取圖的層次結構。具體地說，解糾纏圖膠囊是通過識別每個節點下的異構因素建立的，這樣它們的實例化參數代表同一實體的不同屬性。為了學習層次表示，HGCN通過顯式地考慮部件之間的結構信息，刻畫了低層膠囊(部分)和高層膠囊(整體)之間的部分-整體關系。實驗研究證明了HGCN算法的有效性和各組成部分的貢獻。

//www.zhuanzhi.ai/paper/c9930a15b45547cafbee90db8c5612aa