亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

自回歸文本生成模型通常側重于局部的流暢性，在長文本生成過程中可能導致語義不一致。此外，自動生成具有相似語義的單詞是具有挑戰性的，而且手工編寫的語言規則很難應用。我們考慮了一個文本規劃方案，并提出了一個基于模型的模仿學習方法來緩解上述問題。具體來說，我們提出了一種新的引導網絡來關注更長的生成過程，它可以幫助下一個單詞的預測，并為生成器的優化提供中間獎勵。大量的實驗表明，該方法具有較好的性能。

題目

知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

簡介

大規模知識圖譜（KGs）在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍，以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式，即零樣本學習，以擺脫這種繁瑣的處理，對于新增加的關系，我們試圖從文本描述中學習它們的語義特征，從而在不見實例的情況下識別出看不見的關系。為此，我們利用生成性對抗網絡（GANs）來建立文本與知識邊緣圖域之間的聯系：生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下，零樣本學習自然轉化為傳統的監督分類任務。從經驗上講，我們的方法是模型不可知的，可以應用于任何版本的KG嵌入，并在NELL和Wikidataset上產生性能改進。

作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang

題目： Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

簡介：

多標簽圖像和視頻分類是計算機視覺中最基本也是最具挑戰性的任務。主要的挑戰在于捕獲標簽之間的空間或時間依賴關系，以及發現每個類的區別特征的位置。為了克服這些挑戰，我們提出將語義圖嵌入的跨模態注意用于多標簽分類。基于所構造的標簽圖，我們提出了一種基于鄰接的相似圖嵌入方法來學習語義標簽嵌入，該方法顯式地利用了標簽之間的關系。在學習標簽嵌入的指導下，生成了新的跨模態注意圖。在兩個多標簽圖像分類數據集(MS-COCO和NUS-WIDE)上的實驗表明，我們的方法優于其他現有的方法。此外，我們在一個大的多標簽視頻分類數據集上驗證了我們的方法，評估結果證明了我們的方法的泛化能力。

簡介：

回答需要針對文本進行推理的多個步驟的構想問題具有挑戰性，尤其是當它們涉及離散的象征性操作時。神經模塊網絡（NMN）學習解析諸如由可學習模塊組成的可執行程序之類的問題，它們在合成視覺質量檢查域中表現良好。但是，我們發現在開放域文本中針對非合成問題學習這些模型具有挑戰性，在這種模型中，模型需要處理自然語言的多樣性并進行更廣泛的推理。我們通過以下方式擴展NMN：（a）引入對一段文本進行推理的模塊，以概率和可微分的方式對數字和日期執行符號推理（例如算術，排序，計數）； （b）提出無監督的損失，以幫助提取與文本中的事件相關的參數。此外，我們顯示出有限的啟發式獲得的問題程序和中間模塊輸出監督為準確學習提供了足夠的歸納偏差。我們提出的模型大大優于DROP數據集的子集上的最新模型，后者構成了我們模塊所涵蓋的各種推理挑戰。