亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

題目： Relation Adversarial Network for Low Resource Knowledge Graph Completion

摘要： 知識圖譜補全(Knowledge Graph Completion, KGC)是一種通過鏈接預測或關系提取來填充缺少的鏈接來改進知識圖譜的方法。KGC的主要困難之一是資源不足。之前的方法假設有足夠訓練的三元組來學習實體和關系的通用向量，或者假設有足夠數量的標簽句子來訓練一個合格的關系提取模型。然而，在KGs中，少資源關系非常普遍，這些新增加的關系往往沒有很多已知的樣本去進行訓練。在這項工作中，我們的目標是在具有挑戰性的環境下只有有限可用的訓練實例預測新的事實。我們提出了一個加權關系對抗性網絡的通用框架，它利用對抗性過程來幫助將從多資源關系中學習到的知識/特征調整為不同但相關的少資源關系。具體地說，該框架利用了一個關系鑒別器來區分樣本和不同的關系，幫助學習更容易從源關系轉移到目標關系的關系不變量特征。實驗結果表明，該方法在少資源設置下的鏈路預測和關系提取都優于以往的方法。

主題： Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning

摘要： 廣義零樣本學習（GZSL）解決了同時涉及可見類和不可見類的實例分類問題。關鍵問題是如何有效地將從可見類學習到的模型轉換為不可見類。GZSL中現有的工作通常假設關于未公開類的一些先驗信息是可用的。然而，當新的不可見類動態出現時，這種假設是不現實的。為此，我們提出了一種新的基于異構圖的知識轉移方法（HGKT），該方法利用圖神經網絡對GZSL、不可知類和不可見實例進行知識轉移。具體地說，一個結構化的異構圖，它是由所見類的高級代表節點構造而成，這些代表節點通過huasstein-barycenter來選擇，以便同時捕獲類間和類內的關系，聚集和嵌入函數可以通過圖神經網絡來學習，它可以用來計算不可見類的嵌入，方法是從它們的內部遷移知識。在公共基準數據集上的大量實驗表明，我們的方法達到了最新的結果。

題目： Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

摘要： 近年來隨著知識圖譜(KGs)的大量涌現，加上實體間缺失關系(鏈接)的不完全或部分信息，催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明，基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入，因此在關系預測方面也有很好的表現。然而，我們觀察到這些KG嵌入獨立地處理三元組，因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此，本文提出了一種新的基于注意的特征嵌入方法，該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外，我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解，并且與所有數據集上的最先進的方法相比，有顯著的性能提升。

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括：KG-Augmented語言模型，異構KGs中的實體匹配，KG完成和鏈路預測，基于kg的會話人工智能和問題回答，包括論文，值得查看！

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

• 潛在關系語言模型：本文提出了一種潛在關系語言模型(LRLMs)，這是一類通過知識圖譜關系對文檔中詞語的聯合分布及其所包含的實體進行參數化的語言模型。該模型具有許多吸引人的特性:它不僅提高了語言建模性能，而且能夠通過關系標注給定文本的實體跨度的后驗概率。實驗證明了基于單詞的基線語言模型和先前合并知識圖譜信息的方法的經驗改進。定性分析進一步證明了該模型的學習能力，以預測適當的關系在上下文中。

題目：

Transfer Learning in Visual and Relational Reasoning

簡介：

遷移學習已成為計算機視覺和自然語言處理中的事實上的標準，尤其是在缺少標簽數據的地方。通過使用預先訓練的模型和微調，可以顯著提高準確性。在視覺推理任務（例如圖像問答）中，傳遞學習更加復雜。除了遷移識別視覺特征的功能外，我們還希望遷移系統的推理能力。而且，對于視頻數據，時間推理增加了另一個維度。在這項工作中，我們將遷移學習的這些獨特方面形式化，并提出了一種視覺推理的理論框架，以完善的CLEVR和COGdatasets為例。此外，我們引入了一種新的，端到端的微分遞歸模型（SAMNet），該模型在兩個數據集上的傳輸學習中均顯示了最新的準確性和更好的性能。改進的SAMNet性能源于其將抽象的多步推理與序列的長度解耦的能力及其選擇性的關注能力，使其僅能存儲與問題相關的信息外部存儲器中的對象。

目錄：

【導讀】知識圖譜一直是學術界和工業界關注的熱點。隨著AAAI2020的到來，專知小編整理了最新10篇關于知識圖譜的論文，來自清華大學、中科大、北航、中山大學、UCL、Facebook、騰訊、阿里巴巴等，包含義原知識圖譜、知識遷移、知識圖譜層次表示、常識知識圖譜補全。

1、Towards Building a Multilingual Sememe Knowledge Base: Predicting Sememes for BabelNet Synsets（建立多語言義原知識庫:預測BabelNet Synsets的義原）

AAAI2020 oral ，清華大學

作者：Fanchao Qi, Liang Chang, Maosong Sun, Sicong Ouyang, Zhiyuan Liu

摘要：義原是人類語言中最小的語義單位。義原知識庫(KBs)包含了由義原標注的詞，已成功地應用于許多自然語言處理任務中。然而，現有的義原KBs僅建立在少數幾種語言上，這阻礙了它們的廣泛應用。為了解決這個問題，我們提出基于BabelNet(一種多語言百科詞典)為多種語言構建統一的義原知識庫。我們首先構建一個作為多語言義原知識庫種子的數據集。它為超過15000個synset (BabelNet的條目)手工注釋義位。然后，我們提出了一種新的自動預測synsets義位的任務，目的是將種子數據集擴展成一個可用的知識庫。我們還提出了兩個簡單有效的模型，利用了不同的synsets信息。最后，我們進行了定量和定性分析，以探索任務中的重要因素和困難。所有的源代碼和數據，這項工作可以獲得 //github.com/thunlp/BabelNet-Sememe-Prediction

論文地址：

2、Knowledge Graph Transfer Network for Few-Shot Recognition（知識圖譜遷移網絡小樣本識別）

AAAI2020 oral ，中山大學，暗物質

作者：Riquan Chen, Tianshui Chen, Xiaolu Hui, Hefeng Wu, Guanbin Li, Liang Lin

摘要：小樣本學習的目標是在給定一些基類有充足訓練樣本的情況下，從非常少的樣本中學習新的類別。這個任務的主要挑戰是新類很容易由顏色、質地、形狀的物體或背景上下文(即特異性),這特別是對于訓練樣本少且不常見的相應的類別非常突出(見圖1)。幸運的是,我們發現遷移信息的相關類別可以幫助學習新概念,從而避免新概念主導的特異性。此外，結合不同類別之間的語義關聯可以有效地規范這種信息傳遞。在本文中，我們將語義關聯以結構化的知識圖譜的形式表示出來，并將此圖集成到深度神經網絡中，通過一種新的知識圖譜傳輸網絡(KGTN)來促進小樣本學習。具體地，通過使用對應類別的分類器權值初始化每個節點，學習一種傳播機制，通過圖來自適應地傳播節點消息，探索節點間的交互，將基類的分類器信息傳遞給新類別的分類器信息。在ImageNet數據集上的大量實驗表明，與當前領先的對比方法相比，性能有了顯著的改進。此外，我們還構建了一個覆蓋更大范圍類別的ImageNet-6K數據集。在這個數據集上的實驗進一步證明了我們提出的模型的有效性。

論文地址：

3、Reasoning on Knowledge Graphs with Debate Dynamics（基于辯論動力學的知識圖譜推理）

AAAI2020 ，Siemens Corporate Technology

作者：Marcel Hildebrandt, Jorge Andres Quintero Serna, Yunpu Ma, Martin Ringsquandl, Mitchell Joblin, Volker Tresp

摘要： 我們提出了一種基于辯論動力學的知識圖譜自動推理方法。其主要思想是將三元組分類任務框定為兩個抽取論點(知識圖譜中的路徑)的強化學習代理之間的辯論游戲，目標分別是促進事實為真(正題)或事實為假(反題)。基于這些論據，一個叫做“法官”的二元分類器決定事實是對還是錯。這兩個代理可以被看作是稀疏的、對抗性的特征生成器，它們為正題或反題提供了可解釋的證據。與其他黑盒方法相比，這些參數允許用戶了解法官的決定。由于這項工作的重點是創建一個可解釋的方法，以保持一個有競爭力的預測精度，我們基準的三重分類和鏈接預測任務我們的方法。因此，我們發現我們的方法優于基準數據集FB15k-237、WN18RR和Hetionet上的幾個基線。我們也進行了一個調查，發現提取的參數對用戶是有益的。

論文地址：

4、Differentiable Reasoning on Large Knowledge Bases and Natural Language（大規模知識庫與自然語言上的可微分推理）

AAAI2020 ，UCL Centre for Artificial Intelligence, University College London，Facebook AI Research

作者：Pasquale Minervini, Matko Bo?njak, Tim Rockt?schel, Sebastian Riedel, Edward Grefenstette

摘要：用自然語言和知識庫(KBs)表達的知識進行推理是人工智能面臨的主要挑戰，在機器閱讀、對話和問題回答等方面都有應用。聯合學習文本表示和轉換的一些神經體系結構非常缺乏數據效率，很難分析它們的推理過程。這些問題由端到端的可微推理系統(如神經定理證明程序(NTPs))來解決，盡管它們只能用于小型符號KBs。在本文中，我們首先提出貪心NTPs (GNTPs)，這是NTPs的擴展，解決了它們的復雜性和可伸縮性限制，從而使它們適用于真實世界的數據集。該結果是通過動態構建NTPs的計算圖來實現的，并且只包含推理過程中最有希望的證明路徑，從而獲得更有效的模型。然后，我們提出了一種新的方法，通過在一個共享的嵌入空間中嵌入邏輯事實和自然語言句子來聯合推理KBs和篇章提及。我們發現，GNTPs的性能與NTPs相當，但成本僅為NTPs的一小部分，同時在大型數據集上獲得了具有競爭力的鏈接預測結果，為預測提供了解釋，并引入了可解釋的模型。源代碼，數據集，和補充材料可在網上

論文地址：

5、Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering（通過知識庫問題回答來改進知識感知對話的生成）

AAAI2020 ，華南理工，騰訊

作者：Jian Wang, Junhao Liu, Wei Bi, Xiaojiang Liu, Kejing He, Ruifeng Xu, Min Yang

摘要：神經網絡模型常常面臨將常識引入開放域對話系統的挑戰。本文提出了一種新的知識感知對話生成模型(TransDG)，該模型將基于知識庫問答(KBQA)任務的問題表示和知識匹配能力進行轉換，以促進話語理解和對話生成的事實知識選擇。此外，我們提出了一種響應引導注意和多步驟解碼策略，以指導我們的模型將重點放在用于響應生成的相關特征上。在兩個基準數據集上的實驗表明，該模型在生成信息豐富、流暢的對話方面具有較強的優越性。我們的代碼在 .

論文地址：

6、Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction（用于鏈接預測的學習層次感知知識圖嵌入）

AAAI2020 ，中科大

作者：Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, Jie Wang

摘要：知識圖譜嵌入的目的是將實體和關系表示為低維向量(或矩陣、張量等)，已經被證明是一種預測知識圖譜中缺失鏈接的強大技術。現有的知識圖譜嵌入模型主要側重于對稱/反對稱、反轉、復合等關系模式的建模。然而，許多現有的方法無法對語義層次結構建模，而這在實際應用程序中是很常見的。為了解決這一問題，我們提出了一種新的知識圖譜嵌入模型——層次感知知識圖譜嵌入(HAKE)，它將實體映射到極坐標系統中。HAKE的靈感來自于這樣一個事實，即在極坐標系統中的同心圓可以自然地反映層次結構。具體來說，徑向坐標的目標是在層次結構的不同層次上對實體進行建模，半徑較小的實體被期望在更高的層次上;角坐標的目的是區分層次結構中同一層次上的實體，這些實體的半徑大致相同，但角度不同。實驗表明，HAKE可以有效地對知識圖譜中的語義層次進行建模，并在鏈接預測任務的基準數據集上顯著優于現有的最先進的方法。

.

論文地址：

7、Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation（用具有門控多跳鄰居聚合的知識圖譜對齊網絡）

AAAI2020 ，南京大學，阿里巴巴

作者：Zequn Sun, Chengming Wang, Wei Hu, Muhao Chen, Jian Dai, Wei Zhang, Yuzhong Qu

摘要：圖神經網絡由于具有識別同構子圖的能力，已經成為一種強大的基于嵌入的實體對齊范式。然而，在實知識圖(KGs)中，對應實體通常具有非同構的鄰域結構，這很容易導致gnn產生不同的表示。為了解決這一問題，我們提出了一種新的KG對齊網絡，即AliNet，旨在以端到端方式緩解鄰域結構的非同構性。由于模式異構性，對等實體的直接鄰居通常是不相似的，AliNet引入了遠程鄰居來擴展它們的鄰居結構之間的重疊。它采用了一種注意機制，以突出有益的遙遠的鄰居和減少噪音。然后，利用門控機制控制直接和遠處鄰居信息的聚合。我們進一步提出了一個關系損失來細化實體表示。我們進行了深入的實驗，詳細的燒蝕研究和分析的五個實體對齊數據集，證明了AliNet的有效性。

.

論文地址：

8、Rule-Guided Compositional Representation Learning on Knowledge Graphs（規則指導的知識圖譜組合式表示學習）

AAAI2020 ，北航

作者：Guanglin Niu, Yongfei Zhang, Bo Li, Peng Cui, Si Liu, Jingyang Li, Xiaowei Zhang

摘要：知識圖譜的表示學習是將知識圖中的實體和關系嵌入到低維連續向量空間中。早期的KG嵌入方法只關注三元組編碼的結構化信息，由于KGs的結構稀疏性，導致其性能有限。最近的一些嘗試考慮路徑信息來擴展KGs的結構，但在獲取路徑表示的過程中缺乏可解釋性。本文提出了一種新的基于規則和路徑的聯合嵌入(RPJE)方案，該方案充分利用了邏輯規則的可解釋性和準確性、KG嵌入的泛化性以及路徑的補充語義結構。具體來說，首先從KG中挖掘出不同長度(規則體中的關系數)的Horn子句形式的邏輯規則，并對其進行編碼，用于表示學習。然后，利用長度2的規則來精確地組合路徑，而使用長度1的規則來明確地創建關系之間的語義關聯和約束關系嵌入。優化時還考慮了規則的置信度，保證了規則在表示學習中的可用性。大量的實驗結果表明，RPJE在KG完成任務上的表現優于其他最先進的基線，這也證明了利用邏輯規則和路徑來提高表示學習的準確性和可解釋性的優越性。

.

論文地址：

9、InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions（規InteractE:通過增加特征交互來改進基于卷積的知識圖譜嵌入）

AAAI2020 ，Indian Institute of Science, Columbia University

作者：Shikhar Vashishth, Soumya Sanyal, Vikram Nitin, Nilesh Agrawal, Partha Talukdar

摘要：現有的知識圖譜大多存在不完備性，可以通過基于已知事實推斷缺失的鏈接來緩解不完備性。一種流行的方法是生成實體和關系的低維嵌入，并使用它們進行推論。ConvE是最近提出的一種方法，它將卷積濾波器應用于實體和關系嵌入的二維重塑，以捕獲其組件之間豐富的交互。然而，ConvE能夠捕獲的交互的數量是有限的。在這篇論文中，我們分析了增加這些相互作用的數量如何影響鏈路預測性能，并利用我們的觀測結果提出了相互作用。InteractE基于三個關鍵思想:特征置換、新穎的特征重塑和循環卷積。通過大量的實驗，我們發現InteractE在FB15k-237上的性能優于最先進的卷積鏈路預測基線。此外，InteractE在FB15k-237、WN18RR和YAGO3-10數據集上的MRR評分分別比ConvE高9%、7.5%和23%。結果驗證了我們的中心假設——增加特征交互有助于鏈接預測性能。我們提供InteractE的源代碼，以鼓勵可重復的研究。 InteractE.

.

論文地址：

10、Commonsense Knowledge Base Completion with Structural and Semantic Context（具有結構和語義上下文的常識知識庫的完成）

AAAI2020 ，Allen Institute for Artificial Intelligence 華盛頓大學

作者：Chaitanya Malaviya, Chandra Bhagavatula, Antoine Bosselut, Yejin Choi

摘要：與經過大量研究的傳統知識庫(如Freebase)相比，對常識知識圖譜(如原子圖和概念圖)的自動知識庫補全帶來了獨特的挑戰。常識知識圖譜使用自由格式的文本來表示節點，這使得節點的數量比傳統KBs多了幾個數量級(ATOMIC比Freebase多18倍(FB15K-237))。重要的是，這意味著圖數據結構將顯著稀疏化——這是現有KB補全方法面臨的主要挑戰，因為這些方法在相對較小的節點集上采用密集連接的圖數據。在本文中，我們提出了新的知識庫完成模型，該模型可以通過利用節點的結構和語義上下文來解決這些挑戰。具體來說，我們研究了兩個關鍵的思想: (1) 從局部圖結構學習，使用圖卷積網絡和自動圖加密，(2) 從預先訓練的語言模型學習到知識圖譜，以增強知識的上下文表示。我們描述了將來自這兩個來源的信息合并到一個聯合模型中的方法，并提供了原子知識庫完成和使用ConceptNet上的排名指標進行評估的第一個經驗結果。我們的結果證明了語言模型表示在提高鏈接預測性能方面的有效性，以及在訓練子圖以提高計算效率時從局部圖結構(對ConceptNet的MRR +1.5分)學習的優勢。對模型預測的進一步分析揭示了語言模型能夠很好地捕捉到的常識類型。

.

論文地址：

題目

Few-Shot Knowledge Graph Completion

簡介

知識圖是各種自然語言處理應用的有用資源。以前的KG完成方法需要為每個關系提供大量的訓練實例（即頭-尾實體對）。實際情況是，對于大多數關系，很少有實體對可用。現有的單鏡頭學習極限方法普遍適用于少鏡頭場景，不能充分利用監控信息，但很少有人對KG完工的研究還很少。在這項工作中，我們提出了一個新的少數鏡頭關系學習模型（FSRL），旨在發現新的關系事實很少鏡頭參考。FSRL可以有效地從異構圖結構中獲取知識，聚集少量鏡頭引用的表示，并為每個關系匹配相似的引用集實體對。在兩個公共數據集上進行的大量實驗表明，FSRL優于最新技術。

作者

Chuxu Zhang, Meng Jiang，Nitesh V. Chawla，來自圣母大學

Huaxiu Yao, Zhenhui Li，來自賓夕法尼亞州立大學

Chao Huang, 來自JD金融美國公司