亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

知識圖譜(KGs)是一些真實應用中普遍存在的信息存儲結構，如web搜索、電子商務、社交網絡和生物學。由于KGs的規模和復雜性，查詢KGs仍然是一個基礎性和挑戰性的問題。有希望解決這個問題的方法包括在歐幾里得空間中嵌入KG單位(如實體和關系)，這樣嵌入的查詢就包含了與其結果相關的信息。然而，這些方法不能捕獲圖中實體的層次性質和語義信息。此外，這些方法大多只利用多跳查詢(可以通過簡單的翻譯操作建模)來學習嵌入，并忽略更復雜的操作，如交集和更簡單查詢的并集。

為了解決這些復雜的操作，在本文中，我們將KG表示學習表述為一個自我監督的邏輯查詢推理問題，利用KGs上的翻譯、交叉和并查詢。我們提出了一種新的自我監督動態推理框架——雙曲面嵌入(HypE)，它利用KG上的一階正存在查詢來學習其實體和關系在Poincaré球中的雙曲面表示。HypE將正面的一階查詢建模為幾何平移、交叉和合并。對于真實數據集中的KG推理問題，所提出的HypE模型顯著優于最先進的結果。我們還將HypE應用于一個流行的電子商務網站產品分類的異常檢測任務，以及分層組織的web文章，并演示了與現有的基線方法相比，顯著的性能改進。最后，我們還將學習到的HypE embeddings可視化在Poincaré球中，以清楚地解釋和理解表征空間。

在推薦系統中，當用戶-物品交互數據稀疏時，常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而，現實生活中用戶之間的互動非常復雜，用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系，而它在改善社會推薦方面的潛力還有待開發。在本文中，我們填補了這一空白，提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上，網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入，我們獲得了全面的用戶表示，從而產生推薦結果。然而，聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失，我們創新性地將自監督學習融入到超圖卷積網絡的訓練中，以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明，該模型優于SOTA方法，消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。

Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks

Authors: Tingyu Xia, Yue Wang, Yuan Tian, Yi Chang

我們研究了將先驗知識整合到基于深度Transformer的模型中的問題，即:，以增強其在語義文本匹配任務中的性能。通過探索和分析BERT在解決這個任務時已經知道的東西，我們可以更好地理解BERT最需要什么特定任務的知識，在哪里最需要什么知識。這一分析進一步促使我們采取一種不同于大多數現有工作的方法。我們沒有使用先驗知識來創建一個新的訓練任務來微調BERT，而是直接將知識注入BERT特的多頭注意機制。這將我們引向一種簡單而有效的方法，它歷經快速訓練階段，因為它節省了模型在主要任務以外的額外數據或任務上的訓練。大量的實驗表明，本文提出的知識增強的BERT模型能夠持續地提高語義文本匹配性能，并且在訓練數據稀缺的情況下性能效益最為顯著。

//www.zhuanzhi.ai/paper/7b48ad08e4eaf1a9d87baf6474bec12f

多標簽文本分類涉及到從標簽集中為每個給定文檔分配其最相關標簽的問題。通常，給定文檔的元數據和標簽的層次結構在實際應用是可用的。然而，現有的研究大多只關注于文本信息的建模，也有少數嘗試使用元數據或層次信號，但沒有同時使用它們。在本文中，我們通過在一個大的標簽層次結構(例如，有成千上萬個標簽)中形式化元數據感知文本分類的問題來彌補這一差距。為了解決這個問題，我們提出了MATCH解決方案——一個利用元數據和層次結構信息的端到端框架。為了整合元數據，我們預先訓練文本和元數據在同一空間的嵌入，并利用完全連接的注意力來捕捉它們之間的相互關系。為了充分利用標簽層次結構，我們提出了不同的方法來規整每個子標簽的參數和輸出概率。在兩個具有大規模標簽層次的大規模文本數據集上進行的大量實驗證明了在最先進的深度學習基線上匹配的有效性。

//www.zhuanzhi.ai/paper/f6f0aa93aec55dee2e115f8c40147b79

由于二部圖在各種應用領域中得到了廣泛的應用，因此嵌入二部圖引起了人們的廣泛關注。以往的方法大多采用基于隨機行走或基于重構的目標，對學習局部圖結構是典型的有效方法。但是，二部圖的全局性質，包括同構節點的社區結構和異構節點的遠程依賴關系，并沒有很好地保存下來。在本文中，我們提出了一種稱為BiGI的二部圖嵌入，通過引入一個新的局部-全局信息目標來捕獲這種全局性質。具體來說，BiGI首先生成一個由兩個原型表示組成的全局表示。然后BiGI通過提出的子級注意機制將采樣的邊緣編碼為局部表示。BiGI通過最大化局部表示和全局表示之間的互信息，使二部圖中的節點具有全局相關性。我們的模型在各種基準數據集上評估top-K推薦和鏈接預測任務。大量的實驗證明BiGI在最先進的基線上實現了一致和顯著的改進。詳細的分析驗證了二部圖全局性質建模的有效性。

//arxiv.org/pdf/2012.05442.pdf

題目

Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings，使用知識庫嵌入改進知識圖上的多跳問答

摘要

知識圖（KG）是由實體作為節點，實體之間的關系作為類型化邊組成的多關系圖。 KG問答（KGQA）任務的目的是回答對KG提出的自然語言查詢。 多跳KGQA要求在KG的多個邊緣進行推理，以得出正確的答案。 KG通常缺少許多鏈接，這給KGQA尤其是多跳KGQA帶來了額外的挑戰。 最近對多跳KGQA的研究已嘗試使用相關的外部文本來處理KG稀疏性，但這種方式并非一帆風順。 在另一項研究中，提出了KG嵌入方法，以通過執行丟失的鏈接預測來減少KG稀疏性。 此類KG嵌入方法盡管非常相關，但迄今為止尚未針對多跳KGQA進行探索。 我們在本文中填補了這一空白，并提出了EmbedKGQA。 EmbedKGQA在執行稀疏KG上的多跳KGQA方面特別有效（但是當知識圖譜不稀疏時，也應該能夠超過基線）。 EmbedKGQA還放寬了從預先指定的鄰域中選擇答案的要求，這是先前的多跳KGQA方法實施的次優約束。 通過在多個基準數據集上進行的廣泛實驗，我們證明了EmbedKGQA在其他最新基準上的有效性。

題目： Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

簡介：

多標簽圖像和視頻分類是計算機視覺中最基本也是最具挑戰性的任務。主要的挑戰在于捕獲標簽之間的空間或時間依賴關系，以及發現每個類的區別特征的位置。為了克服這些挑戰，我們提出將語義圖嵌入的跨模態注意用于多標簽分類。基于所構造的標簽圖，我們提出了一種基于鄰接的相似圖嵌入方法來學習語義標簽嵌入，該方法顯式地利用了標簽之間的關系。在學習標簽嵌入的指導下，生成了新的跨模態注意圖。在兩個多標簽圖像分類數據集(MS-COCO和NUS-WIDE)上的實驗表明，我們的方法優于其他現有的方法。此外，我們在一個大的多標簽視頻分類數據集上驗證了我們的方法，評估結果證明了我們的方法的泛化能力。