亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】知識圖譜是學術界和工業界近年來關注的焦點。2020年最近以來，KDD、ICML、ACL、IJCAI會議論文公布，專知小編整理了最新8篇關于知識圖譜的論文，來自Amazon、CMU、斯坦福 、Google等，請大家查看！

1、MultiImport: Inferring Node Importance in a Knowledge Graph from Multiple Input Signals（推斷知識圖譜節點重要性），KDD 2020

摘要：給定多個輸入信號，我們如何推斷知識圖譜(KG)中的節點重要性?節點重要性估計是一項非常重要和具有挑戰性的任務，它可以為許多應用帶來好處，包括推薦、搜索和查詢消歧。實現這一目標的一個關鍵挑戰是如何有效地利用來自不同來源的輸入。一方面，KG是一個豐富的信息源，具有多種類型的節點和邊。另一方面，有外部輸入信號，如投票或頁面瀏覽量，可以直接告訴我們實體在KG中的重要性。雖然已經開發了一些方法來解決這個問題，但它們對這些外部信號的使用受到了限制，因為它們沒有同時考慮多個信號的輸入。在本文中，我們提出了一個端到端的多輸入模型，它從多個可能重疊的輸入信號中推斷出潛在節點的重要性。MultiImport是一種潛在的變量模型，它捕捉節點重要性與輸入信號之間的關系，有效地從多個可能存在沖突的信號中學習。同時，MultiImport提供了一種基于注意力圖神經網絡的有效估計器。我們在真實的KGs上進行了實驗，表明MultiImport處理了多個涉及從多個輸入信號推斷節點重要性的挑戰，并且始終優于現有方法，實現了比最先進的方法高23.7%的NDCG@100。

論文地址：

//arxiv.org/abs/2006.12001

2、Low-Dimensional Hyperbolic Knowledge Graph Embeddings（低維雙曲知識圖譜嵌入），ACL 2020

摘要： 知識圖譜(KG)嵌入通過學習實體和關系的低維表示，以預測缺失事實。KGs通常具有層次結構和邏輯模式，必須在嵌入空間中保留這些模式。對于分層數據，雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而，現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中，我們引入了一類雙曲KG嵌入模型，可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明，我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外，我們觀察到不同的幾何變換捕捉不同類型的關系，而基于注意的變換則推廣到多重關系。在高維情況下，我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。

論文地址：

3、Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding（正交關系轉換與圖上下文建模的知識圖譜嵌入），ACL 2020

摘要： 基于距離的知識圖譜嵌入已經在知識圖譜鏈接預測任務上有了實質性的改進，從TransE到目前最先進的RotatE。然而，諸如 N-to-1, 1-to-N和N-to-N的復雜關系仍然難以預測。在這項工作中，我們提出了一種新的基于距離的知識圖譜鏈接預測方法。首先，通過對模型關系的正交變換，將RotatE從二維復數域擴展到高維空間。關系的正交變換嵌入保持了對于對稱/反對稱關系、逆關系和復合關系的建模能力，同時具有更好的建模能力。其次，將圖形上下文直接集成到距離評分函數中。具體地說，圖上下文是通過兩個有向上下文表示來顯式建模的。嵌入到知識圖中的每個節點都增加了兩個上下文表示，這兩個上下文表示分別從相鄰的傳出節點/邊和傳入節點/邊計算得到。該方法提高了N-to-1, 1-to-N和N-to-N情況下的預測精度。實驗結果表明，該算法在兩個常用的基準測試FB15k237和WNRR-18上都取得了最好的結果，特別是在節點數較多的FB15k-237上。

論文地址：

4、SEEK: Segmented Embedding of Knowledge Graphs（知識圖譜可分割嵌入），ACL 2020

摘要：近年來，知識圖譜嵌入成為人工智能領域的研究熱點，在推薦、問答等各種下游應用中發揮著越來越重要的作用。然而，現有的知識圖譜嵌入方法沒有在模型復雜度和模型表現力之間取得適當的折衷，這使得它們仍然遠遠不能令人滿意。為了緩解這一問題，我們提出了一個輕量級的建模框架，它可以在不增加模型復雜度的情況下獲得具有高度競爭力的關系表達能力。我們的框架側重于評分函數的設計，并突出了兩個關鍵特征：1)促進充分的特征交互；2)保持關系的對稱性和反對稱性。值得注意的是，由于評分函數設計的通用性和美觀性，我們的框架可以將現有的許多著名的方法作為特例合并在一起。此外，在公共基準上的大量實驗證明了該框架的有效性。

論文地址：

5、Reasoning Like Human: Hierarchical Reinforcement Learning for Knowledge Graph Reasoning（層次強化學習知識圖譜推理），IJCAI 2020

摘要：知識圖譜通常存在不完備性。知識圖譜補全的一種流行方法是通過對連接兩個實體的其他路徑上發現的信息進行多跳推理來推斷丟失的知識。然而，多跳推理仍然具有挑戰性，因為推理過程通常經歷多個語義問題，即一個關系或一個實體具有多個含義。針對這種情況，我們提出了一種新的層次強化學習框架來自動地從知識圖譜中學習推理鏈。我們的框架是受層次結構的啟發，通過人類處理認知模糊的情況。整個推理過程分解為兩層強化學習策略，用于編碼歷史信息和學習結構化行動空間。因此，處理多重語義問題更加可行和自然。實驗結果表明，我們提出的模型在模糊關系任務方面取得了顯著的改進。

論文地址：

6、TransOMCS: From Linguistic Graphs to Commonsense Knowledge（從語言圖譜到常識圖譜），IJCAI 2020

摘要：常識的獲取是人工智能的關鍵問題。傳統的獲取常識的方法通常需要費力而昂貴的人工注釋，這在大規模上是不可行的。本文探討了一種實用的從語言圖中挖掘常識知識的方法，目的是將用語言模式獲得的廉價知識轉化為昂貴的常識知識。其結果是將大規模選擇偏好知識資源ASER [Zhang et al.， 2020]轉換為與ConceptNet表示相同但比前者大兩個數量級的TransOMCS [Liu and Singh, 2004]。實驗結果表明，該方法在數量、新穎性和質量上都是有效的。TransOMCS可以通過以下網址公開訪問。

論文地址：

博文鏈接://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2020-ebb1f0a6e0b1#ce67

這篇文章是為了紀念這個系列的一周年，在這個系列中，我們研究了由知識圖譜驅動的NLP和圖形ML的進步! 觀眾的反饋促使我繼續說下去，所以請系緊安全帶(或許也可以系上一些)，在這一集中，我們來看看與知識圖譜（KG）相關的ACL 2020進程。 今天的議程如下:

• 結構化數據的問答

• KG嵌入:雙曲空間和超關系

• 數據到文本NLG:準備你的Transformer

• 對話式AI:改進面向目標的機器人

• 信息提取:OpenIE和鏈接預測

• 結論

KG嵌入：雙曲空間和超關系

雙曲空間是ML中最近的熱門話題之一。用更簡單的術語來說，在雙曲空間中(得益于其屬性)，你可以使用更少的維數有效地表示層次結構和樹狀結構。

基于這個動機，Chami等人提出了AttH，一種雙曲線的KG嵌入算法，在KG中利用使用旋轉、反射和轉換對邏輯和層次模式進行建模。Att來自于應用于旋轉和反射矢量的雙曲注意。繞過不穩定的黎曼優化的訣竅是使用正切空間，d維的龐加萊球的每個點都可以映射到正切空間。在這個明顯不平凡的設置中，每個關系不僅與一個向量相關，而且與描述特定關系的反射和旋轉的參數相關。然而，在現實生活中，KGs中R << V，所以開銷不是很大。 在實驗中，AttH在具有一定層次結構的WN18RR和Yago3和Yago10上表現優越，在FB15k-237上的差距較小。更重要的是，僅32維的AttH就顯示了巨大的優勢，相比于真實和復雜平面的32維模型。此外，WN18RR和FB15k-237的32維在評價標準MRR評分上僅比SOTA 500維的嵌入模型分別小0.02和0.03。消融研究證明了可學習的曲率的重要性，而其優于最接近的匹配模型MurP。

圖表示學習的另一個趨勢是超越簡單的KG組成的三元組和學習表示對于更復雜,超關系KG,當每一個三元組可能有一組鍵-值對屬性,提供細粒度細節三在各種情況下的有效性。事實上，Wikidata在其Wikidata語句模型中采用了超關系模型，其中屬性被稱為限定符。重要的是不要將模型與n元事實(生成冗余謂詞)和超圖混合在一起。也就是說，如果你只在三元組層面上與Wikidata一起工作，你就會失去一大半的內容。 Guan等人不想失去Wikidata的一半，他們提出了NeuInfer，一種學習超關系KGs嵌入的方法(他們之前的工作，NaLP，更適合n元事實)。

NeuInfer的思想是計算一個超關系事實(見圖)的有效性和兼容性評分。首先，(h,r,t)嵌入輸入到一個全連接的網絡(FCN)來估計這個三元組(有效性)的合理的概率。其次，為每個鍵值對構造一個五組(h,r,t,k,v)，并通過另一組FCNs傳遞。有m對，m個向量經過最小池化，得到表示相容度評分的結果，即這些限定符在主要三元組中的表現如何。最后，用兩個分數的加權和得到最終評分。 作者在標準基準JF17K(提取自Freebase)和WikiPeople(來自Wikidata)上評估了NeuInfer，并報告說JF17K在預測頭實體、尾實體和屬性值方面比NaLP有顯著的改進。我鼓勵作者將他們的數字與HINGE(來自Rosso等人)進行比較，因為這兩種方法在概念上是相似的。 現在我們需要談談頂級會議上發布的KG嵌入算法的復現性，比如ACL 2019，Sun, Vashishth, Sanyal等人發現，報告SOTA結果(明顯優于現有基線)的幾個最近的KGE模型受到測試集泄漏的影響，或在ReLU激活有效三元組得分后出現許多異常零化的神經元。此外，他們還表明，他們的性能度量標準(如Hits@K和MRR)取決于在有效三元組負采樣(實際上，這是不應該發生的)中的位置。另一方面，現有的強基線在任何位置的表現都是一樣的。我們要做的就是使用評估原則，將一個有效的三元組隨機放置在負樣本的位置上。

我們的團隊對這個問題也有話要說:在我們的新論文《讓黑暗變得光明》(bring Light Into the Dark)中:大規模評估知識圖譜嵌入模型的一個統一的框架下我們執行65 k +實驗和k + GPU 21小時評估19模型從RESCAL首先發表在2011年RESCAL到2019年末 RotatE 和TuckER,，5種損失函數,各種訓練策略有/沒有負采用，和更多重要考慮的超參數。我們還將為您和我們熱愛的社區發布為所有模型找到的最佳超參數。此外，我們正在發布PyKEEN 1.0，這是一個PyTorch庫，用于訓練和基準測試KG嵌入式模型! 我鼓勵你仔細閱讀其他一些作品:Sachan研究了通過離散化壓縮KG實體嵌入的問題，例如，Barack Obama將被編碼為“2 1 3 3”，而不是200維的32位的浮點向量，Michelle Obama將被編碼為“2 1 3 2”。

也就是說，你只需要一個有K個值的D維長向量(這里D=4, K=3)。對于離散化，Softmax被發現性能更好。并且作為一個從KD代碼返回到n維浮點數向量的反向函數，作者建議使用一個簡單的Bi-LSTM。實驗結果顯示，FB15k-237和WN18RR的壓縮率達到了100-1000倍，但在推理時(當需要解碼KD代碼時)的性能下降和計算開銷可以忽略不計(最大MRR為2%)。 我建議大家坐下來，重新考慮一下KGE的pipelines(特別是在生產場景中)。例如，通過PyTorch-BigGraph獲得的78M Wikidata實體的200維嵌入需要110 GB的空間。想象一下壓縮100倍會有什么可能？ 還有一系列的工作改進了流行的KGE模型:

• Tang等人用正交關系變換將二維旋轉推廣到高維空間，這種正交關系變換對1-N和N-N關系更有效。
• Xu等人通過對K個部分的稠密向量進行分塊，將雙線性模型推廣為多線性模型。結果表明，當K=1時，該方法等于DistMult，當K=2時，該方法簡化為 ComplEx 和 HolE，并在K=4和K=8時進行了實驗。
• Xie等人對ConvE進行了擴展，將標準的卷積濾波器替換為計算機視覺領域中最著名的Inception網絡。
• Nguyen等人應用了一個自注意風格的編碼器和一個CNN解碼器的三元組分類和個性化搜索任務。

結論

在今年的ACL2020中，我們看到了更少的KG增強的語言模型(但是可以看看TaPas和TABERT，它們被設計用于在 tables上工作)，NER可能也少了一些。另一方面，圖形到文本的NLG正在上升!

題目： Hyperbolic Heterogeneous Information Network Embedding

摘要： 異構信息網絡嵌入(Heterogeneous information network, HIN)以將其投射到低維空間為目標，已經引起了相當多的研究關注。現有的HIN嵌入方法主要是在歐幾里得空間中保留內部網絡結構和語義相關性。然而，一個基本的問題是歐幾里得空間是否是HIN的合適的或內在的等距空間?。近年來的研究認為，復雜網絡的底層可能具有雙曲幾何，因為底層的雙曲幾何可以自然地反映復雜網絡的一些特性，如層次結構和冪律結構。在本文中，我們首次嘗試將HIN嵌入到雙曲空間中。我們分析了兩個實際HIN的結構，發現HIN中也存在冪律分布等性質。為此，我們提出了一種新的雙曲異構信息網絡嵌入模型。具體地說，為了捕獲節點之間的結構和語義關系，我們采用元路徑引導隨機游走對每個節點的序列進行采樣。然后利用雙曲空間中的距離作為近似度量。雙曲距離能滿足三角不等式，并能很好地保持HIN中的傳遞性。我們的模型使節點及其鄰域具有小的雙曲線距離。進一步推導出有效的優化策略，迭代更新雙曲嵌入。實驗結果表明，該模型不僅在網絡重構和鏈路預測任務上具有優越的性能，而且在HIN中通過可視化顯示了捕獲層次結構的能力。

題目： Multi-relational Poincaré Graph Embeddings

摘要： 雙曲嵌入最近在機器學習中獲得了關注，因為它們能夠比歐幾里得類似物更準確和簡潔地表示層次數據。然而，多關系知識圖譜經常顯示多個同時的層次結構，這是目前的雙曲模型沒有捕捉到的。為了解決這個問題，我們提出了一個模型，在雙曲空間的龐加萊球模型中嵌入多關系圖數據。我們的多關系龐加萊模型(MuRP)通過Mobius矩陣向量乘法和Mobius加法學習特定關系參數來轉換實體嵌入。在WN18RR層次知識圖上的實驗表明，我們的龐加萊嵌入方法在鏈路預測任務上優于歐氏嵌入方法和現有的嵌入方法，特別是在低維的情況下。

題目： Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要： 知識圖譜(KG)嵌入通過學習實體和關系的低維表示，以預測缺失事實。KGs通常具有層次結構和邏輯模式，必須在嵌入空間中保留這些模式。對于分層數據，雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而，現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中，我們引入了一類雙曲KG嵌入模型，可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明，我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外，我們觀察到不同的幾何變換捕捉不同類型的關系，而基于注意的變換則推廣到多重關系。在高維情況下，我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。

題目： Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction

摘要： 知識圖譜(KGs)嵌入的是一個強大的工具,能夠預測KGs缺失的鏈接。現有的技術通常將KG表示一個三元組集合,每個三元組(h, r, t)通過關系r將兩個實體h和t聯系起來,并從這樣的三元組中學習實體/關系嵌入，同時保留這樣的結構。然而,這種三元組的表示過分簡化了存儲在KG中的數據的復雜性,尤其是超關系的事實,其中每個事實不僅包含基本三元組(h r t),還有相關的鍵-值對(k、v)。盡管最近有一些技術試圖通過將超關系事實轉換為n元表示來學習這些數據（即一組沒有三元組組的鍵值對）。由于它們不知道三元組結構，導致了次優模型，三元組結構是現代KGs的基本數據結構，保留了鏈接預測的基本信息。為了解決這個問題，我們提出了HINGE，一個超相關KG嵌入模型，它直接從KG學習超相關事實。HINGE不僅捕獲了在三元組中編碼的KG的主要結構信息，而且還捕獲了每個三元組及其相關鍵-值對之間的相關性。我們在KG預測任務大量的實驗顯示了優越性。特別是，HINGE不僅始終優于僅從三元組學習的KG嵌入方法，而且始終優于使用n元表示從超關系事實學習的方法。

知識圖譜(KG)嵌入通過學習實體和關系的低維表示來預測缺失的事實。KGs通常表現出層次結構和邏輯模式，必須在嵌入空間中保留這些模式。對于層次數據，雙曲線嵌入方法已經顯示出高保真和精簡表示的前景。然而，現有的雙曲線嵌入方法并不能解釋KGs中豐富的邏輯模式。在本文中，我們介紹了一類雙曲線KG嵌入模型，該模型同時捕獲層次模式和邏輯模式。我們的方法結合了雙曲線反射和旋轉，并注意到模型的復雜關系模式。在標準KG基準上的實驗結果表明，我們的方法在低維平均倒數秩(MRR)方面比以前的基于歐幾里德和雙曲線的方法提高了6.1%。此外，我們觀察到不同的幾何變換捕獲不同類型的關系，而基于注意的變換泛化為多個關系。在高維情況下，我們的方法可以得到最新的MRRs, WN18RR為49.6%，YAGO3-10為57.7%。

簡介： 今年AAAI 2020接收了1591篇論文，其中有140篇是與圖相關的。接下來將會介紹幾篇與圖和知識圖譜相關的幾篇論文。以下為內容大綱：

• KG-Augmented Language Models In Diherent Flavours

Hayashi等人在知識圖上建立了自然語言生成（NLG）任務的潛在關系語言模型（LRLM）。就是說，模型在每個時間步上要么從詞匯表中提取一個單詞，要么求助于已知關系。 最終的任務是在給定主題實體的情況下生成連貫且正確的文本。 LRLM利用基礎圖上的KG嵌入來獲取實體和關系表示，以及用于嵌入表面形式的Fasttext。 最后，要參數化流程，需要一個序列模型。作者嘗試使用LSTM和Transformer-XL來評估與使用Wikidata批注的Freebase和WikiText鏈接的WikiFacts上的LRLM。

Liu等人提出了K-BERT，它希望每個句子（如果可能）都用來自某些KG的命名實體和相關（謂詞，賓語）對進行注釋。 然后，將豐富的句子樹線性化為一個新的位置相似嵌入，并用可見性矩陣進行遮罩，該矩陣控制輸入的哪些部分在訓練過程中可以看到并得到關注。

Bouraoui等人進一步評估了BERT的關系知識，即在給定一對實體（例如，巴黎，法國）的情況下，它是否可以預測正確的關系。 作者指出，BERT在事實和常識性任務中通常是好的，而不是糟糕的非詞性任務，并且在形態任務中相當出色。

• Entity Matching in Heterogeneous KGs

不同的KG具有自己的模型來建模其實體，以前，基于本體的對齊工具僅依靠此類映射來標識相似實體。 今天，我們有GNN只需少量培訓即可自動學習此類映射！

Sun等人提出了AliNet，這是一種基于端到端GNN的體系結構，能夠對多跳鄰域進行聚合以實現實體對齊。 由于架構異質性，由于相似的實體KG的鄰域不是同構的，因此任務變得更加復雜。 為了彌補這一點，作者建議關注節點的n跳環境以及具有特定損失函數的TransE樣式關系模式。

Xu等人研究了多語言KG（在這種情況下為DBpedia）中的對齊問題，其中基于GNN的方法可能陷入“多對一”的情況，并為給定的目標實體生成多個候選源實體。 作者研究了如何使他們的預測中的GNN編碼輸出更加確定。

• Knowledge Graph Completion and Link Prediction

AAAI’20標記并概述了兩個增長趨勢：神經符號計算與臨時性的KG越來越受到關注。

• KG-based Conversational AI andQuestion Answering

AAAI’20主持了“對話狀態跟蹤研討會”（DSTC8）。 該活動聚集了對話AI方面的專家，包括來自Google Assistant，Amazon Alexa和DeepPavlov的人員。在研討會上，多個專家都提出了對話AI的相關研究方法。