亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Transformer架構最近在圖表示學習中獲得了越來越多的關注，因為它通過避免圖神經網絡(GNN)的嚴格結構歸納偏差，而只通過位置編碼對圖結構進行編碼，從而自然地克服了圖神經網絡(GNN)的一些限制。在這里，我們展示了使用位置編碼的Transformer生成的節點表示不一定捕獲它們之間的結構相似性。為了解決這個問題，我們提出了結構感知Transformer (Structure-Aware Transformer)，這是一類建立在一種新的自注意力機制上的簡單而靈活的圖Transformer。這種新的自注意在計算自注意之前，通過提取基于每個節點的子圖表示，將結構信息融入到原始自注意中。我們提出了幾種自動生成子圖表示的方法，并從理論上表明，生成的表示至少與子圖表示一樣具有表現力。從經驗上講，我們的方法在5個圖預測基準上達到了最先進的性能。我們的結構感知框架可以利用任何現有的GNN來提取子圖表示，我們表明，相對于基本GNN模型，它系統地提高了性能，成功地結合了GNN和transformer的優勢。我們的代碼可以在這個 https: //github.com/BorgwardtLab/SAT. 中找到。

本文研究了無監督圖表示學習，這在許多任務中至關重要，如藥物和材料中分子特性預測。現有方法主要側重于保留不同圖實例之間的局部相似性，但是沒有考慮整個數據集的全局語義結構。在本文中，作者提出了一個統一的框架，GraphLoG，用于自監督的全圖表示學習。

具體來說，除了局部相似性之外，GraphLoG 還引入了層次原型來捕獲全局語義。進一步提出了一種有效的在線期望最大化 (EM) 算法來學習模型。本文評估的方法是通過在未標記圖預訓練，然后對下游任務進行微調來進行。對化學和生物基準數據集的大量實驗證明了所提出方法的有效性。

雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。

//www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

邏輯查詢是知識圖譜問答系統中一個重要的問題子集。然而，有效地回答大型知識圖譜上的邏輯查詢仍然是一個極具挑戰性的問題。傳統的基于子圖匹配的方法存在底層知識圖譜的噪聲和不完整性等問題，線響應時間長。近年來出現了一種新的方法，其核心思想是將知識圖譜實體和查詢嵌入到一個向量空間中，使答案實體的嵌入與查詢實體的嵌入更加接近。與基于子圖匹配的方法相比，該方法能更好地處理知識圖譜中的噪聲或缺失信息，在線響應速度更快。雖然它可能很有前途，但仍然存在一些基本的限制，包括建模關系的線性轉換假設，以及無法回答具有多個可變節點的復雜查詢。在本文中，我們提出了一種基于嵌入的方法(NewLook)來解決這些限制。我們提出的方法有三個主要優點。首先(適用性)，它支持四種類型的邏輯操作，并且可以使用多個變量節點回答查詢。第二(有效性)，提出的NewLook超越了線性變換的假設，因此始終優于現有的方法。第三(效率)，與基于子圖匹配的方法相比，NewLook在回答查詢方面至少快3倍;與現有的基于嵌入的方法相比，NewLook在線響應時間和離線訓練時間相當甚至更快。

//tonghanghang.org/pdfs/kdd21_newlook.pdf

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

知識圖譜(KGs)是一些真實應用中普遍存在的信息存儲結構，如web搜索、電子商務、社交網絡和生物學。由于KGs的規模和復雜性，查詢KGs仍然是一個基礎性和挑戰性的問題。有希望解決這個問題的方法包括在歐幾里得空間中嵌入KG單位(如實體和關系)，這樣嵌入的查詢就包含了與其結果相關的信息。然而，這些方法不能捕獲圖中實體的層次性質和語義信息。此外，這些方法大多只利用多跳查詢(可以通過簡單的翻譯操作建模)來學習嵌入，并忽略更復雜的操作，如交集和更簡單查詢的并集。

為了解決這些復雜的操作，在本文中，我們將KG表示學習表述為一個自我監督的邏輯查詢推理問題，利用KGs上的翻譯、交叉和并查詢。我們提出了一種新的自我監督動態推理框架——雙曲面嵌入(HypE)，它利用KG上的一階正存在查詢來學習其實體和關系在Poincaré球中的雙曲面表示。HypE將正面的一階查詢建模為幾何平移、交叉和合并。對于真實數據集中的KG推理問題，所提出的HypE模型顯著優于最先進的結果。我們還將HypE應用于一個流行的電子商務網站產品分類的異常檢測任務，以及分層組織的web文章，并演示了與現有的基線方法相比，顯著的性能改進。最后，我們還將學習到的HypE embeddings可視化在Poincaré球中，以清楚地解釋和理解表征空間。

知識圖譜補全是一類重要的問題。近年來基于圖神經網絡的知識圖譜表示得到了很多關注。這邊綜述論文總結了圖神經網絡知識圖譜補全的工作，值得查看！

摘要：知識圖譜在諸如回答問題和信息檢索等各種下游任務中越來越流行。然而，知識圖譜往往不完備，從而導致性能不佳。因此，人們對知識庫補全的任務很感興趣。最近，圖神經網絡被用來捕獲固有地存儲在這些知識圖譜中的結構信息，并被證明可以跨各種數據集實現SOTA性能。在這次綜述中，我們了解所提出的方法的各種優勢和弱點，并試圖在這一領域發現新的令人興奮的研究問題，需要進一步的調研。

知識庫是以關系三元組形式的事實信息的集合。每個關系三元組可以表示為(e1,r,e2)，其中e1和e2是知識庫中的實體，r是e1和e2之間的關系。最受歡迎的知識庫表示方式是多關系圖,每個三元組(r e1, e2)是表示為有向邊從e1, e2與標簽r。知識圖譜被用于各種下游任務。

然而，由于知識庫是從文本中自動挖掘來填充的，它們通常是不完整的，因為不可能手動編寫所有事實，而且在提取過程中經常會出現不準確的情況。這種不準確性會導致各種下游任務的性能下降。因此，大量工作開發一種有效的工具來完成知識庫(KBs)方面，它可以在不需要額外知識的情況下自動添加新的事實。這個任務被稱為知識庫補全(或鏈接預測)，其目標是解決諸如(e1,r，?)這樣的查詢。

第一種實現高效知識庫補全的方法是像TransE (Bordes et al.(2013))和TransH (Wang et al.(2014))這樣的加法模型，其中關系被解釋為隱藏實體表示的簡單翻譯。然后觀察到，諸如Distmult (Yang et al.(2015))和Complex (Trouillon et al.(2016))等乘法模型優于這些簡單的相加模型。與平移不同，旋轉(Sun等人(2019a))將關系定義為簡單的旋轉，這樣頭部實體就可以在復雜的嵌入空間中旋轉來匹配尾部實體，這已經被證明滿足了很多有用的語義屬性，比如關系的組合性。最近，引入了表達性更強的基于神經網絡的方法(如ConvE (Dettmers等人(2018))和ConvKB(Nguyen等人(2018))，其中評分函數與模型一起學習。然而，所有這些模型都獨立地處理每個三元組。因此，這些方法不能捕獲語義豐富的鄰域，從而產生低質量的嵌入。

圖已被廣泛用于可視化真實世界的數據。在將ML技術應用于圖像和文本方面已經取得了巨大進展，其中一些已成功應用于圖形(如Kipf和Welling(2017)、Hamilton等人(2017)、Velickovic等人(2018)。基于該方法的啟發，許多基于圖神經網絡的方法被提出用于KBC任務中獲取知識圖的鄰域。在這次調查中，我們的目的是研究這些工作。

題目

Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings，使用知識庫嵌入改進知識圖上的多跳問答

摘要

知識圖（KG）是由實體作為節點，實體之間的關系作為類型化邊組成的多關系圖。 KG問答（KGQA）任務的目的是回答對KG提出的自然語言查詢。 多跳KGQA要求在KG的多個邊緣進行推理，以得出正確的答案。 KG通常缺少許多鏈接，這給KGQA尤其是多跳KGQA帶來了額外的挑戰。 最近對多跳KGQA的研究已嘗試使用相關的外部文本來處理KG稀疏性，但這種方式并非一帆風順。 在另一項研究中，提出了KG嵌入方法，以通過執行丟失的鏈接預測來減少KG稀疏性。 此類KG嵌入方法盡管非常相關，但迄今為止尚未針對多跳KGQA進行探索。 我們在本文中填補了這一空白，并提出了EmbedKGQA。 EmbedKGQA在執行稀疏KG上的多跳KGQA方面特別有效（但是當知識圖譜不稀疏時，也應該能夠超過基線）。 EmbedKGQA還放寬了從預先指定的鄰域中選擇答案的要求，這是先前的多跳KGQA方法實施的次優約束。 通過在多個基準數據集上進行的廣泛實驗，我們證明了EmbedKGQA在其他最新基準上的有效性。