亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

題目： Hyperbolic Graph Attention Network

摘要： 圖神經網絡(GNN)在圖處理方面表現出了優越的性能，近年來引起了人們的廣泛關注。然而，大多數現有的GNN模型主要是為歐幾里得空間中的圖設計的。最近的研究已經證明，圖數據顯示非歐幾里得潛在的解剖學。不幸的是，到目前為止，很少有研究GNN在非歐幾里得的設置。為了彌補這一缺陷，本文首次對雙曲空間中具有注意機制的GNN進行了研究。雙曲GNN的研究有一些獨特的挑戰:由于雙曲空間不是向量空間，不能進行向量操作(如向量的加法、減法和標量乘法)。為了解決這個問題，我們使用回旋向量空間，它提供了一個優雅的代數形式的雙曲幾何，以轉換圖的特征;在此基礎上，我們提出了基于雙曲接近的注意力聚合機制。此外，由于雙曲空間中的數學運算比歐幾里得空間中的更為復雜，我們進一步設計了一種新的利用對數和指數映射的加速策略來提高模型的效率。通過與其他最先進的基線方法的比較，發現在四個真實數據集上的綜合實驗結果證明了我們提出的雙曲圖注意力網絡模型的性能。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。這周會議已經召開，會議論文集已經公開，大家可以自己查看感興趣的論文，專知小編繼續整理WWW 2020 系列論文，這期小編為大家奉上的是WWW 2020五篇知識圖譜+圖神經網絡（KG+GNN）相關論文，供大家參考！——多關系實體對齊、問答推理、動態圖實體鏈接、序列實體鏈接、知識圖譜補全。

WWW 2020 會議論文集： //dl.acm.org/doi/proceedings/10.1145/3366423

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Collective Multi-type Entity Alignment Between Knowledge Graphs

作者：Qi Zhu, Hao Wei, Bunyamin Sisman, Da Zheng, Christos Faloutsos, Xin Luna Dong and Jiawei Han

摘要：知識圖(如Freebase、Yago)是表示各類實體之間豐富真實信息的多關系圖。實體對齊是實現多源知識圖集成的關鍵步驟。它旨在識別涉及同一真實世界實體的不同知識圖中的實體。然而，現有的實體對齊系統忽略了不同知識圖的稀疏性，不能通過單一模型對多類型實體進行對齊。在本文中，我們提出了一種用于多類型實體對齊的聯合圖神經網絡（Collective Graph neural network），稱為CG-MuAlign。與以前的工作不同，CG-MuAlign聯合對齊多種類型的實體，共同利用鄰域信息并將其推廣到未標記的實體類型。具體地說，我們提出了一種新的集中聚集函數1)通過交叉圖和自注意力來緩解知識圖的不完全性，2）通過小批量訓練范例和有效的鄰域抽樣策略，有效地提高了可伸縮性。我們在具有數百萬個實體的真實知識圖上進行了實驗，觀察到了比現有方法更優越的性能。此外，我們的方法的運行時間比目前最先進的深度學習方法要少得多。

網址：

2. Complex Factoid Question Answering with a Free-Text Knowledge Graph

作者：Chen Zhao, Chenyan Xiong, Xin Qian and Jordan Boyd-Graber

摘要：我們介紹了Delft，一個事實問答系統，它將知識圖問答方法的細微和深度與更廣泛的free-文本結合在一起。Delft從Wikipedia構建了一個自由文本知識圖，以實體為節點和句子，其中實體同時出現做為邊。對于每個問題，Delft使用文本句子作為邊，找到將問題實體節點鏈接到候選對象的子圖，創建了密集且覆蓋率高的語義圖。一種新穎的圖神經網絡在free-文本圖上進行推理-通過沿邊句子的信息組合節點上的證據-以選擇最終答案。在三個問答數據集上的實驗表明，Delft能夠比基于機器閱讀的模型、基于BERT的答案排序和記憶網絡更好地回答實體豐富的問題。Delft的優勢既來自于其free-文本知識圖譜的高覆蓋率--是DBpedia關系的兩倍多--也來自于新穎的圖神經網絡，它基于豐富而嘈雜的free-文本證據進行推理。

網址：

3. Dynamic Graph Convolutional Networks for Entity Linking

作者：Junshuang Wu, Richong Zhang, Yongyi Mao, Hongyu Guo, Masoumeh Soflaei and Jinpeng Huai

摘要：實體鏈接將文檔中提及的命名實體映射到給定知識圖中的合適的實體，已被證明能夠從基于圖卷積網絡(GCN)對實體相關性建模中獲得顯著好處。然而，現有的GCN實體鏈接模型沒有考慮到，一組實體的結構化圖不僅依賴于給定文檔的上下文信息，而且在GCN的不同聚合層上自適應地變化，導致在捕捉實體之間的結構信息方面存在不足。在本文中，我們提出了一種動態的GCN體系結構來有效地應對這一挑戰。模型中的圖結構是在訓練過程中動態計算和修改的。通過聚合動態鏈接節點的知識，我們的GCN模型可以集中識別文檔和知識圖之間的實體映射，并有效地捕捉整個文檔中各個實體提及（ mentions）之間的主題一致性。在基準實體連接數據集上的實證研究證實了我們提出的策略的優越性能和動態圖結構的好處。

網址：

4. High Quality Candidate Generation and Sequential Graph Attention Network for Entity Linking

作者：Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang

摘要：實體鏈接(EL)是將文本中提及的內容映射到知識庫(KB)中相應實體的任務。這項任務通常包括候選生成(CG)和實體消歧(ED)兩個階段。目前基于神經網絡模型的EL系統取得了較好的性能，但仍然面臨著兩個挑戰：(1)以往的研究在評估模型時沒有考慮候選實體之間的差異。事實上，候選集的質量(特別是黃金召回)對EL結果有影響。因此，如何提候選的素質需要引起更多的關注。(Ii)為了利用提及實體之間的主題一致性，提出了許多聚集ED的圖和序列模型。然而，基于圖的模型對所有候選實體一視同仁，這可能會引入大量的噪聲信息。相反，序列模型只能觀察先前引用的實體，而忽略了當前提及的實體與其后續實體之間的相關性。針對第一個問題，我們提出了一種基于多策略的CG方法來生成高召回率的候選集。對于第二個問題，我們設計了一個序列圖注意力網絡(SeqGat)，它結合了圖和序列方法的優點。在我們的模型中，提及（ mentions）是按順序處理的。在當前提到的情況下，SeqGAT對其先前引用的實體和后續實體進行動態編碼，并為這些實體分配不同的重要性。這樣既充分利用了主題的一致性，又減少了噪聲干擾。我們在不同類型的數據集上進行了實驗，并在開放的評測平臺上與以前的EL系統進行了比較。比較結果表明，與現有的方法相比，我們的模型有了很大的改進。

網址：

5. Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning

作者：Gaole He, Junyi Li, Wayne Xin Zhao, Peiju Liu and Ji-Rong Wen

摘要：知識圖補全(KGC)任務旨在自動推斷知識圖(KG)中缺失的事實信息。在本文中，我們采取了一個新的視角，旨在利用豐富的用戶-項目交互數據(簡稱用戶交互數據)來改進KGC任務。我們的工作靈感來自于觀察到許多KG實體對應于應用系統中的在線項目。然而，這兩種數據源的固有特性有很大的不同，使用簡單的融合策略很可能會損害原有的性能。為了應對這一挑戰，我們提出了一種新的對抗性學習方法，通過利用用戶交互數據來執行KGC任務。我們的生成器是從用戶交互數據中分離出來的，用來提高鑒別器的性能。鑒別器將從用戶交互數據中學習到的有用信息作為輸入，并逐步增強評估能力，以識別生成器生成的假樣本。為了發現用戶的隱含實體偏好，設計了一種基于圖神經網絡的協同學習算法，并與鑒別器進行聯合優化。這種方法有效地緩解了KGC任務的數據異構性和語義復雜性問題。在三個真實世界數據集上的廣泛實驗已經證明了我們在KGC任務上的方法的有效性。

網址：

題目： Composition-Based Multi-Relational Graph Convolutional Networks

摘要： 圖卷積網絡(GCNs)最近被證明在對圖結構數據建模方面是非常成功的。然而，主要的重點是處理簡單的無向圖。多關系圖是一種更為普遍和流行的圖，其中每條邊都有一個與之相關的標簽和方向。現有的大多數處理此類圖的方法都存在參數過多的問題，并且僅限于學習節點的表示形式。在本文中，我們提出了一種新的圖卷積框架COMP-GCN，它將節點和關系共同嵌入到一個關系圖中。COMP-GCN利用知識圖譜嵌入技術中的各種實體關系組合操作，并根據關系的數量進行擴展。它還概括了幾種現有的多關系GCN方法。我們評估了我們提出的方法在多個任務，如節點分類，鏈接預測，和圖分類，并取得了明顯的結果。

語言模型的預訓練已經被證明能夠獲取大量的世界知識，這對于NLP任務(如回答問題)是至關重要的。然而，這些知識隱式地存儲在神經網絡的參數中，需要更大的網絡來覆蓋更多的事實。

為了以更模塊化和可解釋性的方式捕獲知識，我們在語言模型前訓練中增加了一個潛在的知識檢索器，它允許模型從一個大型語料庫(如Wikipedia)中檢索和處理文檔，這些語料庫在前訓練、微調和推理期間使用。我們第一次展示了如何以一種無監督的方式預先訓練這種知識檢索器，

使用掩碼語言建模作為學習信號，并通過一個考慮數百萬文檔的檢索步驟進行反向傳播。

通過對具有挑戰性的開放領域問題回答(Open-QA)任務進行微調，我們證明了增強語言模型預訓練(REALM)的有效性。我們比較了三種流行的開放qa基準上的最先進的顯式和隱式知識存儲模型，發現我們的性能顯著優于所有以前的方法(4-16%的絕對準確性)，同時還提供了定性的好處，如可解釋性和模塊化。

地址：

//kentonl.com/pub/gltpc.2020.pdf

簡介：

馬爾可夫邏輯網絡（MLN）將邏輯規則和概率圖形模型完美地結合在一起，可用于解決許多知識圖問題。但是，MLN的推理需要大量的計算，這使得MLN的工業規模應用非常困難。 近年來，圖神經網絡（GNN）已經成為解決大規模圖問題的有效工具。 盡管如此，GNN并未將先前的邏輯規則明確納入模型，并且可能需要許多帶有標簽的示例來完成目標任務。 在本文中，我們探索了MLN和GNN的組合，并使用圖神經網絡進行MLN的變異推理。 我們提出了一個名為ExpressGNN的GNN變體，該變體在表示能力和模型的簡單性之間取得了很好的平衡。 我們在幾個基準數據集上進行的廣泛實驗表明，ExpressGNN可以帶來有效而高效的概率邏輯推理。

摘要：文本蘊涵是自然語言處理的基本任務。大多數解決這個問題的方法只使用訓練數據中的文本內容。一些方法已經表明，來自外部知識來源(如知識圖譜)的信息除了文本內容之外，還可以通過提供對任務至關重要的背景知識來增加價值。然而，所提出的模型并沒有充分利用通常大而有噪聲的公斤中所包含的信息，而且也不清楚如何有效地編碼這些信息以使其對加密有用。我們提出了一種方法，通過(1)使用個性化的PageR- ank生成低噪聲的上下文子圖和(2)使用圖卷積網絡捕獲KG結構對這些子圖進行編碼，用KGs的信息來補充基于文本的嵌入模型。我們的技術擴展了文本模型挖掘知識結構和語義信息的能力。我們在多個文本蘊涵數據集上評估了我們的方法，并表明使用外部知識有助于提高預測準確性。這一點在極具挑戰性的BreakingNLI數據集中表現得尤為明顯，我們看到在多個基于文本的entailment模型上有5-20%的絕對改進。