亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Adaptive Graph Encoder for Attributed Graph Embedding

簡介： 從圖拓撲和節點特征中學習向量表示的屬性圖嵌入是圖分析的一項艱巨任務。近年來，基于圖卷積網絡（GCN）的方法在此任務上取得了很大的進步。但是，現有的基于GCN的方法具有三個主要缺點。首先，我們的實驗表明圖卷積濾波器和權重矩陣的糾纏將損害性能和魯棒性。其次，我們證明了這些方法中的圖卷積濾波器是廣義拉普拉斯平滑濾波器的特例，但它們并未保留最佳的低通特性。最后，現有算法的訓練目標通常是恢復與現實應用并不總是一致的鄰接矩陣或特征矩陣，為了解決這些問題，我們提出了一種新型的屬性圖嵌入框架Adaptive Graph Encoder（AGE）。 AGE由兩個模塊組成：（1）為了更好地減輕節點特征中的高頻噪聲，AGE首先應用了精心設計的拉普拉斯平滑濾波器。 （2）AGE采用了自適應編碼器，該編碼器迭代地增強了濾波后的特征，以實現更好的節點嵌入。我們使用四個公共基準數據集進行實驗，以驗證AGE在節點群集和鏈接預測任務上的作用。實驗結果表明，AGE在這些任務上始終優于最新的圖形嵌入方法。

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期KDD官網公布了接受論文列表，為此，上個月專知小編為大家整理了圖神經網絡相關的論文，這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡（GNN）相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣

KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers

KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、

1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction

作者：Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial

摘要：跨平臺的賬號匹配在社交網絡分析中發揮著重要作用，并且有利于廣泛的應用。然而，現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型)，要么只關注網絡拓撲結構，存在數據不足的問題，這使得研究這個方向變得很困難。為了解決這一問題，我們提出了一種新的框架，該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題，并且不一定依賴于用戶的人口統計信息。此外，為了使所提出的方法能夠處理大規模社交網絡，我們提出了一種兩階段的空間協調機制，在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明，該方法的性能比現有的模型有較大幅度的提高。

網址：

2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者：Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang

摘要：圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而，關于圖表示學習的現有技術集中于領域特定的問題，并為每個圖訓練專用模型，這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發，我們設計了圖對比編碼(Graph Contrastive Coding，GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷，并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明，GCC在一組不同的數據集上進行預訓練，可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明，預訓練和微調范式對圖表示學習具有巨大的潛力。

網址：

代碼鏈接：

3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

作者：Zongyue Qin, Yunsheng Bai, Yizhou Sun

摘要：圖相似搜索的目的是根據給定的鄰近度，即圖編輯距離(GED)，在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架，該框架首先對非看好的圖進行剪枝，然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫，但由于其精確的剪枝策略，無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希（semantic hashing）在圖像和文檔檢索中的成功應用的啟發，我們提出了一種新的基于圖神經網絡(GNN)的語義哈希，即GHash，用于近似剪枝。我們首先用真實的GED結果訓練GNN，以便它學習生成嵌入和哈希碼，以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時，我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象，并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略，與現有方法相比，我們的方法在保持高召回率的同時，實現了顯著更快的查詢時間。實驗表明，該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍，這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。

網址：

4. Graph Structural-topic Neural Network

作者：Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin

摘要：圖卷積網絡(GCNS)通過有效地收集節點的局部特征，取得了巨大的成功。然而，GCNS通常更多地關注節點特征，而較少關注鄰域內的圖結構，特別是高階結構模式。然而，這種局部結構模式被顯示為許多領域中的節點屬性。此外，由于網絡很復雜，每個節點的鄰域由各種節點和結構模式的混合組成，不只是單個模式，所有這些模式上的分布都很重要。相應地，在本文中，我們提出了圖結構主題神經網絡，簡稱GraphSTONE，這是一種利用圖的主題模型的GCN模型，使得結構主題廣泛地從概率的角度捕捉指示性的圖結構，而不僅僅是幾個結構。具體地說，我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體，首先選擇重要的結構模式)在圖上建立主題模型，以降低復雜性并高效地生成結構主題。此外，我們設計了多視圖GCNS來統一節點特征和結構主題特征，并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估，我們的模型表現出良好的性能、高效率和清晰的可解釋性。

網址：

代碼鏈接：

5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

作者：Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi

摘要：抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而，現有的抽樣方法大多基于圖的結構信息，忽略了最優化的動態性，導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯，它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差，指出由于經驗風險的復合結構，任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差，這兩種方差都必須減小，才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略，利用(近似)梯度信息自適應地對方差最小的節點進行采樣，并顯式地減小了嵌入近似引入的方差。理論和實驗表明，與現有方法相比，該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。

網址：

題目： Hyperbolic Heterogeneous Information Network Embedding

摘要： 異構信息網絡嵌入(Heterogeneous information network, HIN)以將其投射到低維空間為目標，已經引起了相當多的研究關注。現有的HIN嵌入方法主要是在歐幾里得空間中保留內部網絡結構和語義相關性。然而，一個基本的問題是歐幾里得空間是否是HIN的合適的或內在的等距空間?。近年來的研究認為，復雜網絡的底層可能具有雙曲幾何，因為底層的雙曲幾何可以自然地反映復雜網絡的一些特性，如層次結構和冪律結構。在本文中，我們首次嘗試將HIN嵌入到雙曲空間中。我們分析了兩個實際HIN的結構，發現HIN中也存在冪律分布等性質。為此，我們提出了一種新的雙曲異構信息網絡嵌入模型。具體地說，為了捕獲節點之間的結構和語義關系，我們采用元路徑引導隨機游走對每個節點的序列進行采樣。然后利用雙曲空間中的距離作為近似度量。雙曲距離能滿足三角不等式，并能很好地保持HIN中的傳遞性。我們的模型使節點及其鄰域具有小的雙曲線距離。進一步推導出有效的優化策略，迭代更新雙曲嵌入。實驗結果表明，該模型不僅在網絡重構和鏈路預測任務上具有優越的性能，而且在HIN中通過可視化顯示了捕獲層次結構的能力。

題目： Heterogeneous Graph Attention Network

摘要： 圖神經網絡作為一種基于深度學習的功能強大的圖表示技術，表現出了優越的性能，引起了廣泛的研究興趣。然而，對于包含不同節點和鏈接類型的異構圖，圖神經網絡還沒有充分考慮到這一點。異構性和豐富的語義信息給異構圖的圖神經網絡設計帶來了很大的挑戰。最近，深度學習領域最令人興奮的進展之一是注意力機制，其巨大的潛力在各個領域都得到了很好的展示。本文首先提出了一種基于分層關注的異構圖神經網絡，包括節點級關注和語義級關注。具體來說，節點級注意的目的是學習節點與其基于元路徑的鄰居之間的重要性，而語義級注意能夠學習不同元路徑之間的重要性。通過對節點級和語義級注意的學習，可以充分考慮節點和元路徑的重要性。然后將基于元路徑的鄰域的特征分層聚合，生成節點嵌入。在三個真實世界的異構圖上的廣泛實驗結果不僅顯示了我們所提出的模型的優越性能，而且也顯示了它對圖分析的潛在良好的可解釋性。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。這周會議已經召開，會議論文集已經公開，大家可以自己查看感興趣的論文，專知小編繼續整理WWW 2020 系列論文，這期小編為大家奉上的是WWW 2020五篇知識圖譜+圖神經網絡（KG+GNN）相關論文，供大家參考！——多關系實體對齊、問答推理、動態圖實體鏈接、序列實體鏈接、知識圖譜補全。

WWW 2020 會議論文集： //dl.acm.org/doi/proceedings/10.1145/3366423

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Collective Multi-type Entity Alignment Between Knowledge Graphs

作者：Qi Zhu, Hao Wei, Bunyamin Sisman, Da Zheng, Christos Faloutsos, Xin Luna Dong and Jiawei Han

摘要：知識圖(如Freebase、Yago)是表示各類實體之間豐富真實信息的多關系圖。實體對齊是實現多源知識圖集成的關鍵步驟。它旨在識別涉及同一真實世界實體的不同知識圖中的實體。然而，現有的實體對齊系統忽略了不同知識圖的稀疏性，不能通過單一模型對多類型實體進行對齊。在本文中，我們提出了一種用于多類型實體對齊的聯合圖神經網絡（Collective Graph neural network），稱為CG-MuAlign。與以前的工作不同，CG-MuAlign聯合對齊多種類型的實體，共同利用鄰域信息并將其推廣到未標記的實體類型。具體地說，我們提出了一種新的集中聚集函數1)通過交叉圖和自注意力來緩解知識圖的不完全性，2）通過小批量訓練范例和有效的鄰域抽樣策略，有效地提高了可伸縮性。我們在具有數百萬個實體的真實知識圖上進行了實驗，觀察到了比現有方法更優越的性能。此外，我們的方法的運行時間比目前最先進的深度學習方法要少得多。

網址：

2. Complex Factoid Question Answering with a Free-Text Knowledge Graph

作者：Chen Zhao, Chenyan Xiong, Xin Qian and Jordan Boyd-Graber

摘要：我們介紹了Delft，一個事實問答系統，它將知識圖問答方法的細微和深度與更廣泛的free-文本結合在一起。Delft從Wikipedia構建了一個自由文本知識圖，以實體為節點和句子，其中實體同時出現做為邊。對于每個問題，Delft使用文本句子作為邊，找到將問題實體節點鏈接到候選對象的子圖，創建了密集且覆蓋率高的語義圖。一種新穎的圖神經網絡在free-文本圖上進行推理-通過沿邊句子的信息組合節點上的證據-以選擇最終答案。在三個問答數據集上的實驗表明，Delft能夠比基于機器閱讀的模型、基于BERT的答案排序和記憶網絡更好地回答實體豐富的問題。Delft的優勢既來自于其free-文本知識圖譜的高覆蓋率--是DBpedia關系的兩倍多--也來自于新穎的圖神經網絡，它基于豐富而嘈雜的free-文本證據進行推理。

網址：

3. Dynamic Graph Convolutional Networks for Entity Linking

作者：Junshuang Wu, Richong Zhang, Yongyi Mao, Hongyu Guo, Masoumeh Soflaei and Jinpeng Huai

摘要：實體鏈接將文檔中提及的命名實體映射到給定知識圖中的合適的實體，已被證明能夠從基于圖卷積網絡(GCN)對實體相關性建模中獲得顯著好處。然而，現有的GCN實體鏈接模型沒有考慮到，一組實體的結構化圖不僅依賴于給定文檔的上下文信息，而且在GCN的不同聚合層上自適應地變化，導致在捕捉實體之間的結構信息方面存在不足。在本文中，我們提出了一種動態的GCN體系結構來有效地應對這一挑戰。模型中的圖結構是在訓練過程中動態計算和修改的。通過聚合動態鏈接節點的知識，我們的GCN模型可以集中識別文檔和知識圖之間的實體映射，并有效地捕捉整個文檔中各個實體提及（ mentions）之間的主題一致性。在基準實體連接數據集上的實證研究證實了我們提出的策略的優越性能和動態圖結構的好處。

網址：

4. High Quality Candidate Generation and Sequential Graph Attention Network for Entity Linking

作者：Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang

摘要：實體鏈接(EL)是將文本中提及的內容映射到知識庫(KB)中相應實體的任務。這項任務通常包括候選生成(CG)和實體消歧(ED)兩個階段。目前基于神經網絡模型的EL系統取得了較好的性能，但仍然面臨著兩個挑戰：(1)以往的研究在評估模型時沒有考慮候選實體之間的差異。事實上，候選集的質量(特別是黃金召回)對EL結果有影響。因此，如何提候選的素質需要引起更多的關注。(Ii)為了利用提及實體之間的主題一致性，提出了許多聚集ED的圖和序列模型。然而，基于圖的模型對所有候選實體一視同仁，這可能會引入大量的噪聲信息。相反，序列模型只能觀察先前引用的實體，而忽略了當前提及的實體與其后續實體之間的相關性。針對第一個問題，我們提出了一種基于多策略的CG方法來生成高召回率的候選集。對于第二個問題，我們設計了一個序列圖注意力網絡(SeqGat)，它結合了圖和序列方法的優點。在我們的模型中，提及（ mentions）是按順序處理的。在當前提到的情況下，SeqGAT對其先前引用的實體和后續實體進行動態編碼，并為這些實體分配不同的重要性。這樣既充分利用了主題的一致性，又減少了噪聲干擾。我們在不同類型的數據集上進行了實驗，并在開放的評測平臺上與以前的EL系統進行了比較。比較結果表明，與現有的方法相比，我們的模型有了很大的改進。

網址：

5. Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning

作者：Gaole He, Junyi Li, Wayne Xin Zhao, Peiju Liu and Ji-Rong Wen

摘要：知識圖補全(KGC)任務旨在自動推斷知識圖(KG)中缺失的事實信息。在本文中，我們采取了一個新的視角，旨在利用豐富的用戶-項目交互數據(簡稱用戶交互數據)來改進KGC任務。我們的工作靈感來自于觀察到許多KG實體對應于應用系統中的在線項目。然而，這兩種數據源的固有特性有很大的不同，使用簡單的融合策略很可能會損害原有的性能。為了應對這一挑戰，我們提出了一種新的對抗性學習方法，通過利用用戶交互數據來執行KGC任務。我們的生成器是從用戶交互數據中分離出來的，用來提高鑒別器的性能。鑒別器將從用戶交互數據中學習到的有用信息作為輸入，并逐步增強評估能力，以識別生成器生成的假樣本。為了發現用戶的隱含實體偏好，設計了一種基于圖神經網絡的協同學習算法，并與鑒別器進行聯合優化。這種方法有效地緩解了KGC任務的數據異構性和語義復雜性問題。在三個真實世界數據集上的廣泛實驗已經證明了我們在KGC任務上的方法的有效性。

網址：

摘要 近年來，使用結構化數據建模的圖神經網絡(GNNs)取得了巨大的成功。然而，大多數的GNN都是針對同構圖設計的，在同構圖中，所有的節點和邊都屬于同一種類型，使得它們無法表示異構結構。在這篇論文中，我們提出了一種異構圖 Transformer(HGT)結構來對web級的異構圖進行建模。為了對異構性進行建模，我們設計了節點類型和邊類型的相關參數來描述每個邊上的異構注意力程度，從而使HGT能夠維護不同類型節點和邊的特定表示。為了處理動態異構圖，我們在HGT中引入了相對時間編碼技術，該技術能夠捕獲具有任意持續時間的動態結構依賴關系。針對網絡規模圖數據的處理問題，設計了高效、可擴展的小批量圖數據采樣算法HGSampling。在擁有1.79億個節點和20億個邊的開放學術圖上進行的大量實驗表明，所提出的HGT模型在各種下游任務上的性能始終比所有最先進的GNN基線高9-21%。

關鍵詞：圖神經網絡；異構信息網絡；表示學習；圖嵌入；圖注意力

介紹

異構圖通常對復雜的系統進行抽象和建模，其中不同類型的對象以各種方式相互交互。此類系統的一些常見實例包括學術圖、Facebook實體圖、LinkedIn經濟圖，以及廣泛的物聯網網絡。例如，圖1中的開放學術圖(OAG)[28]包含五種類型的節點:論文、作者、機構、場所(期刊、會議或預印本)和字段，以及它們之間不同類型的關系。

在過去的十年中，人們對異構圖[17]的挖掘進行了大量的研究。其中一個經典的范例就是定義和使用元路徑來對異類結構進行建模，例如PathSim[18]和變元ath2vec[3]。最近，鑒于圖神經網絡(GNNs)的成功[7,9,22]，[14,23,26,27]嘗試采用GNNs來學習異構網絡。然而，這些工作面臨著幾個問題:首先，它們大多涉及到為每種類型的異構圖設計元路徑，這需要特定的領域知識;其次，它們要么簡單地假設不同類型的節點/邊共享相同的特征和表示空間，要么為節點類型或單獨的邊類型保留不同的非共享權值，使它們不足以捕獲異類圖的屬性;三是大多忽略了每一個(異構)圖的動態性;最后，它們固有的設計和實現使得它們無法對web規模的異構圖進行建模。

以OAG為例:首先，OAG中的節點和邊可能具有不同的特征分布，如論文具有文本特征，而機構可能具有來自附屬學者的特征，共同作者明顯不同于引文鏈接;OAG一直在不斷發展，例如:1)出版物的數量每12年翻一倍[4];2)KDD會議在1990年代更多地與數據庫相關，而近年來更多地與機器學習相關;最后，OAG包含數億個節點和數十億個關系，使得現有的異構GNN無法擴展來處理它。

針對這些限制和挑戰，我們建議研究異構圖神經網絡，其目標是維護節點和邊類型依賴表示、捕獲網絡動態、避免自定義元路徑和可擴展到web級圖。在這項工作中，我們提出了異構圖 Transformer(HGT)架構來處理所有這些問題。

為了處理圖的異構性，我們引入了節點類型和邊類型依賴注意力機制。HGT中的相互注意不是對每一個類型邊參數化，而是根據其元關系三元組e=(s，t)，即 s為節點類型，s與t之間的e的邊類型，t的節點類型。圖1展示了異構學術圖的元關系。具體來說，我們使用這些元關系來對權重矩陣參數化，以計算每條邊上的注意力。因此，允許不同類型的節點和邊維護其特定的表示空間。同時，不同類型的連接節點仍然可以交互、傳遞和聚合消息，而不受其分布差異的限制。由于其架構的性質，HGT可以通過跨層傳遞消息來整合來自不同類型的高階鄰居的信息，這可以看作是軟元路徑。也就是說，即使HGT只將其單跳邊作為輸入，而不需要手動設計元路徑，所提出的注意力機制也可以自動、隱式地學習和提取對不同下游任務重要的元路徑。

為了處理圖數據的動態特性，我們提出了相對時間編碼(RTE)策略來增強HGT。我們不打算將輸入圖分割成不同的時間戳，而是建議將發生在不同時間的所有邊作為一個整體進行維護，并設計RTE策略來對任何持續時間長度的結構性時間依賴關系進行建模，甚至包括不可見的和未來的時間戳。通過端到端訓練，RTE使HGT能夠自動學習異構圖的時間依賴性和演化。

為了處理網絡規模的圖形數據，我們設計了第一個用于小批量GNN訓練的異構子圖采樣算法HGSampling。它的主要思想是樣本異構子圖中不同類型的節點與類似的比例,由于直接使用現有的(均勻)GNN抽樣方法,如GraphSage [7], FastGCN[1],和LADIES[29],結果在高度不平衡的關于節點和邊緣的類型。此外，它還被設計成保持采樣子圖的密度以最小化信息的丟失。通過HGSampling，所有的GNN模型，包括我們提出的HGT，都可以在任意大小的異構圖上進行訓練和推斷。

我們證明了所提出的異構圖Transformer在網絡規模開放學術圖上的有效性和效率，該開放學術圖由1.79億個節點和20億個邊組成，時間跨度從1900年到2019年，這是迄今為止在異構圖上進行的規模最大、跨度最長的表示學習。此外，我們還檢查領域特定的圖表:計算機科學和醫學學術圖表。實驗結果表明，與最先進的GNNs和專用的異構模型相比，在下游任務中HGT可以顯著提高9-21%。我們進一步進行了案例研究，表明了所提出的方法確實能夠自動捕獲不同任務的隱式元路徑的重要性。

 大量真實世界的圖或網絡本質上是異構的，涉及節點類型和關系類型的多樣性。異構圖嵌入是將異構圖的豐富結構和語義信息嵌入到低維節點表示中。現有的模型通常定義多個metapaths在異構圖捕捉復合關系和指導鄰居選擇。但是，這些模型要么忽略節點內容特性，要么沿著元路徑丟棄中間節點，要么只考慮一個元路徑。為了解決這三個局限性，我們提出了一種新的集合圖神經網絡模型來提高最終性能。具體來說，MAGNN使用了三個主要組件，即，節點內容轉換封裝輸入節點屬性，元內聚合合并中間語義節點，元間聚合合并來自多個元的消息。在三個真實世界的異構圖數據集上進行了大量的節點分類、節點聚類和鏈路預測實驗，結果表明MAGNN的預測結果比最先進的基線更準確。