亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要： 網絡是一系列節點和邊的集合,通常表示成一個包含節點和邊的圖。許多復雜系統都以網絡的形式來表示,如社交網絡、生物網絡和信息網絡。為了使網絡數據的處理變得簡單有效,針對網絡中節點的表示學習成為了近年來的研究熱點。網絡表示學習旨在為網絡中的每個節點學習一個低維稠密的表示向量,進而可將得到的向量表示運用到常見的網絡分析任務中,如節點聚類、節點分類和鏈路預測等。然而,絕大多數真實網絡節點都有豐富的屬性信息,如社交網絡中的用戶資料和引文網絡中的文本內容。網絡的屬性信息對網絡表示具有重要的作用,當網絡高度稀疏時,網絡的屬性信息是網絡表示重要的輔助信息,有助于更好地學習網絡表示。傳統的鄰接矩陣僅僅表示了邊的信息,而無法加入節點的屬性信息。因此,網絡表示不僅要保存網絡的結構信息,還要保存網絡的屬性信息。此外,大多數真實世界網絡都是動態變化的,這種變化包括網絡節點的增加和減少,以及網絡邊的新建和消失。同時,與網絡結構變化相似,網絡中的屬性也會隨著時間的推移發生變化。隨著機器學習技術的發展,針對網絡表示學習問題的研究成果層出不窮,文中將針對近年來的網絡表示學習方法進行系統性的介紹和總結。

//www.jsjkx.com/CN/10.11896/jsjkx.190300004

本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是，構造了結構圖，特征圖(feature graph)，以及兩者的組合來提取特定的和通用的嵌入，并使用注意機制來學習嵌入的自適應重要性權重。實驗發現，AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息，對應不同的參數取值。 //arxiv.org/abs/2007.02265

摘要：圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而，最近的一些研究提出了一個問題，即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中，我們首先提出一個實驗研究。令人驚訝的是，我們的實驗結果清楚地表明，當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的，甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息，這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷，設計出一種新型的GCNs，既能保留現有GCNs的優勢，又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題，我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入，并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明，AM-GCN從節點特征和拓撲結構中提取了最多的相關信息，顯著提高了分類精度。

題目： Hyperbolic Heterogeneous Information Network Embedding

摘要： 異構信息網絡嵌入(Heterogeneous information network, HIN)以將其投射到低維空間為目標，已經引起了相當多的研究關注。現有的HIN嵌入方法主要是在歐幾里得空間中保留內部網絡結構和語義相關性。然而，一個基本的問題是歐幾里得空間是否是HIN的合適的或內在的等距空間?。近年來的研究認為，復雜網絡的底層可能具有雙曲幾何，因為底層的雙曲幾何可以自然地反映復雜網絡的一些特性，如層次結構和冪律結構。在本文中，我們首次嘗試將HIN嵌入到雙曲空間中。我們分析了兩個實際HIN的結構，發現HIN中也存在冪律分布等性質。為此，我們提出了一種新的雙曲異構信息網絡嵌入模型。具體地說，為了捕獲節點之間的結構和語義關系，我們采用元路徑引導隨機游走對每個節點的序列進行采樣。然后利用雙曲空間中的距離作為近似度量。雙曲距離能滿足三角不等式，并能很好地保持HIN中的傳遞性。我們的模型使節點及其鄰域具有小的雙曲線距離。進一步推導出有效的優化策略，迭代更新雙曲嵌入。實驗結果表明，該模型不僅在網絡重構和鏈路預測任務上具有優越的性能，而且在HIN中通過可視化顯示了捕獲層次結構的能力。

圖神經網絡通過聚合和結合鄰居信息來學習節點特征，在許多圖的任務中取得了良好的性能。然而，GNN大多被視為黑盒，缺乏人類可理解的解釋。因此，如果不能解釋GNN模型，就不能完全信任它們并在某些應用程序域中使用它們。在這項工作中，我們提出了一種新的方法，稱為XGNN，在模型級別上解釋GNN。我們的方法可以為GNNs的工作方式提供高層次的見解和一般性的理解。特別地，我們提出通過訓練一個圖生成器來解釋GNN，使生成的圖模式最大化模型的某種預測。我們將圖形生成表述為一個強化學習任務，其中對于每一步，圖形生成器預測如何向當前圖形中添加一條邊。基于訓練后的GNN信息，采用策略梯度方法對圖生成器進行訓練。此外，我們還加入了一些圖規則，以促使生成的圖是有效的。在合成和真實數據集上的實驗結果表明，我們提出的方法有助于理解和驗證訓練過的GNN。此外，我們的實驗結果表明，所生成的圖可以為如何改進訓練的神經網絡提供指導。

概述

圖神經網絡(GNNs)在不同的圖任務(如節點分類[11,37]、圖分類[39,47]和鏈接預測[46])上顯示了其有效性并取得了最新的性能。此外，對不同的圖運算進行了大量的研究，如圖卷積[13,16,19]、圖池化[20,44]、圖注意力[10,36,37]。由于圖數據廣泛存在于不同的真實世界應用程序中，如社交網絡、化學和生物學，GNN變得越來越重要和有用。盡管它們的性能很好，GNNs也有和其他深度學習模型一樣的缺點;也就是說，它們通常被視為黑盒子，缺乏人類理解的解釋。如果不理解和驗證內部工作機制，就不能完全信任GNNs，這就阻礙了它們在涉及公平、隱私和安全的關鍵應用程序中的使用[7,40]。例如，我們可以訓練一個GNN模型來預測藥物的效果，我們將每種藥物視為一個分子圖。如果不探索其工作機理，我們就不知道分子圖中是什么化學基團導致了這些預測。那么我們就無法驗證GNN模型的規則是否與真實世界的化學規則一致，因此我們不能完全信任GNN模型。這就增加了開發GNN解釋技術的需要。

最近，人們提出了幾種解釋技術來解釋圖像和文本數據的深度學習模型。根據所提供的解釋的類型，現有的技術可以歸類為實例級[5,9,29,31,32,43,45,48]或模型級[8,24,25]方法。實例級解釋通過模型確定輸入中的重要特征或該輸入的決策過程來解釋對給定輸入示例的預測。這類常用技術包括基于梯度的方法[31,32,43]、中間特征圖可視化[29,48]和基于遮擋的方法[5,9,45]。與提供依賴于輸入的解釋不同，模型級別的解釋旨在通過研究哪些輸入模式可以導致某種預測來解釋模型的一般行為，而不考慮任何特定的輸入示例。輸入優化[8,24 - 26]是最常用的模型級解釋方法。這兩類解釋方法旨在從不同的角度解釋深層模型。由于解釋的最終目的是驗證和理解深度模型，我們需要手動檢查解釋結果，并得出深度模型是否按我們預期的方式工作的結論。對于示例級方法，我們可能需要探究大量示例的解釋，然后才能相信模型。然而，這需要時間和專家的廣泛努力。對于模型級方法，其解釋更加普遍和高級，因此需要較少的人力監督。然而，與實例級的解釋相比，模型級方法的解釋不那么精確。總的來說，模型級和實例級方法對于解釋和理解深度模型都很重要。

在圖數據上解釋深度學習模型變得越來越重要，但仍缺乏探索。就我們所知，目前還沒有在模型級解釋GNN的研究。現有研究[4,40]僅對圖模型提供了實例層次的解釋。作為對現有工作的徹底背離，我們提出了一種新的解釋技術，稱為XGNN，用于在模型級別上解釋深層圖模型。我們提出研究什么樣的圖模式可以最大化某個預測。具體地說，我們提出訓練一個圖生成器，以便生成的圖模式可以用來解釋深度圖模型。我們把它表示為一個強化學習問題，在每一步，圖生成器預測如何添加一條邊到給定的圖和形成一個新的圖。然后根據已訓練圖模型的反饋，使用策略梯度[35]對生成器進行訓練。我們還加入了一些圖規則，以鼓勵生成的圖是有效的。注意，XGNN框架中的圖生成部分可以推廣到任何合適的圖生成方法，這些方法由手邊的數據集和要解釋的GNN決定。最后，我們在真實數據集和合成數據集上訓練了GNN模型，取得了良好的性能。然后我們使用我們提出的XGNN來解釋這些訓練過的模型。實驗結果表明，我們提出的XGNN可以找到所需的圖模式，并解釋了這些模型。通過生成的圖形模式，我們可以驗證、理解甚至改進經過訓練的GNN模型。

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：

【導讀】異構網絡表示學習Heterogeneous Network Representation Learning是當前自數據挖掘以及其他應用的研究熱點，在眾多任務中具有重要的應用。近日，UIUC韓家煒等學者發布了異構網絡表示學習的綜述大全，共15頁pdf115篇參考文獻，從背景知識到當前代表性HNE模型和應用研究挑戰等，是最新可參考絕好的異構網絡表示學習模型的文獻。

由于現實世界中的對象及其交互通常是多模態和多類型的，所以異構網絡被廣泛地用作傳統同構網絡(圖)的一個更強大、更現實和更通用的超類。與此同時，表示學習(representation learning，又稱嵌入)最近得到了深入的研究，并被證明對各種網絡挖掘和分析任務都是有效的。由于已有大量的異構網絡嵌入(HNE)算法，但沒有專門的調研綜述，作為這項工作的第一個貢獻，我們率先提供了一個統一的范式，對各種現有的HNE算法的優點進行系統的分類和分析。此外，現有的HNE算法雖然大多被認為是通用的，但通常是在不同的數據集上進行評估。由于HNE在應用上的天然優勢，這種間接的比較在很大程度上阻礙了任務性能的改善，特別是考慮到從真實世界的應用數據構建異構網絡的各種可能的方法。因此，作為第二項貢獻，我們創建了四個基準數據集，這些數據集具有不同來源的尺度、結構、屬性/標簽可用性等不同屬性，以全面評估HNE算法。作為第三個貢獻，我們對十種流行的HNE算法的實現進行了細致的重構和修改，并創建了友好的接口，并在多個任務和實驗設置上對它們進行了全方位的比較。

1.概述

網絡和圖形構成了一種規范的、普遍存在的交互對象建模范式，已經引起了各個科學領域的重要研究關注[59、30、24、3、89、87]。然而，現實世界的對象和交互通常是多模態和多類型的(例如，作者、論文、場所和出版物網絡中的術語[69,65];基于位置的社交網絡中的用戶、地點、類別和gps坐標[101,91,94];以及生物醫學網絡中的基因、蛋白質、疾病和物種[38,14])。為了捕獲和利用這種節點和鏈路的異構性，異構網絡被提出并廣泛應用于許多真實的網絡挖掘場景中，如基于元路徑的相似度搜索[70、64、92]、節點分類和聚類[18、20、11]、知識庫補全[68、48、103]和推薦[23、106、31]。

與此同時，目前對圖數據的研究主要集中在表示學習(圖數據嵌入)方面，特別是在神經網絡算法的先行者們展示了前所未有的有效而高效的圖數據挖掘的經驗證據之后[25,4,13]。他們的目標是將圖數據(如節點[49、72、26、77、37、28、9、75]、鏈接[107、1、50、96]和子圖[47、93、97、45])轉換為嵌入空間中的低維分布向量，在嵌入空間中保留圖的拓撲信息(如高階鄰近性[5、76、105、34]和結構[55、102、42、17])。這樣的嵌入向量可以被各種下游的機器學習算法直接執行[58,39,10]。

在異構網絡與圖嵌入的交叉點上，異構網絡嵌入(HNE)近年來也得到了較多的研究關注[8、85、108、16、66、67、27、22、90、35、104、57、52、99、7、98、32、83、95、82、41]。由于HNE的應用優勢，許多算法在不同的應用領域分別被開發出來，如搜索和推薦[23,63,6,89]。此外，由于知識庫(KBs)也屬于異構網絡的一般范疇，許多KB嵌入算法可以與HNE算法相比較[81、3、40、68、88、15、48、79、60]。

不幸的是，不同的HNE算法是在學術界和工業界完全不同的社區開發的。無論是在概念上還是在實驗中，都沒有對其進行系統全面的分析。事實上，由于缺乏基準平臺(有現成的數據集和基線)，研究人員往往傾向于構建自己的數據集，并重新實現一些最流行的(有時是過時的)比較算法，這使得公平的性能評估和明確的改進屬性變得極其困難。

只需考慮圖1中發布數據小例子。較早的HNE算法如metapath2vec [16])是在作者、論文和場所節點類型為(a)的異構網絡上發展起來的，但是可以像(b)那樣用大量的術語和主題作為附加節點來豐富論文，這使得基于隨機游走的淺嵌入算法效果不佳，而傾向于R-GCN[57]這樣的基于鄰域聚合的深度圖神經網絡。此外，還可以進一步加入術語嵌入等節點屬性和研究領域等標簽，使其只適用于半監督歸納學習算法，這可能會帶來更大的偏差[104、82、33、54]。最后，通常很難清楚地將性能收益歸因于技術新穎性和數據調整之間的關系。

在這項工作中，我們首先制定了一個統一而靈活的數學范式，概括了所有的HNE算法，便于理解每個模型的關鍵優點(第2節)。特別地，基于對現有模型(以及可能的未來模型)進行清晰分類和總結的統一分類，我們提出了網絡平滑度的一般目標函數，并將所有現有的模型重新組織成統一的范式，同時突出其獨特的新穎貢獻(第3節)。我們認為該范式將有助于指導未來新型HNE算法的發展，同時促進它們與現有算法的概念對比。

作為第二個貢獻，我們通過詳盡的數據收集、清理、分析和整理(第4節)，特意準備了四個基準的異構網絡數據集，具有規模、結構、屬性/標簽可用性等多種屬性。這些不同的數據集，以及一系列不同的網絡挖掘任務和評估指標，構成了未來HNE算法的系統而全面的基準資源。

作為第三個貢獻，許多現有的HNE算法(包括一些非常流行的算法)要么沒有一個靈活的實現(例如，硬編碼的節點和邊緣類型、固定的元路徑集等)，要么不能擴展到更大的網絡(例如，在訓練期間的高內存需求)，這給新的研究增加了很多負擔(例如，，在正確的重新實現中需要大量的工程工作)。為此，我們選擇了10種流行的HNE算法，在這些算法中，我們仔細地重構和擴展了原始作者的實現，并為我們準備好的數據集的插件輸入應用了額外的接口(第5節)。基于這些易于使用和有效的實現，我們對算法進行了全面的經驗評估，并報告了它們的基準性能。實證結果在提供了與第3節的概念分析相一致的不同模型的優點的同時，也為我們的基準平臺的使用提供了范例，以供今后對HNE的研究參考。

本文的其余部分組織如下。第2節首先介紹我們提出的通用HNE范式。隨后，第3節對我們調查中的代表性模型進行了概念上的分類和分析。然后，我們在第4節中提供了我們準備好的基準數據集，并進行了深入的分析。在第5節中，我們對10種常用的HNE算法進行了系統而全面的實證研究，對HNE的發展現狀進行了評價。第六部分是對未來HNE平臺使用和研究的展望。

異構網絡示例

算法分類

Proximity-Preserving Methods

如前所述，網絡嵌入的一個基本目標是捕獲網絡拓撲信息。這可以通過在節點之間保留不同類型的鄰近性來實現。在HNE中，有兩類主要的接近性保護方法:基于隨機步法的方法(靈感來自DeepWalk[49])和基于一階/二階接近性的方法(靈感來自LINE[72])。

Message-Passing Methods

網絡中的每個節點都可以將屬性信息表示為特征向量xu。消息傳遞方法的目標是通過聚合來自u鄰居的信息來學習基于xu的節點嵌入eu。在最近的研究中，圖神經網絡(GNNs)[37]被廣泛用于促進這種聚合/消息傳遞過程。

Relation-Learning方法

異類網絡中的每條邊都可以看作是一個三元組(u, l, v)，由兩個節點u, v∈v和一個邊緣類型l∈TE(即。，實體和關系，用KG表示)。關系學習方法的目標是學習一個評分函數sl(u, v)，該函數對任意三元組求值并輸出一個標量來度量該三元組的可接受性。這種思想在KB嵌入中被廣泛采用。由于已經有關于KB嵌入算法的調查[81]，我們在這里只討論最流行的方法，并強調它們與HNE的聯系。

基準

未來方向

在這項工作中，我們對各種現有的HNE算法進行了全面的調研，并提供了基準數據集和基線實現，以方便今后在這方面的研究。盡管HNE已經在各種下游任務中表現出了強大的性能，但它仍處于起步階段，面臨著許多尚未解決的挑戰。為了總結這項工作并啟發未來的研究，我們現在簡要地討論一下當前HNE的局限性和幾個可能值得研究的具體方向。

超越同質性。如式(1)所述，目前的HNE算法主要關注網絡同質性作用。由于最近對同構網絡的研究，研究位置和結構嵌入的組合，探索如何將這種設計原則和范式推廣到HNE將是很有趣的。特別是在異構網絡中，節點的相對位置和結構角色都可以在不同的元路徑或元圖下測量，這自然更具有信息性和多樣性。然而，這樣的考慮也帶來了更困難的計算挑戰。

超越準確性。大多數，如果不是全部，現有的研究主要集中在對不同的下游任務的準確性。進一步研究HNE的效率和可擴展性(用于大規模網絡)、時間適應性(用于動態演化網絡)、魯棒性(用于對抗攻擊)、可解釋性、不確定性、公平性等將是非常有趣的。

超越節點嵌入。圖級和子圖級嵌入在同構網絡上得到了廣泛的研究，但在異構網絡上卻很少有研究。雖然諸如HIN2Vec[22]等現有的工作都在研究元路徑的嵌入以改進節點的嵌入，但是圖和子圖級嵌入在異構網絡環境中的直接應用仍然處于萌芽狀態。

回顧KB嵌入。KB嵌入與其他HNE類型的區別主要在于節點和鏈接類型的數量不同。直接將KB嵌入到異構網絡中不能考慮具有豐富語義的元路徑，而將HNE直接應用到KB中由于元路徑的數量呈指數增長而不現實。然而，研究這兩組方法(以及兩種類型的數據)之間的交集仍然很有趣。例如，我們如何將異構網絡上的元路徑和HNE在KB上嵌入轉換的思想與更多的語義感知轉換結合起來?我們如何設計基于截斷隨機游走的方法來包含高階關系的知識庫嵌入?

異構上下文建模。異構網絡主要模擬不同類型的節點和鏈接。然而，現在的網絡常常與豐富的內容相關聯，這些內容提供了節點、鏈接和子網的上下文。因此，如何通過多模態內容和結構的集成來對多方面環境下的異構交互進行建模可能是一個具有挑戰性但值得研究的領域。

理解局限性。雖然HNE(以及許多神經表示學習模型)已經在各個領域顯示出了強大的性能，但值得了解其潛在的局限性。例如，與傳統的網絡挖掘方法(例如，路徑計數、子圖匹配、非神經或線性傳播)相比，現代HNE算法何時能更好地工作?我們怎樣才能把兩個世界的優點結合起來呢?此外，雖然對同構網絡數據的神經網絡背后的數學機制(如平滑、低通濾波、不變和等變變換)進行了深入的研究，通過統一現有的HNE模型，本工作也旨在激發對HNE的能力和局限性的進一步理論研究。

知識圖譜補全(KGC)任務的目的是自動推斷知識圖譜(KG)中缺失的事實信息。在本文中，我們采用了一個新的視角，旨在利用豐富的用戶-項目交互數據(簡稱用戶交互數據)來改進KGC任務。我們的工作靈感來自于許多KG實體對應于應用程序系統中的在線項目的觀察。然而，這兩種數據源具有非常不同的內在特性，使用簡單的融合策略可能會影響原始的性能。

為了解決這一挑戰，我們提出了一種利用KGC任務的用戶交互數據的新穎的對抗性學習方法。我們的生成器是與用戶交互數據隔離的，用于提高鑒別器的性能。鑒別器將從用戶交互數據中學習到的有用信息作為輸入，逐步增強評價能力，以識別生成器生成的虛假樣本。為了發現用戶的隱式實體偏好，我們設計了一種基于圖神經網絡的協同學習算法，該算法將與鑒別器共同優化。這種方法可以有效地緩解KGC任務的數據異構性和語義復雜性問題。在三個真實數據集上的大量實驗證明了我們的方法在KGC任務上的有效性。

題目： Structural Deep Clustering Network

摘要： 聚類是數據分析的基本任務。近年來，深度聚類技術(deep clustering)得到了廣泛的關注，它的靈感主要來自于深度學習方法。當前的深度聚類方法通常借助深度學習強大的表示能力(如自編碼)來提高聚類結果，這表明學習一種有效的聚類表示是一個關鍵的要求。深度聚類方法的優勢在于從數據本身中提取有用的表示，而不是從數據的結構中提取，這在表示學習中受到的關注較少。基于圖卷積網絡(GCN)在對圖結構進行編碼方面取得的巨大成功，我們提出了一種結構化深度聚類網絡(SDCN)，將結構信息集成到深度聚類中。具體來說，我們設計了一個傳遞算子，將自編碼器學習到的表示轉換到相應的GCN層，并設計了雙重自監督機制來統一這兩種不同的深層神經結構，指導整個模型的更新。通過這種方式，從低階到高階的多種數據結構自然地與自動編碼器學習的多種表示相結合。在此基礎上，從理論上分析了傳遞算子。通過使用傳遞操作符，GCN改進了作為高階圖正則化約束的特定于自編碼的表示形式，并且自動編碼器有助于緩解GCN中的過度平滑問題。通過綜合實驗，我們證明我們提出的模型可以持續地比最先進的技術表現得更好。