題目: Hyperbolic Graph Attention Network
摘要: 圖神經網絡(GNN)在圖處理方面表現出了優越的性能,近年來引起了人們的廣泛關注。然而,大多數現有的GNN模型主要是為歐幾里得空間中的圖設計的。最近的研究已經證明,圖數據顯示非歐幾里得潛在的解剖學。不幸的是,到目前為止,很少有研究GNN在非歐幾里得的設置。為了彌補這一缺陷,本文首次對雙曲空間中具有注意機制的GNN進行了研究。雙曲GNN的研究有一些獨特的挑戰:由于雙曲空間不是向量空間,不能進行向量操作(如向量的加法、減法和標量乘法)。為了解決這個問題,我們使用回旋向量空間,它提供了一個優雅的代數形式的雙曲幾何,以轉換圖的特征;在此基礎上,我們提出了基于雙曲接近的注意力聚合機制。此外,由于雙曲空間中的數學運算比歐幾里得空間中的更為復雜,我們進一步設計了一種新的利用對數和指數映射的加速策略來提高模型的效率。通過與其他最先進的基線方法的比較,發現在四個真實數據集上的綜合實驗結果證明了我們提出的雙曲圖注意力網絡模型的性能。
題目: Graph Pooling with Node Proximity for Hierarchical Representation Learning
摘要: 在最近的研究中,圖神經網絡在圖數據表示學習方面受到了廣泛的關注。作為對圖卷積算子的補充,圖池化是提取圖數據層次表示的關鍵。然而,最近的圖池化方法仍然不能有效地利用圖數據的幾何特性。在本文中,我們提出了一種新的圖組合策略,利用節點的鄰近性來提高圖數據的多跳拓撲結構的層次表示學習。節點接近度是通過協調拓撲信息的核表示和節點特征得到的。拓撲信息的隱式結構感知核表示允許高效的圖池化,而不需要顯式的圖的特征組合。利用高斯徑向基函數結合仿射變換和核技巧自適應地評估節點信號的相似性。實驗結果表明,所提出的圖池化策略能夠在公開圖分類基準數據集上取得最先進的性能。
題目: Hyperbolic Heterogeneous Information Network Embedding
摘要: 異構信息網絡嵌入(Heterogeneous information network, HIN)以將其投射到低維空間為目標,已經引起了相當多的研究關注。現有的HIN嵌入方法主要是在歐幾里得空間中保留內部網絡結構和語義相關性。然而,一個基本的問題是歐幾里得空間是否是HIN的合適的或內在的等距空間?。近年來的研究認為,復雜網絡的底層可能具有雙曲幾何,因為底層的雙曲幾何可以自然地反映復雜網絡的一些特性,如層次結構和冪律結構。在本文中,我們首次嘗試將HIN嵌入到雙曲空間中。我們分析了兩個實際HIN的結構,發現HIN中也存在冪律分布等性質。為此,我們提出了一種新的雙曲異構信息網絡嵌入模型。具體地說,為了捕獲節點之間的結構和語義關系,我們采用元路徑引導隨機游走對每個節點的序列進行采樣。然后利用雙曲空間中的距離作為近似度量。雙曲距離能滿足三角不等式,并能很好地保持HIN中的傳遞性。我們的模型使節點及其鄰域具有小的雙曲線距離。進一步推導出有效的優化策略,迭代更新雙曲嵌入。實驗結果表明,該模型不僅在網絡重構和鏈路預測任務上具有優越的性能,而且在HIN中通過可視化顯示了捕獲層次結構的能力。
題目: Hyperbolic Attention Network
摘要: 最近的方法已經成功地證明了在雙曲空間中學習淺層網絡參數的優勢。我們將雙曲幾何引入到用于計算不同神經網絡結構的注意力機制的嵌入中,從而擴展了這一工作。通過改變object表示的嵌入幾何形狀,可以在不增加模型參數的情況下能更有效地利用嵌入空間。更重要的是,由于查詢的語義距離以指數的速度增長,雙曲幾何與歐幾里得幾何相反—可以編碼那些object而沒有任何干擾。我們的方法在總體上對WMT' 14(英語到德語)的神經機器翻譯、圖學習(合成和現實世界圖任務)和視覺問答(CLEVR)3個任務得到了提升,同時保持神經表征的簡潔。
題目: Heterogeneous Graph Attention Network
摘要: 圖神經網絡作為一種基于深度學習的功能強大的圖表示技術,表現出了優越的性能,引起了廣泛的研究興趣。然而,對于包含不同節點和鏈接類型的異構圖,圖神經網絡還沒有充分考慮到這一點。異構性和豐富的語義信息給異構圖的圖神經網絡設計帶來了很大的挑戰。最近,深度學習領域最令人興奮的進展之一是注意力機制,其巨大的潛力在各個領域都得到了很好的展示。本文首先提出了一種基于分層關注的異構圖神經網絡,包括節點級關注和語義級關注。具體來說,節點級注意的目的是學習節點與其基于元路徑的鄰居之間的重要性,而語義級注意能夠學習不同元路徑之間的重要性。通過對節點級和語義級注意的學習,可以充分考慮節點和元路徑的重要性。然后將基于元路徑的鄰域的特征分層聚合,生成節點嵌入。在三個真實世界的異構圖上的廣泛實驗結果不僅顯示了我們所提出的模型的優越性能,而且也顯示了它對圖分析的潛在良好的可解釋性。
題目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings
摘要: 知識圖譜(KG)嵌入通過學習實體和關系的低維表示,以預測缺失事實。KGs通常具有層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于分層數據,雙曲嵌入方法已顯示出高保真度和簡潔表示的優勢。然而,現有的雙曲嵌入方法不能解釋KGs中豐富的邏輯模式。在本工作中,我們引入了一類雙曲KG嵌入模型,可以同時捕獲層次和邏輯模式。我們的方法結合雙曲反射和旋轉注意力模型復雜的關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維的平均倒數(MRR)方面比預先的歐幾里得和雙曲的工作提高了6.1%。此外,我們觀察到不同的幾何變換捕捉不同類型的關系,而基于注意的變換則推廣到多重關系。在高維情況下,我們的方法在WN18RR和YAGO3-10上分別獲得了49.6%和57.7%的最先進的MRR。
主題: Graph Neural Networks with Composite Kernels
摘要: 近年來,對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡(GCN)之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中,節點聚合方案通常用于捕獲結構信息:節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是,大多數聚合方案都將圖中的所有連接均等化,而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合,并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后,我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成,以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡(GAT)。實驗結果表明,在一些實際應用中,我們提出的框架具有更好的性能。
知識圖譜(KG)嵌入通過學習實體和關系的低維表示來預測缺失的事實。KGs通常表現出層次結構和邏輯模式,必須在嵌入空間中保留這些模式。對于層次數據,雙曲線嵌入方法已經顯示出高保真和精簡表示的前景。然而,現有的雙曲線嵌入方法并不能解釋KGs中豐富的邏輯模式。在本文中,我們介紹了一類雙曲線KG嵌入模型,該模型同時捕獲層次模式和邏輯模式。我們的方法結合了雙曲線反射和旋轉,并注意到模型的復雜關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維平均倒數秩(MRR)方面比以前的基于歐幾里德和雙曲線的方法提高了6.1%。此外,我們觀察到不同的幾何變換捕獲不同類型的關系,而基于注意的變換泛化為多個關系。在高維情況下,我們的方法可以得到最新的MRRs, WN18RR為49.6%,YAGO3-10為57.7%。
題目: Hyperbolic Graph Convolutional Neural Networks
摘要: 圖卷積神經網絡(GCNs)將圖中的節點嵌入到歐幾里德空間中,在嵌入具有無標度或層次結構的真實圖時,歐幾里德空間會產生很大的失真。雙曲幾何提供了一個令人興奮的選擇,因為它使嵌入具有更小的失真。然而,將廣義神經網絡擴展到雙曲幾何中,由于目前尚不清楚如何定義雙曲空間中的特征變換和聚集等神經網絡操作,因此提出了一些獨特的挑戰。此外,由于輸入特征通常是歐幾里德的,因此如何將特征轉換為具有適當曲率的雙曲型嵌入尚不清楚。本文提出了雙曲圖卷積神經網絡(HGCN),它是第一個同時利用GCN和雙曲幾何的表達能力來學習層次圖和無標度圖的歸納節點表示的雙曲型GCN。推導了雙曲空間雙曲面模型的GCN運算,并將歐氏輸入特征映射到每層可訓練曲率不同的雙曲空間中的嵌入。
作者簡介: Ines Chami,斯坦福大學ICME數據科學項目的碩士,她的研究方向包括計算機視覺,自然語言處理,更具體地說,多模態分析。個人主頁://profiles.stanford.edu/ines-chami
Rex Ying,斯坦福大學計算機科學博士,他的研究主要集中在開發應用于圖結構數據的機器學習算法上。個人主頁:
We introduce hyperbolic attention networks to endow neural networks with enough capacity to match the complexity of data with hierarchical and power-law structure. A few recent approaches have successfully demonstrated the benefits of imposing hyperbolic geometry on the parameters of shallow networks. We extend this line of work by imposing hyperbolic geometry on the activations of neural networks. This allows us to exploit hyperbolic geometry to reason about embeddings produced by deep networks. We achieve this by re-expressing the ubiquitous mechanism of soft attention in terms of operations defined for hyperboloid and Klein models. Our method shows improvements in terms of generalization on neural machine translation, learning on graphs and visual question answering tasks while keeping the neural representations compact.