圖任務無處不在,其應用范圍從推薦系統到語言理解,再到具有環境感知識和分子合成的自動化。將機器學習應用于這些任務的一個基本挑戰是,以一種ML模型可以輕松利用圖中的關系信息(包括節點和邊緣特征)的方式編碼(表示)圖結構。直到最近,這種編碼都是通過因子模型(又名矩陣因子化嵌入)來實現的,它可以說起源于1904年的Spearman因子。然而,最近,圖神經網絡引入了一種新的強大的方法來為機器學習模型編碼圖。在我的演講中,我將描述這兩種方法,然后介紹一個統一的數學框架,使用群體理論和因果關系將它們聯系起來。使用這個新框架,我將介紹生成和使用節點嵌入和圖表示的新的實用指南,它修復了目前使用的標準操作過程的重大缺陷。
//www.anl.gov/event/unearthing-relationships-between-graph-neural-networks-and-matrix-factorization
本教程介紹在圖神經網絡(GNN)中使用的概念。GNN是建模數據的有用方法,這些數據被構造成圖形或包含不同實體之間的有用關系。這些方法已成功應用于交通預測、分子建模、社會網絡分析、視覺場景理解等多個領域。
教程將集中在介紹概念和展示基本方法,同時也呈現一些有趣的聯系和應用。
這兩個講座是Bitdefender在布加勒斯特大學教授的深度學習課程的一部分。演講將是虛擬在線的,對任何人開放,并要求基本的ML知識。
在推薦系統中,當用戶-物品交互數據稀疏時,常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而,現實生活中用戶之間的互動非常復雜,用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系,而它在改善社會推薦方面的潛力還有待開發。在本文中,我們填補了這一空白,提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上,網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入,我們獲得了全面的用戶表示,從而產生推薦結果。然而,聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失,我們創新性地將自監督學習融入到超圖卷積網絡的訓練中,以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明,該模型優于SOTA方法,消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。
這份簡明推薦系統教程為你指南!
在本章中,我們將關注更復雜的編碼器模型。我們將介紹圖神經網絡(GNN)的形式,它是定義圖數據上的深度神經網絡的一般框架。關鍵思想是,我們想要生成實際上依賴于圖結構的節點的表示,以及我們可能擁有的任何特征信息。在開發復雜的圖結構數據編碼器的主要挑戰是,我們通常的深度學習工具箱不適用。例如,卷積神經網絡(CNNs)只在網格結構的輸入(如圖像)上定義良好,而遞歸神經網絡(RNNs)只在序列(如文本)上定義良好。要在一般圖上定義深度神經網絡,我們需要定義一種新的深度學習架構。
知識圖譜補全是一類重要的問題。近年來基于圖神經網絡的知識圖譜表示得到了很多關注。這邊綜述論文總結了圖神經網絡知識圖譜補全的工作,值得查看!
摘要:知識圖譜在諸如回答問題和信息檢索等各種下游任務中越來越流行。然而,知識圖譜往往不完備,從而導致性能不佳。因此,人們對知識庫補全的任務很感興趣。最近,圖神經網絡被用來捕獲固有地存儲在這些知識圖譜中的結構信息,并被證明可以跨各種數據集實現SOTA性能。在這次綜述中,我們了解所提出的方法的各種優勢和弱點,并試圖在這一領域發現新的令人興奮的研究問題,需要進一步的調研。
知識庫是以關系三元組形式的事實信息的集合。每個關系三元組可以表示為(e1,r,e2),其中e1和e2是知識庫中的實體,r是e1和e2之間的關系。最受歡迎的知識庫表示方式是多關系圖,每個三元組(r e1, e2)是表示為有向邊從e1, e2與標簽r。知識圖譜被用于各種下游任務。
然而,由于知識庫是從文本中自動挖掘來填充的,它們通常是不完整的,因為不可能手動編寫所有事實,而且在提取過程中經常會出現不準確的情況。這種不準確性會導致各種下游任務的性能下降。因此,大量工作開發一種有效的工具來完成知識庫(KBs)方面,它可以在不需要額外知識的情況下自動添加新的事實。這個任務被稱為知識庫補全(或鏈接預測),其目標是解決諸如(e1,r,?)這樣的查詢。
第一種實現高效知識庫補全的方法是像TransE (Bordes et al.(2013))和TransH (Wang et al.(2014))這樣的加法模型,其中關系被解釋為隱藏實體表示的簡單翻譯。然后觀察到,諸如Distmult (Yang et al.(2015))和Complex (Trouillon et al.(2016))等乘法模型優于這些簡單的相加模型。與平移不同,旋轉(Sun等人(2019a))將關系定義為簡單的旋轉,這樣頭部實體就可以在復雜的嵌入空間中旋轉來匹配尾部實體,這已經被證明滿足了很多有用的語義屬性,比如關系的組合性。最近,引入了表達性更強的基于神經網絡的方法(如ConvE (Dettmers等人(2018))和ConvKB(Nguyen等人(2018)),其中評分函數與模型一起學習。然而,所有這些模型都獨立地處理每個三元組。因此,這些方法不能捕獲語義豐富的鄰域,從而產生低質量的嵌入。
圖已被廣泛用于可視化真實世界的數據。在將ML技術應用于圖像和文本方面已經取得了巨大進展,其中一些已成功應用于圖形(如Kipf和Welling(2017)、Hamilton等人(2017)、Velickovic等人(2018)。基于該方法的啟發,許多基于圖神經網絡的方法被提出用于KBC任務中獲取知識圖的鄰域。在這次調查中,我們的目的是研究這些工作。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響,這次會議在線上舉行,本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。小編推薦一份圖深度學習-圖神經網絡教程,預覽版可以查看。
從圖數據和關系數據中學習在許多應用中起著重要的作用,包括社交網絡分析、市場營銷、電子商務、信息檢索、知識建模、醫學和生物科學、工程等。在過去的幾年里,圖神經網絡(GNNs)已經成為一種很有前途的新型監督學習框架,能夠將深度表示學習的能力引入到圖和關系數據中。越來越多的研究表明,GNNs在鏈路預測、欺詐檢測、目標配體結合活性預測、知識圖譜補全和產品推薦等方面的性能達到了最新水平。
本教程的目標有兩個。首先,它將概述GNN背后的理論,討論GNN非常適合的問題類型,并介紹一些最廣泛使用的GNN模型體系結構和設計用來解決的問題/應用程序。其次,它將引入深度圖庫(Deep Graph Library, DGL),這是一種新的軟件框架,簡化了高效的基于GNN的訓練和推理程序的開發。為了使事情更具體,本教程將提供使用DGL的實踐會話。這個實踐部分將涵蓋基本的圖形應用程序(例如,節點分類和鏈接預測),以及更高級的主題,包括在大型圖和分布式設置中訓練GNN。此外,它還將提供使用GNNs和DGL進行實際應用(如推薦和欺詐檢測)的實踐教程。
第1節:圖神經網絡概述。本節描述了圖神經網絡是如何運作的,它們的基本理論,以及它們相對于其他圖學習方法的優勢。此外,它還描述了圖形上的各種學習問題,并展示了如何使用GNNs來解決這些問題。
第2節:深度圖庫(DGL)概述。本節描述DGL提供的不同的抽象和api,這些抽象和api旨在簡化GNN模型的實現,并解釋DGL如何與MXNet、Pytorch和TensorFlow進行接口。然后介紹DGL的消息傳遞API,該API可用于開發任意復雜的GNNs和它提供的預定義GNN nn模塊。
第3節:基本圖任務的GNN模型。本節演示如何使用GNNs解決四個關鍵的圖數據學習任務:節點分類、鏈接預測、圖數據分類和網絡嵌入前訓練。它將展示如何使用DGL的nn模塊實現一個流行的GNN模型GraphSage,并展示如何在不同類型的下游任務中使用由GraphSage計算出的節點嵌入。此外,本文還將演示使用DGL的消息傳遞接口實現定制的GNN模型。
第4節:大型圖的GNN訓練。本節使用第3節中描述的一些模型來演示DGL中的微型批處理訓練、多GPU訓練和分布式訓練。它首先描述了mini-batch訓練的概念如何應用于GNN,以及如何通過使用各種抽樣技術來加速mini-batch計算。接下來將舉例說明一種稱為鄰接抽樣的抽樣技術,如何使用木星筆記本在DGL中實現。然后將該筆記本擴展為多GPU訓練和分布式訓練。
第5節:實際應用的GNN模型。本節使用前面幾節中描述的技術,展示如何使用GNNs開發用于推薦和欺詐檢測的可伸縮解決方案。在推薦方面,本文提出了一種基于最近鄰的項目推薦方法,該方法通過采用端到端的學習方法,利用GNN模型學習項目嵌入。對于欺詐檢測,它擴展了上一節中的節點分類模型,以處理異構圖,并解決了標記樣本很少的情況。
題目
張量圖卷積網絡的多關系和魯棒學習,Tensor Graph Convolutional Networks for Multi-relational and Robust Learning
關鍵字
機器視覺,卷積神經網絡,魯棒性,深度學習,人工智能,半監督學習
簡介
“數據泛濫”時代引發了人們對基于圖的學??習方法及其從社會學和生物學到交通運輸和通信的廣泛應用的新興趣。在圖感知方法的背景下,本論文介紹了一種張量圖卷積網絡(TGCN),用于從與張量表示的圖集合相關的數據中進行可擴展的半監督學習(SSL)。新型TGCN架構的關鍵方面是通過可學習的權重來動態適應張量圖中的不同關系,并考慮基于圖的正則化器以促進平滑度并減輕過度參數化。最終目標是設計一種功能強大的學習架構,以實現以下目的: :發現復雜且高度非線性的數據關聯,組合(并選擇)多種類型的關系,隨圖的大小優雅地縮放,并對圖邊緣的擾動保持魯棒性。所提出的架構不僅適用于節點自然涉及不同關系的應用(例如,在社交網絡中捕獲家庭,友誼和工作關系的多關系圖),還適用于健壯的學習設置(其中圖包含一定程度的不確定性),且不同的張量平板對應于標稱圖的不同版本(實現)。數值測試表明,相對于標準GCN,擬議的體系結構實現了顯著改善的性能,可以應對最新的對抗性攻擊,并通過蛋白質對蛋白質的交互網絡實現了卓越的SSL性能。
作者
Vassilis N. Ioannidis,Student Member, IEEE,Antonio G. Marques,Senior Member, IEEE,Georgios B. Giannakis,Fellow, IEEE