亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

推薦系統是當今互聯網上最重要的信息服務之一。近年來,圖神經網絡已成為推薦系統的新技術。在這個調研中,我們對基于圖神經網絡的推薦系統的文獻進行了全面的回顧。我們首先介紹了推薦系統和圖神經網絡的背景和發展歷史。對于推薦系統,一般來說,現有工作的分類分為四個方面: 階段、場景、目標和應用。對于圖神經網絡,現有的方法包括譜模型和空間模型兩大類。然后討論了將圖神經網絡應用于推薦系統的動機,主要包括高階連通性、數據的結構特性和增強的監督信號。然后我們系統地分析了圖構造、嵌入傳播/聚合、模型優化和計算效率方面的挑戰。之后,我們首先按照上面的分類法,全面概述了基于圖神經網絡的推薦系統的大量現有工作。最后,對該領域存在的問題和未來發展方向進行了討論。我們在//github.com/tsinghua-fib-lab/GNN-Recommender-Systems中總結了這些有代表性的論文及其代碼庫。推薦系統,是一種以向用戶呈現個性化信息為目標的過濾系統,可以提高用戶體驗,提高企業利潤。作為由現實世界驅動的機器學習的典型應用之一,它是當今工業界和學術界的一個非常熱門的話題。

引言

推薦系統,是一種以向用戶呈現個性化信息為目標的過濾系統,可以提高用戶體驗,提高企業利潤。作為由現實世界驅動的機器學習的典型應用之一,它是當今工業界和學術界的一個非常熱門的話題。

回顧推薦系統的發展歷程,一般可將其分為三個階段:淺層模型[74,125,126]、神經模型[26,48,56]和基于GNN的模型[55,153,188]。最早的推薦模型通過直接計算交互的相似度來捕捉協同過濾(CF)效應。然后,提出了基于模型的CF方法,如矩陣分解(MF)[74]或分解機[125],將推薦作為一個表示學習問題來處理。然而,這些方法面臨著復雜的用戶行為或數據輸入等關鍵挑戰。為了解決這個問題,我們提出了基于神經網絡的模型[26,48,56]。例如,神經協同過濾(neural collaborative filtering, NCF)被開發用于擴展多層感知器(multi-layer perceptrons, MLP)內積,以提高其能力。同樣,深度因子分解機(DeepFM)[48]將淺層模型因子分解機(FM)[125]與MLP結合。然而,由于這些方法的預測和訓練模式忽略了觀測數據中的高階結構信息,因此仍然存在很大的局限性。例如,NCF的優化目標是預測用戶-物品交互,訓練樣本包括觀察到的正向用戶-物品交互和未觀察到的負向用戶-物品交互。這意味著在對特定用戶進行參數更新時,只涉及他/她交互的項。

近年來,圖神經網絡的發展為解決推薦系統中的上述問題提供了堅實的基礎和機遇。具體來說,圖神經網絡采用嵌入傳播的方法迭代地聚合鄰域嵌入。通過疊加傳播層,每個節點可以訪問高階鄰居的信息,而不是傳統方法只訪問一階鄰居的信息。基于GNN的推薦方法以其處理結構化數據和挖掘結構化信息的優勢,已成為推薦系統中最先進的方法。為了將圖神經網絡很好地應用到推薦系統中,有一些關鍵的挑戰需要解決。首先,將推薦系統的數據輸入仔細地構造成圖,節點表示元素,邊表示元素之間的關系。其次,對于具體的任務,需要自適應地設計圖神經網絡中的構件,包括如何傳播和聚合,現有的工作在這方面探索了各種各樣的選擇,各有優缺點。第三,基于GNN模型的優化,包括優化目標、損失函數、數據采樣等,應與任務要求一致。最后,由于推薦系統對計算成本有嚴格的限制,而且由于GNN的嵌入傳播操作引入了大量的計算,圖神經網絡在推薦系統中的有效部署是另一個關鍵的挑戰。

在本文中,我們旨在提供一個系統和全面的研究工作,特別是他們如何改進圖神經網絡的推薦和解決相應的挑戰。為了更清晰地理解推薦系統,我們從階段、場景、目標和應用四個方面對推薦系統的研究進行了分類。我們總結了 gnn - recommendation - systems中具有代表性的論文及其代碼庫。 值得一提的是,已有一項基于圖神經網絡的推薦系統的綜述[168]。然而,由于以下原因,它是有限的。首先,它沒有提供廣泛的推薦系統分類。具體來說,它將推薦系統大致分為非序列推薦和序序推薦,但這并不合理。事實上,正如本調研所指出的那樣,序列推薦只是一個具有特殊輸入和輸出設置的特定推薦場景。第二,它沒有提供足夠的動機和原因,現有的工作利用圖神經網絡推薦系統。而在本次調研中,我們對GNN為什么可以和應該被用于推薦系統提供了一個全面的理解,有助于讀者理解這一新的研究領域的地位和價值。第三,它沒有解釋將圖神經網絡應用于推薦的關鍵挑戰以及如何解決這些挑戰,這在本調研中已經充分討論。最后,由于這一領域越來越受歡迎,我們的調研也介紹了許多最近發表的論文[168]沒有涉及。

本次綜述的結構組織如下。在第2節中,我們首先從階段、場景、目標、應用四個方面介紹了推薦系統的背景,以及圖神經網絡的背景。在第三節中,我們從四個方面討論了在推薦系統中應用圖神經網絡所面臨的挑戰。然后我們按照上節的分類,在第4節中詳細闡述了基于圖神經網絡的推薦的代表性方法。在第5節中,我們討論了這一領域中最關鍵的開放問題,并提供了未來方向的想法,在第6節中總結了這個綜述。

付費5元查看完整內容

相關內容

圖神經網絡 (GNN) 是一種連接模型,它通過圖的節點之間的消息傳遞來捕捉圖的依賴關系。與標準神經網絡不同的是,圖神經網絡保留了一種狀態,可以表示來自其鄰域的具有任意深度的信息。近年來,圖神經網絡(GNN)在社交網絡、知識圖、推薦系統、問答系統甚至生命科學等各個領域得到了越來越廣泛的應用。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

隨著互聯網和信息計算的飛速發展,衍生了海量數據,我們已經進入信息爆炸的時代。網絡中各種信息量的指數型增長導致用戶想要從大量信息中找到自己需要的信息變得越來越困難,信息過載問題日益突出。推薦系統在緩解信息過載問題中起著非常重要的作用,該方法通過研究用戶的興趣偏好進行個性化計算,由系統發現用戶興趣進而引導用戶發現自己的信息需求。目前,推薦系統已經成為產業界和學術界關注、研究的熱點問題,應用領域十分廣泛。在電子商務、會話推薦、文章推薦、智慧醫療等多個領域都有所應用。傳統的推薦算法主要包括基于內容的推薦、協同過濾推薦以及混合推薦。其中,協同過濾推薦是推薦系統中應用最廣泛最成功的技術之一。該方法利用用戶或物品間的相似度以及歷史行為數據對目標用戶進行推薦,因此存在用戶冷啟動和項目冷啟動問題。此外,隨著信息量的急劇增長,傳統協同過濾推薦系統面對數據的快速增長會遇到嚴重的數據稀疏性問題以及可擴展性問題。為了緩解甚至解決這些問題,推薦系統研究人員進行了大量的工作。近年來,為了提高推薦效果、提升用戶滿意度,學者們開始關注推薦系統的多樣性問題以及可解釋性等問題。由于深度學習方法可以通過發現數據中用戶和項目之間的非線性關系從而學習一個有效的特征表示,因此越來越受到推薦系統研究人員的關注。目前的工作主要是利用評分數據、社交網絡信息以及其他領域信息等輔助信息,結合深度學習、數據挖掘等技術提高推薦效果、提升用戶滿意度。對此,本文首先對推薦系統以及傳統推薦算法進行概述,然后重點介紹協同過濾推薦算法的相關工作。包括協同過濾推薦算法的任務、評價指標、常用數據集以及學者們在解決協同過濾算法存在的問題時所做的工作以及努力。最后提出未來的幾個可研究方向。

//jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20210502&flag=1

付費5元查看完整內容

近年來,基于圖學習的推薦系統(GLRS)這個新興話題得到了快速發展。GLRS采用高級的圖學習方法來建模用戶的偏好和意圖,以及物品的特征來進行推薦。與其他RS方法(包括基于內容的過濾和協同過濾)不同,GLRS是建立在圖上的,其中重要對象(如用戶、物品和屬性)是顯式或隱式連接的。

隨著圖學習技術的快速發展,探索和開發圖中的同質或異質關系是構建更有效的RS的一個有前途的方向。通過討論如何從基于圖的表示中提取重要的知識,以提高推薦的準確性、可靠性和可解釋性。

首先對GLRS進行了表示和形式化,然后對該研究領域面臨的主要挑戰和主要進展進行了總結和分類。

引言

推薦系統(RS)是人工智能(AI)最流行和最重要的應用之一。它們已被廣泛采用,以幫助許多流行的內容分享和電子商務網站的用戶更容易找到相關的內容、產品或服務。與此同時,圖學習(Graph Learning, GL)是一種新興的人工智能技術,它涉及到應用于圖結構數據的機器學習,近年來發展迅速,顯示出了其強大的能力[Wu et al., 2021]。事實上,得益于這些學習關系數據的能力,一種基于GL的RS范式,即基于圖學習的推薦系統(GLRS),在過去幾年中被提出并得到了廣泛的研究[Guo等人,2020]。在本文中,我們對這一新興領域的挑戰和進展進行了系統的回顧。

動機: 為什么要用圖學習RS?

RS中的大部分數據本質上是一個圖結構。在現實世界中,我們身邊的大多數事物都或明或暗地相互聯系著;換句話說,我們生活在一個圖的世界里。這種特征在RS中更加明顯,這里考慮的對象包括用戶、物品、屬性、上下文,這些對象之間緊密相連,通過各種關系相互影響[Hu et al., 2014],如圖1所示。在實踐中,RS所使用的數據會產生各種各樣的圖表,這對推薦的質量有很大的幫助。

圖學習具有學習復雜關系的能力。作為最具發展前景的機器學習技術之一,GL在獲取嵌入在不同類型圖中的知識方面顯示出了巨大的潛力。具體來說,許多GL技術,如隨機游走和圖神經網絡,已經被開發出來學習特定類型的關系由圖建模,并被證明是相當有效的[Wu et al., 2021]。因此,使用GL來建模RS中的各種關系是一個自然和令人信服的選擇。

圖學習如何幫助RS? 到目前為止,還沒有統一的GLRS形式化。我們通常從高層次的角度對GLRS進行形式化。我們用一個RS的數據構造一個圖G = {V, E},其中對象(如用戶和商品)在V中表示為節點,它們之間的關系(如購買)在E中表示為邊。構建并訓練GLRS模型M(Θ)學習最優模型參數Θ,生成最優推薦結果R。

根據具體的推薦數據和場景,可以以不同的形式定義圖G和推薦目標R,例如,G可以是同質序列或異構網絡,而R可以是對物品的預測評級或排名。目標函數f可以是最大效用[Wang et al., 2019f]或節點之間形成鏈接的最大概率[Verma et al., 2019]。

這項工作的主要貢獻總結如下:

? 我們系統地分析了各種GLRS圖所呈現的關鍵挑戰,并從數據驅動的角度對其進行分類,為更好地理解GLRS的重要特征提供了有用的視角。

? 我們通過系統分類較先進的技術文獻,總結了目前GLRS的研究進展。

? 我們分享和討論了一些GLRS開放的研究方向,供社區參考。

付費5元查看完整內容

摘要

圖神經網絡(GNNs)廣泛應用于分析圖結構數據。大多數GNN方法對圖結構的質量非常敏感,通常需要一個完美的圖結構來學習信息嵌入。

然而,圖中噪聲的普遍性需要學習魯棒表示以解決真實世界問題。為了提高GNN模型的魯棒性,許多研究圍繞圖結構學習(Graph Structure Learning, GSL)這一中心概念提出,旨在共同學習優化的圖結構及其表示。

為此,在本研究中,我們廣泛回顧了學習魯棒表示的GSL方法的最新進展。具體來說,我們首先制定一個通用的GSL范式,然后回顧最先進的方法,根據它們如何建模圖結構進行分類,然后是在其他圖任務中包含GSL思想的應用。最后,我們指出了目前研究中存在的一些問題,并對未來的研究方向進行了討論。

引言

圖在表示對象及其復雜的交互時是普遍存在的。作為一種分析圖形結構數據的強大工具,圖神經網絡(GNNs)已被廣泛應用于各種領域的圖分析任務,包括節點分類[Kipf and Welling, 2017], 鏈接預測 [Kipf and Welling, 2016; Zhang and Chen, 2018], 推薦 [Wu et al., 2019; Yu et al., 2020b; He et al., 2020], 信息檢索 [Zhang et al., 2021; Yu et al., 2021],等。

眾所周知,深度神經網絡容易受到噪聲的干擾[Szegedy et al., 2014]; 噪聲甚至加劇了深度GNN模型所產生的表示質量,這對將GNN應用于現實世界的問題,特別是在一些風險高危的場景中,例如醫學分析,提出了巨大的挑戰。由于GNN通過遞歸聚合鄰區信息來計算節點嵌入,這種迭代機制具有級聯效應——圖中的小噪聲將傳播到鄰區節點,影響許多其他節點的嵌入。以社交網絡為例,節點對應用戶,邊表示朋友關系。欺詐賬戶與真實賬戶建立虛假鏈接,很容易向整個網絡注入錯誤信息,導致難以估算賬戶的可信性。此外,最近的研究表明,不被注意到的、故意的干擾(又稱“干擾”)。在圖結構中,容易導致錯誤的預測[Dai et al., 2018;Zhu et al., 2019;Zhang and Zitnik, 2020。因此,GNN對給定數據的質量高度敏感,通常需要一個完美的圖結構來學習信息表示[Luo et al., 2021]。

提高GNN模型的魯棒性的一個主要關注點是為學習表示產生去噪的圖結構[Jin等人,2020]。最近,大量的文獻圍繞著圖結構學習(Graph Structure Learning, GSL)這一中心主題興起,其目標是共同學習優化的圖結構和相應的表示[Yu et ., 2020a]。不幸的是,許多GSL技術在不同的研究團體中被提出,它們從未被系統地調研過。為了在不同的研究之間建立聯系并便于理解,在本文中,我們對用于魯棒表示的深度GSL的最新工作進行了綜述。具體來說,我們制定了一個通用的GSL范式,根據他們對圖結構建模的方式對現有的工作進行分類,并突出每個模型的關鍵優點。此外,由于GSL在其他方面使GNN受益,我們將討論在其他領域(如可解釋性和圖池化)合并GSL思想的應用。據我們所知,這是第一個全面回顧GSL研究最新進展的研究。

本綜述的其余部分的結構如下。在第2節中,我們將介紹有關圖結構學習的初步知識,并提出描述不同研究的一般范式。接下來,在第3節中,我們將現有的工作分為三個類別,并仔細檢查每個類別中的代表性工作。第4節將進一步討論在其他領域中包含GSL思想的應用程序。最后,我們在第5節中指出了現有工作中存在的一些挑戰和一些潛在的研究方向,并在第6節對全文進行了總結。

結構學習的一般范式

大多數現有的深度GSL工作都可以看作是在學習圖形表示的現成GNN模型之上的插件模塊。我們用一個通用范式來描述以前的研究,該范式包含三個組成部分: 結構建模、消息傳播和學習目標。

結構建模。GSL的核心是一個編碼函數,它對最優圖結構A*用邊權值表示。編碼函數可以通過兩兩距離或可學習參數來定義邊緣權值。在本研究中,我們將現有的研究分為以下三組:

  • 度量學習方法,其中邊權值來自于對表示之間的度量函數的學習

  • 概率建模方法,假定圖形是通過從某些分布的采樣過程生成的,并使用可學習的參數對采樣邊緣的概率建模。

  • 直接優化方法,在原始鄰接矩陣的基礎上,結合各種圖的先驗,對圖結構進行細化。

消息傳播。得到優化后的圖結構A*,節點特征將傳播到改進的領域。使用GNN模型,每個節點聚合來自鄰近節點的信息,并產生一個嵌入Z*= f(A*,X),值得指出的是,由于對圖結構進行優化的難度較大,很多方法采用迭代的方式進行結構建模和消息傳播,直到滿足幾個停止條件。

學習目標。為了訓練模型與改進的圖結構,現有的工作通常定義了一個學習目標包含兩個部分: L = L_task(Z ,Y)+ λL_reg(A,A),第一項Ltask是針對ground truth Y的任務特定目標,如用于節點分類的交叉熵和用于鏈路預測的貝葉斯個性化排名損失。第二項Lreg對學習到的圖結構進行正則化,以滿足一些先驗拓撲約束,如稀疏性和低秩性。λ∈R是一個平衡這兩項的超參數。

付費5元查看完整內容

很長一段時間以來,計算機架構和系統被優化,以使機器學習(ML)算法或模型的有效執行。現在,是時候重新考慮ML和系統之間的關系,并讓ML改變計算機架構和系統的設計方式。這包含著雙重意義:提高設計師的工作效率,完成良性循環。在本文中,我們對將ML應用于系統設計的工作進行了全面的回顧,這些工作可以分為兩大類: 基于ML的建模,它涉及到性能指標的預測或其他一些感興趣的標準,以及直接利用ML作為設計工具的基于ML的設計方法。對于基于ML的建模,我們討論現有的研究基于它們的系統目標級別,從電路級別到架構/系統級別。對于基于ML的設計方法,我們遵循自底向上的路徑來回顧當前的工作,包括(微)體系結構設計(內存、分支預測、NoC)、體系結構/系統和工作負載(資源分配和管理、數據中心管理和安全)之間的協調、編譯器和設計自動化。我們進一步提供了未來的機遇和潛在的方向,并展望了將ML應用于計算機體系結構和系統將在社區中蓬勃發展。

//www.zhuanzhi.ai/paper/73124e0addcfed8cc8f738faf5f8c398

機器學習(ML)已經在許多領域創造了奇跡,包括計算機視覺[81,207,213],語音識別[76,83],自然語言處理[38,146,210],藥物發現[148,198],機器人[77,86,140],玩電子游戲[15,167,226],以及許多其他領域[103,128,195,206]。在某些情況下,ML能夠達到或超過人類的性能。例如,在大規模ImageNet數據集上,ResNet[81]比human獲得了更好的top-5錯誤率;AlphaGo Zero可以打敗人類專業圍棋選手[206];從單人游戲(如Atari[167])到多人游戲(如《星際爭霸2》[226]和《Dota 2[15]》),訓練人工代理玩電子游戲也取得了重大進展。

目前的ML模型大多是深度神經網絡(DNNs)及其變體(如多層感知器、卷積神經網絡、遞歸神經網絡),對內存和計算資源的要求都很高。隨著人們尋求更好的人工智能,有一種趨勢是更大、更有表現力和更復雜的模型。隨著摩爾定律帶來的收益遞減,這一趨勢促使計算機體系結構/系統的進步,以更快、更節能的方式實現ML模型。針對ML工作負載,在不同層次的系統和體系結構設計上進行了改進。在算法層面,對ML模型進行剪枝、量化和壓縮[79,92],以消除計算復雜度,提高硬件效率;在硬件層面,在內存中處理(PIM)的復興和near-data處理(NDP)(73, 179),也出現專門的架構和加速器,從那些專門為卷積神經網絡(CNN)優化(例如ShiDianNao [57], Eyeriss[31]和基本[178])那些為通用款設計加速度(例如DaDianNao [30], TPU[108],和DNPU [204]);在器件層面,將新興的非易失性存儲器技術應用于體系結構設計中,如電阻式隨機存取存儲器(ReRAM)[234]、相變存儲器(PCM)[25]、自旋傳遞轉矩磁性隨機存取存儲器(STT-MRAM)[85],將計算和內存結合在一起,提供了另一種有前景的選擇(如PRIME[35]、ISAAC[200]和Resparc[7])。

在日益復雜的工作負載及其不同的性能、精度和功率目標的驅動下,設計體系結構/系統是一件不簡單而費力的事情。通常,這些設計是由人類專家基于直覺和啟發式做出的,這需要ML和體系結構/系統方面的專業知識,在這種情況下,特別是在更復雜的系統中,無法保證良好的可伸縮性和最佳結果。因此,對于體系結構和系統設計來說,朝著更加自動化和強大的方法發展似乎是很自然的,ML和系統設計之間的關系也正在被重新考慮。通常,架構和系統優化是為了加速ML模型的執行和提高性能,不可否認的是,ML的革命在一定程度上依賴于處理能力的提高,如更好地利用并行性、數據重用和稀疏性等。近年來,有跡象表明將ML應用于增強系統設計,具有很大的發展潛力。將ML應用于系統設計有兩個意義: 1減輕人類專家手工設計系統的負擔,提高設計者的工作效率; 2閉合正反饋回路,即:,架構/系統為ML,同時ML為架構/系統,形成一個良性循環,鼓勵雙方的改進。

一般來說,將ML應用于系統設計的現有工作分為兩類。1 ML技術用于系統建模,它涉及性能指標或一些感興趣的標準(例如功耗、延遲、吞吐量等)。在系統設計過程中,需要對系統行為進行快速、準確的預測。傳統上,系統建模是通過周期精確或功能虛擬平臺和指令集模擬器(ISSs)的形式來實現的(例如gem5 [18], Simics[150])。盡管這些方法可以提供準確的評估,但它們也帶來了與性能建模相關的昂貴的計算成本,限制了對大規模和復雜系統的可伸縮性; 同時,長時間的模擬限制了設計師的才能,因為只能探索整個設計空間的一小部分。采用ML技術作為設計方法,直接加強架構/系統設計。ML擅長提取特性,在沒有顯式編程的情況下做出決策,并根據經驗自動改進自身。因此,將ML技術作為設計工具,可以更主動、更智能地探索設計空間,通過更好地理解資源的復雜、非線性交互等來管理資源,從而提供真正的最優解決方案。

在本文中,我們概述了將ML應用于計算機體系結構/系統,并總結了ML技術可以解決哪些系統問題以及ML技術如何解決這些問題,如圖4所示。本文還討論了ML在系統設計中的應用所面臨的挑戰和前景。本文組織如下。第2節簡要介紹了常用的ML技術;第3節回顧了使用ML技術進行系統建模的研究,從電路級到架構/系統級;第4節介紹了利用ML技術作為設計工具直接增強體系結構/系統設計的研究,包括(微)體系結構設計(內存、分支預測、NoC)、體系結構/系統和工作負載(資源分配和管理、數據中心管理和安全)之間的協調、編譯器和設計自動化;第5節討論了將ML應用于系統設計的挑戰和未來前景,以傳達設計考慮的見解;第六部分是本文的總結。

付費5元查看完整內容

交通預測是智能交通系統成功的一個重要因素。深度學習模型包括卷積神經網絡和遞歸神經網絡已被應用于來建模交通預測問題的空間和時間依賴性。近年來,為了對交通系統中的圖結構和上下文信息進行建模,引入了圖神經網絡(GNNs)作為新的工具,在一系列交通預測問題中取得了最先進的性能。在本綜述論文中,我們回顧了近年來快速增長的使用不同GNN的研究,如圖卷積和圖注意力網絡,用于各種交通預測問題,如道路交通流量和速度預測,城市軌道交通系統客流預測,網約車平臺的需求預測等。我們也為每個問題提供了一個開放的數據和資源的集合,以及未來的研究方向。據我們所知,本文是第一次對圖神經網絡在交通預測問題中的應用進行全面的研究。我們還創建了一個Github公共資源庫來更新最新的論文、開放數據和資源。

//www.zhuanzhi.ai/paper/3a297985e3b4ac9f1c395dc78cc5cf03

付費5元查看完整內容

隨著網絡信息的爆炸式增長,推薦系統在緩解信息過載方面發揮了重要作用。由于推薦系統具有重要的應用價值,這一領域的研究一直在不斷涌現。近年來,圖神經網絡(GNN)技術得到了廣泛的關注,它能將節點信息和拓撲結構自然地結合起來。由于GNN在圖形數據學習方面的優越性能,GNN方法在許多領域得到了廣泛的應用。在推薦系統中,主要的挑戰是從用戶/項目的交互和可用的邊信息中學習有效的嵌入用戶/項目。由于大多數信息本質上具有圖結構,而網絡神經網絡在表示學習方面具有優勢,因此將圖神經網絡應用于推薦系統的研究十分活躍。本文旨在對基于圖神經網絡的推薦系統的最新研究成果進行全面的綜述。具體地說,我們提供了基于圖神經網絡的推薦模型的分類,并闡述了與該領域發展相關的新觀點。

摘要:

隨著電子商務和社交媒體平臺的快速發展,推薦系統已經成為許多企業不可缺少的工具[78]。用戶依靠推薦系統過濾掉大量的非信息,促進決策。一個高效的推薦系統應該準確地捕捉用戶的偏好,并提出用戶潛在感興趣的內容,從而提高用戶對平臺的滿意度和用戶留存率。

推薦系統根據用戶的興趣和物品屬性來評估他們對物品的偏好。用戶興趣和項目屬性都用壓縮向量表示。因此,如何通過歷史交互以及社會關系、知識圖譜[49]等側面信息來了解用戶/項目嵌入是該領域面臨的主要挑戰。在推薦系統中,大多數信息都具有圖結構。例如,用戶之間的社會關系和與項目相關的知識圖譜,自然就是圖形數據。此外,用戶與項目之間的交互可以看作是二部圖,項目在序列中的轉換也可以構建為圖。因此,圖形學習方法被用來獲得用戶/項目嵌入。在圖學習方法中,圖神經網絡(graph neural network, GNN)目前受到了極大的追捧。

在過去的幾年里,圖神經網絡在關系提取和蛋白質界面預測等許多應用領域取得了巨大的成功[82]。最近的研究表明,推薦器在以圖[41]的形式引入用戶/項目和邊信息的交互時,性能有了很大的提升,并利用圖神經網絡技術得到了更好的用戶/項目表示。圖神經網絡通過迭代傳播能夠捕捉用戶-項目關系中的高階交互。此外,如果社會關系或知識圖譜的信息是可用的,則可以有效地將這些邊信息集成到網絡結構中。

本文旨在全面回顧基于圖神經網絡的推薦系統的研究進展。對推薦系統感興趣的研究者和實踐者可以大致了解基于圖神經網絡的推薦領域的最新發展,以及如何利用圖神經網絡解決推薦任務。本調查的主要貢獻總結如下:

  • 新的分類法:我們提出了一個系統的分類模式來組織現有的基于圖神經網絡的推薦模型。我們可以很容易地進入這個領域,并對不同的模型進行區分。

  • 對每個類別的全面回顧,我們展示了要處理的主要問題,并總結了模型的總體框架。此外,我們還簡要介紹了代表性模型,并說明它們是如何解決這些問題的。

  • 我們討論了當前方法的局限性,并在效率、多圖集成、可擴展性和序列圖構造方面提出了四個潛在的未來方向。

付費5元查看完整內容

深度學習利用多個處理層來學習具有多個層次特征的數據表示。自2014年以來,隨著Deepface和DeepID方法的突破,這一新興技術已經重塑了人臉識別的研究領域。從那時起,深度人臉識別(FR)技術,利用層次結構學習區分的人臉表示,已經極大地提高了最先進的性能,并培養了許多成功的現實世界的應用。在這篇論文中,我們提供了一個全面深度學習人臉識別綜述。首先,我們總結了在快速發展的深度FR方法中提出的不同的網絡結構和損耗函數。其次,相關的人臉處理方法被分為兩個類:“一對多增強”和“多對一歸一化”。然后,對常用的模型訓練和評價數據庫進行了總結和比較。第三,對跨因素場景、異質場景、多媒體場景和行業場景進行了深入分析。最后,指出了現有方法的潛在不足和未來的發展方向。

付費5元查看完整內容

【導讀】近來,知識圖譜用于推薦系統是關注的焦點,能夠提升推薦系統的準確性與可解釋性。如何將知識圖譜融入到推薦系統呢? 最近中科院計算所百度微軟等學者最新綜述論文《A Survey on Knowledge Graph-Based Recommender Systems》,闡述對基于知識圖譜的推薦系統進行了系統的研究。

地址://www.zhuanzhi.ai/paper/90d0d696560bc88ea93f629b478a2128

為了解決各種在線應用中的信息爆炸問題,提高用戶體驗,推薦系統被提出來進行用戶偏好建模。盡管人們已經做出了許多努力來實現更加個性化的推薦,但是推薦系統仍然面臨著一些挑戰,比如數據稀疏性和冷啟動。近年來,以知識圖譜作為邊信息生成推薦引起了人們的極大興趣。這種方法不僅可以緩解上述問題,提供更準確的推薦,而且可以對推薦的項目進行解釋。本文對基于知識圖譜的推薦系統進行了系統的研究。我們收集了這一領域最近發表的論文,并從兩個角度進行了總結。一方面,我們通過研究論文如何利用知識圖譜進行準確和可解釋的推薦來研究所提出的算法。另一方面,我們介紹了這些工作中使用的數據集。最后,我們提出了幾個可能的研究方向。

概述

隨著互聯網的快速發展,數據量呈指數級增長。由于信息量過大,用戶在眾多的選擇中很難找到自己感興趣的。為了提高用戶體驗,推薦系統已被應用于音樂推薦[1]、電影推薦[2]、網上購物[3]等場景。

推薦算法是推薦系統的核心要素,主要分為基于協同過濾(CF)的推薦系統、基于內容的推薦系統和混合推薦系統[4]。基于CF的推薦基于用戶或交互數據項的相似度來建模用戶偏好,而基于內容的推薦利用了物品項的內容特征。基于CF的推薦系統得到了廣泛的應用,因為它可以有效地捕獲用戶的偏好,并且可以很容易地在多個場景中實現,而不需要在基于內容的推薦系統[5]、[6]中提取特征。然而,基于CF的推薦存在數據稀疏性和冷啟動問題[6]。為了解決這些問題,提出了混合推薦系統來統一交互級相似度和內容級相似度。在這個過程中,我們探索了多種類型的邊信息,如項目屬性[7]、[8]、項目評論[9]、[10],以及用戶的社交網絡[11]、[12]。

近年來,將知識圖譜(KG)作為邊信息引入推薦系統引起了研究者的關注。KG是一個異構圖,其中節點作為實體,邊表示實體之間的關系。可以將項目及其屬性映射到KG中,以了解項目[2]之間的相互關系。此外,還可以將用戶和用戶端信息集成到KG中,從而更準確地捕捉用戶與物品之間的關系以及用戶偏好。圖1是一個基于KG的推薦示例,其中電影“Avatar”和“Blood Diamond”被推薦給Bob。此KG包含用戶、電影、演員、導演和類型作為實體,而交互、歸屬、表演、導演和友誼是實體之間的關系。利用KG,電影與用戶之間存在不同的潛關系,有助于提高推薦的精度。基于知識的推薦系統的另一個優點是推薦結果[14]的可解釋性。在同一個示例中,根據user-item圖中的關系序列可以知道向Bob推薦這兩部電影的原因。例如,推薦《阿凡達》的一個原因是,《阿凡達》與鮑勃之前看過的《星際穿越》屬于同一類型。最近提出了多種KGs,如Freebase[15]、DBpedia[16]、YAGO[17]、谷歌的知識圖譜[18],方便了KGs的推薦構建。

圖1 一個基于kg的推薦的例子

本次綜述的目的是提供一個全面的文獻綜述利用KGs作為側信息的推薦系統。在我們的研究過程中,我們發現現有的基于KG的推薦系統以三種方式應用KGs: 基于嵌入的方法、基于路徑的方法和統一的方法。我們詳細說明了這些方法的異同。除了更準確的推薦之外,基于KG的推薦的另一個好處是可解釋性。我們討論了不同的作品如何使用KG來進行可解釋的推薦。此外,根據我們的綜述,我們發現KGs在多個場景中充當了輔助信息,包括電影、書籍、新聞、產品、興趣點(POIs)、音樂和社交平臺的推薦。我們收集最近的作品,根據應用程序對它們進行分類,并收集在這些作品中評估的數據集。

本次綜述的組織如下: 在第二部分,我們介紹了KGs和推薦系統的基礎;在第3節中,我們介紹了本文中使用的符號和概念;在第4節和第5節中,我們分別從方法和評價數據集的角度對基于知識的推薦系統進行了綜述;第六部分提出了該領域的一些潛在研究方向;最后,我們在第7節總結了這次調查。

術語概念

圖2 常用知識圖譜集合

圖3 符號

知識圖譜推薦系統方法

Embedding-based方法

基于嵌入的方法通常直接使用來自KG的信息來豐富項目或用戶的表示。為了利用KG信息,需要使用知識圖嵌入(KGE)算法將KG編碼為低秩嵌入。KGE算法可分為兩類[98]:翻譯距離模型,如TransE[99]、TransH[100]、TransR[101]、TransD[102]等;語義匹配模型,如DistMult[103]等。

根據KG中是否包含用戶,可以將基于嵌入的方法分為兩個類。在第一種方法中,KGs由項目及其相關屬性構成,這些屬性是從數據集或外部知識庫中提取的。我們將這樣的圖命名為項目圖。注意,用戶不包括在這樣的項目圖中。遵循這一策略的論文利用知識圖嵌入(KGE)算法對圖進行編碼,以更全面地表示項目,然后將項目側信息集成到推薦框架中。其大意可以如下所示。

另一種embedding-based方法直接建立user-item圖,用戶,項目,以及相關屬性函數作為節點。在用戶-項目圖中,屬性級關系(品牌、類別等)和用戶級關系(共同購買、共同查看等)都是邊。

Path-based Methods

基于路徑的方法構建一個用戶-項目圖,并利用圖中實體的連接模式進行推薦。基于路徑的方法在2013年就已經開發出來了,傳統的論文將這種方法稱為HIN中的推薦方法。通常,這些模型利用用戶和/或項的連接性相似性來增強推薦。

統一方法

基于嵌入的方法利用KG中用戶/項的語義表示進行推薦,而基于路徑的方法使用語義連接信息,并且兩種方法都只利用圖中信息的一個方面。為了更好地利用KG中的信息,提出了將實體和關系的語義表示和連通性信息結合起來的統一方法。統一的方法是基于嵌入傳播的思想。這些方法以KG中的連接結構為指導,對實體表示進行細化。

總結:

基于嵌入的方法使用KGE方法對KG(項目圖或用戶-項目圖)進行預處理,以獲得實體和關系的嵌入,并將其進一步集成到推薦框架中。然而,這種方法忽略了圖中信息的連通性模式,很少有文獻能夠給出有原因的推薦結果。基于路徑的方法利用用戶-項圖,通過預先定義元路徑或自動挖掘連接模式來發現項的路徑級相似性。基于路徑的方法還可以為用戶提供對結果的解釋。將基于嵌入的方法與基于路徑的方法相結合,充分利用雙方的信息是當前的研究趨勢。此外,統一的方法還具有解釋推薦過程的能力。

圖4 收集論文表。在表格中,Emb代表基于嵌入的方法,Uni代表統一方法,Att’代表注意力機制,’RL’代表強化學習,’AE’代表自動編碼器,’MF’代表矩陣分解。

代表數據集

圖5 不同應用場景和相應論文的數據集集合

未來方向

在以上幾節中,我們從更準確的推薦和可解釋性方面展示了基于知識的推薦系統的優勢。雖然已經提出了許多利用KG作為側信息進行推薦的新模型,但仍然存在一些改進的機會。在這一部分中,我們概述并討論了一些未來的研究方向。

  • 動態推薦。雖然基于KG的推薦系統在GNN或GCN架構下取得了良好的性能,但是訓練過程是耗時的。因此,這些模型可以看作是靜態的偏好推薦。然而,在某些情況下,如網上購物、新聞推薦、Twitter和論壇,用戶的興趣會很快受到社會事件或朋友的影響。在這種情況下,使用靜態偏好建模的推薦可能不足以理解實時興趣。為了捕獲動態偏好,利用動態圖網絡可以是一個解決方案。最近,Song等[127]設計了一個動態圖-注意力網絡,通過結合來自朋友的長期和短期興趣來捕捉用戶快速變化的興趣。按照這種方法,很自然地要集成其他類型的側信息,并構建一個KG來進行動態推薦。

  • 多任務學習。基于kg的推薦系統可以看作是圖中鏈接預測。因此,考慮到KG的性質,有可能提高基于圖的推薦的性能。例如,KG中可能存在缺失的事實,從而導致關系或實體的缺失。然而,用戶的偏好可能會被忽略,因為這些事實是缺失的,這可能會惡化推薦結果。[70]、[95]已經證明了聯合訓練KG完成模塊和推薦模塊以獲得更好的推薦是有效的。其他的工作利用多任務學習,將推薦模塊與KGE task[45]和item relation regulation task聯合訓練[73]。利用從其他kg相關任務(例如實體分類和解析)遷移知識來獲得更好的推薦性能,這是很有趣的。

  • 跨域推薦。最近,關于跨域推薦的研究已經出現。其動機是跨域的交互數據不相等。例如,在Amazon平臺上,圖書評級比其他域更密集。使用遷移學習技術,可以共享來自具有相對豐富數據的源域的交互數據,以便在目標域內進行更好的推薦。Zhang等[128]提出了一種基于矩陣的跨域推薦方法。后來,Zhao等人[129]引入了PPGN,將來自不同領域的用戶和產品放在一個圖中,并利用user item交互圖進行跨領域推薦。雖然PPGN的性能顯著優于SOTA,但是user item圖只包含交互關系,并不考慮用戶和項目之間的其他關系。通過將不同類型的用戶和項目端信息合并到用戶-項目交互圖中,以獲得更好的跨域推薦性能。

  • 知識增強語言表示。為了提高各種自然語言處理任務的性能,有將外部知識集成到語言表示模型中的趨勢。知識表示和文本表示可以相互細化。例如,Chen等人[130]提出了短文本分類的STCKA,利用來自KGs(如YAGO)的先驗知識,豐富了短文本的語義表征。Zhang等人[131]提出了ERNIE,該方法融合了Wikidata的知識,增強了語言的表示能力,該方法已被證明在關系分類任務中是有效的。雖然DKN模型[48]既利用了文本嵌入,也利用了新聞中的實體嵌入,但這兩種嵌入方式只是簡單地串聯起來,得到新聞的最終表現形式,而沒有考慮兩個向量之間的信息融合。因此,將知識增強的文本表示策略應用于新聞推薦任務和其他基于文本的推薦任務中,能夠更好地表示學習,從而獲得更準確的推薦結果,是很有前景的。

  • 知識圖譜嵌入方法。基于不同約束條件的KGE方法有兩種:翻譯距離模型和語義匹配模型。在本次綜述中,這兩種類型的KGE方法被用于三種基于KGE的推薦系統和推薦任務中。但是,還沒有全面的工作建議在什么情況下,包括數據源、推薦場景和模型架構,應該采用特定的KGE方法。因此,另一個研究方向是比較不同KGE方法在不同條件下的優勢。

  • 用戶端信息。目前,大多數基于KG的推薦系統都是通過合并項目側信息來構建圖的,而很少有模型考慮用戶側信息。然而,用戶側信息,如用戶網絡和用戶的人口統計信息,也可以很自然地集成到當前基于KGbased的推薦系統框架中。最近,Fan等人[132]使用GNN分別表示用戶-用戶社交網絡和用戶-項目交互圖,該方法在用戶社交信息方面優于傳統的基于cf的推薦系統。在我們最近的調查[96]中,一篇論文將用戶關系整合到圖表中,并展示了這種策略的有效性。因此,在KG中考慮用戶側信息可能是另一個研究方向。

付費5元查看完整內容
北京阿比特科技有限公司