亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖分析用于深入挖掘圖數據的內在特征,然而圖作為非歐幾里德數據,傳統的數據分析方法普遍存在較高的計算量和空間開銷。圖嵌入是一種解決圖分析問題的有效方法,其將原始圖數據轉換到低維空間并保留關鍵信息,從而提升節點分類、鏈接預測、節點聚類等下游任務的性能。與以往的研究不同,同時對靜態圖和動態圖嵌入文獻進行全面回顧,我們提出一種靜態圖嵌入和動態圖嵌入通用分類方法, 即基于矩陣分解的圖嵌入、基于隨機游走的圖嵌入、基于自編碼器的圖嵌入、基于圖神經網絡（GNN）的圖嵌入和基于其他方法的圖嵌入。其次,對靜態圖和動態圖方法的理論相關性進行分析,對模型核心策略、下游任務和數據集進行全面總結。最后,提出了四個圖嵌入的潛在研究方向。

//fcst.ceaj.org/article/2022/1673-9418/1673-9418-16-1-59.shtml

圖是復雜系統中常用的信息載體,可以表示現實中許多復雜關系,如社交網絡[1]、犯罪網絡[2]、交通網絡[3]等。圖結構作為一種非歐幾里德數據,很難直接應用卷積神經網絡（convolutional neural network,CNN）[4]和循環神經網絡（recurrent neural network,RNN）[5]等深度學習方法[6]。為了構造用于圖數據挖掘的特征表示,圖嵌入將節點映射到低維空間,生成保留原始圖中某些重要信息的低維向量。目前,圖嵌入不僅在節點分類[7]、鏈接預測[8]、節點聚類[9]、可視化[10]等復雜網絡上的機器學習任務中獲得成功,還廣泛用于社交影響力建模[11]、內容推薦[12]等現實任務。

早期的圖嵌入算法主要用于數據降維,通過鄰域關系構建相似度圖,將節點嵌入低維向量空間,并保持相連節點向量的相似性。這類方法通常時間復雜度高,很難擴展到大型圖上。近年來,圖嵌入算法轉向擴展性強的方法。例如,矩陣分解方法[13]使用鄰接矩陣的近似分解作為嵌入;隨機游走法[14]將游走序列輸入到Skip-Gram[15]生成嵌入。這些方法利用圖的稀疏性降低了時間復雜度。當前,很多綜述[16,17,18,19,20,21]對圖嵌入方法進行了歸納與總結,但存在兩大局限：一是部分綜述僅涉及傳統方法介紹,許多新模型沒有納入研究;二是這些綜述只關注靜態圖嵌入或動態圖嵌入,忽略了二者之間的關聯性。

本文對圖嵌入方法進行全面系統性綜述,有以下三方面的貢獻：（1）提出一種新的圖嵌入分類法,同時對靜態圖和動態圖方法進行分類;（2）對現有模型進行系統性分析,為理解現有方法提供新視角;（3）提出了四個圖嵌入的潛在研究方向。

近幾年來,將深度學習應用到處理和圖結構數據相關的任務中越來越受到人們的關注．圖神經 網絡的出現使其在上述任務中取得了重大突破,比如在社交網絡、自然語言處理、計算機視覺甚至生命 科學等領域得到了非常廣泛的應用．圖神經網絡可以把實際問題看作圖中節點之間的連接和消息傳播 問題,對節點之間的依賴關系進行建模,從而能夠很好地處理圖結構數據．鑒于此,系統綜述了圖神經網絡模型以及應用．首先從譜域、空間域和池化３方面對圖卷積神經網絡進行了闡述．然后,描述了基于注意 力機制和自編碼器的圖神經網絡模型,并補充了一些其他方法實現的圖神經網絡．其次,總結了針對圖 神經網絡能不能做大做深等問題的討論分析．進而,概括了圖神經網絡的４個框架．還詳細說明了在圖 神經網絡在自然語言處理、計算機視覺等方面的應用．最后,對圖神經網絡未來的研究進行了展望和總 結．相較于已有的圖神經網絡綜述文章,詳細闡述了譜理論知識,并對基于譜域的圖卷積神經網絡體系 進行全面總結．同時,給出了針對空間域圖卷積神經網絡效率低的改進模型這一新的分類標準．并總結 了針對圖神經網絡表達能力、理論保障等的討論分析,增加了新的框架模型．在應用部分,闡述了圖神經 網絡的最新應用．

在過去幾年,深度學習已經在人工智能和機器 學習上取得了成功,給社會帶來了巨大的進步．深度 學習的特點是堆積多層的神經網絡層,從而具有更 好的學 習 表 示 能 力．卷 積 神 經 網 絡 (convolutional neuralnetwork,CNN)的飛速發展更是將深度學習 帶上了一個新的臺階[１Ｇ２]．CNN 的平移不變性、局部 性和組合性使其天然適用于處理像圖像這樣的歐氏 結構數據的任務中[３Ｇ４],同時也可以應用于機器學習 的其他各個領域[５Ｇ７]．深度學習的成功一部分源自于 可以從歐氏數據中提取出有效的數據表示,從而對 其進行高效的處理．另一個原因則是得益于 GPU 的 快速發展,使得計算機具有強大的計算和存儲能力, 能夠在大規模的數據集中訓練和學習深度學習模 型．這使得深度學習在自然語言處理[８]、機器視覺[９] 和推薦系統[１０]等領域都表現出了良好的性能．

但是, 現有的神經網絡只能對常規的歐氏結構 數據進行處理．如圖１(a)歐氏數據結構,其特點就是 節點有固定的排列規則和順序,如２維網格和１維 序列．而當前越來越多的實際應用問題必須要考慮 非歐氏數據,如圖１(b)非歐氏數據結構中節點沒有 固定的排列規則和順序,這就使得不能直接將傳統 的深度學習模型遷移到處理非歐氏結構數據的任務 中．如若直接將 CNN 應用到其中,由于非歐氏數據中心節點的鄰居節點數量和排列順序不固定,不滿 足平移不變性,這就很難在非歐氏數據中定義卷積 核．針對圖神經網絡(graphneuralnetwork,GNN) 的研究工作,最開始就是在如何固定鄰居節點數量 以及如何給鄰居節點排序展開的,比如 PATCHYＧ SAN [１１],LGCN [１２],DCNN [１３]方法等．完成上述２項 工作之后,非歐氏結構數據就轉化為歐氏結構數據, 然后就可以利用 CNN 處理．圖是具有點和邊的典型 非歐氏數據,在實際中可以將各種非歐氏數據問題 抽象為圖結構．比如在交通系統中,利用基于圖的學 習模型可以對路況信息進行有效的預測[１４]．在計算 機視覺中,將人與物的交互看作一種圖結構,可以對 其進行有效地識別[１５]。

近期已有一些學者對圖神經網絡及其圖卷積神經網絡分支進行了綜述[１６Ｇ１９]．本文的不同之處在于,首先由于經典模型是很多變體模型的基石,所以給 出了經典模型的理論基礎以及詳細推理步驟．在１．２ 節基于空間方法的圖卷積神經網絡中,多用圖的形 式列出模型的實現過程,使模型更加通俗易懂．文獻 [１６Ｇ１９]并未對目前廣大學者熱點討論的問題進行 總結,所以在第５節針對圖神經網絡的討論部分,首 次列出了目前研究學者對 GNN 的熱點關注問題, 比如其表達能力、過平滑問題等．然后,在第６節中 總結了圖神經網絡新框架．同時,針對圖神經網絡的 應用,在第７節中較全面地介紹了 GNN 的應用場 景．最后,列出了圖神經網絡未來的研究方向．在圖２ 中列出了本文的主體結構．

研究圖神經網絡對推動深度學習的發展以及人 類的進步具有重大意義．首先,現實中越來越多的問 題可以抽象成非歐氏結構數據,由于圖數據的不規 則性,傳統的深度學習模型已經不能處理這種數據, 這就亟需研究設計一種新的深度神經網絡．而 GNN 所處理的數據對象就是具有不規則結構的圖數據,GNN 便在這種大背景下應運而生[２０Ｇ２１]．然后,圖數 據的結構和任務是十分豐富的．這種豐富的結構和 任務也正是和人們生活中要處理的實際問題相貼合 的．比如,圖數據有異質性以及邊的有向連接特性, 這和推薦系統中的場景完全類似．圖數據處理任務 中節點級別、邊級別以及整圖級別也同樣可以應用到深度學習的各個應用場景中．所以,GNN 的研究 為解決生活中的實際問題找到了一種新的方法和途 徑．最后,GNN 的應用領域是十分廣泛的,能夠處理 各種能抽象成圖數據的任務．不管是在傳統的自然 語言處理領域[２２Ｇ２４]或者圖像領域[２５Ｇ２６],還是在新興 的生化領域[２７Ｇ２８],GNN都能表現出強大的性能．

１ 圖卷積神經網絡

CNN 已經在圖像識別、自然語言處理等多個領 域取得了不俗的成績,但其只能高效地處理網格和 序列等這樣規則的歐氏數據．不能有效地處理像社 交多媒體網絡數據、化學成分結構數據、生物蛋白數 據以及知識圖譜數據等圖結構的非歐氏數據．為此, 無數學者經過不懈努力,成功地將 CNN 應用到圖 結構的非歐氏數據上,提出了圖卷積神經網絡(graph convolutionalnetwork,GCN)．GCN 是 GNN 中一 個重要分支,現有的大多數模型基本上都是在此基 礎上變化推導而來．下面我們將按照從基于譜方法、 空間方法和池化３方面對 GCN 進行總結和概括．

2 基于注意力實現的圖神經網絡

注意力機制在處理序列任務已經表現出強大的 能力[６０],比如在機器閱讀和學習 句 子 表 征 的 任 務 中．其強大的優勢在于允許可變大小的輸入,然后利 用注意力機制只關心最重要的部分,最后做出決策處理．一些研究發現,注意力機制可以改進卷積方 法,從而可以構建一個強大的模型,在處理一些任務 時能夠取得更好的性能．為此,文獻[６１]將注意力機 制引入到了圖神經網絡中對鄰居節點聚合的過程 中,提出了圖注意力網絡(graphattentionnetworks, GAT)．在傳統的 GNN 框架中,加入了注意力層,從 而可以學習出各個鄰居節點的不同權重,將其區別對待．進而在聚合鄰居節點的過程中只關注那些作 用比較大的節點,而忽視一些作用較小的節點．GAT 的核心思想是利用神經網絡學習出各個鄰居節點的 權重,然后利用不同權重的鄰居節點更新出中心節 點的表示。

３ 基于自編碼器實現的圖神經網絡

在無監督學習任務中,自編碼器(autoencoder, AE)及其變體扮演者非常重要的角色,它借助于神 經網絡模型實現隱表示學習,具有強大的數據特征 提取能力．AE 通過編碼器和解碼器實現對輸入數 據的有效表示學習,并且學習到的隱表示的維數可 以遠遠小于輸入數據的維數,實現降維的目的．AE 是目前隱表示學習的首選深度學習技術,當我們把 具有某些聯系的原始數據(X１,X２,…,Xn)輸入到 AE中進行重構學習時,可以完成特征提取的任務． 自編碼器的應用場景是非常廣泛的,經常被用于數據去噪、圖像重構以及異常檢測等任務中．除此之 外,當 AE被用于生成與訓練數據類似的數據時, 稱之為生成式模型．由于 AE具有上述優點,一些學 者便將 AE 及其變體模型應用到圖神經網絡當中 來．文 獻 [６９]第 １ 個 提 出 了 基 于 變 分 自 編 碼 器 (variationalautoencoder,VAE)的變分圖自編碼器 模型 (variationalgraphautoencoder,VGAE),將 VAE應用到對圖結構數據的處理上．VGAE利用隱 變量學習出無向圖的可解釋隱表示,使用了圖卷積 網絡編碼器和一個簡單的內積解碼器來實現這個模 型．

4. 未來研究展望 GNN

雖然起步較晚, 但由于其強大的性能, 已經取得了不俗的表現, 并且也在例如計算機視覺和推薦系統等實際應用中發揮著巨大的作用．不難發現, GNN 確實更符合當前實際應用的發展趨勢, 所 以 在 近 幾 年 才 會 得 到 越 來 越 多 人 的 關 注．但 是, GNN 畢竟起步較晚,還沒有時間積累,研究的深度 和領域還不夠寬廣．目前來看,它依然面臨著許多亟 待解決的問題,本節總結了 GNN 以后的研究趨勢．

１) 動態圖．目前,GNN 處理的圖結構基本上都 是靜態圖,涉及動態圖結構的模型較少[１３８Ｇ１３９],處理 動態圖對 GNN 來說是一個不小的挑戰．靜態圖的 圖結構是靜態不變的,而動態圖的頂點和邊是隨機 變化的,甚至會消失,并且有時還沒有任何規律可 循．目前針對 GNN 處理動態圖結構的研究還是比 較少的,還不夠成熟．如果 GNN 能夠成功應用于動 態圖結構上,相信這會使 GNN 的應用領域更加寬 廣．將 GNN 模型成功地推廣到動態圖模型是一個 熱點研究方向．

２) 異質圖．同質圖是指節點和邊只有一種類型, 這種數據處理起來較容易．而異質圖則是指節點和 邊的類型不只一種,同一個節點和不同的節點連接 會表現出不同的屬性,同一條邊和不同的節點連接 也會表現出不同的關系,這種異質圖結構處理起來 就相對復雜．但異質圖卻是和實際問題最為貼切的 場景,比如在社交網絡中,同一個人在不同的社交圈 中可能扮演著父親、老師等不同的角色．對于異質圖 的研究還處在剛起步的階段[１４０Ｇ１４１],模型方法還不 夠完善．所以,處理異質圖也是將來研究的一個熱點．

３) 構建更深的圖神經網絡模型．深度學習的強 大優勢在于能夠形成多層的不同抽象層次的隱表 示,從而才能表現出優于淺層機器學習的強大優勢． 但對于圖深度學習來說,現有的圖神經網絡模型大 多還是只限于淺層的結構．通過實驗發現,當構造多 層的神經網絡時,實驗結果反而變差．這是由過平滑 現象造成的,GNN 的本質是通過聚合鄰居節點信息 來表征中心節點．當構造多層的神經網絡之后,中心 節點和鄰 居 節 點 的 差 異 就 會 變 得 微 乎 其 微,從 而 會導致分類結果變差．如何解決過平滑現象,使圖神 經網絡能夠應用于更多層的結構,從而發揮出深度 學習的強大優勢．雖然已有文獻對其進行了討論[９１], 但構建更深的圖神經網絡模型仍是值得深入研究的 問題．

４) 將圖神經網絡應用到大圖上．隨著互聯網的 普及,圖神經網絡處理的數據也變得越來越大,致使 圖中的節點數量變得巨大,這就給圖神經網絡的計 算帶來了不小的挑戰．雖然一些學者對該問題進行 了研究改進[１４２],但針對將圖神經網絡應用到大圖 上的研究同樣是將來研究的熱點問題,在這方面,引 入摘要數據結構,構造局部圖數據,并能適當地融合 局部圖結構,形成整體圖神經網絡的表示是可能的 思路．

５) 探索圖中更多有用的信息．在當前諸多學者 對于圖神經網絡模型的研究中,僅僅利用了圖中節 點之間有無連接這一拓撲結構信息．但是,圖是一個 非常復雜的數據結構,里面還有很多有用的信息未 被人們發現利用．比如,圖中節點的位置信息．中心 節點的同階鄰居節點處于不同位置,距離中心節點 的遠近不同應該會對中心節點產生的影響程度不 同．如果能夠探索出圖中更多的有用信息,必會將圖 神經網絡的性能提升一個層次,這是一個非常值得 探討的問題．

６) 設計圖神經網絡的數學理論保障體系．任何 神經網絡模型必須有強大的數學理論支撐才能發展 得更快,走得更遠．現在對于圖神經網絡模型的設 計,大多還只是依靠研究者的經驗和基于機理邏輯 設計出來的,并且對于圖神經網絡模型的性能分析 僅僅是從實驗結果中得來,并沒有從數學理論層面 給出 一 個 合 理 的 解 釋．目 前,該 領 域 已 有 一 些 研 究[９０Ｇ９１],但為圖神經網絡設計出強大的數學理論,指 導圖神經網絡的構造、學習和推理過程．能夠給出圖 神經網絡學習結果正確性的數學理論保障,仍是未 來發展的一個重要方向．

7. 圖神經網絡的工業落地．當前對于圖神經網 絡的研究大多還只是停留在理論層面,首先設計出模型,然后在公開數據集上進行測試驗證,鮮有把工 業的實際情況考慮在內．雖然圖神經網絡在工業上 已有一小部分的實際應用,但還遠沒有達到大規模 應用的程度．任何研究只有真正地在工業界落地,才 能發揮它的應用價值,反之也會促進其進一步的研 究發展．盡快將圖神經網絡應用到實際的工業場景 中,是一個亟需解決的問題．

隨著互聯網和信息計算的飛速發展，衍生了海量數據，我們已經進入信息爆炸的時代。網絡中各種信息量的指數型增長導致用戶想要從大量信息中找到自己需要的信息變得越來越困難，信息過載問題日益突出。推薦系統在緩解信息過載問題中起著非常重要的作用，該方法通過研究用戶的興趣偏好進行個性化計算，由系統發現用戶興趣進而引導用戶發現自己的信息需求。目前，推薦系統已經成為產業界和學術界關注、研究的熱點問題，應用領域十分廣泛。在電子商務、會話推薦、文章推薦、智慧醫療等多個領域都有所應用。傳統的推薦算法主要包括基于內容的推薦、協同過濾推薦以及混合推薦。其中，協同過濾推薦是推薦系統中應用最廣泛最成功的技術之一。該方法利用用戶或物品間的相似度以及歷史行為數據對目標用戶進行推薦，因此存在用戶冷啟動和項目冷啟動問題。此外，隨著信息量的急劇增長，傳統協同過濾推薦系統面對數據的快速增長會遇到嚴重的數據稀疏性問題以及可擴展性問題。為了緩解甚至解決這些問題，推薦系統研究人員進行了大量的工作。近年來，為了提高推薦效果、提升用戶滿意度，學者們開始關注推薦系統的多樣性問題以及可解釋性等問題。由于深度學習方法可以通過發現數據中用戶和項目之間的非線性關系從而學習一個有效的特征表示，因此越來越受到推薦系統研究人員的關注。目前的工作主要是利用評分數據、社交網絡信息以及其他領域信息等輔助信息，結合深度學習、數據挖掘等技術提高推薦效果、提升用戶滿意度。對此，本文首先對推薦系統以及傳統推薦算法進行概述，然后重點介紹協同過濾推薦算法的相關工作。包括協同過濾推薦算法的任務、評價指標、常用數據集以及學者們在解決協同過濾算法存在的問題時所做的工作以及努力。最后提出未來的幾個可研究方向。

//jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20210502&flag=1

近年來，基于圖學習的推薦系統(GLRS)這個新興話題得到了快速發展。GLRS采用高級的圖學習方法來建模用戶的偏好和意圖，以及物品的特征來進行推薦。與其他RS方法(包括基于內容的過濾和協同過濾)不同，GLRS是建立在圖上的，其中重要對象(如用戶、物品和屬性)是顯式或隱式連接的。

隨著圖學習技術的快速發展，探索和開發圖中的同質或異質關系是構建更有效的RS的一個有前途的方向。通過討論如何從基于圖的表示中提取重要的知識，以提高推薦的準確性、可靠性和可解釋性。

首先對GLRS進行了表示和形式化，然后對該研究領域面臨的主要挑戰和主要進展進行了總結和分類。

引言

推薦系統(RS)是人工智能(AI)最流行和最重要的應用之一。它們已被廣泛采用，以幫助許多流行的內容分享和電子商務網站的用戶更容易找到相關的內容、產品或服務。與此同時，圖學習(Graph Learning, GL)是一種新興的人工智能技術，它涉及到應用于圖結構數據的機器學習，近年來發展迅速，顯示出了其強大的能力[Wu et al.， 2021]。事實上，得益于這些學習關系數據的能力，一種基于GL的RS范式，即基于圖學習的推薦系統(GLRS)，在過去幾年中被提出并得到了廣泛的研究[Guo等人，2020]。在本文中，我們對這一新興領域的挑戰和進展進行了系統的回顧。

動機: 為什么要用圖學習RS?

RS中的大部分數據本質上是一個圖結構。在現實世界中，我們身邊的大多數事物都或明或暗地相互聯系著;換句話說，我們生活在一個圖的世界里。這種特征在RS中更加明顯，這里考慮的對象包括用戶、物品、屬性、上下文，這些對象之間緊密相連，通過各種關系相互影響[Hu et al.， 2014]，如圖1所示。在實踐中，RS所使用的數據會產生各種各樣的圖表，這對推薦的質量有很大的幫助。

圖學習具有學習復雜關系的能力。作為最具發展前景的機器學習技術之一，GL在獲取嵌入在不同類型圖中的知識方面顯示出了巨大的潛力。具體來說，許多GL技術，如隨機游走和圖神經網絡，已經被開發出來學習特定類型的關系由圖建模，并被證明是相當有效的[Wu et al.， 2021]。因此，使用GL來建模RS中的各種關系是一個自然和令人信服的選擇。

圖學習如何幫助RS? 到目前為止，還沒有統一的GLRS形式化。我們通常從高層次的角度對GLRS進行形式化。我們用一個RS的數據構造一個圖G = {V, E}，其中對象(如用戶和商品)在V中表示為節點，它們之間的關系(如購買)在E中表示為邊。構建并訓練GLRS模型M(Θ)學習最優模型參數Θ，生成最優推薦結果R。

根據具體的推薦數據和場景，可以以不同的形式定義圖G和推薦目標R，例如，G可以是同質序列或異構網絡，而R可以是對物品的預測評級或排名。目標函數f可以是最大效用[Wang et al.， 2019f]或節點之間形成鏈接的最大概率[Verma et al.， 2019]。

這項工作的主要貢獻總結如下:

? 我們系統地分析了各種GLRS圖所呈現的關鍵挑戰，并從數據驅動的角度對其進行分類，為更好地理解GLRS的重要特征提供了有用的視角。

? 我們通過系統分類較先進的技術文獻，總結了目前GLRS的研究進展。

? 我們分享和討論了一些GLRS開放的研究方向，供社區參考。