亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

ACM Computing Surveys(CSUR)中文全稱為美國計算機學會計算概觀，是計算機學科最具影響力的期刊之一。作為計算機科學、理論和方法的綜述類頂刊，其2020影響因子10.282，該期刊主要發表計算機科學領域較有代表性的綜述論文。PKU-DAIR實驗室研究成果《Graph Neural Networks in Recommender Systems: A Survey》已被ACM Computing Surveys接收。近幾年，圖神經網絡（GNN）技術在推薦系統中得到了廣泛的應用，因為推薦系統中的大部分信息本質上都具有圖結構，而 GNN 在圖表示學習方面具有優勢。該綜述旨在梳理、總結并討論關于基于 GNN 的推薦系統的研究工作，便于對此領域感興趣的研究者或者工業界人士快速了解這一領域。具體來說，該綜述基于推薦過程中使用的信息類型和推薦任務對現有工作進行分類。此外，我們分析了將 GNN 應用于不同類型數據和推薦任務面臨的挑戰，總結了現有工作如何應對這些挑戰，并討論了現有工作的優點和局限性。此外，我們闡述了9個該領域有待進一步研究的方向。”

綜述中提及的代表性工作及其對應的開源實現：//github.com/PKU-DAIR/GNN-in-RS 本文作者： SHIWEN WU, Peking University, China FEI SUN? , Alibaba Group, China WENTAO ZHANG, XU XIE, BIN CUI? , Peking University, China 論文鏈接：

01 引言

隨著在線信息的爆炸式增長，推薦系統在緩解這種信息過載方面發揮著關鍵作用。由于推薦系統的重要應用價值，該領域一直有新興的工作。在推薦系統中，主要挑戰是從交互和輔助信息（如果有的話）中學習有效的用戶/項目表示。最近，圖神經網絡（GNN）技術在推薦系統中得到了廣泛的應用，主要原因有以下三點：（1）推薦系統中的大部分信息本質上都具有圖結構，而 GNN 在圖表示學習方面具有優勢；（2）從圖結構的角度，不同的數據類型信息可以采用統一的框架建模；（3）GNN通過多層網絡傳遞信息，可以顯式地編碼用戶交互行為中的高階信號。本文基于推薦過程中使用的信息類型和推薦任務對現有工作進行分類，分別為用戶-項目協同過濾，序列推薦，基于社交網絡的推薦，基于知識圖譜的推薦，以及其他任務。對于每個類別，我們總結了主要挑戰，介紹了代表性模型并說明了它們如何解決這些問題。每一章的最后對現有工作的優點和局限性展開了討論。本文總結了主流基準數據集、廣泛采用的評估指標，并簡述了實際應用。此外，我們闡述了9個該領域有待進一步研究的方向。

02 User-item Collaborative Filtering

給定 user-item 交互數據，user-item collaborative filtering 的目標是利用 items 來加強 user representations、利用 users 來加強 item representation。下圖演示了如何使用 GNN 做 Collaborative Filtering。

目前工作集中于解決以下四個問題：

02-01 Graph Construction

使用異構的 user-item bipartite graph 還是使用兩階（two-hop）鄰的同質圖？考慮到效率，如何采樣鄰居？最直接的方法是直接使用原始的用戶-項目二分圖。如果某些節點在原始圖中的鄰居很少，則通過添加邊或節點來豐富圖結構將是有益的。在處理大規模圖時，需要對鄰域進行采樣以提高計算效率。抽樣是有效性和效率之間的權衡，更有效的抽樣策略值得進一步研究。

02-02 Neighbor Aggregation

如何從鄰居匯聚信息？是否區分鄰居的重要程度？當鄰居更加異質時，采用注意力機制對鄰居進行聚合比相等的權重和程度歸一化更可取；否則，后兩者更易于計算。顯式建模鄰居之間的影響或中心節點與鄰居之間的親和力可能會帶來額外的好處，但需要在更多數據集上進行驗證。

02-03 Information Update

為更新節點，如何整合中心節點的當前表征和聚合鄰居節點得到的表征？與丟棄原始節點相比，使用其原始表示和聚合的鄰居表示更新節點會更可取。最近的工作表明，通過去除變換和非線性操作來簡化傳統的 GCN，可以獲得比原始 GCN 更好的性能。

02-04 Final Node Representation

使用最后一層特征還是合并所有層？為了獲得整體的用戶/項目表示，利用所有層的表示比直接使用最后一層表示更可取。在整合來自所有層的表示的功能方面，線性加權且權重可學習的方式允許更大的靈活性，而拼接操作則保留了來自所有層的信息。

03 Sequential Recommendation

序列推薦是基于用戶的近期活動預測用戶下一個偏好，因此需要建模序列特征。下圖演示了如何使用 GNN 做序列推薦：

目前工作集中于解決以下三個問題：

03-01 Graph Construction

為了使用 GNN，序列數據需要轉化為圖。是否為每一個序列建立子圖？是否在多個連續 items 上添加邊會比只在連續的兩個 items 上加邊更好？下圖顯示了4種代表性的構圖方式：

最直接的構造是在兩個連續項目之間添加邊。當序列長度較短時，利用附加序列可以豐富序列圖，如果附加序列與原始序列更相似則更好。另一條線是調整行為序列的圖結構。關于哪種方法更好，沒有公認的說法。此外，序列和序列之間的關系圖也被用來獲得進一步的改進。

03-02 Information Propagation

哪一種 propagation 機制更好？是否有必要區分序列的順序？大多數信息傳播方法是傳統的GNN方向中傳播方式的變體，對于哪種方法更好還沒有共識。一些復雜的傳播方法，例如 LESSR，以更多的計算為代價實現了性能提升。在實踐中是否采用復雜的傳播方法取決于計算成本和性能增益之間的權衡。

03-03 Sequential Preference

為了獲取用戶時間上的偏好，需要集成序列中的每一個項目的表征。是否簡單使用 pooling 或者使用 RNN 結構來加強這種時間上連續的特征？為了獲得順序偏好，廣泛采用注意力機制來整合序列中項目的表示。除此之外，添加位置嵌入可以增強項目的相對順序并帶來一些改進。利用 RNN 結構是否可以提高所有順序推薦任務的性能需要進一步研究。

**

**

04 Social Recommendation

隨著在線社交網絡的出現，推薦系統開始采用和當前用戶存在社交關系的用戶來增強用戶表征。這些工作基于同一個假設，即具有社交關系的用戶，他們的表征符合社會影響理論：相互聯系的人會相互影響。一部分工作將此作為正則項來約束最終的用戶表征，另一部分工作則用這些關系來豐富單一的用戶表征。GNN的信息傳播和更新機制和社交關系中的社會影響關系十分相近，因此最近的研究開始將GNN用于基于社交關系的推薦系統中。 目前工作集中于解決以下兩個問題：

04-01 Influence of Friends

存在社交關系的朋友有同等的影響力嗎？如果不是，如何區分不同朋友的影響？相比對好友賦予同等權重，區分不同好友的影響力更為合適。一個新興的方向是自動修改社交關系，這可以從社交網絡中存在的噪音中受益。

04-02 Preference Integration

用戶涉及兩種類型的關系，即與朋友的社會關系和與項目的交互。如何從社會影響角度和交互行為整合用戶表征？整合兩種信息源的策略取決于是分別考慮這兩個圖還是將它們統一為一個圖。對于單獨的圖，用戶偏好是從這兩個圖中學習的整體表示的集成。對于統一圖，通常采用的策略是分層聚合模式。

05 Knowledge Graph based Recommendation

相比于社交網絡，知識圖譜表達的是 items 之間的關系，可以用來增強 item表征。另外它還連接了用戶歷史喜好 items 和被推薦 items，能有助于提升模型可解釋性。同時，知識圖譜也存在結構復雜的問題，實例（entities）和關系（relations）都有多個種類。 目前高效的基于知識圖譜的推薦系統有兩大主要問題：

05-01 Graph Construction

如何聚合 user-item interactions 和知識圖譜中的語義信息？是否顯式地將用戶節點放入知識圖譜或是隱式地使用用戶表征來區分不同關系的重要程度？現有工作要么將用戶節點視為一種實體，要么隱式使用用戶節點來區分關系。第一個方向可以進一步分為整體統一圖或用戶-項目對的特定子圖。與整體統一圖相比，user-item子圖的優勢在于關注更多相關的實體和關系，但需要更多的計算時間，性能取決于子圖的構建，這還需要進一步研究。

05-02 Relation-aware Aggregation

知識圖譜中的關系有很多種，如何設計一個聚合函數聚合這些信息？考慮到關系的多樣性及其包含的豐富語義，GAT 的變體被廣泛用于聚合來自鏈接實體的信息。對于沒有明確包含用戶節點的圖，使用用戶表示來為關系分配權重。

06 Other tasks

除了這四類任務之外，研究人員還開始利用 GNN 來提高其他推薦任務的性能，例如 POI 推薦和多媒體推薦。本文分別總結每個任務的最新進展，包含POI推薦，群組推薦，組合推薦，CTR預測，多媒體推薦。詳細內容請參見綜述。

07 Datasets, Evaluation Metrics and Applications

我們介紹了針對不同推薦任務的常用數據集和評估指標，并總結了基于 GNN 的推薦的實際應用。本節可以幫助研究人員找到合適的數據集和評估指標來測試他們的方法，并概述基于 GNN 的推薦的實際應用。

08 Future research directions and open issues

雖然 GNN 在推薦系統方面取得了巨大成功，但這一領域依然值得進一步地研究。本節概述了幾個有前途的前瞻性研究方向。

08-01多樣化的用戶表征

除了數據類型的異質性（例如，像用戶和項目對應不同的節點類型，以及不同行為類型對應不同的邊的類型），圖中的用戶通常還具有多樣化和不確定的興趣。將每個用戶表示為一個單一的向量（低維向量空間中的一個點）很難捕捉用戶感興趣的這些特征。因此，如何代表用戶的多重不確定興趣是一個值得探索的方向。

08-02 GNN用于推薦系統的可擴展性和效率

在數據集包含數十億個節點和邊，而每個節點包含數百萬個特征的工業推薦場景中，由于內存使用量大、訓練時間長，直接應用傳統 GNN 具有挑戰性。

08-03 推薦系統中的動態圖上如何使用GNN技術

在實際的推薦系統中，不僅用戶和物品等對象，而且它們之間的關系都隨著時間而變化。為了保持最新的推薦，系統應該使用新的信息迭代更新。從圖的角度來看，不斷更新的信息帶來的是動態圖而不是靜態圖。

08-04 推薦中 GNN 的接收域

對于推薦中的圖數據，節點度呈現長尾分布，即活躍用戶與物品的交互較多，冷用戶交互較少，類似于熱門物品和冷物品。因此，在所有節點上應用相同的傳播步驟可能不是最理想的。只有少數新興工作可以自適應地決定每個節點的傳播步驟，以獲得合理的接收域。因此，如何在基于 GNN 的推薦中為每個用戶或項目自適應地選擇合適的接收域仍然是一個值得研究的問題。

08-05 自監督學習

自監督學習 (SSL) 是一種用于提高數據利用率的新興范式，有助于緩解稀疏問題。受 SSL 在其他領域的成功啟發，最近的努力將 SSL 用于推薦系統，并取得了顯著成就。在基于 GNN 的推薦系統領域，值得進一步探索自監督學習方向。

08-06 基于GNN的推薦系統的魯棒性

最近的研究表明，GNN 很容易被輸入上的小擾動所欺騙，即如果圖結構包含噪聲，GNN 的性能將大大降低。在實際推薦場景中，節點之間的關系并不總是可靠的，這是一個普遍的現象。例如，用戶可能不小心點擊了物品，無法捕捉到部分社交關系。此外，攻擊者還可能將虛假數據注入推薦系統。因此，構建一個魯棒的推薦系統，即使在存在先令攻擊的情況下也能產生穩定的推薦，具有重要的現實意義。

08-07隱私保護

由于《通用數據保護條例》第 12 條對隱私的嚴格保護，推薦系統中的隱私保護引起了學術界和工業界的廣泛關注，因為大多數數據可能被視為機密/私人，例如社交網絡和歷史行為。隨著社會對隱私保護的日益重視，基于 GNN 的推薦中的隱私保護由于其實用價值應該是一個有吸引力的方向。

08-08 公平性

近年來，關于推薦偏差的研究工作激增，以實現公平。例如，對不同群體的用戶的推薦性能應該接近，并且每個項目應該具有相同的整體曝光概率。隨著 GNN 的廣泛普及，社會越來越擔心 GNN 可能會做出歧視性決定。目前已經有一些工作對減輕基于 GNN 的推薦系統中的偏差進行了一些探索。由于推薦系統中普遍存在偏見以及社會對公平性的日益關注，在基于 GNN 的推薦系統中確保公平性的同時保持可比性能值得進一步研究。

08-09可解釋性

可解釋性對推薦系統是有益的：一方面，向用戶提供可解釋的推薦讓他們知道為什么推薦這些項目并且可能具有說服力；另一方面，從業者可以知道該模型為何有效，這有助于進一步改進。由于可解釋性的重要性，許多興趣都集中在設計可解釋的推薦模型或進行事后解釋上。到目前為止，可解釋的基于 GNN 的推薦系統仍未得到充分探索，這應該是一個有趣且有益的方向。

人工智能和因果推理闡述了人工智能(AI)和因果推理之間關系的最新發展。盡管人工智能取得了重大進展，但我們仍然面臨著人工智能發展中的一個巨大挑戰，即理解智能背后的機制，包括推理、計劃和想象。理解、遷移和概括是提高智能的主要原則。因果推理是理解的一個關鍵組成部分。因果推理包括干預、領域轉移學習、時間結構和反事實思維等概念，是理解因果關系和推理的主要概念。不幸的是，這些因果關系的重要組成部分經常被機器學習忽略，這導致了深度學習的一些失敗。人工智能和因果推理包括:(1)將人工智能技術作為因果分析的主要工具;(2)將因果概念和因果分析方法應用于解決人工智能問題。這本書的目的是填補人工智能和現代因果分析之間的空白，進一步促進人工智能革命。這本書是理想的研究生和研究人員在人工智能，數據科學，因果推理，統計，基因組學，生物信息學和精準醫學。

//www.routledge.com/Artificial-Intelligence-and-Causal-Inference/Xiong/p/book/9780367859404

涵蓋三種類型的神經網絡，制定深度學習作為最優控制問題。 * 非線性中介的深度學習與工具變量因果分析。 * 因果網絡的構建是一個連續優化問題。 * Transformer和注意力用于圖的編碼解碼。RL用于推斷大型因果網絡。 * 使用VAE、GAN、神經微分方程、回歸神經網絡(RNN)和RL來估計反事實的結果。 * 網絡干擾下基于人工智能的個體化治療效果估計方法。

《圖算法指南》這本書提供了圖算法研究領域的高質量內容，并探討了圖算法的最新發展。讀者將全面了解如何使用算法來探索圖形。這是一個文本的集合，已經被證明是趨勢的領導者和很好的例子。本書旨在為讀者提供對設計有效算法有用的圖的結構屬性的深刻理解。這些算法在有限狀態機建模、社會網絡理論、生物學和數學中都有應用。這本書里有許多練習題，有些達到了現在的研究水平。這些練習鼓勵讀者通過把事情放在一個清晰的角度去發現新的技術。本書的研究將為讀者提供許多強大的工具來建模和解決現實世界中的問題。

圖神經網絡一本簡明硬貨新書，快來學習！

William L. Hamilton McGill 大學計算機科學的助理教授，魁北克省Mila AI研究所的加拿大CIFAR AI主席。我開發了機器學習模型，可以對我們復雜、相互關聯的世界進行推理。

總的來說，研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域，目前重點關注快速增長的圖表示學習和圖神經網絡。

//www.cs.mcgill.ca/~wlh/

圖表示學習

在過去的7年里，圖表示學習領域以令人難以置信(有時難以控制)的速度發展，從從事一個相對小眾主題的一小部分研究人員，轉變為深度學習中增長最快的子領域之一。

這本書是我對圖表示學習的一個簡要而全面的介紹，包括嵌入圖數據的方法，圖神經網絡，以及圖的深層生成模型。

圖是一種普遍存在的數據結構和描述復雜系統的通用語言。在最普遍的觀點中，一個圖僅僅是對象的集合。，以及一組交互(例如，節點)。(邊)在這些對象對之間。例如，為了將一個社會網絡編碼為一個圖，我們可以使用節點來表示個體，使用邊來表示兩個個體是朋友(圖1.1)。在生物領域，我們可以使用圖中的節點來表示蛋白質，并使用邊緣來表示各種生物相互作用，例如蛋白質之間的動力學相互作用。

圖形式主義的力量在于它關注點之間的關系(而不是單個點的屬性)，以及它的一般性。同樣的圖表形式也可以用來表示社會網絡、藥物和蛋白質之間的相互作用、原子之間的相互作用。

然而，圖表不僅僅提供了一個優雅的理論框架。它們提供了一個數學基礎，我們可以在此基礎上分析、理解和學習現實世界的復雜系統。在過去的25年里，可供研究人員使用的圖形結構數據在數量和質量上有了顯著的增長。隨著大型社交網絡平臺的出現，大量的科學活動對交互體建模，食物網，分子圖結構的數據庫，以及數十億網絡連接設備的出現，有意義的圖數據供研究人員分析。挑戰在于釋放這些數據的潛力。

這本書是關于我們如何利用機器學習來應對這一挑戰。當然，機器學習不是分析圖表數據的唯一可能的方法。然而，鑒于我們試圖分析的圖形數據集的規模和復雜性不斷增長，很明顯，機器學習將在提高我們建模、分析和理解圖形數據的能力方面發揮重要作用。

目錄內容：

• Chapter 1: Introduction and Motivations 導論動機
• Chapter 2: Background and Traditional Approaches 背景介紹方法 Part I: Node Embeddings 節點嵌入
• Chapter 3: Neighborhood Reconstruction Methods 鄰域重建方法
• Chapter 4: Multi-Relational Data and Knowledge Graphs 多關系數據與知識圖譜 Part II: Graph Neural Networks 圖神經網絡
• Chapter 5: The Graph Neural Network Model 圖神經網絡模型
• Chapter 6: Graph Neural Networks in Practice 圖神經網路實踐
• Chapter 7: Theoretical Motivations 理論動機 Part III: Generative Graph Models 生成圖模型
• Chapter 8: Traditional Graph Generation Approaches 傳統圖生成方法
• Chapter 9: Deep Generative Models 深度生成模型
• Bibliography [Draft. Updated August 2020.]

題目： Heterogeneous Graph Attention Network

摘要： 圖神經網絡作為一種基于深度學習的功能強大的圖表示技術，表現出了優越的性能，引起了廣泛的研究興趣。然而，對于包含不同節點和鏈接類型的異構圖，圖神經網絡還沒有充分考慮到這一點。異構性和豐富的語義信息給異構圖的圖神經網絡設計帶來了很大的挑戰。最近，深度學習領域最令人興奮的進展之一是注意力機制，其巨大的潛力在各個領域都得到了很好的展示。本文首先提出了一種基于分層關注的異構圖神經網絡，包括節點級關注和語義級關注。具體來說，節點級注意的目的是學習節點與其基于元路徑的鄰居之間的重要性，而語義級注意能夠學習不同元路徑之間的重要性。通過對節點級和語義級注意的學習，可以充分考慮節點和元路徑的重要性。然后將基于元路徑的鄰域的特征分層聚合，生成節點嵌入。在三個真實世界的異構圖上的廣泛實驗結果不僅顯示了我們所提出的模型的優越性能，而且也顯示了它對圖分析的潛在良好的可解釋性。

題目： Introduction to Graph Neural Networks

簡介：

在復雜的實際應用中，圖是有用的數據結構，例如對物理系統進行建模，學習分子指紋，控制交通網絡以及在社交網絡中推薦朋友。但是，這些任務需要處理包含元素之間的豐富關系信息且無法通過傳統深度學習模型（例如卷積神經網絡（CNN）或遞歸神經網絡（RNN））妥善處理的非歐氏圖數據。圖中的節點通常包含有用的特征信息，這些信息在大多數無監督的表示學習方法（例如，網絡嵌入方法）中無法很好地解決。提出了圖神經網絡（GNN）來結合特征信息和圖結構，以通過特征傳播和聚集學習更好的圖表示。由于其令人信服的性能和高解釋性，GNN最近已成為一種廣泛應用的圖形分析工具。本書全面介紹了圖神經網絡的基本概念，模型和應用。首先介紹了香草GNN模型。然后介紹了vanil la模型的幾種變體，例如圖卷積網絡，圖遞歸網絡，圖注意力網絡，圖殘差網絡和一些通用框架。還包括不同圖類型的變體和高級訓練方法。對于GNN的應用，該書將min分為結構，非結構和其他場景，然后介紹了解決這些任務的幾種典型模型。最后，最后幾章提供了GNN的開放資源以及一些未來方向的展望。

深度學習在許多領域都取得了可喜的進展，例如計算機視覺和自然語言處理。這些任務中的數據通常以歐幾里得表示。但是，許多學習任務需要處理包含元素之間豐富的關系信息的非歐氏圖數據，例如建模物理系統，學習分子指紋，預測蛋白質界面等。圖神經網絡（GNN）是基于深度學習的方法，在圖域上運行。由于其令人信服的性能和高解釋性，GNN最近已成為一種廣泛應用的圖形分析方法。本書全面介紹了圖神經網絡的基本概念，模型和應用。它從數學模型和神經網絡的基礎開始。在第一章中，它對GNN的基本概念進行了介紹，目的是為讀者提供一個概覽。然后介紹了GNN的不同變體：圖卷積網絡，圖遞歸網絡，圖注意力網絡，圖殘差網絡和一些通用框架。這些最差的結果是將通用的深度學習技術轉化為圖形，例如卷積神經網絡，遞歸神經網絡，注意力機制和跳過連接。此外，這本書介紹了GNN在結構場景（物理，化學，知識圖譜），非結構場景（圖像，文本）和其他場景（生成模型，組合優化）中的不同應用。最后，這本書列出了相關的數據集，開源平臺和GNN的實現。本書組織如下。在第1章中進行了概述之后，在第2章中介紹了數學和圖論的一些基本知識。在第3章中介紹了神經網絡的基礎，然后在第4章中簡要介紹了香草GNN。四種類型的模型分別在第5、6、7和8章中介紹。在第9章和第10章中介紹了不同圖類型和高級訓練方法的其他變體。然后在第11章中提出了幾種通用的GNN框架。第12、13和14章介紹了GNN在結構場景，非結構場景和其他場景中的應用。最后，我們在第15章提供了一些開放資源，并在第16章總結了這本書。

這本書是用兩位作者博士論文中的材料和大量全新材料擴充而成的，主要內容是隨機微分方程(SDEs)在諸如目標跟蹤和醫學技術等領域的應用，特別是它們在諸如濾波、平滑、參數估計和機器學習等方法中的應用。

這本書的主題是隨機微分方程(SDE)。顧名思義，它們實際上是微分方程，每次求解時都會產生不同的“答案”或解軌跡。這種奇特的行為給它們提供了在廣泛的應用中對不確定性建模有用的特性，但同時也使SDE的嚴格數學處理變得復雜。

這本書的重點是應用，而不是理論方面的SDE，因此，我們選擇以一種我們認為支持從應用角度學習SDE的方式來構建這本書 。在這幾章中，我們試圖提供一個實例、實踐應用的理論和方法的結果。每一章還包含一套代表性的分析和動手練習的項目，可以用來測試和加深對主題的理解。