亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在圖數據挖掘任務中，對于特定任務，有標簽的數據通常十分稀少，然而現實中存在著大量無標簽的數據。

因此，如何通過預訓練從這些標簽數據中獲取有用的先驗知識，從而提升下游任務的表現成為了一個有價值的問題。我們本篇工作提出了一種在大規模異質圖上進行高效預訓練的框架。

近年來，圖神經網絡作為圖結構數據學習的重要方法，可以通過遞歸的從鄰居聚合消息（特征和節點表示）來學習到有效的圖表示。但是圖神經網絡通常需要大量的有標簽數據來取得令人滿意的表現。為了解決標簽稀疏的問題，一些工作提出了基于自監督的方法來從無標簽的數據中提取先驗知識。然而，現有的預訓練框架都是基于同質圖的，但現實生活中的交互系統通常都是有多種類型節點和邊的大規模的異質圖。因此，在我們設計預訓練模型的時候遇到了如下兩個挑戰。

如何捕捉異質圖的語義和結構性質 相比同質圖，異質圖具有更豐富的語義和結構信息。不同類型的節點通常有不同的圖結構性質（例如會議節點的度要普遍高于其他類型的節點）。不同類型的連邊通常有不同的語義關系。因此為了有效的預訓練，我們需要捕捉這些信息。

如何在大規模異質圖上高效預訓練一個 GNN

現實生活中的異質圖可以擁有數十億的節點和邊。為了可以在這樣這樣大規模的圖上進行預訓練，我們需要設計一種加速策略來保證我們在大規模異質圖上的預訓練效率。

為了解決上述的兩個問題，我們提出了 PTHGNN 來進行大規模異質圖上的預訓練。對于第一個挑戰，基于對比學習，我們提出了節點級別和網絡模式級別的預訓練任務來捕捉異質圖的語義和結構信息。對于第二個挑戰，我們提出了基于 personalized pagerank 的邊稀疏化方法，從而來提高我們進行大規模預訓練的效率。

MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge

Authors: Mengying Sun, Jing Xing, Huijun Wang, Bin Chen, Jiayu Zhou

近年來，利用圖神經網絡解決藥物相關問題在生物醫學領域得到了迅速發展。然而，就像任何其他深度架構一樣，GNN是數據需求型的。雖然在現實世界中要求標簽通常是昂貴的，但以一種無監督的方式對GNN進行預處理已經被積極地探索。其中，圖對比學習通過最大化成對圖增強之間的互信息，已被證明對各種下游任務是有效的。然而，目前的圖對比學習框架有兩個局限性。首先，增強是為一般圖設計的，因此對于某些領域可能不夠合適或不夠強大。第二，對比方案只學習對局部擾動不變的表示，因此不考慮數據集的全局結構，這也可能對下游任務有用。因此，本文研究生物醫學領域中存在分子圖的圖對比學習。我們提出了一個新的框架MoCL，利用領域知識在局部和全局水平上幫助表示學習。局部層次的領域知識指導擴展過程，這樣在不改變圖語義的情況下引入變體。全局層次的知識對整個數據集圖之間的相似性信息進行編碼，并幫助學習具有更豐富語義的表示。整個模型通過雙對比目標學習。我們評估了在線性和半監督設置下的多種分子數據集上的MoCL，結果表明MoCL達到了最先進的性能。

來自傳感器網絡、可穿戴設備和物聯網(IoT)設備的大量數據凸顯了對利用去中心化數據的時空結構的高級建模技術的需求，因為需要邊緣計算和許可(數據訪問)問題。雖然聯邦學習(FL)已經成為一種無需直接數據共享和交換的模型訓練框架，但有效地建模復雜的時空依賴關系以提高預測能力仍然是一個懸而未決的問題。另一方面，最先進的時空預測模型假定對數據的訪問不受限制，而忽略了數據共享的約束。在跨節點聯合學習的約束下，我們提出了跨節點聯合圖神經網絡(CNFGNN)的聯邦時空模型，該模型使用基于圖神經網絡(GNN)的體系結構對底層圖結構進行顯式編碼，這要求節點網絡中的數據在每個節點上本地生成，并且保持分散。CNFGNN通過分離設備上的時間動態建模和服務器上的空間動態，利用交替優化來降低通信成本，促進邊緣設備上的計算。交通流預測任務的計算結果表明，CNFGNN在不增加邊緣設備的計算成本的情況下，在傳感和歸納學習環境下均取得了最佳的預測性能，同時通信成本較低。

異構圖神經網絡(HGNN)作為一種新興的技術，在處理異構信息網絡(HIN)方面表現出優越的能力。然而，大多數HGNN遵循半監督學習方式，這明顯限制了它們在現實中的廣泛使用，因為標簽在實際應用中通常很少。近年來，對比學習，一種自監督的學習方法，成為最令人興奮的學習模式之一，在沒有標簽的情況下顯示出巨大的潛力。在本文中，我們研究了自監督HGNN的問題，并提出了一種新的HGNN的共同對比學習機制，名為HeCo。不同于傳統的對比學習只關注于對正樣本和負樣本的對比，HeCo采用了跨視角對比機制。具體來說，我們提出了HIN的兩種視圖(網絡模式視圖和元路徑視圖)來學習節點嵌入，從而同時捕獲局部和高階結構。在此基礎上，提出了一種跨視圖對比學習方法，并提出了一種視圖掩碼機制，能夠從兩個視圖中提取正面和負面的嵌入信息。這使得兩個視圖能夠相互協作監督，并最終學習高級節點嵌入。此外，設計了兩個擴展的HeCo，以產生高質量的硬負樣本，進一步提高了HeCo的性能。在各種真實網絡上進行的大量實驗表明，所提出的方法的性能優于最新的技術。

//www.zhuanzhi.ai/paper/9af678b0d09538b9cc18ef07a10d9560

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

圖神經網絡具有很強的圖表示學習能力，在各種實際應用中取得了巨大的成功。GNN通過聚集和轉換節點鄰域內的信息來探索圖的結構和節點特征。但是，通過理論和實證分析，我們發現GNN的聚集過程會破壞原始特征空間中的節點相似性。在許多場景中，節點相似性起著關鍵作用。因此，本文提出的SimP-GCN框架可以在利用圖結構的同時有效地保持節點相似性。具體地說，為了平衡圖結構和節點特征信息，我們提出了一種自適應地集成圖結構和節點特征的特征相似性保持聚合。此外，我們使用自監督學習來顯式地捕捉復雜特征之間的相似性和差異性關系。在包括3個同選型圖和4個異選型圖的7個基準數據集上驗證了SimP-GCN的有效性。結果表明SimP-GCN優于代表性基線。進一步的研究顯示了所提議的框架的各種優點。

//arxiv.org/abs/2011.09643

近年來，許多在線平臺（如亞馬遜和淘寶網）都取得了巨大成功。在線平臺上的用戶行為是動態變化的，且會隨著時間而發展。序列推薦的主要目標就是從用戶歷史行為中捕捉關鍵的信息，并基于此準確表征用戶興趣進而提供高質量的推薦[1,2,3]。已有研究人員基于深度學習提出很多序列推薦的模型，此外還有研究人員結合豐富的上下文信息（如商品屬性）一起進行用戶興趣建模，實驗表明，上下文信息對于提高推薦效果很重要。

盡管現有方法在一定程度上已被證明有效，但它們有兩個可能會影響推薦效果的缺陷。首先，他們主要依靠“下一個物品推薦”（Next Item Prediction）損失函數來學習整個模型。在使用上下文信息時，也仍然只使用這一個優化目標。已有研究表明，這種優化方法很容易受到數據稀疏性等問題的影響。此外，它們過分強調最終的推薦性能，而上下文數據和序列數據之間的關聯或融合卻沒有在數據表示中被很好地捕獲。多個領域的實驗結果表明[4，5，6]，更有效的數據表示方法（例如，預先訓練的上下文信息嵌入）已成為改善現有模型或體系結構性能的關鍵因素。因此，有必要重新考慮學習范式并開發更有效的序列推薦系統。

為了解決上述問題，我們借鑒了自監督學習的思想來改進序列推薦的方法。自監督學習是一個新興的學習范式，旨在讓模型從原始數據的內在結構中學習。自監督學習的一般框架是首先從原始數據中構建新的監督信號，然后通過這些額外設計的優化目標來對模型進行預訓練。如之前討論的，有限的監督信號和低效的數據表示是現有的神經序列推薦方法的兩個主要問題。幸運的是，自監督學習似乎為解決這兩個問題提供了解決方案：它通過內在數據相關性來設計輔助訓練目標以提供豐富的自監督信號，并通過預訓練的方法增強數據表示。對于序列推薦，上下文信息以不同的形式存在，包括物品，屬性，子序列和序列。開發統一表征這種數據相關性的方法并不容易。對于這個問題，我們借鑒最近提出的互信息最大化（Mutual Information Maximization, MIM）方法，其已被證明可以有效捕獲原始輸入的不同視圖（或部分）之間的相關性。

基于以上，我們提出了一種基于自監督學習方法的序列推薦模型（Self-Supervised Learning Sequential Recommendation, S3-Rec）。基于自注意力機制的體系結構[3]，我們首先使用設計的自監督訓練目標對模型進行預訓練，然后根據推薦任務對模型進行微調。此工作的主要新穎之處在預訓練階段，我們基于MIM的統一形式精心設計了四個自監督的優化目標，分別用于捕獲物品-屬性間，序列-物品間，序列-屬性間和序列-子序列間的相關性。因此，S3-Rec能夠以統一的方式來表征不同粒度級別或不同形式數據之間的相關性，并且也可以靈活地適應新的數據類型或關聯模式。通過這樣的預訓練方法，我們可以有效地融合各種上下文數據，并學習屬性感知的上下文化的數據表示。最后，將學習到的表示輸入推薦模型，并根據推薦任務對其進行優化。

為了驗證S3-Rec的有效性，我們在6個不同領域的真實數據集上進行了充分的實驗。實驗結果表明，S3-Rec超過了目前的SOTA，并且在訓練數據非常有限的情況表現得尤為明顯。另外S3-Rec還可以有效得適應其他類別的神經體系結構，例如GRU[1]和CNN[2]。我們的主要貢獻概括如下：（1）據我們所知，這是首次采用MIM進行自監督學習來改善序列推薦任務的工作；（2）我們提出了4個自監督優化目標來最大化不同形式或粒度的上下文信息的互信息；（3）在6個數據集上的充分實驗證明了我們方法的有效性。

現有的基于注意力機制的推薦模型存在一些改進的余地。很多模型只在生成用戶的表示時應用了粗粒度的注意力機制，少數改進的模型盡管在注意力模塊中加入了物品的屬性（特征）信息，即融入了物品的相關知識，但仍然僅在用戶表示這一端應用了注意力機制。針對這些問題，本文提出了一種在用戶表示端與物品表示端協同應用（物品）屬性級注意力機制的深度推薦模型，簡稱ACAM（Attribute-level Co-Attention Model），其主要特性為： （1）物品與用戶的初始表示基于知識圖譜中物品屬性的表示（向量），而非單一的隨機初始化向量。 （2）內建協同注意力機制模塊，通過捕獲不同屬性之間的關聯來增強用戶和物品的表示，這是考慮到不同的物品屬性（特征）之間可能存在相關性。例如，電影的屬性中，演員史泰龍與動作題材高度相關，演員鞏俐與導演張藝謀也很相關。因此，基于屬性相關性來增強用戶/物品表示能夠更加精確地揭示目標用戶和候選物品之間的潛在關系，從而提升推薦性能。 （3）采用多任務學習的框架來訓練損失函數，融入知識（嵌入）表示學習的目標，以習得更優的物品和物品屬性的表示。

ACAM模型輸入為目標用戶和候選物品，輸出為兩者匹配的概率 ，其值越大表明越可能喜歡。模型的架構如下圖所示，可分為三個部分：嵌入層、協同注意力機制層與預測層，下面將分別介紹每層的設計細節。

題目： Heterogeneous Graph Attention Network

摘要： 圖神經網絡作為一種基于深度學習的功能強大的圖表示技術，表現出了優越的性能，引起了廣泛的研究興趣。然而，對于包含不同節點和鏈接類型的異構圖，圖神經網絡還沒有充分考慮到這一點。異構性和豐富的語義信息給異構圖的圖神經網絡設計帶來了很大的挑戰。最近，深度學習領域最令人興奮的進展之一是注意力機制，其巨大的潛力在各個領域都得到了很好的展示。本文首先提出了一種基于分層關注的異構圖神經網絡，包括節點級關注和語義級關注。具體來說，節點級注意的目的是學習節點與其基于元路徑的鄰居之間的重要性，而語義級注意能夠學習不同元路徑之間的重要性。通過對節點級和語義級注意的學習，可以充分考慮節點和元路徑的重要性。然后將基于元路徑的鄰域的特征分層聚合，生成節點嵌入。在三個真實世界的異構圖上的廣泛實驗結果不僅顯示了我們所提出的模型的優越性能，而且也顯示了它對圖分析的潛在良好的可解釋性。