亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

雙曲空間提供了豐富的設置來學習具有優越屬性的嵌入，這些屬性在計算機視覺、自然語言處理和計算生物學等領域得到了利用。最近，有人提出了幾種雙曲線方法來學習推薦設置中的用戶和項目的魯棒表示。但是，這些方法不能捕獲推薦領域中通常存在的高階關系。另一方面，圖卷積神經網絡(GCNs)則擅長通過對局部表示應用多層聚合來捕獲更高階的信息。在本文中，我們提出了一個用于協同過濾的雙曲線GCN模型，以一種新穎的方式將這些框架結合起來。我們證明了我們的模型可以在邊緣損失的情況下有效學習，并證明了雙曲空間在邊緣設置下具有理想的性質。在測試時，我們的模型使用雙曲距離來進行推理，雙曲距離保留了學習空間的結構。我們對三個公共基準進行了廣泛的實證分析，并與一組大型基線進行比較。我們的方法實現了非常具有競爭力的結果，并超過領先的基線，包括歐幾里德GCN對等物。我們進一步研究了雙曲線嵌入的性質，并表明它們對數據提供了有意義的見解。該工作的完整代碼可以在這里://github.com/layer6ai-labs/HGCF。

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

本文探討了元學習在序列推薦中的應用，以緩解項目冷啟動問題。序列推薦旨在根據用戶的歷史行為序列捕獲用戶的動態偏好，是大多數在線推薦場景的關鍵組成部分。然而，大多數以前的方法難以推薦冷啟動項目，這在這些情況下是普遍存在的。由于在序列推薦任務的設置中通常沒有附加信息，所以當只有用戶-項目交互可用時，不能運用以前的冷啟動方法。因此，我們提出了一種基于元學習的冷啟動序列推薦框架，即Mecos，以緩解序列推薦中項目冷啟動問題。這項任務不是微不足道的，因為它的目標是一個重要的問題，在一個新穎的和具有挑戰性的背景下。Mecos有效地從有限的交互中提取用戶偏好，并學習將目標冷啟動項目與潛在用戶匹配。此外，我們的框架可以輕松地集成基于神經網絡的模型。在三個真實世界的數據集上進行的大量實驗驗證了Mecos的優越性，與最先進的基線方法相比，在HR@10的平均改進高達99%，91%和70%。

近年來，許多在線平臺（如亞馬遜和淘寶網）都取得了巨大成功。在線平臺上的用戶行為是動態變化的，且會隨著時間而發展。序列推薦的主要目標就是從用戶歷史行為中捕捉關鍵的信息，并基于此準確表征用戶興趣進而提供高質量的推薦[1,2,3]。已有研究人員基于深度學習提出很多序列推薦的模型，此外還有研究人員結合豐富的上下文信息（如商品屬性）一起進行用戶興趣建模，實驗表明，上下文信息對于提高推薦效果很重要。

盡管現有方法在一定程度上已被證明有效，但它們有兩個可能會影響推薦效果的缺陷。首先，他們主要依靠“下一個物品推薦”（Next Item Prediction）損失函數來學習整個模型。在使用上下文信息時，也仍然只使用這一個優化目標。已有研究表明，這種優化方法很容易受到數據稀疏性等問題的影響。此外，它們過分強調最終的推薦性能，而上下文數據和序列數據之間的關聯或融合卻沒有在數據表示中被很好地捕獲。多個領域的實驗結果表明[4，5，6]，更有效的數據表示方法（例如，預先訓練的上下文信息嵌入）已成為改善現有模型或體系結構性能的關鍵因素。因此，有必要重新考慮學習范式并開發更有效的序列推薦系統。

為了解決上述問題，我們借鑒了自監督學習的思想來改進序列推薦的方法。自監督學習是一個新興的學習范式，旨在讓模型從原始數據的內在結構中學習。自監督學習的一般框架是首先從原始數據中構建新的監督信號，然后通過這些額外設計的優化目標來對模型進行預訓練。如之前討論的，有限的監督信號和低效的數據表示是現有的神經序列推薦方法的兩個主要問題。幸運的是，自監督學習似乎為解決這兩個問題提供了解決方案：它通過內在數據相關性來設計輔助訓練目標以提供豐富的自監督信號，并通過預訓練的方法增強數據表示。對于序列推薦，上下文信息以不同的形式存在，包括物品，屬性，子序列和序列。開發統一表征這種數據相關性的方法并不容易。對于這個問題，我們借鑒最近提出的互信息最大化（Mutual Information Maximization, MIM）方法，其已被證明可以有效捕獲原始輸入的不同視圖（或部分）之間的相關性。

基于以上，我們提出了一種基于自監督學習方法的序列推薦模型（Self-Supervised Learning Sequential Recommendation, S3-Rec）。基于自注意力機制的體系結構[3]，我們首先使用設計的自監督訓練目標對模型進行預訓練，然后根據推薦任務對模型進行微調。此工作的主要新穎之處在預訓練階段，我們基于MIM的統一形式精心設計了四個自監督的優化目標，分別用于捕獲物品-屬性間，序列-物品間，序列-屬性間和序列-子序列間的相關性。因此，S3-Rec能夠以統一的方式來表征不同粒度級別或不同形式數據之間的相關性，并且也可以靈活地適應新的數據類型或關聯模式。通過這樣的預訓練方法，我們可以有效地融合各種上下文數據，并學習屬性感知的上下文化的數據表示。最后，將學習到的表示輸入推薦模型，并根據推薦任務對其進行優化。

為了驗證S3-Rec的有效性，我們在6個不同領域的真實數據集上進行了充分的實驗。實驗結果表明，S3-Rec超過了目前的SOTA，并且在訓練數據非常有限的情況表現得尤為明顯。另外S3-Rec還可以有效得適應其他類別的神經體系結構，例如GRU[1]和CNN[2]。我們的主要貢獻概括如下：（1）據我們所知，這是首次采用MIM進行自監督學習來改善序列推薦任務的工作；（2）我們提出了4個自監督優化目標來最大化不同形式或粒度的上下文信息的互信息；（3）在6個數據集上的充分實驗證明了我們方法的有效性。

//www.zhuanzhi.ai/paper/f89bf5e9ab6b630c51edddff406566f4

推薦系統在web應用中扮演著過濾大量信息和匹配用戶興趣的基礎角色。雖然許多人致力于開發各種場景下更有效的模型，但對于推薦系統可解釋性的探索卻處于滯后狀態。解釋可以幫助改善用戶體驗和發現系統缺陷。本文在正式引入與模型可解釋性相關的要素后，通過提高表示學習過程的透明度，提出了一種新的可解釋推薦模型。具體地說，為了克服傳統模型中的表示糾纏問題，我們修改了傳統的圖卷積來區分不同層次的信息。此外，每個表示向量被分解為若干段，其中每個段與數據中的一個語義方面相關。與之前的工作不同，在我們的模型中，因子發現和表示學習同時進行，我們能夠處理額外的屬性信息和知識。通過這種方式，該模型可以學習對用戶和項的可解釋和有意義的表示。與傳統方法需要在可解釋性和有效性之間進行權衡不同，我們所提出的可解釋模型在考慮了可解釋性后，其性能沒有受到負面影響。最后，通過綜合實驗驗證了模型的性能和解釋的可信度。

現有的基于注意力機制的推薦模型存在一些改進的余地。很多模型只在生成用戶的表示時應用了粗粒度的注意力機制，少數改進的模型盡管在注意力模塊中加入了物品的屬性（特征）信息，即融入了物品的相關知識，但仍然僅在用戶表示這一端應用了注意力機制。針對這些問題，本文提出了一種在用戶表示端與物品表示端協同應用（物品）屬性級注意力機制的深度推薦模型，簡稱ACAM（Attribute-level Co-Attention Model），其主要特性為： （1）物品與用戶的初始表示基于知識圖譜中物品屬性的表示（向量），而非單一的隨機初始化向量。 （2）內建協同注意力機制模塊，通過捕獲不同屬性之間的關聯來增強用戶和物品的表示，這是考慮到不同的物品屬性（特征）之間可能存在相關性。例如，電影的屬性中，演員史泰龍與動作題材高度相關，演員鞏俐與導演張藝謀也很相關。因此，基于屬性相關性來增強用戶/物品表示能夠更加精確地揭示目標用戶和候選物品之間的潛在關系，從而提升推薦性能。 （3）采用多任務學習的框架來訓練損失函數，融入知識（嵌入）表示學習的目標，以習得更優的物品和物品屬性的表示。

ACAM模型輸入為目標用戶和候選物品，輸出為兩者匹配的概率 ，其值越大表明越可能喜歡。模型的架構如下圖所示，可分為三個部分：嵌入層、協同注意力機制層與預測層，下面將分別介紹每層的設計細節。