亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Lorentzian Graph Convolutional Networks 會議： WWW 2021

圖卷積神經網絡（GCN）最近受到了大量研究者的關注。大多數GCN使用歐幾里得幾何學習節點的特征表示，但是對于具有無標度或層次結構的圖，歐幾里得幾何可能會產生較高的失真。近來，一些GCN使用非歐幾里得幾何，例如雙曲幾何，解決以上問題。盡管雙曲GCN展示了其性能，但是現有的雙曲圖操作實際上不能嚴格遵循雙曲幾何，這可能會限制雙曲幾何的能力，從而損害雙曲GCN的性能。 在本文中，我們提出了一種新穎的洛倫茲圖卷積網絡（LGCN），它在雙曲空間的雙曲面模型上設計了統一的圖操作框架。從該框架派生出嚴格的雙曲圖操作，包括特征變換和非線性激活，以確保變換后的節點特征遵循雙曲幾何。此外，基于洛倫茲距離的質心，我們提出了一種優雅的雙曲鄰居聚合方式，以確保被聚合的節點特征滿足數學意義。并且，我們從理論上證明了一些提出的操作等同于在另一類雙曲幾何中的定義，表明所提出的方法填補了雙曲面模型缺乏嚴謹的圖操作的空白。

現有的協同過濾(CF)方法大多是基于匹配的思想設計的，即通過使用淺層或深層模型從數據中學習用戶和項目嵌入，試圖捕獲數據中的關聯關聯模式，這樣用戶嵌入就可以通過設計或學習的相似函數與相關的物品嵌入相匹配。然而，推薦作為一種認知而非感知智能任務，不僅需要從數據中進行模式識別和匹配的能力，還需要對數據進行認知推理的能力。在本文中，我們將協同過濾(CF)提升為協同推理(CR)，即每個用戶知道推理空間的一部分，并在空間中協作進行推理，以估計彼此的偏好。在技術上，我們提出了一個神經協作推理(NCR)框架來連接學習和推理。具體來說，我們整合了表示學習和邏輯推理的能力，其中表示從感知的角度捕捉數據中的相似模式，而邏輯促進了知情決策的認知推理。然而，一個重要的挑戰是在一個共享的體系結構中架起可微分神經網絡和符號推理的橋梁，以進行優化和推理。為解決這一問題，我們提出了一種模塊化的推理體系結構，將AND(∧)、OR(∨)、NOT(?)等邏輯運算學習為蘊涵推理(→)的神經模塊。這樣，邏輯表達式就可以等效地組織成神經網絡，從而在連續空間中進行邏輯推理和預測。與淺層、深層和推理模型相比，在真實數據集上的實驗驗證了我們的框架的優勢。

//www.zhuanzhi.ai/paper/3ef41bd3070325cba6601e2e056e2583

近年來，人們致力于提高推薦系統的準確性和相關性。多樣性是衡量所推薦項目之間差異的一個關鍵因素，但很少受到仔細研究。與用戶滿意度直接相關的是，在生成候選條目后，多樣化通常被考慮在內。然而，這種多樣化和候選生成的解耦設計使得整個系統處于次優狀態。在本文中，我們的目標是利用圖卷積網絡(GCN)將多元化推至上游候選生成階段。盡管基于GCN的推薦算法在建模復雜的協同過濾效果以提高推薦的準確性方面表現出了巨大的能力，但在這些先進的工作中，多樣性變化是如何被忽略的。我們提出在GCN的基礎上執行重新平衡的鄰居發現、類別增強的負采樣和對抗學習。我們在真實世界的數據集上進行大量的實驗。實驗結果驗證了本文方法的有效性。進一步的消融研究驗證了我們提出的方法顯著緩解了準確性-多樣性的困境。

//fi.ee.tsinghua.edu.cn/public/publications/b344fd48-92b0-11eb-96bc-0242ac120003.pdf

雙曲空間提供了豐富的設置來學習具有優越屬性的嵌入，這些屬性在計算機視覺、自然語言處理和計算生物學等領域得到了利用。最近，有人提出了幾種雙曲線方法來學習推薦設置中的用戶和項目的魯棒表示。但是，這些方法不能捕獲推薦領域中通常存在的高階關系。另一方面，圖卷積神經網絡(GCNs)則擅長通過對局部表示應用多層聚合來捕獲更高階的信息。在本文中，我們提出了一個用于協同過濾的雙曲線GCN模型，以一種新穎的方式將這些框架結合起來。我們證明了我們的模型可以在邊緣損失的情況下有效學習，并證明了雙曲空間在邊緣設置下具有理想的性質。在測試時，我們的模型使用雙曲距離來進行推理，雙曲距離保留了學習空間的結構。我們對三個公共基準進行了廣泛的實證分析，并與一組大型基線進行比較。我們的方法實現了非常具有競爭力的結果，并超過領先的基線，包括歐幾里德GCN對等物。我們進一步研究了雙曲線嵌入的性質，并表明它們對數據提供了有意義的見解。該工作的完整代碼可以在這里://github.com/layer6ai-labs/HGCF。

點擊率(CTR)預測在推薦系統和在線廣告中起著至關重要的作用。這些應用程序中使用的數據是多字段類別數據，其中每個特征屬于一個字段。字段信息被證明是重要的，在他們的模型中有一些考慮字段的工作。在本文中，我們提出了一種新的方法來有效和高效地建模場信息。該方法是對FwFM的直接改進，被稱為場矩陣分解機(FmFM，或FM2)。在FmFM框架下，我們對FM和FwFM提出了新的解釋，并與FFM進行了比較。除了對交叉項進行修剪外，我們的模型還支持特定領域的可變維度的嵌入向量，這是一種軟修剪。在保持模型性能的同時，我們還提出了一種有效的最小化維數的方法。FmFM模型還可以通過緩存中間向量來進一步優化，它只需要數千次浮點運算(FLOPs)就可以做出預測。實驗結果表明，該算法的性能優于復雜的FFM算法。FmFM模型的性能也可以與DNN模型相媲美，DNN模型在運行時需要更多FLOPs 。

//www.zhuanzhi.ai/paper/39df3ac3e3acb641f86294a4d6acb39f

圖卷積網絡(GCNs)在推薦方面表現出巨大的潛力。這歸功于他們通過利用來自高階鄰居的協作信號來學習良好的用戶和項目嵌入的能力。與其他GCN模型一樣，基于GCN的推薦模型也存在著臭名昭著的過平滑問題——當疊加更多層時，節點嵌入變得更加相似，最終無法區分，導致性能下降。最近提出的LightGCN和LR-GCN在一定程度上緩解了這一問題，但是我們認為他們忽略了推薦中出現過平滑問題的一個重要因素，即在圖卷積操作中，用戶的嵌入學習也可以涉及到與用戶沒有共同興趣的高階鄰域用戶。因此，多層圖卷積會使不同興趣的用戶具有相似的嵌入性。在本文中，我們提出了一種新的興趣感知消息傳遞GCN (IMP-GCN)推薦模型，該模型在子圖中進行高階圖卷積。子圖由具有相似興趣的用戶及其交互項組成。為了形成子圖，我們設計了一個無監督的子圖生成模塊，該模塊利用用戶特征和圖結構來有效識別具有共同興趣的用戶。為此，我們的模型可以避免將高階鄰域的負面信息傳播到嵌入學習中。在三個大規模基準數據集上的實驗結果表明，我們的模型可以通過疊加更多的層來獲得性能的提高，顯著優于目前最先進的基于GCN的推薦模型。

圖神經網絡(GNNs)最近在圖學習方面取得了重大進展。盡管GNN具有豐富的表示能力，但對于大規模的社會建模應用來說，GNN的開發仍然相對不足。在線社交平臺中普遍存在的一種應用是好友推薦:平臺向用戶推薦其他候選用戶，以提高用戶的聯系性、留存率和參與度。然而，在大型社交平臺上建模這樣的用戶-用戶互動帶來了獨特的挑戰: 這些圖表通常有重尾度分布，其中很大一部分用戶是不活躍的，并且結構和參與信息有限。此外，用戶與不同的功能進行交互，與不同的組進行交流，并具有多方面的交互模式。我們研究了用于好友推薦的GNN應用，就我們所知，為這項任務提供了GNN設計的首次研究。為了充分利用平臺內異構用戶行為的豐富知識，我們將好友推薦設計為具有多模式用戶特征和鏈接傳播特征的多層面好友排名。我們提出了一個神經結構，GraFRank，它是精心設計的，從多種用戶特征形態和用戶-用戶交互中學習表達用戶表示。具體而言，GraFRank通過模態特定的鄰居聚合器處理模態同質性的異質性，并通過交叉模態關注學習非線性模態相關性。我們在兩個數百萬用戶的社交網絡數據集上進行了實驗，這些數據集來自領先和廣泛流行的移動社交平臺Snapchat，在候選檢索(30%的MRR)和排名(20%的MRR)任務上，GraFRank的表現優于一些最先進的方法。此外，我們的定性分析表明，低活躍度和低級別用戶的關鍵人群獲得了顯著收益。

在點擊率(CTR)預測場景中，用戶的序列行為被很好地利用來捕捉用戶的興趣。然而，盡管這些順序方法得到了廣泛的研究，但仍然存在三個局限性。首先，現有的方法大多是利用對用戶行為的關注，并不總是適合于點擊率預測，因為用戶經常會點擊與任何歷史行為無關的新產品。其次，在真實的場景中，有許多用戶在很久以前就有操作，但在最近變得相對不活躍。因此，很難通過早期的行為準確地捕捉用戶當前的偏好。第三，用戶歷史行為在不同特征子空間中的多重表示在很大程度上被忽略。為了解決這些問題，我們提出了一種多交互關注網絡(Multi-Interactive Attention Network, MIAN)來全面提取用戶檔案中各種細粒度特征(如性別、年齡和職業)之間的潛在關系。具體來說，MIAN包含一個多交互層(MIL)，該層集成了三個本地交互模塊，通過順序行為捕獲用戶偏好的多種表示，同時利用細粒度的用戶特定信息和上下文信息。此外，我們設計了一個全局交互模塊(GIM)來學習高階交互并平衡多個特征的不同影響。最后，在3個數據集上進行離線實驗，并在一個大規模推薦系統中進行在線A/B測試，驗證了本文方法的有效性。

//www.zhuanzhi.ai/paper/2aac834293c05622fe4cb37096525879

大部分的深度學習模型主要包含如下的兩大模塊：輸入模塊以及表示學習模塊。自從NAS[1]的出現以來，神經網絡架構的設計上正在往數據驅動的自動機器學習方向演進。不過之前更多的研究都是聚焦在如何自動設計表示學習模塊而不是輸入模塊，主要原因是在計算機視覺等成熟領域原始輸入（圖像像素）已經是浮點數了。

輸入模塊：負責將原始輸入轉換為浮點數； 表示學習模塊：根據輸入模塊的浮點值，計算得到模型的最終輸出；

而在推薦、搜索以及廣告工業界的大規模深度模型上，情況卻完全不同。因為包含大量高維稀疏的離散特征（譬如商品id，視頻id或者文章id）需要將這些類別特征通過embedding嵌入技術將離散的id轉換為連續的向量。而這些向量的維度大小往往被當做一個超參手動進行設定。

一個簡單的數據分析就能告訴我們嵌入向量維度設定的合理與否非常影響模型的效果。以YoutubeDNN[2]為例，其中使用到的VideoId的特征詞典大小是100萬，每一個特征值嵌入向量大小是256。僅僅一個VideoId的特征就包含了2.56億的超參，考慮到其他更多的離散類特征輸入模塊的需要學習的超參數量可想而知。相應地，表示學習模塊主要包含三層全連接層。也就是說大部分的超參其實聚集在了輸入模塊，那自然就會對模型的效果有著舉足輕重的影響。

Google的研究者們在最新的一篇論文[3]中提出了NIS技術（Neural Input Search），可以自動學習大規模深度推薦模型中每個類別特征最優化的詞典大小以及嵌入向量維度大小。目的就是為了在節省性能的同時盡可能地最大化深度模型的效果。

并且，他們發現傳統的Single-size Embedding方式（所有特征值共享同樣的嵌入向量維度）其實并不能夠讓模型充分學習訓練數據。因此與之對應地，提出了Multi-size Embedding方式讓不同的特征值可以擁有不同的嵌入向量維度。

在實際訓練中，他們使用強化學習來尋找每個特征值最優化的詞典大小和嵌入向量維度。通過在兩大大規模推薦問題（檢索、排序）上的實驗驗證，NIS技術能夠自動學習到更優化的特征詞典大小和嵌入維度并且帶來在Recall@1以及AUC等指標上的顯著提升。

//dl.acm.org/doi/10.1145/3394486.3403288