近年來,基于圖卷積網絡(GCNs)的協同過濾(CF)方法引起了廣泛的研究興趣,并取得了最先進的性能。然而,現有的基于GCN的CF模型都是淺層的,無法對高階協同信號進行建模。此外,大多數基于GCN的CF模型利用相同的歸一化規則對鄰居信息進行聚合,導致鄰居具有與流行相關的重要性(對稱歸一化)或同等重要性(左歸一化)。由于節點之間的內在差異,不同的歸一化規則適合于它們聚合鄰居信息。在本文中,我們提出了一種新的混合歸一化深度圖卷積網絡(DGCN-HN)來緩解上述局限性。首先,設計了一個由殘差連接和整體連接組成的深度圖卷積推薦網絡,以緩解過度平滑問題;它允許對GCN進行更深層次的有效訓練。然后,提出了一種混合歸一化層和簡化的注意力網絡,通過自適應地融合來自不同歸一化規則的信息,靈活地建模鄰居的重要性。在三個真實數據集上的綜合實驗表明,DGCN-HN相對于最先進的方法取得了最好的精度(????????????@20和????????@20的平均相對提高了12.12%和12.77%)。此外,我們對最佳基線進行了多樣性研究。這表明我們提出的解決方案可以實現更多樣化的推薦結果。此外,在我們廣泛的案例研究中,我們表明,我們提出的方法更有利于用戶的交互歷史較少,可用于緩解數據稀疏問題。
圖上的不平衡分類是普遍存在的,但在許多現實世界的應用(如欺詐節點檢測)中具有挑戰性。近年來,圖神經網絡在許多網絡分析任務中顯示出良好的性能。然而,現有的GNN大多只關注平衡網絡,在不平衡網絡上的性能不理想。為了彌補這一缺陷,本文提出了生成式對抗圖網絡模型ImGAGN來解決圖上的不平衡分類問題。介紹了一種新的圖結構數據生成器GraphGenerator,它可以通過生成一組合成的少數節點來模擬少數類節點的屬性分布和網絡拓撲結構分布,從而使不同類中的節點數量達到均衡。然后訓練一個圖卷積網絡(GCN)識別器來區分合成平衡網絡上的真實節點和虛假節點(即生成節點),以及少數節點和多數節點。為了驗證該方法的有效性,在四個真實的不平衡網絡數據集上進行了大量的實驗。實驗結果表明,在半監督不平衡節點分類任務中,該方法優于現有的算法。
Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning
基于深度置信度感知學習的廣告投放探索方案
摘要:目前先進的在線廣告系統得益于個性化方法,例如點擊率預估技術。依托于深度學習豐富的表示能力,深層點擊率預估模型在工業界獲得大規模應用,并取得了巨大成功。但是,這些方法可能會受限于“缺乏探索”問題。此前的一系列工作借助上下文賭博機(Contextual Bandit)方法來解決探索與利用的權衡問題,但這些方法難以兼容深層模型,因而表示能力受限。
在本文中,我們提出了一種新穎的深度置信度感知學習(DUAL)方法,基于高斯過程(Gaussian Process)學習點擊率模型。該方法可以在保持深層模型靈活表示能力的同時,提供模型預估不確定性的估計。DUAL可以輕松地在現有模型上實現,并以極少的額外計算開銷部署于實時系統中。通過結合DUAL對模型預估不確定性的估計能力與Bandit算法,我們進一步提出了基于DUAL的廣告投放策略,以提高廣告系統的長期效用。在幾個公共數據集上的實驗結果均表明了該方法的有效性。同時,在阿里巴巴展示外投廣告平臺上部署的在線A/B測試結果顯示,DUAL方法顯著提升了平臺收入等指標。 論文下載:
近年來,人們致力于提高推薦系統的準確性和相關性。多樣性是衡量所推薦項目之間差異的一個關鍵因素,但很少受到仔細研究。與用戶滿意度直接相關的是,在生成候選條目后,多樣化通常被考慮在內。然而,這種多樣化和候選生成的解耦設計使得整個系統處于次優狀態。在本文中,我們的目標是利用圖卷積網絡(GCN)將多元化推至上游候選生成階段。盡管基于GCN的推薦算法在建模復雜的協同過濾效果以提高推薦的準確性方面表現出了巨大的能力,但在這些先進的工作中,多樣性變化是如何被忽略的。我們提出在GCN的基礎上執行重新平衡的鄰居發現、類別增強的負采樣和對抗學習。我們在真實世界的數據集上進行大量的實驗。實驗結果驗證了本文方法的有效性。進一步的消融研究驗證了我們提出的方法顯著緩解了準確性-多樣性的困境。
//fi.ee.tsinghua.edu.cn/public/publications/b344fd48-92b0-11eb-96bc-0242ac120003.pdf
在推薦系統中,當用戶-物品交互數據稀疏時,常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而,現實生活中用戶之間的互動非常復雜,用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系,而它在改善社會推薦方面的潛力還有待開發。在本文中,我們填補了這一空白,提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上,網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入,我們獲得了全面的用戶表示,從而產生推薦結果。然而,聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失,我們創新性地將自監督學習融入到超圖卷積網絡的訓練中,以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明,該模型優于SOTA方法,消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。
雙曲空間提供了豐富的設置來學習具有優越屬性的嵌入,這些屬性在計算機視覺、自然語言處理和計算生物學等領域得到了利用。最近,有人提出了幾種雙曲線方法來學習推薦設置中的用戶和項目的魯棒表示。但是,這些方法不能捕獲推薦領域中通常存在的高階關系。另一方面,圖卷積神經網絡(GCNs)則擅長通過對局部表示應用多層聚合來捕獲更高階的信息。在本文中,我們提出了一個用于協同過濾的雙曲線GCN模型,以一種新穎的方式將這些框架結合起來。我們證明了我們的模型可以在邊緣損失的情況下有效學習,并證明了雙曲空間在邊緣設置下具有理想的性質。在測試時,我們的模型使用雙曲距離來進行推理,雙曲距離保留了學習空間的結構。我們對三個公共基準進行了廣泛的實證分析,并與一組大型基線進行比較。我們的方法實現了非常具有競爭力的結果,并超過領先的基線,包括歐幾里德GCN對等物。我們進一步研究了雙曲線嵌入的性質,并表明它們對數據提供了有意義的見解。該工作的完整代碼可以在這里://github.com/layer6ai-labs/HGCF。
序列推薦作為一個新興的課題,由于其重要的現實意義而受到越來越多的關注。基于深度學習和注意力機制的模型在序列推薦中取得了良好的性能。近年來,基于變分自編碼器(VAE)的生成模型在協同過濾方面顯示出了獨特的優勢。特別是,序列貫VAE模型作為遞歸版本,可以有效地捕捉用戶序列中項目之間的時間依賴性,并進行序列推薦。然而,基于VAE的模型有一個共同的局限性,即獲得的近似后驗分布的表征能力有限,導致生成的樣本質量較低。對于生成序列來說尤其如此。為了解決上述問題,本文提出了一種基于對抗與對比的變分自編碼器(ACVAE)的序列推薦算法。具體來說,我們首先在對抗變分貝葉斯(AVB)框架下引入對抗訓練序列生成,從而使我們的模型產生高質量的潛在變量。然后,我們使用對比損失。潛在變量將能夠通過最大限度地減少對比損失來學習更個性化和突出的特征。此外,在對序列進行編碼時,我們使用一個遞歸和卷積結構來捕獲序列中的全局和局部關系。最后,我們在四個真實世界的數據集上進行了大量的實驗。實驗結果表明,我們提出的ACVAE模型優于其他先進的方法。
圖卷積網絡(GCNs)在推薦方面表現出巨大的潛力。這歸功于他們通過利用來自高階鄰居的協作信號來學習良好的用戶和項目嵌入的能力。與其他GCN模型一樣,基于GCN的推薦模型也存在著臭名昭著的過平滑問題——當疊加更多層時,節點嵌入變得更加相似,最終無法區分,導致性能下降。最近提出的LightGCN和LR-GCN在一定程度上緩解了這一問題,但是我們認為他們忽略了推薦中出現過平滑問題的一個重要因素,即在圖卷積操作中,用戶的嵌入學習也可以涉及到與用戶沒有共同興趣的高階鄰域用戶。因此,多層圖卷積會使不同興趣的用戶具有相似的嵌入性。在本文中,我們提出了一種新的興趣感知消息傳遞GCN (IMP-GCN)推薦模型,該模型在子圖中進行高階圖卷積。子圖由具有相似興趣的用戶及其交互項組成。為了形成子圖,我們設計了一個無監督的子圖生成模塊,該模塊利用用戶特征和圖結構來有效識別具有共同興趣的用戶。為此,我們的模型可以避免將高階鄰域的負面信息傳播到嵌入學習中。在三個大規模基準數據集上的實驗結果表明,我們的模型可以通過疊加更多的層來獲得性能的提高,顯著優于目前最先進的基于GCN的推薦模型。
現有的基于評論的推薦模型主要從一組評論中學習長期用戶和項目表示。由于忽略了評論豐富的側面信息,這些模型存在兩個缺點:1)不能捕捉評論中反映的用戶偏好和條目特征的短期變化,2)不能準確地模擬來自評論的高階用戶-條目協作信號。為了克服這些限制,我們提出了一種名為集序列圖(SSG)的多視圖方法,通過引入兩個額外的利用審查的視圖:序列和圖,來擴充現有的單視圖(即集的視圖)方法。特別地,對于分別以集合、序列和圖的形式組織的評審,我們設計了一個三向編碼器體系結構,它聯合捕獲用戶和項目的長期(集合)、短期(序列)和協作(圖)特性,以供推薦。對于序列編碼器,我們提出了一個短期優先注意力網絡,明確地考慮順序和個性化的時間間隔審查。針對圖碼編碼器,我們設計了一種新穎的回顧感知圖注意網絡來建模用戶-項目圖中的高階多方面關系。為了消除捕獲特性中潛在的冗余,我們的融合模塊使用了跨視圖去關系機制,以鼓勵從多個視圖進行不同的表示以進行集成。在公共數據集上的實驗表明,SSG顯著優于最先進的方法。
圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而,其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析,GCN最初是為圖分類任務而設計的,并配備了許多神經網絡操作。然而,我們實證發現,兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是,包括他們增加了訓練的難度,降低了推薦的效果。在這項工作中,我們的目標是簡化GCN的設計,使其更簡潔,更適合推薦。我們提出了一個新的模型LightGCN,它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說,LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們,并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練,在完全相同的實驗設置下,比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。