近年來,人們致力于提高推薦系統的準確性和相關性。多樣性是衡量所推薦項目之間差異的一個關鍵因素,但很少受到仔細研究。與用戶滿意度直接相關的是,在生成候選條目后,多樣化通常被考慮在內。然而,這種多樣化和候選生成的解耦設計使得整個系統處于次優狀態。在本文中,我們的目標是利用圖卷積網絡(GCN)將多元化推至上游候選生成階段。盡管基于GCN的推薦算法在建模復雜的協同過濾效果以提高推薦的準確性方面表現出了巨大的能力,但在這些先進的工作中,多樣性變化是如何被忽略的。我們提出在GCN的基礎上執行重新平衡的鄰居發現、類別增強的負采樣和對抗學習。我們在真實世界的數據集上進行大量的實驗。實驗結果驗證了本文方法的有效性。進一步的消融研究驗證了我們提出的方法顯著緩解了準確性-多樣性的困境。
//fi.ee.tsinghua.edu.cn/public/publications/b344fd48-92b0-11eb-96bc-0242ac120003.pdf
題目: Lorentzian Graph Convolutional Networks 會議: WWW 2021
圖卷積神經網絡(GCN)最近受到了大量研究者的關注。大多數GCN使用歐幾里得幾何學習節點的特征表示,但是對于具有無標度或層次結構的圖,歐幾里得幾何可能會產生較高的失真。近來,一些GCN使用非歐幾里得幾何,例如雙曲幾何,解決以上問題。盡管雙曲GCN展示了其性能,但是現有的雙曲圖操作實際上不能嚴格遵循雙曲幾何,這可能會限制雙曲幾何的能力,從而損害雙曲GCN的性能。 在本文中,我們提出了一種新穎的洛倫茲圖卷積網絡(LGCN),它在雙曲空間的雙曲面模型上設計了統一的圖操作框架。從該框架派生出嚴格的雙曲圖操作,包括特征變換和非線性激活,以確保變換后的節點特征遵循雙曲幾何。此外,基于洛倫茲距離的質心,我們提出了一種優雅的雙曲鄰居聚合方式,以確保被聚合的節點特征滿足數學意義。并且,我們從理論上證明了一些提出的操作等同于在另一類雙曲幾何中的定義,表明所提出的方法填補了雙曲面模型缺乏嚴謹的圖操作的空白。
在信息爆炸的時代,推薦系統已經成為一種高效發現用戶偏好的手段。多種多種的推薦范式也不斷涌現。作為一種新穎的推薦范式,促銷推薦可以很好的刺激用戶購買欲望進而最大化收益。不同于傳統的推薦(如商品推薦和組推薦), 促銷推薦(如圖1所示)旨在在選擇階段考慮所有用戶的偏好來選擇一組K個商品并最大化投放階段的收益。盡管上述兩個階段高度關聯,現有的算法通常只關注于商品選擇階段,極大的忽略了投放階段進而導致次優的結果。為了更好的解決促銷推薦問題,我們提出了一種Comb-K推薦模型,一種帶約束的組合優化問題。通過精心設計的一些約束,Comb-K可以無縫的整合選品與投放兩個階段,進而達到最優的投放效果。特別的,即使我們在選品階段選擇了K個商品構成了K-set,用戶來投放階段也只能看到K-set中的W個。而只有被用戶看到的商品才可能真正的產生投放收益。盡管上述2個階段高度相關,但是現有的算法并沒有很好的考慮它,進而導致了次優的結果。
為了解決促銷推薦問題,我們提出了Comb-K推薦模型,一個帶約束的組合優化問題來實現更佳的選品效果。受益于精心設計的約束(尤其是投放窗口W的約束),Comb-K推薦能夠綜合考慮選擇階段和投放階段的情況。當選擇K個商品時, Comb-K能夠考慮所有用戶的偏好來搜索最優的K個商品的組合。首先,我們設計異質圖卷積來學習用戶偏好并求解用戶級別的Comb-K問題。進一步的,為了解決大規模組合爆炸的問題, 我們將海量用戶聚集為少量人群,并在人群級別求解Comb-K問題。這里,我們提出了一個異質圖池化模型來進行人群聚類和人群偏好估計。除此之外,我們還設計了一個快速求解策略RNHS來加速Comb-K的求解過程。最后,在大規模數據上驗證了我們模型的有效性。
近年來,圍繞著圖卷積網絡(GCN)這一主題的文獻大量涌現。如何有效地利用復雜圖(如具有異構實體和關系類型的知識圖譜)中豐富的結構信息是該領域面臨的主要挑戰。大多數GCN方法要么局限于具有同質邊類型的圖(例如,僅引用鏈接),要么只專注于節點的表示學習,而不是針對目標驅動的目標共同傳播和更新節點和邊的嵌入。本文提出了一種新的框架,即基于知識嵌入的圖卷積網絡(KE-GCN),該框架結合了基于圖的信念傳播中知識嵌入的能力和高級知識嵌入(又稱知識圖嵌入)方法的優勢,從而解決了這些局限性。我們的理論分析表明,KE-GCN作為具體案例提供了幾種著名的GCN方法的優雅統一,并提供了圖卷積的新視角。在基準數據集上的實驗結果表明,與強基線方法相比,KE-GCN方法在知識圖譜對齊和實體分類等任務中具有明顯的優勢。
知識圖譜(KG)補全被廣泛研究,以解決現代知識圖譜中的不完整性問題(即缺少事實)。知識圖譜中的一個事實被表示為一個三元組(?,??,??),通過一個關系??連接兩個實體?和??。現有的工作主要考慮鏈接預測來解決這個問題,即給定一個三元組中的兩個元素來預測缺失的那個元素,例如(?,??,?)然而,這項任務對三元組中的兩個給定元素有一個強有力的假設,這兩個元素必須是相關的,否則就會導致毫無意義的預測,例如(居里夫人,總部的位置,?)此外,KG補全問題也被表述為一個關系預測任務,即預測給定實體?的關系??。在沒有預測??的情況下,這項任務離完成KG的最終目標還有一步之遙。在此背景下,本文研究了一個實例完成任務,為給定的?提出了??-??對,即(?,?,?)我們提出了一個端到端解決方案,稱為RETA(因為它暗示了給定頭部實體的關系和尾部),由兩個組件組成:RETA- filter和RETA- grader。更準確地說,我們的RETA-Filter首先通過提取和利用KG的模式為給定的?生成候選的??-??對;然后,我們的RETA-Grader使用一個新設計的KG嵌入模型,考慮候選三元組及其對應模式的可信性,對候選??-??對進行評估和排名。我們在三個真實世界的KG數據集上評估我們的方法與相當數量的先進技術的收集。結果表明,我們的RETA-Filter生成了高質量的候選??-??對,在相同的候選質量保證下,候選數量減少了10.61%-84.75%,優于最佳基準技術。此外,我們的RETA-Grader在實例完成任務上也顯著優于最先進的鏈接預測技術,在不同的數據集上提高了16.25%- 65.92%。
在推薦系統中,當用戶-物品交互數據稀疏時,常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而,現實生活中用戶之間的互動非常復雜,用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系,而它在改善社會推薦方面的潛力還有待開發。在本文中,我們填補了這一空白,提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上,網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入,我們獲得了全面的用戶表示,從而產生推薦結果。然而,聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失,我們創新性地將自監督學習融入到超圖卷積網絡的訓練中,以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明,該模型優于SOTA方法,消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。
圖卷積網絡(GCNs)在推薦方面表現出巨大的潛力。這歸功于他們通過利用來自高階鄰居的協作信號來學習良好的用戶和項目嵌入的能力。與其他GCN模型一樣,基于GCN的推薦模型也存在著臭名昭著的過平滑問題——當疊加更多層時,節點嵌入變得更加相似,最終無法區分,導致性能下降。最近提出的LightGCN和LR-GCN在一定程度上緩解了這一問題,但是我們認為他們忽略了推薦中出現過平滑問題的一個重要因素,即在圖卷積操作中,用戶的嵌入學習也可以涉及到與用戶沒有共同興趣的高階鄰域用戶。因此,多層圖卷積會使不同興趣的用戶具有相似的嵌入性。在本文中,我們提出了一種新的興趣感知消息傳遞GCN (IMP-GCN)推薦模型,該模型在子圖中進行高階圖卷積。子圖由具有相似興趣的用戶及其交互項組成。為了形成子圖,我們設計了一個無監督的子圖生成模塊,該模塊利用用戶特征和圖結構來有效識別具有共同興趣的用戶。為此,我們的模型可以避免將高階鄰域的負面信息傳播到嵌入學習中。在三個大規模基準數據集上的實驗結果表明,我們的模型可以通過疊加更多的層來獲得性能的提高,顯著優于目前最先進的基于GCN的推薦模型。
圖神經網絡(GNNs)最近在圖學習方面取得了重大進展。盡管GNN具有豐富的表示能力,但對于大規模的社會建模應用來說,GNN的開發仍然相對不足。在線社交平臺中普遍存在的一種應用是好友推薦:平臺向用戶推薦其他候選用戶,以提高用戶的聯系性、留存率和參與度。然而,在大型社交平臺上建模這樣的用戶-用戶互動帶來了獨特的挑戰: 這些圖表通常有重尾度分布,其中很大一部分用戶是不活躍的,并且結構和參與信息有限。此外,用戶與不同的功能進行交互,與不同的組進行交流,并具有多方面的交互模式。我們研究了用于好友推薦的GNN應用,就我們所知,為這項任務提供了GNN設計的首次研究。為了充分利用平臺內異構用戶行為的豐富知識,我們將好友推薦設計為具有多模式用戶特征和鏈接傳播特征的多層面好友排名。我們提出了一個神經結構,GraFRank,它是精心設計的,從多種用戶特征形態和用戶-用戶交互中學習表達用戶表示。具體而言,GraFRank通過模態特定的鄰居聚合器處理模態同質性的異質性,并通過交叉模態關注學習非線性模態相關性。我們在兩個數百萬用戶的社交網絡數據集上進行了實驗,這些數據集來自領先和廣泛流行的移動社交平臺Snapchat,在候選檢索(30%的MRR)和排名(20%的MRR)任務上,GraFRank的表現優于一些最先進的方法。此外,我們的定性分析表明,低活躍度和低級別用戶的關鍵人群獲得了顯著收益。
本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是,構造了結構圖,特征圖(feature graph),以及兩者的組合來提取特定的和通用的嵌入,并使用注意機制來學習嵌入的自適應重要性權重。實驗發現,AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息,對應不同的參數取值。 //arxiv.org/abs/2007.02265
摘要:圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而,最近的一些研究提出了一個問題,即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中,我們首先提出一個實驗研究。令人驚訝的是,我們的實驗結果清楚地表明,當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的,甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息,這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷,設計出一種新型的GCNs,既能保留現有GCNs的優勢,又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題,我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入,并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明,AM-GCN從節點特征和拓撲結構中提取了最多的相關信息,顯著提高了分類精度。
圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而,其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析,GCN最初是為圖分類任務而設計的,并配備了許多神經網絡操作。然而,我們實證發現,兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是,包括他們增加了訓練的難度,降低了推薦的效果。在這項工作中,我們的目標是簡化GCN的設計,使其更簡潔,更適合推薦。我們提出了一個新的模型LightGCN,它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說,LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們,并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練,在完全相同的實驗設置下,比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。