圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而,其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析,GCN最初是為圖分類任務而設計的,并配備了許多神經網絡操作。然而,我們實證發現,兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是,包括他們增加了訓練的難度,降低了推薦的效果。在這項工作中,我們的目標是簡化GCN的設計,使其更簡潔,更適合推薦。我們提出了一個新的模型LightGCN,它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說,LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們,并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練,在完全相同的實驗設置下,比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。
本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是,構造了結構圖,特征圖(feature graph),以及兩者的組合來提取特定的和通用的嵌入,并使用注意機制來學習嵌入的自適應重要性權重。實驗發現,AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息,對應不同的參數取值。 //arxiv.org/abs/2007.02265
摘要:圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而,最近的一些研究提出了一個問題,即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中,我們首先提出一個實驗研究。令人驚訝的是,我們的實驗結果清楚地表明,當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的,甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息,這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷,設計出一種新型的GCNs,既能保留現有GCNs的優勢,又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題,我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入,并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明,AM-GCN從節點特征和拓撲結構中提取了最多的相關信息,顯著提高了分類精度。
題目: Disentangled Graph Collaborative Filtering
簡介: 從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入功能利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,他們在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了消磨時間,出于興趣或為家庭等其他人購物。這種對用戶興趣進行建模的統一方法很容易導致次優的表示形式,無法對各種關系進行建模,也無法使用戶的意圖分解開來。
在這項工作中,我們會以用戶意圖的更細粒度特別注意用戶與項目之間的關系。因此,我們設計了一個新模型,即解纏圖協同過濾(DGCF),以解開這些因素并產生解開的表示。具體來說,通過對每個用戶項目交互的意圖分布進行建模,我們可以迭代地細化意圖感知交互圖和表示形式。同時,我們鼓勵不同意圖的獨立性。這導致了糾纏的表示,有效地提取了與每個意圖有關的信息。我們在三個基準數據集上進行了廣泛的實驗,并且DGCF在一些最新模型(如NGCF [40],DisenGCN [25]和MacridVAE [26])上取得了顯著改進。進一步的分析可以深入了解DGCF在消除用戶意圖和表示可解釋性方面的優勢。
內容感知的推薦方法對于向新用戶提供有意義的推薦是必不可少的。我們提出了一種基于內容感知神經哈希的協同過濾方法,它為用戶和項生成二進制哈希碼,這樣就可以利用高效的漢明距離估計用戶項相關性。NeuHash-CF被建模為一個自動編碼器架構,由兩個用于生成用戶和項哈希碼的聯合哈希組件組成。受語義哈希的啟發,項目哈希組件直接從項目的內容信息(即,它以相同的方式生成冷啟動和可見項哈希碼)。這與現有的最先進的模型形成了對比,后者分別處理兩個項目的情況。用戶哈希碼是通過學習用戶嵌入矩陣,直接基于用戶id生成的。我們通過實驗證明,在冷啟動推薦設置中,NeuHash-CF的性能顯著優于最先進的基線,最高可達12%的NDCG和13%的MRR,而在所有項目都在訓練時出現的標準設置中,NeuHash-CF和MRR的性能均可達4%。我們的方法使用2-4倍的更短的哈希碼,同時獲得與現有技術相同或更好的性能,因此也可以顯著減少存儲空間。
知識圖譜被廣泛用于提高推薦準確度。知識圖譜上的多跳用戶-物品連接還提供了關于為什么推薦某個項的推理。然而,路徑推理是一個復雜的組合優化問題。傳統的推薦方法通常采用蠻力方法來尋找可行路徑,這導致了與可解釋性和收斂性相關的問題。在本文中,我們通過更好地監督尋路過程來解決這些問題。關鍵思想是用最小的標記努力提取不完美的路徑演示,并有效地利用這些演示來指導尋路。特別地,我們設計了一個基于演示的知識圖推理框架用于可解釋推薦。我們還提出了一個反面的actor批評家(ADAC)模型用于演示導向的尋路。在三個真實基準上的實驗表明,我們的方法比最先進的基準更快地收斂,并且具有更好的推薦精度和可解釋性。
主題: Joint Item Recommendation and Attribute Inference: An Adaptive Graph Convolutional Network Approach
摘要: 在許多推薦系統中,用戶和項目與屬性相關聯,并且用戶顯示對項目的偏好。屬性信息描述了用戶(項目)的特征,并具有廣泛的應用程序,例如用戶配置文件,項目注釋和功能增強的推薦。由于注釋用戶(項目)屬性是一項勞動密集型任務,因此屬性值通常不完整,缺少許多屬性值。因此,項目推薦和屬性推理已成為這些平臺中的兩個主要任務。研究人員長期以來一直認為用戶(項目)屬性與偏好行為高度相關。一些研究人員提議將一種數據用于剩余任務,并表明可以提高性能。盡管如此,這些模型要么忽略了用戶(項目)屬性的不完整,要么將兩個任務的相關性與簡單模型相結合,導致這兩個任務的性能欠佳。為此,在本文中,我們將這兩個任務歸因于用戶項二部圖,并提出了一種用于聯合項推薦和屬性推斷的自適應圖卷積網絡(AGCN)方法。 AGCN的關鍵思想是迭代執行兩個部分:1)使用先前學習的近似屬性值來學習圖形嵌入參數,以簡化兩個任務; 2)將近似的更新屬性值發送回屬性圖以更好地進行圖嵌入學習。因此,AGCN可以通過合并給定屬性和估計屬性值來自適應地調整圖嵌入學習參數,以提供弱監督信息來細化圖兩個任務。在三個真實數據集上的大量實驗結果清楚地表明了該模型的有效性。
實體交互預測在許多重要的應用如化學、生物、材料科學和醫學中是必不可少的。當每個實體由一個復雜的結構(即結構化實體)表示時,這個問題就變得非常具有挑戰性,因為涉及到兩種類型的圖:用于結構化實體的局部圖和用于捕獲結構化實體之間交互的全局圖。我們注意到,現有的結構化實體交互預測工作不能很好地利用圖的唯一圖模型。在本文中,我們提出了一個圖的神經網絡圖,即GoGNN,它以分層的方式提取了結構化實體圖和實體交互圖中的特征。我們還提出了雙重注意力機制,使模型在圖的兩個層次上都能保持相鄰的重要性。在真實數據集上的大量實驗表明,GoGNN在兩個有代表性的結構化實體交互作用預測任務上的表現優于最先進的方法:化學-化學交互作用預測和藥物-藥物交互作用預測。我們的代碼可以在Github上找到。
自然語言理解(NLU)的最新進展正在推動信息檢索(IR)的快速發展,這在很大程度上要歸功于對文檔排序的深層語言模型(LMs)的微調。雖然非常有效,但是基于這些LMs的排序模型比以前的方法增加了幾個數量級的計算成本,特別是因為它們必須通過一個龐大的神經網絡來為每個查詢文檔對提供數據,從而計算單個相關分數。為了解決這個問題,我們提出了一種新的排序模型ColBERT,它采用深度LMs(特別是BERT)來進行有效的檢索。ColBERT引入了一種后期交互體系結構,該體系結構使用BERT獨立地對查詢和文檔進行編碼,然后使用一種廉價但功能強大的交互步驟來建模它們的細粒度相似性。通過延遲并保留這種細粒度交互,ColBERT可以利用深度LMs的表達能力,同時獲得離線預先計算文檔表示的能力,這大大加快了查詢處理的速度。除了降低通過傳統模型檢索的文檔重新排序的成本外,ColBERT的修剪友好交互機制還支持利用向量相似度索引來直接從大型文檔集合進行端到端檢索。我們使用兩個最近的文章搜索數據集對ColBERT進行了廣泛的評估。結果表明,ColBERT的有效性與現有的基于bert的模型相比是有競爭力的(并且優于每個非bert基線),同時執行兩個數量級的速度更快,每個查詢需要減少四個數量級的錯誤。
標簽傳播(LPA)和圖卷積神經網絡(GCN)都是圖上的消息傳遞算法。兩者都解決了節點分類的任務,但是LPA將節點標簽信息傳播到圖的邊緣,而GCN傳播并轉換節點特征信息。然而,雖然概念相似,LPA和GCN之間的理論關系還沒有得到研究。這里我們從兩個方面研究了LPA和GCN之間的關系:(1)特征/標簽平滑,分析一個節點的特征/標簽如何擴散到它的鄰居;(2)一個節點的初始特征/標簽對另一個節點的最終特征/標簽的影響程度。在理論分析的基礎上,提出了一種統一GCN和LPA的節點分類端到端模型。在我們的統一模型中,邊緣權值是可學習的,LPA作為正則化幫助GCN學習合適的邊緣權值,從而提高分類性能。我們的模型也可以看作是基于節點標簽的注意力學習權重,它比現有的基于特征的注意力模型更面向任務。在真實圖數據的大量實驗中,我們的模型在節點分類準確度方面顯示出優于目前最先進的基于gcn的方法。