簡介
現代推薦系統從歷史交互中學習用戶表征，這就存在著用戶特征變化帶來的問題，比如收入的增加。歷史交互會將過時的信息注入到與最新的用戶特征相沖突的表示中，從而導致不恰當的推薦。在這項工作中，作者考慮了在用戶特征發生變化的Out-Of-Distribution (OOD) 環境中的推薦問題，并為表征學習設定了額外的兩個目標：強大的OOD泛化能力以及快速的OOD適應能力。OOD場景的推薦問題如圖所示：
這項工作從因果關系的角度闡明并解決了這個問題。作者將用戶特征的轉變表述為一種干預措施，將OOD推薦表述為交互概率的干預后推斷，并采用了因果模型為用戶特征到交互結果的生成過程建模。作者設計了一個新型變分自動編碼器來進行因果建模，利用編碼器從歷史上的互動中推斷出未觀察到的用戶特征，利用解碼器來對交互的生成過程進行建模并進行干預后推斷，并且進一步進行反事實推理，來減輕過時的交互的影響。固有的快速的OOD適應能力來自于部分用戶表征的再利用。變分自動編碼器結構如圖所示：
最后，作者設計了一個擴展的因果圖，對從用戶特征到用戶偏好的細粒度因果關系進行編碼。在三個數據集上的實證結果驗證了所提方法的強大OOD泛化和快速適應能力。
問題定義
首先通過因果關系的視角定義推薦問題，包括了用戶交互的生成過程的因果視角和對OOD推薦問題的規范。用戶交互生成的因果關系圖如圖所示：
對于每個用戶，用戶的偏好同時受可觀測的特征（例如收入和年齡），和不可觀測的特征例如心理狀態的影響。僅受不可觀測特征的影響，而受所有特征的影響。用戶偏好會影響最終的交互結果。 將和分別定義為用戶索引和產品索引，為用戶偏好，交互為，用戶特征從到的轉移表示為干預 ，OOD推薦系統的任務即為推斷出經過干預后用戶交互的分布，具體分為兩個任務：第一是在只能夠獲取到用戶特征變化前的歷史交互信息的情況下，為特征變化后的用戶推薦合適的產品；第二是當用戶特征變化后的交互能被獲取時，推薦系統具有快速適應到OOD環境的能力。
方法
作者提出了Causal OOD Recommendation（COR）框架為交互的生成過程進行建模來解決用戶特征變化后的OOD場景下的推薦問題。相對的，用戶變化前的環境即傳統的訓練環境（擁有用戶特征與對應的歷史交互信息）被稱作Independent and Identically Distribution (IID)環境。 1. 目標函數
假設用戶的不可觀測變量服從標準正態分布，同時受觀測特征與不可觀測特征影響的用戶偏好，和僅受不可觀測特征影響的用戶偏好均服從分解高斯分布。交互信息則服從多項式分布。
其中和diag分別表示從和估計的高斯分布的均值和方差。和diag則分別表示從估計的高斯分布的均值和方差。多項式分布的參數，代表用戶的產品交互數量。則表示用對輸出歸一化的結果。 模型參數通過重構用戶的歷史交互進行優化。具體地，給定一個用戶，和該用戶的特征以及交互歷史，想要最大化log-likelihood log：
但是對不可觀測變量進行積分顯然是難以實現的。為了解決這個問題，作者利用變分推斷將難以實現的積分轉變為可計算的ELBO：
其中最后一條等式的第一項為重構損失，第二項則是用戶特征的分布預估誤差，即估計分布和先驗分布的KL散度。于是現在只需要通過最大化ELBO，來實現log-likelihood的最大化。 2. 實現方法
我們已經知道目標函數為ELBO，而要計算ELBO，就需要計算得到和log。關于第一項
作者通過引入一個編碼器來獲取和。而關于第二項
作者通過蒙特卡羅方法并引入一個解碼器獲取作為對的估計，最終可以得到
其中表示用戶是否和產品交互，是對經過歸一化后的結果，該式最終可以計算出重構時用戶產生交互的概率。 綜上，訓練模型時就可以通過最大化ELBO來優化編碼器和解碼器的參數。而在測試的時候，通過估計的交互概率為所有產品排序并作出推薦。 3. 因果推斷方法
我們已經知道在用戶特征沒有發生變化時（IID），通過最大化ELBO來優化模型參數。但是在用戶特征發生變化時，作者提出用反事實推理來估計用戶對產品的交互概率。該反事實推理是通過設想如果并沒有受到歷史交互的影響，用戶的推薦產品會是哪些？反事實推理分為三個步驟：（1）通過用戶可觀測特征和估計出用戶偏好。（2）干預，即視用戶沒有歷史交互信息，估計不可觀測的用戶特征以及用戶偏好，這樣就能夠消除過時的交互信息的影響。（3）利用和計算用戶和產品的交互概率。 4. OOD環境的微調
在用戶特征發生變化后，會逐漸獲取新的歷史交互信息。在OOD環境中，重復利用用戶特征沒有發生變化時的，并微調模型更新OOD環境下的用戶偏好為用戶做OOD環境下的推薦。由于作者所提出的模型是基于因果關系建立的，因此在用戶特征發生變化后，該模型會有更穩定的推薦表現并且在OOD環境中需要更少的交互信息來調微調。
實驗
-
作者在三個數據集上驗證了COR的強大OOD泛化能力，在不同數據集下IID和OOD環境下模型的表現如圖所示：
image-202205 可以看到在OOD環境下，COR的召回率相比最高的基準模型提升了超過34%，同時在IID的環境下與基準模型具有相近的表現，從而驗證了COR框架的較強的OOD泛化能力。
-
而對于第二個OOD推薦任務的目標即快速適應能力，作者也在不同數據集上進行了驗證，如圖所示：
image-202205 通過對比在用戶特征發生變化后的OOD環境下，分別對沒有最新交互信息(0%)，和10%，20%以及30%的最新交互信息微調在IID上預訓練好的模型。實驗結果驗證COR框架能夠讓模型擁有很快的OOD適應能力
-
反事實推理和細粒度因果圖的消融實驗：
- 案例分析：在IID環境中用戶收入較低，真實消費更偏向于低價產品，而在OOD環境中用戶的收入較高，真實消費更偏向于高價產品。IID和OOD環境下不同模型為用戶推薦的產品在價格的分布如下圖所示：
可以看到COR推薦的分布最逼近不同環境下的真實交互產品分布。
結論
作者提出且規范了用戶特征發生變化的OOD推薦問題。為了達到較強的OOD泛化能力和快速的OOD適應能力，作者提出了COR框架，從因果關系的視角為用戶的交互過程進行建模，利用干預和反事實推理減輕了OOD環境中過時的交互信息對推薦結果的影響。此外，通過在OOD環境的微調，推薦模型能夠快速適應并給出更恰當的推薦。
付費5元查看完整內容
相關內容
用于文本摘要任務的序列級對比學習模型 Sequence Level Contrastive Learning for Text Summarization
論文摘要：自動摘要的目的是把一篇長的文檔重寫成一段簡短的摘要保留原始文本最關鍵的信息。這個任務有一個特性即摘要是原始文檔的一個短的版本并且跟原始文檔有相近的意思。基于這個觀察，我們提出了序列級別的對比學習模型 SeqCo（Sequence-level Contrastive Learning）；具體來說，我們把原始文檔、人工標注的摘要及模型生成的摘要看作同一個語義表示的三個不同視角并在訓練過程中最大化這三者表示之間的相似性。自動評測和人工評測實驗表明 SeqCo 在多個摘要數據集上可以進一步提升基線模型 BART 的效果及提升摘要的原文忠誠度。
付費5元查看完整內容
題目： Lorentzian Graph Convolutional Networks 會議： WWW 2021
圖卷積神經網絡（GCN）最近受到了大量研究者的關注。大多數GCN使用歐幾里得幾何學習節點的特征表示，但是對于具有無標度或層次結構的圖，歐幾里得幾何可能會產生較高的失真。近來，一些GCN使用非歐幾里得幾何，例如雙曲幾何，解決以上問題。盡管雙曲GCN展示了其性能，但是現有的雙曲圖操作實際上不能嚴格遵循雙曲幾何，這可能會限制雙曲幾何的能力，從而損害雙曲GCN的性能。 在本文中，我們提出了一種新穎的洛倫茲圖卷積網絡（LGCN），它在雙曲空間的雙曲面模型上設計了統一的圖操作框架。從該框架派生出嚴格的雙曲圖操作，包括特征變換和非線性激活，以確保變換后的節點特征遵循雙曲幾何。此外，基于洛倫茲距離的質心，我們提出了一種優雅的雙曲鄰居聚合方式，以確保被聚合的節點特征滿足數學意義。并且，我們從理論上證明了一些提出的操作等同于在另一類雙曲幾何中的定義，表明所提出的方法填補了雙曲面模型缺乏嚴謹的圖操作的空白。
付費5元查看完整內容
現有的協同過濾(CF)方法大多是基于匹配的思想設計的，即通過使用淺層或深層模型從數據中學習用戶和項目嵌入，試圖捕獲數據中的關聯關聯模式，這樣用戶嵌入就可以通過設計或學習的相似函數與相關的物品嵌入相匹配。然而，推薦作為一種認知而非感知智能任務，不僅需要從數據中進行模式識別和匹配的能力，還需要對數據進行認知推理的能力。在本文中，我們將協同過濾(CF)提升為協同推理(CR)，即每個用戶知道推理空間的一部分，并在空間中協作進行推理，以估計彼此的偏好。在技術上，我們提出了一個神經協作推理(NCR)框架來連接學習和推理。具體來說，我們整合了表示學習和邏輯推理的能力，其中表示從感知的角度捕捉數據中的相似模式，而邏輯促進了知情決策的認知推理。然而，一個重要的挑戰是在一個共享的體系結構中架起可微分神經網絡和符號推理的橋梁，以進行優化和推理。為解決這一問題，我們提出了一種模塊化的推理體系結構，將AND(∧)、OR(∨)、NOT(?)等邏輯運算學習為蘊涵推理(→)的神經模塊。這樣，邏輯表達式就可以等效地組織成神經網絡，從而在連續空間中進行邏輯推理和預測。與淺層、深層和推理模型相比，在真實數據集上的實驗驗證了我們的框架的優勢。
付費5元查看完整內容
在推薦系統中，當用戶-物品交互數據稀疏時，常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而，現實生活中用戶之間的互動非常復雜，用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系，而它在改善社會推薦方面的潛力還有待開發。在本文中，我們填補了這一空白，提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上，網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入，我們獲得了全面的用戶表示，從而產生推薦結果。然而，聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失，我們創新性地將自監督學習融入到超圖卷積網絡的訓練中，以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明，該模型優于SOTA方法，消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。
付費5元查看完整內容
對于推薦系統來說，用戶冷啟動推薦是一個長期存在的挑戰，因為只有很少的冷啟動用戶交互可以被利用。最近的研究試圖從元學習的角度解決這一挑戰，大多數研究遵循參數初始化的方式，即通過幾個步驟的梯度更新來學習模型參數。雖然這些基于梯度的元學習模型在一定程度上取得了良好的性能，但其中的一個根本問題是如何將從以前任務中學習到的全局知識更有效地用于冷啟動用戶的推薦。
本文提出了一種新的元學習推薦方法——任務自適應神經過程(TaNP)。TaNP是神經過程家族中的一個新成員，為每個用戶作出推薦都與相應的隨機過程相關聯。TaNP直接將每個用戶觀察到的交互作用映射到一個預測分布，避開了基于梯度的元學習模型中的一些訓練問題。更重要的是，為了平衡模型容量和適應可靠性之間的平衡，我們引入了一種新的任務適應機制。它使我們的模型能夠學習不同任務的相關性，并自定義全局知識到與任務相關的解碼器參數，以估計用戶的偏好。在不同的實驗設置下，我們在多個基準數據集上驗證了TaNP。實證結果表明，TaNP對幾個最先進的元學習推薦器產生了一致的改進。
付費5元查看完整內容
藥物相互作用預測是醫療保健機器學習領域的一項重要任務。在本文中，我們提出了一種全新的框架，利用多視角圖對比表示學習來完成藥物相互作用預測。我們不僅關注藥物分子圖，還關注藥物交互關系圖，從多個視角來建模藥物相互作用關系。針對藥物分子圖，我們使用基于化學鍵的消息傳遞機制來聚合信息和基于注意力機制的圖池化層來提取低層藥物分子表示；針對藥物交互關系圖和得到的低層藥物分子表示，我們使用圖卷積編碼器來聚合兩部分信息。此外，我們還提出了一種新穎的圖對比學習組件來平衡兩個視角中包含的信息。在真實數據集上進行的綜合性實驗表明我們的方法優于當前的其他方法。
//www.zhuanzhi.ai/paper/60e34925ef83710eaad29b0e40d124c9
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191