對于推薦系統來說,用戶冷啟動推薦是一個長期存在的挑戰,因為只有很少的冷啟動用戶交互可以被利用。最近的研究試圖從元學習的角度解決這一挑戰,大多數研究遵循參數初始化的方式,即通過幾個步驟的梯度更新來學習模型參數。雖然這些基于梯度的元學習模型在一定程度上取得了良好的性能,但其中的一個根本問題是如何將從以前任務中學習到的全局知識更有效地用于冷啟動用戶的推薦。
本文提出了一種新的元學習推薦方法——任務自適應神經過程(TaNP)。TaNP是神經過程家族中的一個新成員,為每個用戶作出推薦都與相應的隨機過程相關聯。TaNP直接將每個用戶觀察到的交互作用映射到一個預測分布,避開了基于梯度的元學習模型中的一些訓練問題。更重要的是,為了平衡模型容量和適應可靠性之間的平衡,我們引入了一種新的任務適應機制。它使我們的模型能夠學習不同任務的相關性,并自定義全局知識到與任務相關的解碼器參數,以估計用戶的偏好。在不同的實驗設置下,我們在多個基準數據集上驗證了TaNP。實證結果表明,TaNP對幾個最先進的元學習推薦器產生了一致的改進。
近年來,人們致力于提高推薦系統的準確性和相關性。多樣性是衡量所推薦項目之間差異的一個關鍵因素,但很少受到仔細研究。與用戶滿意度直接相關的是,在生成候選條目后,多樣化通常被考慮在內。然而,這種多樣化和候選生成的解耦設計使得整個系統處于次優狀態。在本文中,我們的目標是利用圖卷積網絡(GCN)將多元化推至上游候選生成階段。盡管基于GCN的推薦算法在建模復雜的協同過濾效果以提高推薦的準確性方面表現出了巨大的能力,但在這些先進的工作中,多樣性變化是如何被忽略的。我們提出在GCN的基礎上執行重新平衡的鄰居發現、類別增強的負采樣和對抗學習。我們在真實世界的數據集上進行大量的實驗。實驗結果驗證了本文方法的有效性。進一步的消融研究驗證了我們提出的方法顯著緩解了準確性-多樣性的困境。
//fi.ee.tsinghua.edu.cn/public/publications/b344fd48-92b0-11eb-96bc-0242ac120003.pdf
越來越多的人際互動在社交媒體平臺上數字化,并受到算法決策的影響,而確保這些算法的公平對待變得越來越重要。在這項工作中,我們調查了在社交媒體數據上訓練的協作過濾推薦系統中的性別偏見。我們開發了神經公平協同過濾(NFCF),這是一個在推薦與職業相關的敏感項目(如工作、學術集中程度或課程)時減少性別偏見的實用框架,使用了神經協同過濾的預訓練和微調方法,并輔以偏見糾正技術。我們分別在MovieLens數據集和Facebook數據集上展示了我們的方法在性別去偏見職業和大學專業推薦方面的效用,并取得了比一些最先進的模型更好的表現和更公平的行為。
點擊率(CTR)預測在推薦系統和在線廣告中起著至關重要的作用。這些應用程序中使用的數據是多字段類別數據,其中每個特征屬于一個字段。字段信息被證明是重要的,在他們的模型中有一些考慮字段的工作。在本文中,我們提出了一種新的方法來有效和高效地建模場信息。該方法是對FwFM的直接改進,被稱為場矩陣分解機(FmFM,或FM2)。在FmFM框架下,我們對FM和FwFM提出了新的解釋,并與FFM進行了比較。除了對交叉項進行修剪外,我們的模型還支持特定領域的可變維度的嵌入向量,這是一種軟修剪。在保持模型性能的同時,我們還提出了一種有效的最小化維數的方法。FmFM模型還可以通過緩存中間向量來進一步優化,它只需要數千次浮點運算(FLOPs)就可以做出預測。實驗結果表明,該算法的性能優于復雜的FFM算法。FmFM模型的性能也可以與DNN模型相媲美,DNN模型在運行時需要更多FLOPs 。
//www.zhuanzhi.ai/paper/39df3ac3e3acb641f86294a4d6acb39f
人們對開發個性化的任務導向對話系統(TDSs)越來越感興趣。以前關于個性化TDSs的工作通常假設大多數甚至所有用戶都可以使用完整的用戶檔案。這是不現實的,因為(1)不是每個人都愿意暴露他們的個人資料,出于隱私的考慮;(2)豐富的用戶簡介可能涉及大量的屬性(例如,性別、年齡、品味……)。在本文中,我們在不假設用戶檔案是完整的情況下研究個性化的TDSs。我們提出了一種合作記憶網絡(CoMemNN),該網絡具有一種新穎的機制,可以隨著對話進程逐步豐富用戶特征,同時在豐富的用戶特征基礎上改進響應選擇。CoMemNN由兩個核心模塊組成:用戶檔案文件豐富(UPE)和對話響應選擇(DRS)。前者通過利用來自鄰居用戶和當前對話的協作信息來豐富不完整的用戶檔案文件。后者使用豐富的檔案文件來更新當前用戶查詢,以便編碼更有用的信息,并根據這些信息選擇對用戶請求的個性化響應。我們在個性化的bAbI對話基準數據集上進行了大量的實驗。我們發現,CoMemNN能夠有效地豐富用戶檔案文件,與最先進的方法相比,響應選擇的準確性提高了3.06%。通過隨機丟棄用戶檔案文件中的屬性值,我們還測試了CoMemNN對用戶檔案文件不完整的魯棒性。即使在丟棄50%的屬性值時,CoMemNN也能夠在不丟棄用戶檔案文件的情況下匹配最佳性能基線的性能,顯示了CoMemNN的魯棒性。
//www.zhuanzhi.ai/paper/faae0f0909170af3a86309c373b23210
本文探討了元學習在序列推薦中的應用,以緩解項目冷啟動問題。序列推薦旨在根據用戶的歷史行為序列捕獲用戶的動態偏好,是大多數在線推薦場景的關鍵組成部分。然而,大多數以前的方法難以推薦冷啟動項目,這在這些情況下是普遍存在的。由于在序列推薦任務的設置中通常沒有附加信息,所以當只有用戶-項目交互可用時,不能運用以前的冷啟動方法。因此,我們提出了一種基于元學習的冷啟動序列推薦框架,即Mecos,以緩解序列推薦中項目冷啟動問題。這項任務不是微不足道的,因為它的目標是一個重要的問題,在一個新穎的和具有挑戰性的背景下。Mecos有效地從有限的交互中提取用戶偏好,并學習將目標冷啟動項目與潛在用戶匹配。此外,我們的框架可以輕松地集成基于神經網絡的模型。在三個真實世界的數據集上進行的大量實驗驗證了Mecos的優越性,與最先進的基線方法相比,在HR@10的平均改進高達99%,91%和70%。
論文專欄: KDD 2020 元學習相關論文分享
論文解讀者: 北郵 GAMMA Lab 碩士生 王春辰
題目: TAdaNet: Task-Adaptive Network for Graph-Enriched Meta-Learning
會議: KDD 2020
論文地址: //dl.acm.org/doi/pdf/10.1145/3394486.3403230
推薦理由: 標準的元學習過程是共享全局的經驗進行參數調整。具有全局共享知識的標準元學習不能很好地處理任務的異構性問題,即任務位于不同的分布。本文提出了一種可以融合領域知識的框架,并提供對于特定任務的參數定制。相比于標準元學習過程,該方法可以更好的使的參數適應于一種特定的任務。
1 引言 現實應用程序中帶注釋的數據樣本通常是有限的。元學習利用從相關任務中學習到的先驗知識,并將其推廣到有監督經驗有限的新任務中,是一種有效的少發式學習方法。然而,具有全局共享知識的標準元學習不能很好地處理任務的異構性問題,即任務位于不同的分布。而KDD2020上的這篇文章利用領域知識圖來豐富數據表示,并提供特定于任務的定制。
2 動機與貢獻 本文著眼于將領域圖中的信息引入到元學習當中來,提出了一個任務自適應的元學習框架TAdaNet,該框架允許跨領域知識圖的節點傳遞消息,并促進針對不同任務的元知識定制。該模型通過在記憶網絡中組織歷史任務中的任務知識來學習任務嵌入,并根據任務嵌入的條件產生任務感知參數調整來定制學習器參數。每項任務的學習者為分類任務的每個類生成一個原型。具體地說,該框架利用給定圖上的類關系,通過注意力機制組合鄰域信息來學習原型。數據表示可以通過聚合來自其鄰居的信息來豐富,并且任務關系由圖上鏈接類的路徑來捕獲。
內容感知的推薦方法對于向新用戶提供有意義的推薦是必不可少的。我們提出了一種基于內容感知神經哈希的協同過濾方法,它為用戶和項生成二進制哈希碼,這樣就可以利用高效的漢明距離估計用戶項相關性。NeuHash-CF被建模為一個自動編碼器架構,由兩個用于生成用戶和項哈希碼的聯合哈希組件組成。受語義哈希的啟發,項目哈希組件直接從項目的內容信息(即,它以相同的方式生成冷啟動和可見項哈希碼)。這與現有的最先進的模型形成了對比,后者分別處理兩個項目的情況。用戶哈希碼是通過學習用戶嵌入矩陣,直接基于用戶id生成的。我們通過實驗證明,在冷啟動推薦設置中,NeuHash-CF的性能顯著優于最先進的基線,最高可達12%的NDCG和13%的MRR,而在所有項目都在訓練時出現的標準設置中,NeuHash-CF和MRR的性能均可達4%。我們的方法使用2-4倍的更短的哈希碼,同時獲得與現有技術相同或更好的性能,因此也可以顯著減少存儲空間。
知識圖譜補全(KGC)任務的目的是自動推斷知識圖譜(KG)中缺失的事實信息。在本文中,我們采用了一個新的視角,旨在利用豐富的用戶-項目交互數據(簡稱用戶交互數據)來改進KGC任務。我們的工作靈感來自于許多KG實體對應于應用程序系統中的在線項目的觀察。然而,這兩種數據源具有非常不同的內在特性,使用簡單的融合策略可能會影響原始的性能。
為了解決這一挑戰,我們提出了一種利用KGC任務的用戶交互數據的新穎的對抗性學習方法。我們的生成器是與用戶交互數據隔離的,用于提高鑒別器的性能。鑒別器將從用戶交互數據中學習到的有用信息作為輸入,逐步增強評價能力,以識別生成器生成的虛假樣本。為了發現用戶的隱式實體偏好,我們設計了一種基于圖神經網絡的協同學習算法,該算法將與鑒別器共同優化。這種方法可以有效地緩解KGC任務的數據異構性和語義復雜性問題。在三個真實數據集上的大量實驗證明了我們的方法在KGC任務上的有效性。