人們對開發個性化的任務導向對話系統(TDSs)越來越感興趣。以前關于個性化TDSs的工作通常假設大多數甚至所有用戶都可以使用完整的用戶檔案。這是不現實的,因為(1)不是每個人都愿意暴露他們的個人資料,出于隱私的考慮;(2)豐富的用戶簡介可能涉及大量的屬性(例如,性別、年齡、品味……)。在本文中,我們在不假設用戶檔案是完整的情況下研究個性化的TDSs。我們提出了一種合作記憶網絡(CoMemNN),該網絡具有一種新穎的機制,可以隨著對話進程逐步豐富用戶特征,同時在豐富的用戶特征基礎上改進響應選擇。CoMemNN由兩個核心模塊組成:用戶檔案文件豐富(UPE)和對話響應選擇(DRS)。前者通過利用來自鄰居用戶和當前對話的協作信息來豐富不完整的用戶檔案文件。后者使用豐富的檔案文件來更新當前用戶查詢,以便編碼更有用的信息,并根據這些信息選擇對用戶請求的個性化響應。我們在個性化的bAbI對話基準數據集上進行了大量的實驗。我們發現,CoMemNN能夠有效地豐富用戶檔案文件,與最先進的方法相比,響應選擇的準確性提高了3.06%。通過隨機丟棄用戶檔案文件中的屬性值,我們還測試了CoMemNN對用戶檔案文件不完整的魯棒性。即使在丟棄50%的屬性值時,CoMemNN也能夠在不丟棄用戶檔案文件的情況下匹配最佳性能基線的性能,顯示了CoMemNN的魯棒性。
//www.zhuanzhi.ai/paper/faae0f0909170af3a86309c373b23210
在推薦系統中,當用戶-物品交互數據稀疏時,常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而,現實生活中用戶之間的互動非常復雜,用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系,而它在改善社會推薦方面的潛力還有待開發。在本文中,我們填補了這一空白,提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上,網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入,我們獲得了全面的用戶表示,從而產生推薦結果。然而,聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失,我們創新性地將自監督學習融入到超圖卷積網絡的訓練中,以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明,該模型優于SOTA方法,消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。
雙曲空間提供了豐富的設置來學習具有優越屬性的嵌入,這些屬性在計算機視覺、自然語言處理和計算生物學等領域得到了利用。最近,有人提出了幾種雙曲線方法來學習推薦設置中的用戶和項目的魯棒表示。但是,這些方法不能捕獲推薦領域中通常存在的高階關系。另一方面,圖卷積神經網絡(GCNs)則擅長通過對局部表示應用多層聚合來捕獲更高階的信息。在本文中,我們提出了一個用于協同過濾的雙曲線GCN模型,以一種新穎的方式將這些框架結合起來。我們證明了我們的模型可以在邊緣損失的情況下有效學習,并證明了雙曲空間在邊緣設置下具有理想的性質。在測試時,我們的模型使用雙曲距離來進行推理,雙曲距離保留了學習空間的結構。我們對三個公共基準進行了廣泛的實證分析,并與一組大型基線進行比較。我們的方法實現了非常具有競爭力的結果,并超過領先的基線,包括歐幾里德GCN對等物。我們進一步研究了雙曲線嵌入的性質,并表明它們對數據提供了有意義的見解。該工作的完整代碼可以在這里://github.com/layer6ai-labs/HGCF。
越來越多的人際互動在社交媒體平臺上數字化,并受到算法決策的影響,而確保這些算法的公平對待變得越來越重要。在這項工作中,我們調查了在社交媒體數據上訓練的協作過濾推薦系統中的性別偏見。我們開發了神經公平協同過濾(NFCF),這是一個在推薦與職業相關的敏感項目(如工作、學術集中程度或課程)時減少性別偏見的實用框架,使用了神經協同過濾的預訓練和微調方法,并輔以偏見糾正技術。我們分別在MovieLens數據集和Facebook數據集上展示了我們的方法在性別去偏見職業和大學專業推薦方面的效用,并取得了比一些最先進的模型更好的表現和更公平的行為。
對于推薦系統來說,用戶冷啟動推薦是一個長期存在的挑戰,因為只有很少的冷啟動用戶交互可以被利用。最近的研究試圖從元學習的角度解決這一挑戰,大多數研究遵循參數初始化的方式,即通過幾個步驟的梯度更新來學習模型參數。雖然這些基于梯度的元學習模型在一定程度上取得了良好的性能,但其中的一個根本問題是如何將從以前任務中學習到的全局知識更有效地用于冷啟動用戶的推薦。
本文提出了一種新的元學習推薦方法——任務自適應神經過程(TaNP)。TaNP是神經過程家族中的一個新成員,為每個用戶作出推薦都與相應的隨機過程相關聯。TaNP直接將每個用戶觀察到的交互作用映射到一個預測分布,避開了基于梯度的元學習模型中的一些訓練問題。更重要的是,為了平衡模型容量和適應可靠性之間的平衡,我們引入了一種新的任務適應機制。它使我們的模型能夠學習不同任務的相關性,并自定義全局知識到與任務相關的解碼器參數,以估計用戶的偏好。在不同的實驗設置下,我們在多個基準數據集上驗證了TaNP。實證結果表明,TaNP對幾個最先進的元學習推薦器產生了一致的改進。
圖卷積網絡(GCNs)在推薦方面表現出巨大的潛力。這歸功于他們通過利用來自高階鄰居的協作信號來學習良好的用戶和項目嵌入的能力。與其他GCN模型一樣,基于GCN的推薦模型也存在著臭名昭著的過平滑問題——當疊加更多層時,節點嵌入變得更加相似,最終無法區分,導致性能下降。最近提出的LightGCN和LR-GCN在一定程度上緩解了這一問題,但是我們認為他們忽略了推薦中出現過平滑問題的一個重要因素,即在圖卷積操作中,用戶的嵌入學習也可以涉及到與用戶沒有共同興趣的高階鄰域用戶。因此,多層圖卷積會使不同興趣的用戶具有相似的嵌入性。在本文中,我們提出了一種新的興趣感知消息傳遞GCN (IMP-GCN)推薦模型,該模型在子圖中進行高階圖卷積。子圖由具有相似興趣的用戶及其交互項組成。為了形成子圖,我們設計了一個無監督的子圖生成模塊,該模塊利用用戶特征和圖結構來有效識別具有共同興趣的用戶。為此,我們的模型可以避免將高階鄰域的負面信息傳播到嵌入學習中。在三個大規模基準數據集上的實驗結果表明,我們的模型可以通過疊加更多的層來獲得性能的提高,顯著優于目前最先進的基于GCN的推薦模型。
推薦系統作為人工智能的一個重要應用,是最普遍的計算機輔助系統之一,幫助用戶找到潛在的興趣項目。近年來,人工智能應用的公平性問題引起了研究人員的廣泛關注。這些方法大多假定實例獨立,并設計復雜的模型來消除敏感信息,以促進公平。然而,推薦系統與這些方法有很大的不同,因為用戶和商品自然形成一個用戶-商品二部圖,并且在圖結構中相互協作。在本文中,我們提出了一種新的基于圖的技術來保證任何推薦模型的公平性。這里的公平性要求指的是在用戶建模過程中不暴露敏感特性集。具體來說,給定任何推薦模型的原始嵌入,我們學習一組過濾器,這些過濾器將每個用戶和每個物品的原始嵌入轉換為一個基于敏感特征集的過濾嵌入空間。對于每個用戶,這種轉換是在以用戶為中心的圖的對抗學習下實現的,以便在過濾后的用戶嵌入和該用戶的子圖結構之間模糊每個敏感特征。最后,大量的實驗結果清楚地表明了我們所提出的模型在公平推薦方面的有效性。
序列推薦(SR)是根據用戶當前訪問的物品向其準確推薦物品列表。當新用戶不斷地進入現實世界時,一個關鍵的任務是要有歸納SR,它可以在不需要再訓練的情況下產生用戶和物品的嵌入。鑒于用戶-項目交互可能非常稀疏,另一個關鍵任務是擁有可遷移的SR,它可以將從一個具有豐富數據的領域派生的知識遷移到另一個領域。在這項工作中,我們的目標是呈現整體SR,同時適應傳統、歸納和可遷移的設置。我們提出了一種新的基于深度學習的模型——關系時間注意力圖神經網絡(RetaGNN),用于整體SR。首先,為了具有歸納和可遷移的能力,我們在從用戶-物品對中提取的局部子圖上訓練一個關注關系的GNN,其中可學習權矩陣是關于用戶、物品和屬性之間的各種關系,而不是節點或邊。第二,長期和短期用戶偏好的時間模式被提出的序列自注意機制編碼。第三,為了更好地訓練RetaGNN,設計了一個關系感知的正則化項。在MovieLens、Instagram和Book-Crossing數據集上進行的實驗表明,RetaGNN可以在常規、歸納和可遷移的設置下優于最先進的方法。推導出的注意力權重也為模型帶來了可解釋性。
社會事件提供了對群體社會行為和公眾關注的寶貴見解,因此在產品推薦和危機管理等領域有許多應用。社交信息的復雜性和流性質使得在漸進學習環境中處理社會事件檢測很有吸引力,在漸進學習環境中獲取、保存和擴展知識是主要關注的問題。現有的方法,包括基于增量聚類和社區檢測的方法,由于忽略了社會數據中豐富的語義和結構信息,學習的知識非常有限。此外,他們不能記憶之前獲得的知識。本文提出了一種新的知識保持的增量異構圖神經網絡(KPGNN)用于增量式社會事件檢測。為了獲得更多的知識,KPGNN將復雜的社交信息建模為統一的社交圖,以促進數據的利用,并探索GNNs的表達能力,以提取知識。為了不斷適應傳入的數據,KPGNN采用了對比損失術語來處理不斷變化的事件類數量。它還利用GNNs的歸納學習能力來有效地檢測事件,并從以前看不到的數據擴展其知識。針對大的社交流,KPGNN采用小批量子圖采樣策略進行可擴展訓練,并定期刪除過時數據以保持動態嵌入空間。KPGNN不需要特征工程,也很少有超參數可調。大量的實驗結果證明了KPGNN在各種基線上的優越性。
//www.zhuanzhi.ai/paper/c9eb7a6ef17235aec366506073320e0b
論文題目: A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data
論文摘要: 賦予對話系統以人物角色是實現更人性化對話的關鍵。然而,由于在自然語言中很難體現個性,以及在大多數對話語料庫中觀察到的人物稀疏性問題,這一問題還遠未得到很好的探討。本論文提出了一種基于預訓練的個性化對話模型,該模型可以利用人物角色稀疏對話數據生成一致響應。該方法利用預先訓練好的語言模型來初始化編解碼器,并通過將說話人的角色和對話歷史一起編碼,設計了個人屬性嵌入來建模更豐富的對話上下文。此外,為了在解碼過程中合并目標人物角色并平衡其貢獻,在解碼器中設計了注意路由結構,以使用動態預測權重合并從目標人物角色提取的特征和對話上下文。我們的模型可以在訓練過程中統一使用人物角色稀疏對話,也可以控制推理過程中要顯示的人物角色相關特征的數量。無論是自動評估還是手動評估都表明,該模型在使用人物角色稀疏數據生成更一致和人物角色一致的響應方面優于最新方法。