在點擊率(CTR)預測場景中,用戶的序列行為被很好地利用來捕捉用戶的興趣。然而,盡管這些順序方法得到了廣泛的研究,但仍然存在三個局限性。首先,現有的方法大多是利用對用戶行為的關注,并不總是適合于點擊率預測,因為用戶經常會點擊與任何歷史行為無關的新產品。其次,在真實的場景中,有許多用戶在很久以前就有操作,但在最近變得相對不活躍。因此,很難通過早期的行為準確地捕捉用戶當前的偏好。第三,用戶歷史行為在不同特征子空間中的多重表示在很大程度上被忽略。為了解決這些問題,我們提出了一種多交互關注網絡(Multi-Interactive Attention Network, MIAN)來全面提取用戶檔案中各種細粒度特征(如性別、年齡和職業)之間的潛在關系。具體來說,MIAN包含一個多交互層(MIL),該層集成了三個本地交互模塊,通過順序行為捕獲用戶偏好的多種表示,同時利用細粒度的用戶特定信息和上下文信息。此外,我們設計了一個全局交互模塊(GIM)來學習高階交互并平衡多個特征的不同影響。最后,在3個數據集上進行離線實驗,并在一個大規模推薦系統中進行在線A/B測試,驗證了本文方法的有效性。
//www.zhuanzhi.ai/paper/2aac834293c05622fe4cb37096525879
騰訊健康,騰訊醫典有多個個性化推薦場景,為了提高推薦效果,使用預訓練機制學習更完整的用戶表示。
用戶表示的學習是推薦系統模型中的重要一環。早期的方法根據用戶和項目之間的交互矩陣來學習用戶表達,但這些交互矩陣非常稀疏且矩陣中的值通常是粗粒度的,導致系統很難學習到準確的用戶表達。近期一些工作利用信息更加豐富的評論文本來增強用戶的表示學習,但對于冷門的領域或場景,評論文本的數量也不足以幫助其學習到完整準確的用戶表示。用戶的一些偏好(如評論習慣等)是在不同的領域或場景間共享的,我們可以利用數據豐富的場景下的評論幫助數據不豐富的場景的推薦。同時,受到近期自然語言處理領域中預訓練技術的啟發,本論文提出了一種基于預訓練和微調的兩階段推薦模型。如圖(a)所示,U-BERT包含兩個主要模塊能夠建模評論文本并將其語義信息和用戶的嵌入表達進行融合。在預訓練階段,我們設計了兩種新的預訓練任務能夠充分地利用不同場景下積累的評論文本來學習通用的用戶表達。如圖(b)所示,在微調階段,我們會根據特定場景下的評論數據對預訓練的用戶表示進行微調以適應當前場景下的特點。此外,在進行評分預測時,我們還設計了一個co-matching模塊以捕捉細粒度的語義匹配信息來更好地預測用戶對項目的打分。實驗結果表明,本文提出的推薦模型在多個開放數據集上取得了性能提升。
//34.94.61.102/paper_AAAI-2116.html
在對話系統中,對話行為識別和情感分類是捕獲對話者意圖的兩個相關任務,其中對話行為可以捕獲顯式的意圖,情感可以表達隱性的意圖。其中上下文信息(contextual information)和相互交互信息(mutual interaction information)是這兩個相關任務的關鍵因素。但是,現有方法都無法同時考慮這兩個重要的信息。為了解決這個問題,在本文中,我們提出了一個協同交互圖注意力網絡(Co-GAT)來聯合建模這兩個任務。核心模塊是我們提出的協同交互圖交互層,可以在統一的圖網絡中構建跨歷史連接(cross-utterances connection)和跨任務連接(cross-tasks connection)。我們的模型在兩個公開的數據集達到了SOTA性能。此外,我們發現上下文和相互交互信息的貢獻與預訓練模型并不完全重疊,在多種預訓練模型上(BERT,RoBERTa,XLNet)均取得了性能提升。
圖卷積神經網絡(Graph convolutional networks GCNs)是一種通過堆疊圖卷積層來集成節點高階鄰域信息的神經網絡,被廣泛應用于許多網絡分析任務(節點分類、鏈路預測等)。然而,GCNs存在著不可避免的局限性:拓撲局限性(過度平滑,局部同質性),這些嚴重限制了其表示網絡的能力。現有的工作(如拓撲優化、自監督等)主要通過將特征在拓撲上進行卷積來緩解GCNs的拓撲限制,這使得卷積結果嚴重依賴于網絡拓撲結構。與此同時,在真實世界中,網絡很多是富文本網絡(即text-rich networks),多數現有方法在卷積時僅考慮了全局(文檔)級別的特征信息,而忽略了局部(單詞)級別的文本序列信息。為了解決這些問題,我們提出了一種新的GCN架構(BiTe-GCN),對拓撲結構和特征的進行聯合卷積進而學習更好的節點特征。具體來說,我們首先將原始的富文本網絡增廣為一個雙類型(bi-typed)異構網絡,進而獲取全局(文檔)級別信息和局部文本序列信息。其次,我們設計了一種有辨別力的卷積機制,在同一系統中實現拓撲結構和特征的聯合卷積,并針對不同目標任務自動學習拓撲結構與特征分別對目標任務的貢獻。
從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中,我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系,并對每個問答(QA)對進行語義級交互。然而,目前AVI的研究大多集中在如何更好地表示問題和答案上,而忽視了它們之間的依賴信息和相互作用,而這是QA評估的關鍵。在這項工作中,我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說,我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖,我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后,我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。
//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1
由于不同道路間交通流時空分布格局具有復雜的空間相關性和動態趨勢,交通流時空數據預測是一項具有挑戰性的任務。現有框架通常利用給定的空間鄰接圖和復雜的機制為空間和時間相關性建模。然而,具有不完全鄰接連接的給定空間圖結構的有限表示可能會限制模型的有效時空依賴學習。此外,現有的方法在解決復雜的時空數據時也束手無策:它們通常利用獨立的模塊來實現時空關聯,或者只使用獨立的組件捕獲局部或全局的異構依賴關系。為了克服這些局限性,本文提出了一種新的時空融合圖神經網絡(STFGNN)用于交通流預測。首先,提出一種數據驅動的“時序圖”生成方法,以彌補空間圖可能無法反映的幾種現有相關性。SFTGNN通過一種新的時空圖融合操作,對不同的時間段進行并行處理,可以有效地學習隱藏的時空依賴關系。同時,該融合圖模塊與一種新的門控卷積模塊集成到一個統一的層中,SFTGNN可以通過層堆疊學習更多的時空依賴關系來處理長序列。在幾個公共交通數據集上的實驗結果表明,我們的方法達到了最先進的性能比其他基準一致。
屬性網絡嵌入的目的是結合網絡的拓撲結構和節點屬性學習低維節點表示。現有的大多數方法要么通過網絡結構傳播屬性,要么通過編碼-解碼器框架學習節點表示。然而,基于傳播的方法傾向于選擇網絡結構而不是節點屬性,而編碼-解碼器方法傾向于忽略近鄰之外的長連接。為了解決這些限制,同時得到這兩個方面的優點,我們設計了交叉融合層的無監督屬性網絡嵌入。具體來說,我們首先構建兩個獨立的視圖來處理網絡結構和節點屬性,然后設計跨融合層來實現兩視圖之間靈活的信息交換和集成。交叉融合層的關鍵設計目標有三方面:1)允許關鍵信息沿著網絡結構傳播;2)在傳播過程中對每個節點的局部鄰域進行異構編碼;3)加入額外的節點屬性通道,使屬性信息不被結構視圖所掩蓋。在三個數據集和三個下游任務上的大量實驗證明了該方法的有效性。
邊緣流通常用于捕獲動態網絡中的交互,如電子郵件、社交或計算機網絡。邊緣流異常或罕見事件的檢測問題有著廣泛的應用。然而,由于缺乏標簽,交互的高度動態特性,以及網絡中時間和結構變化的糾纏,它提出了許多挑戰。目前的方法在解決上述挑戰和有效處理大量交互方面能力有限。在此,我們提出了一種檢測邊緣流異常的新方法- F-FADE,它使用一種新的頻率因子分解技術來有效地模擬節點對間相互作用頻率的時間演化分布。然后,根據觀測到的每一次相互作用頻率的可能性來確定異常。F-FADE能夠在在線流媒體設置中處理時間和結構變化的各種異常,而只需要恒定的內存。我們在一個合成和六個真實世界動態網絡上的實驗表明,F-FADE達到了最先進的性能,可以檢測出以前的方法無法發現的異常。
題目: 解決基于圖神經網絡的會話推薦存在的信息損失問題
會議: KDD 2020
論文地址: //dl.acm.org/doi/pdf/10.1145/3394486.3403170
推薦理由: 這篇論文提出了目前在使用圖神經網絡方法來解決基于會話的推薦問題時所存在的兩個信息缺失問題并建立一個沒有信息丟失問題的模型,在三個公共數據集上優于最先進的模型。
在許多在線服務中,用戶的行為自然是按時間排序的。為了預測用戶未來的行為,下一項(next-item)推薦系統通過從用戶的歷史行為中挖掘序列模式來學習用戶的偏好。基于會話的推薦是下一項推薦的特殊情況。與一般的下一項推薦系統使用固定數量的前n項來預測下一項不同,基于會話的推薦系統將用戶的操作分組為互不關聯的會話,只使用當前會話中的項目來進行推薦。其中會話是在時間上接近的一組項目。基于會話的推薦的思想來自于這樣一種觀察,即會話內依賴項對下一項的影響比會話間依賴項更大。因此,一般的下一項推薦系統可能存在合并不相關會話和提取不完整會話的問題。而基于會話的推薦系統則不存在這樣的問題,因此可以做出更準確的推薦,并被部署在許多在線服務中。
題目: Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph
摘要: 近年來,圖神經網絡(GNN)被應用于知識圖譜(KG)的開發。現有的基于GNN的方法在KG中對實體與其本地圖上下文之間的依賴關系進行了建模。,但可能無法有效地捕獲其非局部圖上下文(例如,它的一階鄰居的集合),最相關的高階鄰居集)。在本文中,我們提出了一個新的推薦框架——上下文化的圖注意網絡(CGAT),它可以顯式地利用KG中實體的局部和非局部圖上下文信息。特別地,CGAT通過用戶特定的圖形注意機制捕獲本地上下文信息,考慮用戶對實體的個性化偏好。此外,CGAT采用了一個有偏隨機游走采樣過程來提取一個實體的非局部上下文,并利用遞歸神經網絡(RNN)來建模實體與其非局部上下文實體之間的依賴關系。為了捕捉用戶對物品的個性化偏好,本文還建立了物品特定注意機制,以模擬目標物品與從用戶歷史行為中提取的上下文物品之間的依賴關系。在真實數據集上的實驗結果驗證了CGAT的有效性,并與最新的基于KG的推薦方法進行了比較。