開創性的工作已經驗證了擴散模型在探索推薦系統中信息不確定性方面的有效性。考慮到推薦任務與圖像合成任務之間的差異，現有方法對擴散和逆過程進行了針對性的改進。然而，這些方法通常使用語料庫中得分最高的項目來預測用戶興趣，導致忽視了用戶在其他項目中包含的泛化偏好，從而仍受限于數據稀疏問題。為了解決這個問題，本文提出了一種新穎的推薦用插件擴散模型（PDRec）框架，該框架將擴散模型作為一個靈活的插件，共同充分利用在所有項目上擴散生成用戶偏好的優勢。具體而言，PDRec首先通過時間間隔擴散模型推斷用戶在所有項目上的動態偏好，并提出了歷史行為重新加權（HBR）機制，以識別高質量行為并抑制噪聲行為。除了觀察到的項目，PDRec提出了基于擴散的正向增強（DPA）策略，利用排名靠前的未觀察項目作為潛在正樣本，引入信息豐富且多樣化的軟信號來緩解數據稀疏。為了緩解假陰性采樣問題，PDRec采用無噪聲負采樣（NNS）來選擇穩定的負樣本，以確保有效的模型優化。在四個數據集上的廣泛實驗和分析驗證了所提出的PDRec相較于最先進的基準模型的優越性，并展示了PDRec作為常用順序編碼器的靈活插件在不同推薦場景下的普遍性。代碼可在//github.com/hulkima/PDRec獲得。
付費5元查看完整內容
相關內容
知識圖譜（KGs）已成為通過提供大量事實信息和捕捉項目之間的語義關系來豐富推薦系統的寶貴資源。利用知識圖譜可以顯著提高推薦性能。然而，并非知識圖譜中的所有關系對于目標推薦任務都同等相關或有益。事實上，某些項目-實體連接可能引入噪聲或缺乏信息價值，從而可能誤導我們對用戶偏好的理解。為了彌補這一研究空白，我們提出了一種新穎的知識圖譜擴散模型用于推薦，稱為DiffKG。我們的框架將生成擴散模型與數據增強范式結合起來，實現了健壯的知識圖譜表示學習。這種集成有助于更好地將知識感知的項目語義與協同關系建模對齊。此外，我們引入了一種協同知識圖譜卷積機制，它結合了反映用戶-項目交互模式的協同信號，指導知識圖譜擴散過程。我們在三個公開可用的數據集上進行了廣泛的實驗，一致地證明了我們的DiffKG與各種競爭基線相比的優越性。我們在以下鏈接提供了我們提出的DiffKG模型的源代碼倉庫：//github.com/HKUDS/DiffKG。
付費5元查看完整內容
時間序列分類在金融、醫療和傳感器數據分析等多個領域都是一個關鍵任務。無監督的對比學習在從標簽有限的時間序列數據中學習有效表示方面引起了廣泛關注。現有的對比學習方法中普遍的方法包括兩個獨立的階段：在無標簽數據集上預訓練編碼器，然后在小規模有標簽數據集上對經過良好訓練的模型進行微調。然而，這種兩階段方法存在幾個缺點，例如：無監督預訓練對比損失不能直接影響下游的微調分類器，以及缺乏利用由有價值的真實標簽指導的分類損失。在本文中，我們提出了一個名為SLOTS（半監督時間分類學習）的端到端模型。SLOTS接收半標簽數據集，其中包含大量的無標簽樣本和少量的有標簽樣本，并通過編碼器將它們映射到一個嵌入空間。我們不僅計算無監督的對比損失，而且在具有真實標簽的樣本上測量有監督的對比損失。學到的嵌入被送入一個分類器，并使用可用的真實標簽計算分類損失。無監督、有監督對比損失和分類損失被聯合用來優化編碼器和分類器。我們通過與五個數據集上的十種最先進方法進行比較來評估SLOTS。結果表明，與兩階段框架相比，我們的端到端SLOTS使用相同的輸入數據，消耗類似的計算成本，但提供了明顯優化的性能。我們在 //anonymous.4open.science/r/SLOTS-242E 發布了代碼和數據集。
付費5元查看完整內容
近期，自動化機器學習（AutoML）技術被引入，用以根據數據特定方式設計協同過濾（CF）模型。然而，現有的工作或是搜索架構，或是搜索超參數，而忽略了它們之間的內在關系，應該一同考慮。這激發了我們考慮一種結合超參數和架構搜索的方法來設計CF模型。但由于搜索空間巨大和評估成本高昂，這并不容易。為解決這些挑戰，我們通過對單個超參數的全面了解，篩選出有用的超參數選擇來減少搜索空間。接下來，我們提出了一個兩階段搜索算法，從減少的空間中找到合適的配置。在第一階段，我們利用從子樣本數據集中獲取的知識來減少評估成本；在第二階段，我們高效地在整個數據集上對頂級候選模型進行微調。在真實世界數據集上的大量實驗表明，與手工設計的和以前搜索的模型相比，我們的模型可以達到更好的性能。此外，消融和案例研究都證明了我們搜索框架的有效性。
付費5元查看完整內容
利用基于Transformer的序列編碼器進行對比學習，在序列推薦方面取得了優勢。它最大化了共享相似語義的成對序列擴充之間的一致性。然而，現有的序列推薦對比學習方法主要以左右單向Transformer為基礎編碼器，由于用戶行為可能不是嚴格的從左到右的順序，因此對于序列推薦來說，這種方法不是最優的。為了解決這個問題，我們提出了一種新的框架，名為對比學習與雙向Transformer序列推薦(CBiT)。具體來說，我們首先在雙向Transformer中對長用戶序列應用滑動窗口技術，它允許對用戶序列進行更細粒度的劃分。然后我們結合完形填空任務掩碼和dropout掩碼生成高質量的正樣本，進行多對對比學習，與普通的一對對比學習相比，表現出更好的性能和適應性。此外，我們還引入了一種新的動態損失加權策略來平衡完形任務損失和對比任務損失。在三個公共基準數據集上的實驗結果表明，我們的模型在序列推薦方面優于最先進的模型。
//www.zhuanzhi.ai/paper/b6f7c83da0550bfea4e27ceaef3b0aed
付費5元查看完整內容
用戶建模是各項個性化服務（如推薦系統）中的關鍵技術。基于用戶行為的用戶建模，是實際推薦系統中的主要建模方法。已有的基于用戶行為的用戶建模方法，通常將用戶建模為他們行為的集合或序列，亦或是用戶-物品二分圖上的節點。但是這些建模方法難以對行為之間的復雜聯系和上下文信息進行充分建模。為了解決這一問題，微軟亞洲研究院的研究員們提出了 User-as-Graph 方法。該方法將用戶建模為一個由行為組成的異構圖，這樣就可以更好地理解行為之間復雜的關系和上下文信息，進而更加準確地表示用戶，以實現“一人一圖，千圖千面”。
在 User-as-Graph 方法中，每個用戶都被表示為一個個性化異構圖。圖7展示了一個構建示例。圖中的節點是一個用戶的異構行為，邊是行為之間的關系。
此外，用戶建模的任務可以轉化為一個異構圖池化的問題，即從個性化的異構圖中學習用戶的表示。然而，對異構圖池化方面的研究非常稀缺，并且現有的同構圖池化方法對于異構圖池化可能不是最優的。基于此，研究員們又提出了一種名為 HG-Pool 的異構圖池化方法，如圖8所示。該方法的核心思想是經過多次迭代，將一個大的異構圖池化，并不斷壓縮為一個更小的異構圖，直到獲得最終的用戶表示。在每次迭代中，研究員們使用類型特定的 GNN 模型從整個異構圖的信息中學習每種節點的池化函數，這樣能夠充分考慮異構節點的特性。
HG-Pool 方法的框架如圖9所示。對于每種節點，首先使用一個不同的池化 GNN 模型來學習類型特定的節點表示。然后使用帶 softmax 激活函數的線性變換，將這些節點表示轉換為類型特定的池化矩陣。最后使用 padding 后的池化矩陣，將當前鄰接矩陣和節點特征矩陣轉換為更小的矩陣。
研究員們基于 MIND 新聞推薦數據集進行了實驗。表4的結果顯示 User-as-Graph 可以顯著提升新聞推薦中用戶建模的效果，從而取得更好的個性化新聞推薦的性能。
付費5元查看完整內容
類別特征(如用戶/商品id)的嵌入學習是矩陣分解和神經協同過濾等各種推薦模型的核心。標準方法創建一個嵌入表，其中每一行代表每個唯一特征值的專用嵌入向量。然而，這種方法不能有效地處理現實世界推薦系統中普遍存在的高基數特征和不可見特征值(如新視頻ID)。在本文中，我們提出了一種替代的嵌入框架深度哈希嵌入(Deep Hash embedding, DHE)，用一個深度嵌入網絡代替嵌入表來動態計算嵌入。DHE首先通過多個哈希函數和變換將特征值編碼為唯一的標識向量，然后應用DNN將標識向量轉換為嵌入。編碼模塊具有確定性、不可學習性、無存儲性，而在訓練時更新嵌入網絡以學習生成嵌入。實驗結果表明，DHE在模型尺寸較小的情況下，實現了與標準的一次性全嵌入相比較的AUC。我們的工作為不使用嵌入表查找的基于DNN的分類特征替代嵌入方案的設計提供了思路。
付費5元查看完整內容
在多源知識圖譜(KGs)中尋找等價實體是KGs集成的關鍵步驟，也稱為實體對齊(EA)。然而，現有的EA方法大多效率低下，伸縮性差。最近的總結指出，其中一些甚至需要幾天的時間來處理包含20萬個節點(DWY100K)的數據集。我們認為過于復雜的圖編碼器和低效的負采樣策略是造成這種現象的兩個主要原因。本文提出了一種新的KG編碼器-雙注意匹配網絡(Dual- AMN)，該網絡不僅能對圖內和圖間信息進行智能建模，而且大大降低了計算復雜度。此外，我們提出了歸一化的硬樣本挖掘損失來平滑選擇硬負樣本，減少了損失偏移。在廣泛應用的公共數據集上的實驗結果表明，該方法具有較高的精度和效率。在DWY100K上，我們的方法的整個運行過程可以在1100秒內完成，比之前的工作至少快10倍。我們的方法在所有數據集上的性能也優于之前的工作，其中????????@1和??????從6%提高到13%。
//www.zhuanzhi.ai/paper/3d0a0bf7905b28afbdffaa48e0d640c3
付費5元查看完整內容
小樣本識別的目標是在每類只有少量有標簽樣本可供使用的限制下識別新的類別。受到人類學習過程的啟發，現有的一些方法引入了額外語義模態來增強從訓練樣本（稱為支持樣本）學習更好的表征。然而，這些方法忽視了為測試樣本（稱為查詢樣本）設計特殊的處理機制。在失去了潛在的效果提升的同時，這些方法可能導致模態混合表征和同類別的純視覺表征之間存在偏移，最終導致識別的錯誤率上升。
在本文中，我們提出一種屬性指導的注意力模塊（AGAM），來使用人工屬性標注學習更有區分性的特征。這種即插即用的模塊能夠利用視覺內容和對應的屬性標注一起關注支持樣本中重要的通道和區域。同時，對于屬性標注不可得的查詢樣本，這種特征選擇過程同樣能夠只利用視覺內容便可執行。因此，兩種樣本的表征經過了相似的細粒度優化。另外，我們提出一種注意力對齊機制，來從屬性的指導蒸餾知識到純視覺的特征選擇過程，使其能夠在不利用屬性標注的限制下學會關注更具語義的特征。大量的實驗和分析表明，我們提出的模塊可以顯著改進現有的基于度量的方法來達到最先進的性能。
付費5元查看完整內容
目標檢測器通常在完全標注實例的監督學習情況下獲得很好的結果。但是，對于稀疏實例注釋，它們的性能遠遠不能令人滿意。現有的稀疏標注目標檢測方法主要是對難的負樣本的損失進行重加權，或者將未標注的實例轉換為忽略區域，以減少假陰性的干擾。我們認為這些策略是不夠的，因為它們最多可以減輕由于缺少注釋而造成的負面影響。在本文中，我們提出了一個簡單而有效的機制，稱為協同挖掘，稀疏標注的目標檢測。在協同挖掘中，一個連體網絡的兩個分支相互預測偽標簽集。為了增強多視圖學習和更好地挖掘未標記實例，將原始圖像和相應的增強圖像分別作為Siamese網絡的兩個分支的輸入。協同挖掘可以作為一種通用的訓練機制，應用于大多數現代目標檢測器。在三種不同稀疏注釋設置的MS COCO數據集上進行了實驗，使用兩種典型的框架:基于錨的檢測器RetinaNet和無錨檢測器FCOS。實驗結果表明，與RetinaNet的協同挖掘方法相比，在相同的稀疏標注設置下，相比于不同的基線，改進了1.4%~2.1%，超過了現有的方法。
付費5元查看完整內容
最近，終身學習在構建不斷積累和轉移知識以幫助未來學習的機器學習系統方面引起了關注。無監督主題建模廣泛用于從文檔集合中發現主題。然而，由于數據稀疏性，例如，在一個小的(短)文檔集合中，會產生不連貫的主題和次優的文檔表示，主題建模的應用具有挑戰性。為了解決這個問題，我們提出了一個神經主題建模的終身學習框架，它可以連續處理文檔集流，積累主題，并通過從多個來源的知識轉移來指導未來的主題建模任務，以更好地處理稀疏的數據。在終身學習過程中，我們特別共同研究:(1)終生共享生成同源性(潛在話題)以轉移先驗知識，(2)通過新穎的選擇性數據增強、聯合訓練和話題正則化方法最小化保留過去學習的災難性遺忘。在給定一個文檔集合流的情況下，我們應用所提出的終身神經主題建模(LNTM)框架，將三個稀疏文檔集合建模為未來任務，并通過perplexity、Topic coherence和information retrieval task量化，證明了性能的提高。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191