在許多數據科學應用中，如推薦系統、在線廣告、醫療等，對表格數據進行預測是一項重要的任務。表格數據被結構成行和列，每一行作為數據樣本，每一列作為特性屬性。表格數據的列和行都帶有可以提高模型預測性能的有用模式。然而，大多數現有模型關注的是跨列模式，而忽略了跨行模式，因為它們獨立處理單個樣本。在這項工作中，我們提出了一個通用的學習框架，名為檢索與交互機(RIM)，它充分利用表格數據中的橫行和橫列模式。具體來說，RIM首先利用搜索引擎技術高效地檢索表中有用的行來輔助目標行標簽預測，然后利用特征交互網絡捕捉目標行與被檢索行之間的跨列模式，從而做出最終的標簽預測。我們對三個重要任務的11個數據集進行了廣泛的實驗，即CTR預測(分類)、top-n推薦(排名)和評分預測(回歸)。實驗結果表明，RIM在不同的基準上取得了顯著的改進，證明了RIM的優越性和有效性。
付費5元查看完整內容
相關內容
圖上的不平衡分類是普遍存在的，但在許多現實世界的應用(如欺詐節點檢測)中具有挑戰性。近年來，圖神經網絡在許多網絡分析任務中顯示出良好的性能。然而，現有的GNN大多只關注平衡網絡，在不平衡網絡上的性能不理想。為了彌補這一缺陷，本文提出了生成式對抗圖網絡模型ImGAGN來解決圖上的不平衡分類問題。介紹了一種新的圖結構數據生成器GraphGenerator，它可以通過生成一組合成的少數節點來模擬少數類節點的屬性分布和網絡拓撲結構分布，從而使不同類中的節點數量達到均衡。然后訓練一個圖卷積網絡(GCN)識別器來區分合成平衡網絡上的真實節點和虛假節點(即生成節點)，以及少數節點和多數節點。為了驗證該方法的有效性，在四個真實的不平衡網絡數據集上進行了大量的實驗。實驗結果表明，在半監督不平衡節點分類任務中，該方法優于現有的算法。
付費5元查看完整內容
//www.zhuanzhi.ai/paper/fd7ce9fc6cc2c0d5867e2906d17e3d61
作為搜索引擎的心臟，排名系統在滿足用戶的信息需求方面起著至關重要的作用。最近，從預訓練語言模型 (PLM) 微調的神經排名器建立了最先進的排名有效性。然而，由于以下具有挑戰性的問題，將這些基于 PLM 的排名器直接應用于大規模網絡搜索系統并非易事：（1）大規模神經 PLM 的計算成本過高，尤其是對于網絡文檔中的長文本，禁止將它們部署在需要極低延遲的在線排名系統中；(2) 現有排名不可知的預訓練目標與需要全面相關性建模的臨時檢索場景之間的差異是改進在線排名系統的另一個主要障礙;(3) 現實世界的搜索引擎通常涉及排名組件的委員會，因此單獨微調排名模型的兼容性對于合作排名系統至關重要。在這項工作中，我們在在線搜索引擎系統中部署最先進的中文預訓練語言模型（即 ERNIE）時，貢獻了一系列成功應用的技術來解決這些暴露的問題。我們首先闡明了一種新穎的做法，以經濟高效地總結 Web 文檔，并使用廉價但功能強大的 Pyramid-ERNIE 架構將結果摘要內容與查詢語境化。然后我們賦予一個創新范式來精細地利用大規模的嘈雜和有偏見的點擊后行為數據進行面向相關的預訓練。我們還提出了一種為在線排名系統量身定制的人工錨定微調策略，旨在穩定各種在線組件的排名信號。大量的離線和在線實驗結果表明，所提出的技術顯著提高了搜索引擎的性能。
付費5元查看完整內容
圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。
付費5元查看完整內容
假新聞以前所未有的速度傳播，到達全球受眾，通過社交媒體平臺將用戶和社區置于極大的風險之中。基于深度學習的模型在對感興趣事件上的大量標記數據進行訓練時表現出良好的性能，而模型在其他事件上的性能則由于域漂移而下降。因此，現有的突發事件假新聞檢測方法面臨著重大挑戰，難以獲得大規模標記數據集。此外，添加來自新突發事件的知識需要從頭構建一個新模型或繼續微調模型，這對于現實世界的設置可能是具有挑戰性的、昂貴的和不現實的。為了應對這些挑戰，我們提出了端到端假新聞檢測框架MetaFEND，該框架能夠快速學習并檢測突發事件中的假新聞，并且有一些經過驗證的帖子。具體來說，該模型將元學習和神經過程方法集成在一起，以享受這些方法的好處。特別提出了標簽嵌入模塊和硬注意力機制，通過處理分類信息和修剪不相關的帖子來提高效率。在從Twitter和微博收集的多媒體數據集上進行了廣泛的實驗。實驗結果表明，該模型能夠有效地檢測出未見事件的假新聞，并優于現有的方法。
付費5元查看完整內容
協同過濾(CF)作為推薦系統的一種基本方法，通常建立在具有可學習參數的潛在因子模型上，預測用戶對產品的偏好。但是，為給定的數據設計適當的CF模型并不容易，因為數據集的屬性是高度多樣化的。在本文中，基于自動機器學習(AutoML)的最新進展，我們提出利用AutoML技術設計一個數據特定的CF模型。這里的關鍵是一個新的框架，它將最先進的CF方法統一起來，并將它們劃分為輸入編碼、嵌入函數、交互函數和預測函數等不相交的階段。我們進一步開發了一種易于使用、健壯和高效的搜索策略，它利用隨機搜索和性能預測器在上述框架內進行高效搜索。通過這種方式，我們可以從SOTA模型中組合概括出文獻中沒有訪問過的特定于數據的CF模型。在五個真實數據集上的大量實驗表明，對于各種CF任務，我們的方法可以持續優于SOTA方法。進一步的實驗驗證了所提框架的合理性和搜索策略的有效性。搜索的CF模型還可以為將來探索更有效的方法提供見解。
付費5元查看完整內容
音樂流媒體服務嚴重依賴推薦系統來改善用戶體驗，通過幫助他們瀏覽一個大型音樂目錄，并發現新的歌曲、專輯或藝術家。然而，向新用戶推薦相關和個性化的內容，而不需要與目錄進行交互，是一項挑戰。這通常被稱為用戶冷啟動問題。在這篇應用論文中，我們提出了最近部署在音樂流媒體服務Deezer上的系統來解決這個問題。該解決方案利用了一種半個性化的推薦策略，該策略基于深度神經網絡架構，并基于來自異構信息源的用戶集群。通過離線和在線的大規模實驗，我們廣泛展示了該系統在預測冷啟動用戶未來音樂偏好方面的實際影響和有效性。我們公開了我們的代碼以及我們實驗中的匿名使用數據。我們希望此次發布的行業資源將有助于未來用戶冷啟動建議的研究。
付費5元查看完整內容
現有的協同過濾(CF)方法大多是基于匹配的思想設計的，即通過使用淺層或深層模型從數據中學習用戶和項目嵌入，試圖捕獲數據中的關聯關聯模式，這樣用戶嵌入就可以通過設計或學習的相似函數與相關的物品嵌入相匹配。然而，推薦作為一種認知而非感知智能任務，不僅需要從數據中進行模式識別和匹配的能力，還需要對數據進行認知推理的能力。在本文中，我們將協同過濾(CF)提升為協同推理(CR)，即每個用戶知道推理空間的一部分，并在空間中協作進行推理，以估計彼此的偏好。在技術上，我們提出了一個神經協作推理(NCR)框架來連接學習和推理。具體來說，我們整合了表示學習和邏輯推理的能力，其中表示從感知的角度捕捉數據中的相似模式，而邏輯促進了知情決策的認知推理。然而，一個重要的挑戰是在一個共享的體系結構中架起可微分神經網絡和符號推理的橋梁，以進行優化和推理。為解決這一問題，我們提出了一種模塊化的推理體系結構，將AND(∧)、OR(∨)、NOT(?)等邏輯運算學習為蘊涵推理(→)的神經模塊。這樣，邏輯表達式就可以等效地組織成神經網絡，從而在連續空間中進行邏輯推理和預測。與淺層、深層和推理模型相比，在真實數據集上的實驗驗證了我們的框架的優勢。
付費5元查看完整內容
圖神經網絡(GNNs)最近在圖學習方面取得了重大進展。盡管GNN具有豐富的表示能力，但對于大規模的社會建模應用來說，GNN的開發仍然相對不足。在線社交平臺中普遍存在的一種應用是好友推薦:平臺向用戶推薦其他候選用戶，以提高用戶的聯系性、留存率和參與度。然而，在大型社交平臺上建模這樣的用戶-用戶互動帶來了獨特的挑戰: 這些圖表通常有重尾度分布，其中很大一部分用戶是不活躍的，并且結構和參與信息有限。此外，用戶與不同的功能進行交互，與不同的組進行交流，并具有多方面的交互模式。我們研究了用于好友推薦的GNN應用，就我們所知，為這項任務提供了GNN設計的首次研究。為了充分利用平臺內異構用戶行為的豐富知識，我們將好友推薦設計為具有多模式用戶特征和鏈接傳播特征的多層面好友排名。我們提出了一個神經結構，GraFRank，它是精心設計的，從多種用戶特征形態和用戶-用戶交互中學習表達用戶表示。具體而言，GraFRank通過模態特定的鄰居聚合器處理模態同質性的異質性，并通過交叉模態關注學習非線性模態相關性。我們在兩個數百萬用戶的社交網絡數據集上進行了實驗，這些數據集來自領先和廣泛流行的移動社交平臺Snapchat，在候選檢索(30%的MRR)和排名(20%的MRR)任務上，GraFRank的表現優于一些最先進的方法。此外，我們的定性分析表明，低活躍度和低級別用戶的關鍵人群獲得了顯著收益。
付費5元查看完整內容
藥物相互作用預測是醫療保健機器學習領域的一項重要任務。在本文中，我們提出了一種全新的框架，利用多視角圖對比表示學習來完成藥物相互作用預測。我們不僅關注藥物分子圖，還關注藥物交互關系圖，從多個視角來建模藥物相互作用關系。針對藥物分子圖，我們使用基于化學鍵的消息傳遞機制來聚合信息和基于注意力機制的圖池化層來提取低層藥物分子表示；針對藥物交互關系圖和得到的低層藥物分子表示，我們使用圖卷積編碼器來聚合兩部分信息。此外，我們還提出了一種新穎的圖對比學習組件來平衡兩個視角中包含的信息。在真實數據集上進行的綜合性實驗表明我們的方法優于當前的其他方法。
//www.zhuanzhi.ai/paper/60e34925ef83710eaad29b0e40d124c9
付費5元查看完整內容
在點擊率(CTR)預測場景中，用戶的序列行為被很好地利用來捕捉用戶的興趣。然而，盡管這些順序方法得到了廣泛的研究，但仍然存在三個局限性。首先，現有的方法大多是利用對用戶行為的關注，并不總是適合于點擊率預測，因為用戶經常會點擊與任何歷史行為無關的新產品。其次，在真實的場景中，有許多用戶在很久以前就有操作，但在最近變得相對不活躍。因此，很難通過早期的行為準確地捕捉用戶當前的偏好。第三，用戶歷史行為在不同特征子空間中的多重表示在很大程度上被忽略。為了解決這些問題，我們提出了一種多交互關注網絡(Multi-Interactive Attention Network, MIAN)來全面提取用戶檔案中各種細粒度特征(如性別、年齡和職業)之間的潛在關系。具體來說，MIAN包含一個多交互層(MIL)，該層集成了三個本地交互模塊，通過順序行為捕獲用戶偏好的多種表示，同時利用細粒度的用戶特定信息和上下文信息。此外，我們設計了一個全局交互模塊(GIM)來學習高階交互并平衡多個特征的不同影響。最后，在3個數據集上進行離線實驗，并在一個大規模推薦系統中進行在線A/B測試，驗證了本文方法的有效性。
//www.zhuanzhi.ai/paper/2aac834293c05622fe4cb37096525879
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191