亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning

基于深度置信度感知學習的廣告投放探索方案

摘要：目前先進的在線廣告系統得益于個性化方法，例如點擊率預估技術。依托于深度學習豐富的表示能力，深層點擊率預估模型在工業界獲得大規模應用，并取得了巨大成功。但是，這些方法可能會受限于“缺乏探索”問題。此前的一系列工作借助上下文賭博機（Contextual Bandit）方法來解決探索與利用的權衡問題，但這些方法難以兼容深層模型，因而表示能力受限。

在本文中，我們提出了一種新穎的深度置信度感知學習（DUAL）方法，基于高斯過程（Gaussian Process）學習點擊率模型。該方法可以在保持深層模型靈活表示能力的同時，提供模型預估不確定性的估計。DUAL可以輕松地在現有模型上實現，并以極少的額外計算開銷部署于實時系統中。通過結合DUAL對模型預估不確定性的估計能力與Bandit算法，我們進一步提出了基于DUAL的廣告投放策略，以提高廣告系統的長期效用。在幾個公共數據集上的實驗結果均表明了該方法的有效性。同時，在阿里巴巴展示外投廣告平臺上部署的在線A/B測試結果顯示，DUAL方法顯著提升了平臺收入等指標。 論文下載：

//www.zhuanzhi.ai/paper/63a6cc77b85e7ae3367742b46acacf74

最近，異質圖神經網絡（HGNNs）在處理異質信息網絡（HIN）方面展現了優越的能力。大部分的HGNNs都遵循半監督學習的設定，然而實際應用中標簽信息往往很難獲得。而自監督學習由于能夠自發地從數據本身挖掘監督信號，已經成為無監督設定下很好的選擇。作為一種典型的自監督機制，對比學習（contrastive learning）通過從數據中抽取出正負樣本，同時最大化正例間的相似度以及最小化負例間相似度，能夠學到判別性的表示。盡管對比學習在CV和NLP領域得到了廣泛應用，如何將它和HIN結合卻尚未解決。

通過認真考慮HIN以及對比學習的特性，我們總結了三個需要解決的本質問題：

1）如何設計異質對比機制 HIN中包含復雜結構，例如元路徑（meta-path），需要利用跨視圖的對比學習機制來綜合刻畫。

2）如何在HIN中選擇合適的視圖 對于視圖的基本要求是，能夠刻畫網絡的局部結構和高階結構。網絡模式（network schema）反應了節點間的直接連接情況，捕捉局部結構；元路徑通常被用來抽取多跳關系。

3）如何設置困難的對比任務 簡單的正負關系很容易被捕獲，模型學到的信息有限。增加對比任務的難度，可通過增加兩個視圖間的差異，或者生成更高質量的負樣本來實現。

在本篇文章中，我們提出了一個新的基于協同對比學習的異質圖神經網絡框架，簡稱HeCo。HeCo采用跨視圖的對比機制，選擇網絡模式和元路徑作為兩個視圖，結合視圖掩蓋機制，分別學得兩個視圖下的節點表示。之后，利用跨視圖對比學習，使得兩個視圖協同監督。此外，我們還提出兩個HeCo擴展，通過生成更高質量的負例，提升最終效果。

異構圖神經網絡(HGNN)作為一種新興的技術，在處理異構信息網絡(HIN)方面表現出優越的能力。然而，大多數HGNN遵循半監督學習方式，這明顯限制了它們在現實中的廣泛使用，因為標簽在實際應用中通常很少。近年來，對比學習，一種自監督的學習方法，成為最令人興奮的學習模式之一，在沒有標簽的情況下顯示出巨大的潛力。在本文中，我們研究了自監督HGNN的問題，并提出了一種新的HGNN的共同對比學習機制，名為HeCo。不同于傳統的對比學習只關注于對正樣本和負樣本的對比，HeCo采用了跨視角對比機制。具體來說，我們提出了HIN的兩種視圖(網絡模式視圖和元路徑視圖)來學習節點嵌入，從而同時捕獲局部和高階結構。在此基礎上，提出了一種跨視圖對比學習方法，并提出了一種視圖掩碼機制，能夠從兩個視圖中提取正面和負面的嵌入信息。這使得兩個視圖能夠相互協作監督，并最終學習高級節點嵌入。此外，設計了兩個擴展的HeCo，以產生高質量的硬負樣本，進一步提高了HeCo的性能。在各種真實網絡上進行的大量實驗表明，所提出的方法的性能優于最新的技術。

//www.zhuanzhi.ai/paper/9af678b0d09538b9cc18ef07a10d9560

近年來，圍繞著圖卷積網絡(GCN)這一主題的文獻大量涌現。如何有效地利用復雜圖(如具有異構實體和關系類型的知識圖譜)中豐富的結構信息是該領域面臨的主要挑戰。大多數GCN方法要么局限于具有同質邊類型的圖(例如，僅引用鏈接)，要么只專注于節點的表示學習，而不是針對目標驅動的目標共同傳播和更新節點和邊的嵌入。本文提出了一種新的框架，即基于知識嵌入的圖卷積網絡(KE-GCN)，該框架結合了基于圖的信念傳播中知識嵌入的能力和高級知識嵌入(又稱知識圖嵌入)方法的優勢，從而解決了這些局限性。我們的理論分析表明，KE-GCN作為具體案例提供了幾種著名的GCN方法的優雅統一，并提供了圖卷積的新視角。在基準數據集上的實驗結果表明，與強基線方法相比，KE-GCN方法在知識圖譜對齊和實體分類等任務中具有明顯的優勢。

//www.zhuanzhi.ai/paper/3404ccd79333da7c1cbf8e013f258a64

在推薦系統中，當用戶-物品交互數據稀疏時，常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而，現實生活中用戶之間的互動非常復雜，用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系，而它在改善社會推薦方面的潛力還有待開發。在本文中，我們填補了這一空白，提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上，網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入，我們獲得了全面的用戶表示，從而產生推薦結果。然而，聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失，我們創新性地將自監督學習融入到超圖卷積網絡的訓練中，以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明，該模型優于SOTA方法，消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。

在多源知識圖譜(KGs)中尋找等價實體是KGs集成的關鍵步驟，也稱為實體對齊(EA)。然而，現有的EA方法大多效率低下，伸縮性差。最近的總結指出，其中一些甚至需要幾天的時間來處理包含20萬個節點(DWY100K)的數據集。我們認為過于復雜的圖編碼器和低效的負采樣策略是造成這種現象的兩個主要原因。本文提出了一種新的KG編碼器-雙注意匹配網絡(Dual- AMN)，該網絡不僅能對圖內和圖間信息進行智能建模，而且大大降低了計算復雜度。此外，我們提出了歸一化的硬樣本挖掘損失來平滑選擇硬負樣本，減少了損失偏移。在廣泛應用的公共數據集上的實驗結果表明，該方法具有較高的精度和效率。在DWY100K上，我們的方法的整個運行過程可以在1100秒內完成，比之前的工作至少快10倍。我們的方法在所有數據集上的性能也優于之前的工作，其中????????@1和??????從6%提高到13%。

//www.zhuanzhi.ai/paper/3d0a0bf7905b28afbdffaa48e0d640c3

研究背景

近年來，由于深度學習需要大量標注數據進行訓練的特性，如何獲取足量的標注數據來進行深度模型的訓練已經成為了制約深度模型發展的關鍵瓶頸之一。在一些結構化預測的任務中，例如需要逐像素點的標注的語義分割任務中，這一問題更加嚴重。

解決方案

本工作探討弱監督的語義分割方法，即致力于解決從圖像級的訓練標注得到像素級的模型預測的問題。我們創新地利用對圖像分組并顯式建立組內圖像間的依賴關系的方法處理該弱監督語義分割問題。具體地，將圖像視為節點，并利用互注意機制表征圖像間的關系，我們利用一個圖網絡模型來建立和挖掘這種圖像之間的語義關系。為了避免模型只響應一些簡單的共性語義，我們進一步提出了應用于圖模型的 dropout 機制，設法使其通過互注意機制關聯出互補的響應區域，從而得到總體更加準確和完整的目標響應。整個網絡可以端到端地完成訓練，并在 Pascal VOC 2012 和 COCO 數據集上取得了當前最好的性能。

Xueyi Li, Tianfei Zhou, Jianwu Li, Yi Zhou, Zhaoxiang Zhang：Group--Wise Semantic Mining for Weakly Supervised Semantic Segmentation. The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI) 2021

由于二部圖在各種應用領域中得到了廣泛的應用，因此嵌入二部圖引起了人們的廣泛關注。以往的方法大多采用基于隨機行走或基于重構的目標，對學習局部圖結構是典型的有效方法。但是，二部圖的全局性質，包括同構節點的社區結構和異構節點的遠程依賴關系，并沒有很好地保存下來。在本文中，我們提出了一種稱為BiGI的二部圖嵌入，通過引入一個新的局部-全局信息目標來捕獲這種全局性質。具體來說，BiGI首先生成一個由兩個原型表示組成的全局表示。然后BiGI通過提出的子級注意機制將采樣的邊緣編碼為局部表示。BiGI通過最大化局部表示和全局表示之間的互信息，使二部圖中的節點具有全局相關性。我們的模型在各種基準數據集上評估top-K推薦和鏈接預測任務。大量的實驗證明BiGI在最先進的基線上實現了一致和顯著的改進。詳細的分析驗證了二部圖全局性質建模的有效性。

//arxiv.org/pdf/2012.05442.pdf

標簽傳播(LPA)和圖卷積神經網絡(GCN)都是圖上的消息傳遞算法。兩者都解決了節點分類的任務，但是LPA將節點標簽信息傳播到圖的邊緣，而GCN傳播并轉換節點特征信息。然而，雖然概念相似，LPA和GCN之間的理論關系還沒有得到研究。這里我們從兩個方面研究了LPA和GCN之間的關系:(1)特征/標簽平滑，分析一個節點的特征/標簽如何擴散到它的鄰居;(2)一個節點的初始特征/標簽對另一個節點的最終特征/標簽的影響程度。在理論分析的基礎上，提出了一種統一GCN和LPA的節點分類端到端模型。在我們的統一模型中，邊緣權值是可學習的，LPA作為正則化幫助GCN學習合適的邊緣權值，從而提高分類性能。我們的模型也可以看作是基于節點標簽的注意力學習權重，它比現有的基于特征的注意力模型更面向任務。在真實圖數據的大量實驗中，我們的模型在節點分類準確度方面顯示出優于目前最先進的基于gcn的方法。