Multi-Agent Cooperative Bidding Games for Multi-Objective Optimization in e-Commercial Sponsored Search
基于多智能體協同競價博弈的電商搜索廣告多目標競價優化
摘要：在線廣告是一種以互聯網為載體，幫助廣告主觸達目標消費者，從而實現商業訴求的廣告形式。在線廣告通常通過實時競價的方式決定勝出者。電商搜索廣告是一種主流的在線廣告：消費者在電商平臺表達搜索請求，觸發相關廣告主的實時競價以及平臺流量分配，并帶來可能的成交行為。在高度動態的電商市場，每天通常有數百萬的廣告主，這些廣告主訴求各異，經由上千億次的實時競價競爭接近百億次的用戶曝光。如何在如此大規模的電商流量場景下，通過優化實時競價，滿足廣告主多樣化目標訴求是一個頗具挑戰的問題。學術界和工業界已經深入研究了單廣告主視角的競價優化問題，這些研究往往即假設其他競爭者不改變出價，這一強假設往往不成立，導致策略在運用于多廣告主真實競價時往往表現較差。少量現有工作從多廣告主視角，利用多智能體強化學習，通過構建一致的目標進行出價的協同優化，但他們存在如下缺陷：（1）由于信息完全共享，這些方法很難避免多廣告主串謀的問題，一種顯而易見的更優解是廣告主串通出較低價競價流量，導致平臺收益受損；（2）在復雜動態的競價環境中，這些策略需要較長時間收斂并且極度不穩定。此外，針對電商搜索廣告競價優化問題，以往的工作很少考慮同時優化廣告主多樣化的訴求目標。
針對以上問題，本文提出了一套新穎的多目標協同出價優化框架，即多智能體協同出價博弈。在該合作博弈框架中，本文通過引入一個全局的目標以優化所有廣告主的總體利益，鼓勵了廣告主更好的協同，從而間接保護了自主出價廣告主的利益，使得流量分配更加公平。為解決多廣告主串謀問題，本文也額外引入了平臺的收入作為約束。本文通過理論分析給出了最優出價公式的泛函形式，并設計了一種策略網絡用于探索泛函出價公式中的最優參數。為尋找最優參數，本文同時設計了一種高效的多智能體進化策略搜索算法。進化策略不需要顯式建模動態環境，使得求解過程具有更好的魯棒性。淘寶搜索廣告平臺上廣泛的離線評測和在線A/B測試，都顯示本文的方法顯著優于現有最新的工作。該模型已經上線部署到淘寶搜索廣告平臺，每天服務上百萬廣告主的實時競價優化，使得整體大盤效率指標以及廣告主自身訴求均有5%以上提升。
論文下載： //www.zhuanzhi.ai/paper/96bacab511dabf1b4b213f1e229d58bb
付費5元查看完整內容
相關內容
Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning
基于深度置信度感知學習的廣告投放探索方案
摘要：目前先進的在線廣告系統得益于個性化方法，例如點擊率預估技術。依托于深度學習豐富的表示能力，深層點擊率預估模型在工業界獲得大規模應用，并取得了巨大成功。但是，這些方法可能會受限于“缺乏探索”問題。此前的一系列工作借助上下文賭博機（Contextual Bandit）方法來解決探索與利用的權衡問題，但這些方法難以兼容深層模型，因而表示能力受限。
在本文中，我們提出了一種新穎的深度置信度感知學習（DUAL）方法，基于高斯過程（Gaussian Process）學習點擊率模型。該方法可以在保持深層模型靈活表示能力的同時，提供模型預估不確定性的估計。DUAL可以輕松地在現有模型上實現，并以極少的額外計算開銷部署于實時系統中。通過結合DUAL對模型預估不確定性的估計能力與Bandit算法，我們進一步提出了基于DUAL的廣告投放策略，以提高廣告系統的長期效用。在幾個公共數據集上的實驗結果均表明了該方法的有效性。同時，在阿里巴巴展示外投廣告平臺上部署的在線A/B測試結果顯示，DUAL方法顯著提升了平臺收入等指標。 論文下載：
付費5元查看完整內容
? We Know What You Want: An Advertising Strategy Recommender System for Online Advertising 廣告主端的“猜你喜歡”：在線廣告投放策略推薦系統
摘要：廣告主在電子商務平臺中起著重要作用，其廣告支出是電子商務平臺的主要收入來源。通過減少廣告實時出價過程中的試錯成本為廣告主提供更好的廣告體驗，對于電子商務平臺的長期收入至關重要。為了實現這一目標，廣告平臺需要了解廣告主的獨特營銷需求，并積極為其推薦個性化和最佳的廣告策略。在這項工作中，我們首先在淘寶展示廣告平臺上部署了一個原型推薦系統，以實現廣告主人群出價和人群選擇的優化。然后，我們提出了一種新穎的用于動態出價策略推薦的推薦系統，該系統將廣告主的策略推薦問題建模為上下文老虎機問題。我們使用神經網絡，根據廣告主的信息和歷史采納行為來預測廣告主的需求。基于預測的需求，我們應用模擬競價來推導用于推薦的最佳出價策略，并通過顯示預估的廣告效果與廣告主進行交互。為了解決探索/利用問題，我們用Dropout表示網絡的不確定性，以進行有效的策略探索，可以證明這種方式近似等價于湯普森采樣。在線評估表明，原型推薦系統可以優化廣告主的廣告效果，廣告主愿意打開該系統，選擇并采納建議，這也進一步增加了平臺的收入。基于阿里巴巴在線競價數據的仿真實驗證明，上下文老虎機算法可以有效優化廣告主的采納率。對比實驗證明湯普森采樣可以更好地平衡探索和利用，進一步優化模型的性能。 論文下載：
付費5元查看完整內容
排名，尤其是搜索和推薦系統中的排名，通常決定了人們如何訪問信息以及信息如何暴露給人們。因此，如何平衡信息披露的相關性和公平性是現代信息披露系統的關鍵問題之一。由于傳統的排名框架將文檔與相關性進行短視排序，這將不可避免地引入不公平的結果曝光，最近關于排名公平性的研究主要集中在動態排名范式，其中結果排名可以實時調整，以支持群體(如種族、性別等)的公平性。然而，現有關于動態學習排序公平性的研究，往往通過顯著犧牲排名前結果的相關性和公平性來實現排序列表中文檔曝光的總體公平性。為了解決這一問題，我們提出了一種公平無偏的排序方法——最大邊際公平(maximum Marginal Fairness, MMF)。該算法集成了對相關性和基于績效的公平性的無偏估計，同時提供了一個顯式控制器來平衡文檔的選擇，以最大化top-k結果的邊際相關性和公平性。理論分析和實證分析表明，我們的方法在長列表公平性上有較小的妥協，在top-k排序的相關性和公平性方面都取得了優于現有算法的效率和有效性。
付費5元查看完整內容
隨著在線廣告在產業界取得巨大成功,其在學術界特別是數據挖掘和機器學習領域的研究也吸引了大量學者的關注。本論文圍繞實時競價機制在展示廣告投放中的關鍵問題展開研究。首先介紹了實時競價的基本流程、主要參與者的功能、定價模型和交易機制;然后分別從需求方、供應方和交易中心的角度,介紹了實時競價中存在的關鍵問題,以及目前的研究方法、理論和模型,具體包括:用戶響應預測、出價策略、預算與步進管理、保留價優化、庫存分配、拍賣機制等,特別針對用戶響應預測和出價策略兩個研究熱點展開了廣泛討論,并對其中的代表性方法進行了量化對比;此基礎上對主要的廣告欺詐方式和檢測手段進行了整理;最后對該方向未來的研究趨勢進行展望。
//gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20191112000&dbcode=CJFQ&dbname=CAPJ2019
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191