2021年第14屆國際網絡搜索與數據挖掘會議WSDM將在2021年3月8日到12日于線上舉行。今年此次會議共收到了603份有效投稿,最終錄取篇數為112篇,錄取率為18.6%。在WSDM上,有關于《偏見感知推薦系統的進展》教程值得關注!
排名和推薦系統在當今的網絡平臺上扮演著關鍵角色,肯定會影響到大量用戶的信息搜索行為。然而,這些系統是根據經常傳遞不平衡和不平等的數據進行訓練的,這些模式可能在系統提供給最終用戶的結果中被捕捉和強調,從而產生偏見,提供不公平的結果。鑒于偏見信息尋求成為一個威脅,
(1) 研究跨學科概念和問題空間,
(2) 制定和設計一個bias-aware算法管道,和
(3)和減輕落地的偏見的影響,同時保留底層系統的有效性,正在迅速成為熱門的研究熱點。
本教程是圍繞這個主題組織的,向WSDM社區介紹了在評估和緩解推薦系統中的數據和算法偏差方面的最新進展。我們將首先介紹概念基礎,通過調研當前的技術狀態和描述真實世界的例子,從幾個角度(例如,倫理和系統的目標)偏見如何影響推薦算法。
本教程將繼續系統地介紹算法解決方案,以便在推薦設計過程中發現、評估和減少偏見。然后,一個實用的部分將向與會者提供處理前、處理中和處理后消除偏見算法的具體實現,利用開源工具和公共數據集。在本部分中,教程參與者將參與偏倚對策的設計,并闡明對利益相關者的影響。最后,我們將分析這個充滿活力和迅速發展的研究領域中出現的開放問題和未來的方向,從而結束本教程。
推薦系統在我們的日常生活中發揮著越來越重要的作用,特別是在許多以用戶為導向的在線服務中,推薦系統在緩解信息過載問題方面發揮著重要作用。推薦系統的目標是通過利用用戶和物品的交互來提高匹配的準確性,識別出一組最符合用戶顯性或隱性偏好的對象(即物品)。
隨著深度神經網絡(DNNs)在過去幾十年的快速發展,推薦技術已經取得了良好的性能。然而,現有的基于DNN的方法在實踐中存在一些缺陷。更具體地說,他們認為推薦過程是一個靜態的過程,并按照一個固定的貪心策略進行推薦; 現有的大多數基于DNN的推薦系統都是基于手工制作的超參數和深度神經網絡架構;它們將每個交互視為單獨的數據實例,而忽略了實例之間的關系。
在本教程中,我們將全面介紹深度推薦系統中解決上述問題的先進技術的最新進展,包括深度強化學習(DRL)、自動機器學習(AutoML)和圖神經網絡(GNN)。
通過這種方式,我們希望這三個領域的研究人員能夠對空間有更深刻的理解和準確的洞察,激發更多的想法和討論,促進推薦技術的發展。
這份簡明推薦系統教程為你指南!
大多數大型在線推薦系統,如新聞推送排名、人員推薦、工作推薦等,通常都有多個實用工具或指標需要同時優化。經過訓練以優化單一效用的機器學習模型通過參數組合在一起,生成最終的排名函數。這些組合參數驅動業務指標。找到正確的參數選擇通常是通過在線A/B實驗,這是非常復雜和耗時的,特別是考慮到這些參數對指標的非線性影響。
在本教程中,我們將討論如何應用貝葉斯優化技術為這樣復雜的在線系統獲取參數,以平衡競爭性指標。首先,我們將深入介紹貝葉斯優化,包括一些基礎知識以及該領域的最新進展。其次,我們將討論如何將一個真實世界的推薦系統問題制定為一個可以通過貝葉斯優化解決的黑盒優化問題。我們將專注于一些關鍵問題,如新聞推送排名、人員推薦、工作推薦等。第三,我們將討論解決方案的架構,以及我們如何能夠為大規模系統部署它。最后,我們將討論該領域的擴展和一些未來的發展方向。
如今,網絡越來越大,越來越復雜,應用越來越廣泛。眾所周知,網絡數據是復雜和具有挑戰性的。要有效地處理圖數據,第一個關鍵的挑戰是網絡數據表示,即如何正確地表示網絡,使模式發現、分析和預測等高級分析任務在時間和空間上都能有效地進行。在這次演講中,我將介紹網絡嵌入和GCN的最新發展趨勢和最新進展,包括解糾纏GCN、抗攻擊GCN以及用于網絡嵌入的自動機器學習。
第14屆推薦系統頂級會議ACM RecSys在9月22日到26日在線舉行。來自意大利Polytechnic University of Turin做了關于對抗推薦系統的教程《Adversarial Learning for Recommendation: Applications for Security and Generative Tasks – Concept to Code》,186頁ppt,干貨內容,值得關注。
//recsys.acm.org/recsys20/tutorials/#content-tab-1-3-tab
對抗式機器學習(AML)是從識別計算機視覺任務中的漏洞(如圖像分類)開始,研究現代機器學習(ML)推薦系統中的安全問題的研究領域。
在本教程中,我們將全面概述AML技術在雙重分類中的應用:(i)用于攻擊/防御目的的AML,以及(ii)用于構建基于GAN的推薦模型的AML。此外,我們將把RS中的AML表示與兩個實際操作會話(分別針對前面的分類)集成在一起,以顯示AML應用程序的有效性,并在許多推薦任務中推進新的想法和進展。
本教程分為四個部分。首先,我們總結了目前最先進的推薦模型,包括深度學習模型,并定義了AML的基本原理。在此基礎上,我們提出了針對RSs的攻擊/防御策略的對抗性推薦框架和基于GAN實踐環節。最后,我們總結了這兩種應用的開放挑戰和可能的未來工作。
異常檢測已經得到了廣泛的研究和應用。建立一個有效的異常檢測系統需要研究者和開發者從嘈雜的數據中學習復雜的結構,識別動態異常模式,用有限的標簽檢測異常。與經典方法相比,近年來深度學習技術的進步極大地提高了異常檢測的性能,并將異常檢測擴展到廣泛的應用領域。本教程將幫助讀者全面理解各種應用領域中基于深度學習的異常檢測技術。首先,我們概述了異常檢測問題,介紹了在深度模型時代之前采用的方法,并列出了它們所面臨的挑戰。然后我們調查了最先進的深度學習模型,范圍從構建塊神經網絡結構,如MLP, CNN,和LSTM,到更復雜的結構,如自動編碼器,生成模型(VAE, GAN,基于流的模型),到深度單類檢測模型,等等。此外,我們舉例說明了遷移學習和強化學習等技術如何在異常檢測問題中改善標簽稀疏性問題,以及在實際中如何收集和充分利用用戶標簽。其次,我們討論來自LinkedIn內外的真實世界用例。本教程最后討論了未來的趨勢。
深度神經網絡(DNN)在各個領域的大量機器學習任務中取得了前所未有的成功。然而,在將DNN模型應用于諸如自動駕駛汽車和惡意軟件檢測等安全關鍵任務時,存在的一些反面例子給我們帶來了很大的猶豫。這些對抗例子都是故意制作的實例,無論是出現在火車上還是測試階段,都可以欺騙DNN模型,使其犯下嚴重錯誤。因此,人們致力于設計更健壯的模型來抵御對抗的例子,但它們通常會被新的更強大的攻擊擊垮。這種對抗性的攻擊和防御之間的軍備競賽近年來受到越來越多的關注。**在本教程中,我們將全面概述對抗性攻擊的前沿和進展,以及它們的對策。特別地,我們詳細介紹了不同場景下的不同類型的攻擊,包括閃避和中毒攻擊,白盒和黑盒攻擊。**我們還將討論防御策略如何發展以對抗這些攻擊,以及新的攻擊如何出現以打破這些防御。此外,我們將討論在其他數據域中的敵對攻擊和防御,特別是在圖結構數據中。然后介紹了Pytorch對抗式學習圖書館DeepRobust,旨在為該研究領域的發展搭建一個全面、易用的平臺。最后,我們通過討論對抗性攻擊和防御的開放問題和挑戰來總結本教程。通過我們的教程,我們的觀眾可以掌握對抗性攻擊和防御之間的主要思想和關鍵方法。
目錄內容: Part 1. Introduction about adversarial examples and robustness. Part 2. Algorithms for generating adversarial examples. Part 3. Defending algorithms and adaptive attacks. Part 4. Adversarial learning in Graph domain. Part 5. DeepRobust-- A Pytorch Repository for Adversarial learning.
【導讀】新加坡國立大學的Xiang Wang、Tat-Seng Chua,以及來自中國科學技術大學的Xiangnan He在WSDM 2020會議上通過教程《Learning and Reasoning on Graph for Recommendation》介紹了基于圖學習和推理的推薦系統,涵蓋了基于隨機游走的推薦系統、基于網絡嵌入的推薦系統,基于圖神經網絡的推薦系統等內容。
Tutorial摘要:
推薦方法構建預測模型來估計用戶-項目交互的可能性。之前的模型在很大程度上遵循了一種通用的監督學習范式——將每個交互視為一個單獨的數據實例,并基于“信息孤島”進行預測。但是,這些方法忽略了數據實例之間的關系,這可能導致性能不佳,特別是在稀疏場景中。此外,建立在單獨數據實例上的模型很難展示推薦背后的原因,這使得推薦過程難以理解。
在本教程中,我們將從圖學習的角度重新討論推薦問題。用于推薦的公共數據源可以組織成圖,例如用戶-項目交互(二部圖)、社交網絡、項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來,為開發高階連接帶來了好處,這些連接為協作過濾、基于內容的過濾、社會影響建模和知識感知推理編碼有意義的模式。隨著最近圖形神經網絡(GNNs)的成功,基于圖形的模型顯示了成為下一代推薦系統技術的潛力。本教程對基于圖的推薦學習方法進行了回顧,重點介紹了GNNs的最新發展和先進的推薦知識。通過在教程中介紹這一新興而有前景的領域,我們希望觀眾能夠對空間有更深刻的理解和準確的洞察,激發更多的想法和討論,促進技術的發展。
Tutorial大綱:
臺灣交通大學的Jen-Tzung Chien教授在WSDN 2020會議上通過教程《Deep Bayesian Data Mining》介紹了深度貝葉斯數據挖掘的相關知識,涵蓋了貝葉斯學習、深度序列學習、深度貝葉斯挖掘和學習等內容。
Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》(《深度貝葉斯數據挖掘》)介紹了面向自然語言的深度貝葉斯挖掘和學習,包括了它的基礎知識和進展,以及它無處不在的應用,這些應用包括語音識別、文檔摘要、文本分類、文本分割、信息抽取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、自動問答和機器翻譯等。
從傳統上,“深度學習”被認為是一個學習過程,過程中的推斷和優化都使用基于實數的判別模型。然而,從大量語料中提取出的詞匯、句子、實體、行為和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地被這種方式表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能不能被正確分解或估計。
該教程介紹了統計模型和神經網絡的基礎,并聚焦于一系列先進的貝葉斯模型和深度模型,包括層次狄利克雷過程、中國餐館過程、遞歸神經網絡、長短期記憶網絡、序列到序列模型、變分自編碼器、生成式對抗網絡、策略神經網絡等。教程還介紹了增強的先驗/后驗表示。教程展示了這些模型是如何連接的,以及它們為什么適用于自然語言中面向符號和復雜模式的各種應用程序。
變分推斷和采樣被提出解決解決復雜模型的優化問題。詞和句子的嵌入、聚類和聯合聚類被語言和語義約束合并。針對深度貝葉斯挖掘、搜索、學習和理解中的不同問題,一系列的案例研究、任務和應用被提出。最后,教程指出一些未來研究的方向和展望。教程旨在向初學者介紹深度貝葉斯學習中的主要主題,激發和解釋它對數據挖掘和自然語言理解正在浮現的重要性,并提出一種結合不同的機器學習工作的新的綜合方法。
教程的內容大致如下:
完整教程下載
請關注專知公眾號(點擊上方藍色專知關注) 后臺回復“DBDM20” 就可以獲取完整教程PDF的下載鏈接~
教程部分內容如下所示:
參考鏈接:
//chien.cm.nctu.edu.tw/home/wsdm-tutorial/
-END- 專 · 知
專知,專業可信的人工智能知識分發,讓認知協作更快更好!歡迎注冊登錄專知www.zhuanzhi.ai,獲取更多AI知識資料!
歡迎微信掃一掃加入專知人工智能知識星球群,獲取最新AI專業干貨知識教程視頻資料和與專家交流咨詢!
請加專知小助手微信(掃一掃如下二維碼添加),獲取專知VIP會員碼,加入專知人工智能主題群,咨詢技術商務合作~
點擊“閱讀原文”,了解注冊使用專知
** 簡介:**
推薦方法構造了預測模型,以估計用戶與項目交互的可能性。先前的模型在很大程度上遵循一般的監督學習范式-將每個交互視為一個單獨的數據實例,并基于“信息孤島”進行預測。但是,此類方法忽略了數據實例之間的關系,這可能導致性能欠佳,尤其是對于稀疏場景。此外,建立在單獨數據實例上的模型幾乎無法顯示出推薦背后的原因,從而使過程難以理解。
在本教程中,我們將從圖學習的角度重新審視推薦問題。可以將用于推薦的通用數據源組織成圖形,例如用戶-項目交互(二分圖),社交網絡,項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來,從而為利用高階連通性帶來了好處,這些高階連通性對有意義的模式進行了編碼,以進行協作過濾,基于內容的過濾,社會影響力建模和知識感知推理。結合圖神經網絡(GNN)的最新成功,基于圖的模型已展現出成為下一代推薦系統技術的潛力。本教程對基于圖的學??習方法進行了回顧,以提出建議,特別關注GNN的最新發展和知識圖譜增強的建議。通過在本教程中介紹這個新興而有前途的領域,我們希望觀眾可以對空間有深入的了解和準確的見解,激發更多的想法和討論,并促進技術的發展。
目錄:
作者簡介:
王翔是新加坡國立大學(NUS)計算機學院的研究員。 他獲得了博士學位。 他于2019年獲得國大計算機科學博士學位。他的研究興趣包括推薦系統,信息檢索和數據挖掘。 在SIGIR,KDD,WWW和AAAI等頂級會議上,他擁有20多種出版物,包括TOIS和TKDE等期刊。 他曾擔任CCIS 2019的本地主席,包括SIGIR,CIKM和MM在內的頂級會議的PC成員以及TKDE和TOIS等著名期刊的定期審稿人。