推薦系統能夠為每個用戶提供個性化的建議,已經成為緩解我們日常生活中信息過載問題不可或缺的工具,尤其是在許多面向用戶的在線服務中。它不僅方便了用戶尋找信息,也讓內容提供者有了更多的盈利潛力。近年來,在深度神經網絡(DNNs)的成功推動下,推薦技術在DNNs范式下取得了良好的性能。然而,現有的基于DNN的方法在實踐中存在一些缺陷。更具體地說,它們將每個交互視為一個單獨的數據實例,并忽略實例之間的關系。同時,他們將推薦過程視為一個靜態過程,采用固定的貪婪策略進行推薦。此外,大多數現有的基于DNN的推薦系統都是基于手工制作的特征、超參數和深度神經網絡架構。此外,大多數現有的深度推薦系統都容易受到對抗性攻擊。
在本教程中,我們旨在全面綜述在深度推薦系統中解決上述問題的先進技術的最新進展,包括圖神經網絡(GNNs)、深度強化學習(DRL)和自動機器學習(AutoML)。同時,我們將為推薦系統引入對抗性攻擊。通過這種方式,我們希望來自三個領域的研究人員對空間有一個深入的理解和準確的洞察,激發更多的想法和討論,并在推薦中推廣技術。
//lovvge.github.io/Forecasting-Tutorial-IJCAI-2021/
目錄:
Introduction 導論 Fundamentals of Deep Recommender Systems 深度推薦系統基礎 Reinforcement Learning for Recommender Systems 強化學習推薦系統 Graph Neural Networks for Recommendations 圖神經網絡推薦 Automated Machine Learning (AutoML) for Recommendations 自動機器學習推薦 Adversarial Attacks for Recommender Systems 推薦系統對抗攻擊 Deep Recommendations: Future Directions (Trustworthy RecSys) 深度推薦未來
【導讀】ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)是世界數據挖掘領域的最高級別的學術會議,由 ACM 的數據挖掘及知識發現專委會(SIGKDD)主辦,被中國計算機協會推薦為 A 類會議。自 1995 年以來,KDD 已經連續舉辦了26屆,今年將于2021年8月14日至18日舉辦,今年的會議主辦地在新加坡。
來自 Adelaide大學的研究人員在KDD2021上將給出關于可解釋深度異常檢測的教程,非常值得關注!
異常檢測可以為許多安全關鍵或具有商業意義的現實世界應用提供重要的洞察,如極端氣候事件檢測、機械故障檢測、恐怖主義檢測、欺詐檢測、惡意URL檢測,僅舉幾例。由于這個意義,它已經被廣泛研究了幾十年,有許多淺顯的方法被提出。然而,這些方法面臨著各種數據復雜性的挑戰,如高維性、數據相關性、數據異構性等。近年來,深度學習在解決這些復雜性方面取得了巨大的成功,在廣泛的應用中,但由于異常的一些獨特特征,例如稀罕性、異質性、無界性、以及收集大規模異常數據的高昂成本。因此,針對異常檢測的深度學習技術進行了大量的研究。這些研究表明,在解決淺層異常檢測方法在不同應用環境中失敗的一些主要挑戰方面取得了巨大成功。
在本教程中,我們旨在全面回顧基于深度學習的異常檢測和解釋的進展。首先介紹了12類最先進的深度異常檢測方法的關鍵直覺、目標函數、基本假設和優缺點。異常解釋通常與異常檢測一樣重要,這對于深度檢測模型——“黑箱”模型尤其如此,因此我們也介紹了一些用于為深度檢測模型提供異常解釋的原則方法。與許多其他數據挖掘任務相比,深度異常檢測的探索要少得多。我們旨在通過本教程積極推動其在算法、理論和評估方面的發展。
近年來,基于圖學習的推薦系統(GLRS)這個新興話題得到了快速發展。GLRS采用高級的圖學習方法來建模用戶的偏好和意圖,以及物品的特征來進行推薦。與其他RS方法(包括基于內容的過濾和協同過濾)不同,GLRS是建立在圖上的,其中重要對象(如用戶、物品和屬性)是顯式或隱式連接的。
隨著圖學習技術的快速發展,探索和開發圖中的同質或異質關系是構建更有效的RS的一個有前途的方向。通過討論如何從基于圖的表示中提取重要的知識,以提高推薦的準確性、可靠性和可解釋性。
首先對GLRS進行了表示和形式化,然后對該研究領域面臨的主要挑戰和主要進展進行了總結和分類。
引言
推薦系統(RS)是人工智能(AI)最流行和最重要的應用之一。它們已被廣泛采用,以幫助許多流行的內容分享和電子商務網站的用戶更容易找到相關的內容、產品或服務。與此同時,圖學習(Graph Learning, GL)是一種新興的人工智能技術,它涉及到應用于圖結構數據的機器學習,近年來發展迅速,顯示出了其強大的能力[Wu et al., 2021]。事實上,得益于這些學習關系數據的能力,一種基于GL的RS范式,即基于圖學習的推薦系統(GLRS),在過去幾年中被提出并得到了廣泛的研究[Guo等人,2020]。在本文中,我們對這一新興領域的挑戰和進展進行了系統的回顧。
動機: 為什么要用圖學習RS?
RS中的大部分數據本質上是一個圖結構。在現實世界中,我們身邊的大多數事物都或明或暗地相互聯系著;換句話說,我們生活在一個圖的世界里。這種特征在RS中更加明顯,這里考慮的對象包括用戶、物品、屬性、上下文,這些對象之間緊密相連,通過各種關系相互影響[Hu et al., 2014],如圖1所示。在實踐中,RS所使用的數據會產生各種各樣的圖表,這對推薦的質量有很大的幫助。
圖學習具有學習復雜關系的能力。作為最具發展前景的機器學習技術之一,GL在獲取嵌入在不同類型圖中的知識方面顯示出了巨大的潛力。具體來說,許多GL技術,如隨機游走和圖神經網絡,已經被開發出來學習特定類型的關系由圖建模,并被證明是相當有效的[Wu et al., 2021]。因此,使用GL來建模RS中的各種關系是一個自然和令人信服的選擇。
圖學習如何幫助RS? 到目前為止,還沒有統一的GLRS形式化。我們通常從高層次的角度對GLRS進行形式化。我們用一個RS的數據構造一個圖G = {V, E},其中對象(如用戶和商品)在V中表示為節點,它們之間的關系(如購買)在E中表示為邊。構建并訓練GLRS模型M(Θ)學習最優模型參數Θ,生成最優推薦結果R。
根據具體的推薦數據和場景,可以以不同的形式定義圖G和推薦目標R,例如,G可以是同質序列或異構網絡,而R可以是對物品的預測評級或排名。目標函數f可以是最大效用[Wang et al., 2019f]或節點之間形成鏈接的最大概率[Verma et al., 2019]。
這項工作的主要貢獻總結如下:
? 我們系統地分析了各種GLRS圖所呈現的關鍵挑戰,并從數據驅動的角度對其進行分類,為更好地理解GLRS的重要特征提供了有用的視角。
? 我們通過系統分類較先進的技術文獻,總結了目前GLRS的研究進展。
? 我們分享和討論了一些GLRS開放的研究方向,供社區參考。
推薦系統在我們的日常生活中發揮著越來越重要的作用,特別是在許多以用戶為導向的在線服務中,推薦系統在緩解信息過載問題方面發揮著重要作用。推薦系統的目標是通過利用用戶和物品的交互來提高匹配的準確性,識別出一組最符合用戶顯性或隱性偏好的對象(即物品)。
隨著深度神經網絡(DNNs)在過去幾十年的快速發展,推薦技術已經取得了良好的性能。然而,現有的基于DNN的方法在實踐中存在一些缺陷。更具體地說,他們認為推薦過程是一個靜態的過程,并按照一個固定的貪心策略進行推薦; 現有的大多數基于DNN的推薦系統都是基于手工制作的超參數和深度神經網絡架構;它們將每個交互視為單獨的數據實例,而忽略了實例之間的關系。
在本教程中,我們將全面介紹深度推薦系統中解決上述問題的先進技術的最新進展,包括深度強化學習(DRL)、自動機器學習(AutoML)和圖神經網絡(GNN)。
通過這種方式,我們希望這三個領域的研究人員能夠對空間有更深刻的理解和準確的洞察,激發更多的想法和討論,促進推薦技術的發展。
2021年第14屆國際網絡搜索與數據挖掘會議WSDM將在2021年3月8日到12日于線上舉行。今年此次會議共收到了603份有效投稿,最終錄取篇數為112篇,錄取率為18.6%。在WSDM上,有關于《偏見感知推薦系統的進展》教程值得關注!
排名和推薦系統在當今的網絡平臺上扮演著關鍵角色,肯定會影響到大量用戶的信息搜索行為。然而,這些系統是根據經常傳遞不平衡和不平等的數據進行訓練的,這些模式可能在系統提供給最終用戶的結果中被捕捉和強調,從而產生偏見,提供不公平的結果。鑒于偏見信息尋求成為一個威脅,
(1) 研究跨學科概念和問題空間,
(2) 制定和設計一個bias-aware算法管道,和
(3)和減輕落地的偏見的影響,同時保留底層系統的有效性,正在迅速成為熱門的研究熱點。
本教程是圍繞這個主題組織的,向WSDM社區介紹了在評估和緩解推薦系統中的數據和算法偏差方面的最新進展。我們將首先介紹概念基礎,通過調研當前的技術狀態和描述真實世界的例子,從幾個角度(例如,倫理和系統的目標)偏見如何影響推薦算法。
本教程將繼續系統地介紹算法解決方案,以便在推薦設計過程中發現、評估和減少偏見。然后,一個實用的部分將向與會者提供處理前、處理中和處理后消除偏見算法的具體實現,利用開源工具和公共數據集。在本部分中,教程參與者將參與偏倚對策的設計,并闡明對利益相關者的影響。最后,我們將分析這個充滿活力和迅速發展的研究領域中出現的開放問題和未來的方向,從而結束本教程。
從社交網絡到分子,許多真實數據都是以非網格對象的形式出現的,比如圖。最近,從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注,這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程,而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。
在本教程中,我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎,重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說,我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后,我們將介紹DGL在各個領域的應用,包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。
//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html
目錄: 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 圖神經網絡簡介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表達性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs訓練 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可擴展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(無)監督學習 04:15 pm – 04:35 pm: GNN in Social Networks 社交網絡GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs圖像處理與未來方向 04:55 pm – 05:00 pm: Q&A
從社交網絡到分子,許多真實數據都是以非網格對象的形式出現的,比如圖。最近,從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注,這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程,而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。
在本教程中,我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎,重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說,我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后,我們將介紹DGL在各個領域的應用,包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。
//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html
目錄:
隨著推薦任務的日益多樣化和推薦模型的日益復雜,開發出一套能夠很好地適應新的推薦任務的推薦系統變得越來越具有挑戰性。在本教程中,我們將重點討論自動機器學習(AutoML)技術如何有益于推薦系統的設計和使用。具體地說,我們將從一個完整的范圍開始描述什么是可以自動推薦系統。然后,我們將在此范圍內對特征工程、超參數優化/神經結構搜索和算法選擇三個重要的主題進行詳細闡述。將介紹、總結和討論這些主題下的核心問題和最近的工作。
深度神經網絡(DNN)在各個領域的大量機器學習任務中取得了前所未有的成功。然而,在將DNN模型應用于諸如自動駕駛汽車和惡意軟件檢測等安全關鍵任務時,存在的一些反面例子給我們帶來了很大的猶豫。這些對抗例子都是故意制作的實例,無論是出現在火車上還是測試階段,都可以欺騙DNN模型,使其犯下嚴重錯誤。因此,人們致力于設計更健壯的模型來抵御對抗的例子,但它們通常會被新的更強大的攻擊擊垮。這種對抗性的攻擊和防御之間的軍備競賽近年來受到越來越多的關注。**在本教程中,我們將全面概述對抗性攻擊的前沿和進展,以及它們的對策。特別地,我們詳細介紹了不同場景下的不同類型的攻擊,包括閃避和中毒攻擊,白盒和黑盒攻擊。**我們還將討論防御策略如何發展以對抗這些攻擊,以及新的攻擊如何出現以打破這些防御。此外,我們將討論在其他數據域中的敵對攻擊和防御,特別是在圖結構數據中。然后介紹了Pytorch對抗式學習圖書館DeepRobust,旨在為該研究領域的發展搭建一個全面、易用的平臺。最后,我們通過討論對抗性攻擊和防御的開放問題和挑戰來總結本教程。通過我們的教程,我們的觀眾可以掌握對抗性攻擊和防御之間的主要思想和關鍵方法。
目錄內容: Part 1. Introduction about adversarial examples and robustness. Part 2. Algorithms for generating adversarial examples. Part 3. Defending algorithms and adaptive attacks. Part 4. Adversarial learning in Graph domain. Part 5. DeepRobust-- A Pytorch Repository for Adversarial learning.
Deep Learning based Recommender System: A Survey and New Perspectives
隨著在線信息量的不斷增長,推薦系統已成為克服此類信息過載的有效策略。鑒于其在許多網絡應用中的廣泛采用,以及其改善與過度選擇相關的許多問題的潛在影響,推薦系統的實用性不容小覷。近年來,深度學習在計算機視覺和自然語言處理等許多研究領域引起了相當大的興趣,不僅歸功于出色的表現,而且還具有從頭開始學習特征表征的吸引人的特性。深度學習的影響也很普遍,最近證明了它在應用于信息檢索和推薦系統研究時的有效性。顯然,推薦系統中的深度學習領域正在蓬勃發展。本文旨在全面回顧最近基于深度學習的推薦系統的研究工作。更具體地說,我們提供并設計了基于深度學習的推薦模型的分類,并提供了最新技術的綜合摘要。最后,我們擴展了當前的趨勢,并提供了有關該領域新的令人興奮的發展的新觀點。