亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

對結構化數據進行少樣本學習可能是在現實生活中部署AI模型的基本要求。在經典的監督ML設置中，我們可以獲得大量的標有標簽的樣本，這在現實環境中通常不是這樣——一些例子是生化、健康、社會或天氣環境。其中許多可以用圖形表示，因此結構在設計能夠成功處理這些場景的方法時也扮演著關鍵角色。因此，充分利用少數可用的標簽并使我們的模型能夠利用這些信息通常是很重要的，以便獲得與通過數據需求方法獲得的相同好的表示。該演講展示了兩件工作，從不同的角度解決了這個問題:場景圖生成中新穎合成的圖密度感知損失(Knyazev et al., 2020）和消息傳遞神經過程(Cangea & Day et al., 2020)。

//catalinacangea.netlify.app/talk/roaidays_nov21/

圖神經網絡(GNN)已被用于解決少樣本學習(FSL)問題，并顯示出在換能器設置下的巨大潛力。但在歸納設置下，現有的基于GNN的方法競爭力較弱。這是因為他們使用一個實例GNN作為標簽傳播/分類模塊，該模塊與一個特征嵌入網絡共同進行元學習。這種設計是有問題的，因為分類器需要快速適應新的任務，而嵌入不需要。為了解決這一問題，本文提出了一種新的混合GNN (HGNN)模型，該模型由兩個GNN、一個實例GNN和一個原型GNN組成。它們代替標簽傳播，作為嵌入特征的適應模塊，使元學習的特征嵌入快速適應新任務。重要的是，它們的設計是為了處理FSL中一個基本但經常被忽視的挑戰，即每個類中只有少量的樣本，任何少量樣本分類器都將對糟糕的采樣樣本敏感，這些樣本要么是異常值，要么會導致類間分布重疊。我們的兩個GNN分別針對這兩種差采樣的少樣本進行設計，并在混合GNN模型中利用它們的互補性。大量實驗表明，我們的HGNN在三個FSL基準測試中取得了新的先進水平。

近年來，圖已經成為表示各種真實世界數據集的抽象。作為一種圖結構數據進行機器學習的新興工具，圖神經網絡（GNN）通過遞歸聚合相鄰節點的內容（即特征或嵌入）來學習強大的圖表示，從而保留內容和結構信息。它們已被證明可以提高各種圖應用程序的性能，如節點和圖分類、推薦系統和圖生成。一般來說，GNN模型是使用（半）監督信息端到端的方式進行訓練的，不同的下游任務需要大量不同的標記數據。然而，在大多數現實場景中，大量的標記數據通常代價高昂。為了充分利用未標記的圖結構數據，最近部分工作從最近一些自然語言處理和計算機視覺中的預訓練技術中獲得了靈感，并提出在圖上進行預訓練的GNN模型。雖然這些GNN預訓練方法取得了很好的性能，但它們都是針對同構圖進行設計，其中每個節點或邊都屬于同一類型。相比之下，現有策略忽略了異構圖，其中多種類型的節點通過不同類型的邊相互作用。

現實生活中的網絡可以構成異構圖，這些圖體現了豐富的語義并組成由多種類型的節點和邊產生的獨特結構。如圖1（a）所示，為書目數據構建了一個簡單異構圖，該圖由作者、論文、會議和術語類型的節點以及作者論文、論文會議和論文術語類型的邊組成。不同類型的節點或邊通常表現出不同的網絡屬性，如度和聚類系數。例如，會議節點通常比作者節點具有更高的度。此外，這種異構性還產生了更復雜的語義上下文，涉及到多個節點之間的多方關系，例如，描述了“同一作者關于相似主題的兩篇論文”的語義語境。除了簡單的示例之外，異構圖在很多領域中也普遍存在，例如在用戶、產品、品牌和商店以各種方式交互的電子商務中，以及在疾病、蛋白質和藥物相互關聯的生物學中。考慮到它們的普遍性，為異構圖設計有效的GNN預訓練策略變得很重要。

在本文中，我們提出了一個對比預訓練的方案，它不僅考慮單個節點之間的差異，還保留了多個節點之間的高階語義。更具體的說，本文設計了一個預訓練任務來區分不同類型的兩個節點之間的關系類型（比如，作者-論文和論文-會議關系）來為下游任務編碼統一的基礎。受對比學習[42]的啟發，為了增強樣本的代表性，本文從兩個方面構造負關系級樣本：（1）來自不一致關系的負樣本，其中兩個節點與正樣本是不同的關系；（2）來自不相關節點的負樣本，其中兩個節點在圖中根本沒有鏈接。同時，本文提出了一個異構圖上的子圖級預訓練任務，使用元圖而不是元路徑來生成子圖實例進行對比學習，因此能夠對不同上下游任務相關的高階語義進行信息編碼。

在當今日益互聯的世界，圖挖掘在許多現實世界的應用領域發揮著關鍵作用，包括社交網絡分析、建議、營銷和金融安全。人們作出了巨大的努力來發展廣泛的計算模型。然而，最近的研究表明，許多被廣泛應用的圖挖掘模型可能會受到潛在的歧視。圖挖掘的公平性旨在制定策略以減少挖掘過程中引入或放大的偏差。在圖挖掘中加強公平性的獨特挑戰包括: (1)圖數據的非iid性質的理論挑戰，這可能會使許多現有研究背后的公平機器學習的基本假設無效，(2) 算法挑戰平衡模型準確性和公平性的困境。本教程旨在(1)全面回顧圖挖掘方面最先進的技術，(2)確定有待解決的挑戰和未來的趨勢。特別是，我們首先回顧了背景、問題定義、獨特的挑戰和相關問題;然后，我們將重點深入概述(1)在圖挖掘背景下實施群體公平、個人公平和其他公平概念的最新技術，以及(2)圖上算法公平的未來研究方向。我們相信，本教程對數據挖掘、人工智能、社會科學等領域的研究人員和實踐者具有吸引力，并對現實世界的眾多應用領域有益。

//jiank2.web.illinois.edu/tutorial/cikm21/fair_graph_mining.html

目前流行的圖表示學習(GRL)方法通常依賴于從“大”數據中學習，需要大量標注數據進行模型訓練。然而，通常情況下，圖形與“小”標記數據相關聯，因為數據注釋和標記總是一項耗時和資源消耗的任務。這個事實掩蓋了GRL在許多實際情況下的能力和適用性。因此，對圖的數據有效學習已經成為許多現實應用的必要條件，近年來已經有許多關于這一主題的研究。在本教程中，我們將系統地回顧近年來關于圖數據高效學習的研究，特別是圖少樣本學習和圖自監督學習的一系列方法和應用。首先，我們將介紹圖表示學習方法、傳統的少樣本學習和自監督學習技術的概況。然后，我們將從三個主要的不同粒度的圖挖掘任務: 節點級學習任務、圖級學習任務和邊緣級學習任務來介紹圖數據高效學習的工作。最后，我們將總結本教程，并提出未來研究中有待解決的問題和迫切需要解決的問題。本教程的作者是這個研究領域的活躍和多產的研究者。關鍵詞: 圖表示學習，數據高效學習，少樣本學習，自監督學習。

//kdd2021graph.github.io/

現實世界的系統通常被建模為圖形，表示由邊(關系)連接的節點(實體)以及節點和邊中的內容。在進行特定目的的機器學習算法特征工程時，系統中的大規模數據收集既需要領域理解，又需要較大的探索搜索空間。因此，許多數據驅動圖表示學習技術(data-driven graph representation learning techniques, GRL)[6,21]被提出用于自動生成各種應用領域的圖的特征表示，包括信息服務、醫療保健、網絡安全等。

在一個系統中開發強大的GRL通常需要大量的特定任務的監控信息(標記數據)進行模型訓練。然而，丟失或缺少標簽數據在實際系統中是很常見的，做數據注釋通常代價很高。例如，治療活性的分子特性檢測需要大量的人力物力和實驗資源。對于進入系統的新用戶/實體，信息服務面臨冷啟動問題。近年來，研究者針對GRL中的小標記數據挑戰提出了許多數據高效學習模型，主要基于少樣本學習[19]和自監督學習[11]。因此，我們有動機組織本教程來回顧最近關于圖表數據高效學習的工作，并討論它們如何解決現實世界的問題。結合不同粒度級別的主要圖數據挖掘任務，本教程將研究內容分為概覽、節點級數據高效學習、圖級數據高效學習和邊緣級數據高效學習四個部分。

• 概述。我們將介紹背景和概述。首先，我們將介紹主要的圖表示學習方法[6,21]，傳統的少樣本學習[19]和自監督學習技術[11]。然后，我們將介紹數據高效GRL研究的概況。

• 節點級數據高效學習。我們將在節點級別上介紹數據高效學習的方法和應用。目標是用小的標記數據對圖上的節點進行預測。我們將涵蓋一般節點分類[2,7,8,10,16,18,23,24,28]和異常檢測[3,12,15]。

• 圖級數據高效學習。我們將介紹數據高效學習的方法和應用。與節點級預測任務不同，目標是使用少量注釋信息對整個圖進行預測。我們將討論一般的圖分類[1,14]和分子預測[5,17]。

• 邊級數據高效學習。我們將在邊級層面討論數據高效學習的方法和應用。其目的是利用小的已知關系數據對關系結構進行建模，并預測節點之間的缺失關系。我們將包括鏈路預測[4,9,22,26]、多跳關系推理[13,27]和推薦[20,25]。

在本教程中，我們旨在全面介紹專門為異常檢測(深度異常檢測)而設計的深度學習技術的進展。

深度學習在轉換許多數據挖掘和機器學習任務方面取得了巨大的成功，但由于異常具有一些獨特的特征，如罕見性、異質性、無限性以及收集大規模異常數據的高昂成本，目前流行的深度學習技術并不適用于異常檢測。

通過本教程，讀者將對該領域有一個系統的概述，了解目前最先進的12種不同類型的深度異常檢測方法的主要要點、目標函數、基本假設、優缺點，并認識到其在不同領域的廣泛適用性。我們還討論了當前的深度異常檢測方法可以從多個不同的角度解決和展望該領域的挑戰。

任何對深度學習、異常/離群值/新奇檢測、分布外檢測、帶有有限標記數據的表示學習以及自我監督表示學習感興趣的讀者，都會發現參加本教程非常有幫助。

金融、網絡安全、醫療保健領域的研究人員和從業者也會發現該教程在實踐中有幫助。

異常檢測，幾十年來一直是各個研究領域中一個持續而活躍的研究領域。但仍然有一些獨特的問題、復雜性和挑戰需要先進的方法。近年來，將深度學習應用于異常檢測(即深度異常檢測)已經成為關鍵方向。本文回顧了深度異常檢測方法的研究進展，并對檢測方法進行了分類，包括3個高級類別和11個細粒度類別。本文回顧了檢測方法的主要intuitions、目標函數、基本假設、優勢和劣勢，并討論了他們如何應對上述挑戰。并且進一步討論了一系列未來可能的機遇和應對挑戰的新觀點。

異常檢測，又稱離群值檢測或新穎性檢測，是指檢測與大多數數據實例顯著偏離的數據實例的過程。幾十年來，異常探測一直是一個活躍的研究領域，早期的探測可以追溯到20世紀60年代的[52]。由于在風險管理、合規、安全、金融監控、健康和醫療風險、人工智能安全等廣泛領域的需求和應用日益增長，異常檢測在數據挖掘、機器學習、計算機視覺和統計等各個領域發揮著越來越重要的作用。近年來，深度學習在學習高維數據、時間數據、空間數據和圖形數據等復雜數據的表達表示方面顯示出了巨大的能力，推動了不同學習任務的邊界。深度學習異常檢測，簡稱深度異常檢測，目的是通過神經網絡學習特征表示或異常分數來進行異常檢測。大量的深度異常檢測方法已經被引入，在解決各種現實世界應用中具有挑戰性的檢測問題上，表現出比傳統異常檢測顯著更好的性能。這項工作旨在對這一領域進行全面調研。我們首先討論了異常檢測的問題本質和主要的未解決的挑戰，然后系統地回顧了當前的深度方法及其解決這些挑戰的能力，最后提出了一些未來的機會。