亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】圖像分割是計算機視覺的基本任務之一。上海交大等學者最新發布了《標簽高效深度分割》研究進展綜述，闡述了**標簽高效分割方法，**彌合弱監督和密集預測之間的差距。

隨著深度學習的快速發展，計算機視覺的基本任務之一分割技術取得了很大的進展。然而，目前的分割算法主要依賴于像素級注釋的可用性，這通常是昂貴的、繁瑣的和費力的。為了減輕這種負擔，在過去的幾年里，人們越來越關注建立高效標簽、基于深度學習的分割算法。本文對標簽高效分割方法進行了全面的綜述。為此，我們首先根據不同類型的弱標簽(包括無監督、粗監督、不完全監督和噪聲監督)提供的監督，并輔以分割問題類型(包括語義分割、實例分割和全景分割)，制定了一個分類法來組織這些方法。接下來，我們從統一的角度總結了現有的標簽高效分割方法，討論了一個重要的問題: 如何彌合弱監督和密集預測之間的差距——目前的方法大多基于啟發式先驗，如跨像素相似度、跨標簽約束、跨視圖一致性、跨圖像關系等。最后，我們對標簽高效深度分割的未來研究方向提出了自己的看法。

//www.zhuanzhi.ai/paper/86d0731ecdbe2ba07d68363c93b7626a

分割是計算機視覺中最古老和最廣泛研究的任務之一。它的目標是對給定的圖像產生密集的預測，例如，給每個像素分配一個預定義的類標簽(語義分割)[1]，[2]或將每個像素與一個對象實例(實例分割)[3]關聯起來，或兩者的組合(全景分割)[4]，這使語義相似的像素能夠分組成高級有意義的概念，如對象(人、貓、球等)和東西(道路、天空、水等)。近十年來，深度卷積神經網絡(deep convolutional neural networks, CNNs)尤其是全卷積網絡(fully convolutional networks, FCNs)[20]憑借其強大的密集表示學習能力，在[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]上取得了巨大的成功。然而，這些基于深度學習的分割方法在密集的標簽中蓬勃發展，即像素級標注，獲取成本高且費力。

鑒于現實世界中標簽的普遍稀缺性，開發基于弱標簽監督(弱監督)來減少對密集標簽依賴的標簽高效深度分割方法成為一種日益發展的趨勢，吸引了越來越多研究者的關注。因此，近年來提出的標簽高效的深度分割方法數量呈爆發式增長，這使得研究人員難以跟上新的進展。因此，迫切需要對這些標簽高效的深度分割方法進行研究。然而，據我們所知，目前僅有[21]，[22]這幾篇相關的調研論文，它們僅僅關注于一個特定的分割任務，并對有限類型的弱標簽進行監督。

本文提出了分類標簽的高效深度分割方法，根據類型分類的弱監督(上半部分)和類型分類的分割問題。與填充點和空心點的交互表明，在某些類型的弱監督下，分割問題分別已經被探索和沒有被探索。對于前者，本文提供了一些具有代表性的工作。

本文旨在對近年來標簽高效的深度分割方法進行全面的綜述。這些方法關注不同的問題。這里，一個問題被定義為一個特定的分割問題，即語義分割、實例分割和全景分割，具有某種類型的弱監督。為了將這些方法組織起來解決各種各樣的問題，我們需要解決兩個問題:1)如何建立這些方法的分類?2)如何從統一的角度總結這些方法所使用的策略?我們注意到，弱標記的類型是設計高效標記分割方法的關鍵。因此，我們試圖從監管薄弱的角度來回答上述兩個問題。為此，我們首先給出弱監督的類型分類，它是層次化的，如圖1所示。弱監督包括的類型：

1) 無監督: 對任何訓練圖像不做任何標注(圖2 (a)); 2) 粗監督: 對所有訓練圖像都進行標注，但對每個圖像的標注都是粗級的，并沒有完全覆蓋所有像素點的標簽(圖2 (b))。根據粗級標注的類型，粗級監督可分為(i)圖像級監督、(ii)框級監督和(iii)涂鴉級監督; 3) 不完全監督: 只對訓練圖像的子集提供逐像素注釋(圖2 (c))。不完全監督可以分為以下三種: 半監督，即對剩余的訓練圖像沒有標注; 針對領域的監督，即對剩余的訓練圖像來自不同的領域; 部分監督，即對剩余的訓練圖像進行粗級標注，如框級標注; 4) 噪聲監督:對所有訓練圖像都進行逐像素標注，但存在標注誤差(圖2 (d))。

基于這種弱監督的層次類型分類，可以為標簽高效的深度分割方法建立分類體系。如圖1所示，該分類主要是根據弱監督的類型，輔以分割問題的類型來構建的:橫軸和縱軸分別表示不同類型的弱監督和分割任務;每一個交集表示對應的分割任務與對應的弱監督的問題，其中與填充點和空心點的交互分別表示問題已經探索和未探索;對于彩色填充點的每一個交點，即一個問題，給出了一些具有代表性的工作。

**由于這些不同問題的共同挑戰在于弱標簽和密集預測之間的較大監督差距，我們可以從統一的角度總結出應對這些問題的策略: 如何彌合這一監督差距?**這需要一些啟發式先驗，例如:1)跨標簽約束:弱標簽和密集標簽之間存在自然約束，如圖像級類別標簽表明至少有一個像素的標簽應該與該圖像級類別標簽相同; 2)跨像素相似性:顏色、亮度、紋理等線索高度相似的像素可能屬于同一語義區域;3) 跨視圖一致性: 同一圖像的不同視圖在密集表示和預測上都表現出一致性;4)跨圖像關系:同一類別的物體在不同圖像上的像素之間具有語義關系，從弱標簽產生偽密集監督。從這個角度來看，很有趣的是，利用上述先驗的類似策略被用于不同的分割問題，如表1所示。

本文的其余部分組織如下。我們首先從統一的角度對不同的標簽有效分割問題給出數學定義。在第二節。然后我們根據我們的分類方法回顧了現有的標簽有效分割方法:第3節中沒有監督的分割，第4節中有粗監督的分割，第5節中有不完全監督的分割，第6節中有噪聲監督的分割。在最后的部分，我們給出了我們的結論，并討論了幾個研究方向和挑戰。

** 無監督**

無監督的分割，即在文獻[23]，[43]，[53]，[54]中又稱為無監督(語義)分割。早期通過對手工制作的圖像特征進行K-means、Graph Cut[55]等聚類算法實現無監督分割，將圖像劃分為多個自相似性較高的分段。最近，隨著無監督特征表示學習的快速發展，特別是由MoCo [56]， SimCLR [57]， BYOL[58]等推廣，無監督密集特征表示學習促進了無監督分割，它通過一個由θ參數化的深度網絡fθ，在沒有任何標簽的情況下，為給定的圖像X學習一個密集的特征映射Z = fθ(X)，其中zi是空間位置i的特征表示。一個經過良好學習的密集特征映射具有這樣的性質:來自同一語義區域(物體/東西)的像素具有相似的特征表示，來自不同語義區域的像素具有不同的特征表示。有了學習良好的密集特征圖，分割可以直接方便，因為訓練一個良好的分割模型成為一個簡單的任務。由于不提供監督，解決無監督分割的關鍵是如何獲取監督信號。目前的方法試圖根據一些啟發式先驗來生成密集的自監督信號，如跨像素相似度、跨視圖一致性和跨圖像關系，如表1所示。

粗監督

如圖2和表2所示，根據粗級標注的類型，粗監督分為圖像級(對每個訓練圖像只提供類別標簽)、框級(對每個訓練圖像除了類別標簽外，還對物體邊界框進行標注)和涂鴉級(對每個訓練圖像中的像素子集進行標注)。粗監督分割在文獻中也被稱為弱監督分割。雖然從廣義上講，這個詞也可以指與其他類型的弱監督的分割，如不完全監督，但我們在本節的寶貴文獻之后，特指粗監督的分割。

不完全監督

如圖2和表2所示，不完全監督可以分為半監督、領域監督和部分監督。因此，這三種弱監督的分割分別稱為半監督分割、領域自適應分割和部分監督分割。

近年來，采用異質信息網絡統一建模推薦系統中不同類型對象的復雜交互行為、豐富的用戶和商品屬性以及各種各樣的輔助信息，不僅有效地緩解了推薦系統的數據稀疏和冷啟動問題，而且具有較好的可解釋性，并因此得到了廣泛關注與應用。據我們所知，本文是首篇專門介紹基于異質信息網絡的推薦系統的綜述。

具體而言，本文首先介紹了異質信息網絡和推薦系統的核心概念和背景知識，簡要回顧了異質信息網絡和推薦系統的研究現狀，并且闡述了將推薦系統建模為異質信息網絡的一般步驟。然后，本文根據模型原理的不同將現有方法分為三類，分別是基于相似性度量的方法、基于矩陣分解的方法和基于圖表示學習的方法，并對每類方法的代表性工作進行了全面的介紹，指出了每類方法的優缺點和不同方法之間的發展脈絡與內在關系。最后，本文討論了現有方法存在的問題，并展望了該領域未來的幾個潛在的研究方向。

1 引言

推薦系統往往面臨著數據稀疏和冷啟動問題，因此無法得到精準的推薦結果。在推薦系統中引入輔助信息可以有效地緩解這些問題。例如社會化推薦根據用戶之間的關系構造社交網絡作為輔助信息，從而能夠在推薦系統中充分利用社會關系對用戶喜好的影響。類似地，基于地理位置的社交推薦構建了用戶與位置之間的關系，通過用戶的位置記錄來捕捉用戶的行為偏好。然而，這些方法僅適用于某種特定類型的輔助信息，不具有普適性。

異質信息網絡是一種通用的融合多源數據的方法。通過將推薦系統視為由不同類型對象和交互構成的異質信息網絡，我們可以建模用戶與商品之間復雜的交互關系，而且可以有效融合屬性和各類輔助信息。基于異質信息網絡的推薦系統在信息融合、探索結構語義等方面具有顯著優勢，不僅可以有效緩解數據稀疏與冷啟動問題，而且有助于提升推薦系統的準確性和可解釋性，因此取得了廣泛的關注與應用。

綜述的章節編排如下：第2章簡要介紹推薦系統和異質信息網絡的相關概念與定義；第3章按照模型原理的不同，對基于異質信息網絡的推薦系統進行分類，并對現有方法進行了系統地梳理與分析；第4章展望了基于異質信息網絡的推薦系統未來研究方向；第5章回顧并總結全文。（在這里，主要展示第3章和第4章的核心內容，其他內容詳見論文原文。）

2 模型分類

目前，研究人員設計了各種適用于異質信息網絡建模的推薦算法。本章根據模型的不同，將現有工作進行分類，如表1所示。 圖片

2.1 基于相似性度量

推薦系統的個性化匹配往往基于對實體相似性的度量，而協同過濾需要基于用戶與商品之間的交互歷史計算相似度。早期的相似性度量算法僅對同質信息網絡定義，然而，這些算法忽視了對象和聯系的不同類型，不適用于建模為異質信息網絡的推薦系統。為了解決這一問題，研究者們提出了一系列用于異質信息網絡中實體相似性度量的算法，主要包括基于隨機游走的方法和基于元路徑的方法。基于這兩類異質信息網絡相似性度量算法，研究者們提出了很多協同過濾算法的變體，本文將這類方法統稱為基于相似性度量的方法。（詳見原文）

2.2 基于矩陣分解

為了解決相似性度量方法存在的時空復雜度高的問題，推薦系統的研究者們提出了矩陣分解模型，其原理是通過分解評分矩陣來提取出用戶和商品的隱向量，然后根據隱向量的相似度進行推薦。傳統的矩陣分解模型在訓練時使用隱向量重構共現矩陣作為優化目標，無法利用異質信息網絡中豐富的語義信息。很多研究者提出適用于異質信息網絡建模的矩陣分解方法，可以分為兩類：基于正則化的方法，和基于神經矩陣分解的方法。與基于相似性度量的方法相比，本節介紹的方法不依賴顯式的路徑可達性，當路徑連接稀疏或嘈雜時也不會失敗。（詳見原文）

2.3 基于圖表示學習

隨著深度學習的發展，基于神經網絡的推薦模型憑借其強大的特征交叉能力以及模型架構設計的靈活性，取得了較好的推薦效果。然而，傳統的神經網絡并不能直接建模圖結構。隨著圖表示學習技術的興起，研究者們嘗試設計融合圖表示學習技術的推薦模型，從而更好地學習圖數據中豐富的結構和語義信息。本節將這類方法統稱為基于圖表示學習的方法，并進一步分為基于兩階段訓練的方法和基于端到端訓練的方法。（詳見原文）

3 未來研究方向

異質信息網絡作為一種融合輔助信息的建模方法，憑借其緩解數據稀疏與冷啟動問題、提升模型性能與可解釋性等方面的優勢，已經在各種各樣的推薦系統模型和推薦任務上得到了應用。然而，基于異質信息網絡的推薦系統仍面臨很多挑戰，本節將介紹幾個潛在的未來研究方向。（詳見原文） 新型的異質圖推薦的模型與應用：基于圖神經網絡的推薦系統模型仍存在過平滑、魯棒性差等缺陷，而目前在圖神經網絡中引入異質信息的方法也仍不夠靈活，如何設計更好的異質圖推薦模型存在挑戰，如何將異質信息網絡用于更多類型的推薦任務也存在挑戰。

面向跨域數據的異質圖推薦：目前的絕大多數工作僅關注在單一異質網絡上的推薦任務，與單圖推薦相比，跨域推薦存在很多額外的挑戰。例如，如何設計源域到目標域的映射函數，如何在利用跨域信息的同時不泄露用戶隱私等，如何應對上述挑戰是未來的研究重點。

面向大規模實時場景的異質圖推薦：真實的推薦系統往往需要處理超大規模的數據，并且對推薦的實時性有較高的要求，因此很多復雜的推薦模型無法直接使用。大規模實時推薦主要面臨兩方面問題：一方面是模型的輕量化，另一方面是模型的動態更新。目前的推薦算法輕量化和動態更新方法主要適用于二分圖，如何將其應用于異質信息網絡存在挑戰。

近年來，基于圖學習的推薦系統(GLRS)這個新興話題得到了快速發展。GLRS采用高級的圖學習方法來建模用戶的偏好和意圖，以及物品的特征來進行推薦。與其他RS方法(包括基于內容的過濾和協同過濾)不同，GLRS是建立在圖上的，其中重要對象(如用戶、物品和屬性)是顯式或隱式連接的。

隨著圖學習技術的快速發展，探索和開發圖中的同質或異質關系是構建更有效的RS的一個有前途的方向。通過討論如何從基于圖的表示中提取重要的知識，以提高推薦的準確性、可靠性和可解釋性。

首先對GLRS進行了表示和形式化，然后對該研究領域面臨的主要挑戰和主要進展進行了總結和分類。

引言

推薦系統(RS)是人工智能(AI)最流行和最重要的應用之一。它們已被廣泛采用，以幫助許多流行的內容分享和電子商務網站的用戶更容易找到相關的內容、產品或服務。與此同時，圖學習(Graph Learning, GL)是一種新興的人工智能技術，它涉及到應用于圖結構數據的機器學習，近年來發展迅速，顯示出了其強大的能力[Wu et al.， 2021]。事實上，得益于這些學習關系數據的能力，一種基于GL的RS范式，即基于圖學習的推薦系統(GLRS)，在過去幾年中被提出并得到了廣泛的研究[Guo等人，2020]。在本文中，我們對這一新興領域的挑戰和進展進行了系統的回顧。

動機: 為什么要用圖學習RS?

RS中的大部分數據本質上是一個圖結構。在現實世界中，我們身邊的大多數事物都或明或暗地相互聯系著;換句話說，我們生活在一個圖的世界里。這種特征在RS中更加明顯，這里考慮的對象包括用戶、物品、屬性、上下文，這些對象之間緊密相連，通過各種關系相互影響[Hu et al.， 2014]，如圖1所示。在實踐中，RS所使用的數據會產生各種各樣的圖表，這對推薦的質量有很大的幫助。

圖學習具有學習復雜關系的能力。作為最具發展前景的機器學習技術之一，GL在獲取嵌入在不同類型圖中的知識方面顯示出了巨大的潛力。具體來說，許多GL技術，如隨機游走和圖神經網絡，已經被開發出來學習特定類型的關系由圖建模，并被證明是相當有效的[Wu et al.， 2021]。因此，使用GL來建模RS中的各種關系是一個自然和令人信服的選擇。

圖學習如何幫助RS? 到目前為止，還沒有統一的GLRS形式化。我們通常從高層次的角度對GLRS進行形式化。我們用一個RS的數據構造一個圖G = {V, E}，其中對象(如用戶和商品)在V中表示為節點，它們之間的關系(如購買)在E中表示為邊。構建并訓練GLRS模型M(Θ)學習最優模型參數Θ，生成最優推薦結果R。

根據具體的推薦數據和場景，可以以不同的形式定義圖G和推薦目標R，例如，G可以是同質序列或異構網絡，而R可以是對物品的預測評級或排名。目標函數f可以是最大效用[Wang et al.， 2019f]或節點之間形成鏈接的最大概率[Verma et al.， 2019]。

這項工作的主要貢獻總結如下:

? 我們系統地分析了各種GLRS圖所呈現的關鍵挑戰，并從數據驅動的角度對其進行分類，為更好地理解GLRS的重要特征提供了有用的視角。

? 我們通過系統分類較先進的技術文獻，總結了目前GLRS的研究進展。

? 我們分享和討論了一些GLRS開放的研究方向，供社區參考。

推薦系統旨在為用戶推薦個性化的在線商品或信息, 其廣泛應用于眾多Web場景之中, 來處理海量信息數據所導致的信息過載問題, 以此提升用戶體驗. 鑒于推薦系統強大的實用性, 自20世紀90年代中期以來, 研究者針對其方法與應用兩方面, 進行了大量廣泛的研究. 近年來, 很多工作發現知識圖譜中所蘊含的豐富信息可以有效地解決推薦系統中存在的一系列關鍵問題, 例如數據稀疏、冷啟動、推薦多樣性等. 因此, 本文 針對基于知識圖譜的推薦系統這一領域進行了全面的綜述. 具體地, 首先簡單介紹推薦系統與知識圖譜中的一些基本概念. 隨后, 詳細介紹現有方法如何挖掘知識圖譜不同種類的信息并應用于推薦系統. 此外, 總結了相關的一系列推薦應用場景. 最后, 提出了對基于知識圖譜的推薦系統前景的看法, 并展望了該領域未來的研究方向.

【導讀】元學習旨在學會學習，是當下研究熱點之一。最近來自愛丁堡大學的學者發布了關于元學習最新綜述論文《Meta-Learning in Neural Networks: A Survey》，值得關注，詳述了元學習體系，包括定義、方法、應用、挑戰，成為不可缺少的文獻。

近年來，元學習領域，或者說“學會學習的學習”，引起了人們極大的興趣。與傳統的人工智能方法(使用固定的學習算法從頭開始解決給定的任務)不同，元學習的目的是改進學習算法本身，考慮到多次學習的經驗。這個范例提供了一個機會來解決深度學習的許多傳統挑戰，包括數據和計算瓶頸，以及泛化的基本問題。在這項綜述中，我們描述了當代元學習的景觀。我們首先討論元學習的定義，并將其定位于相關領域，如遷移學習、多任務學習和超參數優化。然后，我們提出了一個新的分類法，對元學習方法的空間進行了更全面的細分。我們綜述了元學習的一些有前途的應用和成功案例，包括小樣本學習、強化學習和體系架構搜索。最后，我們討論了突出的挑戰和未來研究的有希望的領域。

//arxiv.org/abs/2004.05439

概述

現代機器學習模型通常是使用手工設計的固定學習算法，針對特定任務從零開始進行訓練。基于深度學習的方法在許多領域都取得了巨大的成功[1,2,3]。但是有明顯的局限性[4]。例如，成功主要是在可以收集或模擬大量數據的領域，以及在可以使用大量計算資源的領域。這排除了許多數據本質上是稀有或昂貴的[5]，或者計算資源不可用的應用程序[6,7]。

元學習提供了另一種范式，機器學習模型可以在多個學習階段獲得經驗——通常覆蓋相關任務的分布——并使用這些經驗來改進未來的學習性能。這種“學會學習”[8]可以帶來各種好處，如數據和計算效率，它更適合人類和動物的學習[9]，其中學習策略在一生和進化時間尺度上都得到改善[10,9,11]。機器學習在歷史上是建立在手工設計的特征上的模型，而特征的選擇往往是最終模型性能的決定因素[12,13,14]。深度學習實現了聯合特征和模型學習的承諾[15,16]，為許多任務提供了巨大的性能改進[1,3]。神經網絡中的元學習可以看作是集成聯合特征、模型和算法學習的下一步。神經網絡元學習有著悠久的歷史[17,18,8]。然而，它作為推動當代深度學習行業前沿的潛力，導致了最近研究的爆炸性增長。特別是，元學習有可能緩解當代深度學習[4]的許多主要批評，例如，通過提供更好的數據效率，利用先驗知識轉移，以及支持無監督和自主學習。成功的應用領域包括:小樣本圖像識別[19,20]、無監督學習[21]、數據高效[22,23]、自導向[24]強化學習(RL)、超參數優化[25]和神經結構搜索(NAS)[26, 27, 28]。

在文獻中可以找到許多關于元學習的不同觀點。特別是由于不同的社區對這個術語的使用略有不同，所以很難定義它。與我們[29]相關的觀點認為，元學習是管理“沒有免費午餐”定理[30]的工具，并通過搜索最適合給定問題或問題族的算法(歸納偏差)來改進泛化。然而，從廣義上來說，這個定義可以包括遷移、多任務、特征選擇和模型集成學習，這些在今天通常不被認為是元學習。另一個關于元學習[31]的觀點廣泛地涵蓋了基于數據集特性的算法選擇和配置技術，并且很難與自動機器學習(AutoML)[32]區分開來。在這篇論文中，我們關注當代的神經網絡元學習。我們將其理解為算法或歸納偏差搜索，但重點是通過端到端學習明確定義的目標函數(如交叉熵損失、準確性或速度)來實現的。

因此，本文提供了一個獨特的，及時的，最新的調查神經網絡元學習領域的快速增長。相比之下，在這個快速發展的領域，以往的研究已經相當過時，或者關注于數據挖掘[29、33、34、35、36、37、31]、自動[32]的算法選擇，或者元學習的特定應用，如小樣本學習[38]或神經架構搜索[39]。

我們討論元學習方法和應用。特別是，我們首先提供了一個高層次的問題形式化，它可以用來理解和定位最近的工作。然后，我們在元表示、元目標和元優化器方面提供了一種新的方法分類。我們調查了幾個流行和新興的應用領域，包括少鏡頭、強化學習和架構搜索;并對相關的話題如遷移學習、多任務學習和自動學習進行元學習定位。最后，我們討論了尚未解決的挑戰和未來研究的領域。

未來挑戰：

-元泛化 元學習在不同任務之間面臨著泛化的挑戰，這與傳統機器學習中在不同實例之間進行泛化的挑戰類似。

• 任務分布的多模態特性
• 任務族
• 計算代價
• 跨模態遷移和異構任務

總結

元學習領域最近出現了快速增長的興趣。這帶來了一定程度的混亂，比如它如何與鄰近的字段相關聯，它可以應用到什么地方，以及如何對它進行基準測試。在這次綜述中，我們試圖通過從方法學的角度對這一領域進行徹底的調查來澄清這些問題——我們將其分為元表示、元優化器和元目標的分類;從應用的角度來看。我們希望這項調查將有助于新人和實踐者在這個不斷增長的領域中定位自己，并強調未來研究的機會。