亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡(GNN)已被用于解決少樣本學習(FSL)問題,并顯示出在換能器設置下的巨大潛力。但在歸納設置下,現有的基于GNN的方法競爭力較弱。這是因為他們使用一個實例GNN作為標簽傳播/分類模塊,該模塊與一個特征嵌入網絡共同進行元學習。這種設計是有問題的,因為分類器需要快速適應新的任務,而嵌入不需要。為了解決這一問題,本文提出了一種新的混合GNN (HGNN)模型,該模型由兩個GNN、一個實例GNN和一個原型GNN組成。它們代替標簽傳播,作為嵌入特征的適應模塊,使元學習的特征嵌入快速適應新任務。重要的是,它們的設計是為了處理FSL中一個基本但經常被忽視的挑戰,即每個類中只有少量的樣本,任何少量樣本分類器都將對糟糕的采樣樣本敏感,這些樣本要么是異常值,要么會導致類間分布重疊。我們的兩個GNN分別針對這兩種差采樣的少樣本進行設計,并在混合GNN模型中利用它們的互補性。大量實驗表明,我們的HGNN在三個FSL基準測試中取得了新的先進水平。

付費5元查看完整內容

相關內容

圖神經網絡 (GNN) 是一種連接模型,它通過圖的節點之間的消息傳遞來捕捉圖的依賴關系。與標準神經網絡不同的是,圖神經網絡保留了一種狀態,可以表示來自其鄰域的具有任意深度的信息。近年來,圖神經網絡(GNN)在社交網絡、知識圖、推薦系統、問答系統甚至生命科學等各個領域得到了越來越廣泛的應用。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

首篇跨域少樣本圖分類

我們通過引入三個新的跨域基準來研究具有非等效特征空間的跨域少樣本圖分類問題。我們還提出了一種基于注意力的圖編碼器,該編碼器使用三個一致的圖形視圖、一個上下文視圖和兩個拓撲視圖,學習任務特定信息的表示,以便快速適應,以及任務無關信息的表示,以便進行知識遷移。我們進行了詳盡的實驗來評估對比學習策略和元學習策略的表現。我們發現,當與基于度量的元學習框架相結合時,所提出的編碼器在所有基準測試中都獲得了最佳的元測試平均分類精度。源代碼和數據將在這里發布://github.com/kavehhassani/metagrl

在“少樣本學習”中,一個模型從幾個被標記的樣本中學習適應新的類別。常見的做法,如使用增強、正則化和預訓練可能有助于緩解數據匱乏,但不能解決這個問題。受人類學習(Lake, Salakhutdinov, and Tenenbaum 2015)的啟發,元學習(Hospedales, et al. 2020)利用類似任務的分布(Satorras, and Estrach 2018)來積累可遷移的經驗知識,這些經驗可以作為快速適應下游任務的強烈歸納偏差(Sung, et al. 2018)。在元學習中,快速學習發生在任務內,而關于任務結構變化的知識是在任務間逐步學習的(Huang and Zitnik 2020)。這種學習知識的例子是嵌入函數(Vinyals et al. 2016; Snell, Swersky, and Zemel 2017; Satorras and Estrach 2018; Sung et al. 2018),初始參數(Finn, Abbeel, and Levine 2017; Raghu et al. 2020)、優化策略(Li et al. 2017),或可以直接將訓練樣本映射到網絡權重的模型(Garnelo et al. 2018; Mishra et al. 2018)。

元學習的一個基本假設是,元訓練和元測試階段的任務是從相同的分布中采樣的,即任務是iid。然而,在許多現實世界的應用程序中,從相同的分布中收集任務是不可行的。相反,有來自相同模態但不同領域的數據集。在遷移學習中,源域和目標域之間的特征/標簽空間是不等效的,通常是不重疊的,這被稱為異構遷移學習(Day和Khoshgoftaar 2017)。據觀察,當源域和目標域之間有很大的轉移時,元學習算法被預訓練/微調方法所超越(Chen et al. 2019b)。

計算機視覺方面的一些工作通過歸一化層的元學習統計來解決跨領域的少樣本學習(Tseng et al. 2020; Du et al. 2021)。這些方法局限于仍然包含高度視覺相似性的自然圖像(Guo et al. 2020)。跨域學習對于尺寸變化順序不變的圖結構數據更為重要。與其他常見模態相比,圖形標注更具挑戰性,因為它們通常表示特定領域的概念,如生物學,在這些領域中,通過wet-lab實驗進行標注是資源密集型(Hu et al. 2020b),而使用領域知識進行程序性標注的成本較高(Sun et al. 2020)。此外,除了在邊際/條件概率分布上的偏移外,非等價和非重疊特征空間在圖數據集上是常見的。例如,可以訪問小分子數據集,其中每個數據集使用不同的特征集來表示分子(Day和Khoshgoftaar 2017)。

據我們所知,這是關于圖的跨域少樣本學習的第一項工作。為了解決這個問題,我們設計了一個以任務為條件的編碼器,它可以學習處理任務的不同表示。我們的貢獻如下:

  • 我們引入了跨域少樣本圖分類的三個基準,并進行了詳盡的實驗來評估監督、對比和元學習策略的性能。

  • 我們提出了一種圖編碼器,可以學習圖的三個一致視圖、一個上下文視圖和兩個拓撲視圖,學習任務特定信息的表示,以便快速適應,以及任務無關信息,以便進行知識遷移。

  • 我們表明,當與基于指標的元測試框架相結合時,所提出的編碼器在所有三個基準上都實現了最佳的平均元測試分類準確度。

方法

圖結構數據可以從兩個一致的視圖進行分析: 上下文視圖和拓撲視圖。上下文視圖基于初始節點或邊緣特征(為了簡單和不失一般性,我們只考慮節點特征),并攜帶特定于任務的信息。另一方面,拓撲視圖表示圖的拓撲屬性,這些拓撲屬性是任務無關的,因此可以作為錨點來對齊來自特征空間中不同領域的圖。我們利用這種對偶表示,并通過為每個視圖設計專用編碼器來明確地解開它們,這些視圖反過來施加了所需的歸納偏見,以學習特定于任務的域不變特征。在異構的少樣本環境中,拓撲特征有助于跨任務的知識遷移,而上下文特征有助于快速適應。我們還使用了一種注意力機制,該機制隱含地限制了任務,并學習從兩種視圖中聚合學習到的特征。我們采用元學習策略,通過共同學習編碼器參數和注意機制來模擬泛化過程。如圖1所示,我們的方法由以下組件組成:

增強機制,將一個采樣圖轉換為一個上下文視圖和兩個拓撲視圖。對初始節點特征和圖結構進行增強處理。

編碼器包括兩個專用的GNN,即圖形編碼器,和一個MLP,分別用于上下文和拓撲視圖,以及一個注意力機制來聚合學習的特征。

元學習機制,基于查詢集的錯誤信號,聯合學習專用編碼器和注意力模型的參數。

實驗結果

我們詳盡地進行了實證評估,以回答以下問題:(1)基準的元測試集分類精度的實證上限是多少?(2)跨元域是否存在知識遷移?如果沒有,是否會發生負遷移?(3)基于對比的預訓練效果如何?(4)基于度量的元學習方法與基于優化的元學習方法相比表現如何?(5)使用提出的編碼器有什么效果?

結果表明: (1)在這三個基準上,都存在可遷移的潛在知識。實驗結果證實通過觀察元學習和對比方法都優于單純分類器。(2) 對比方法與元學習方法相比具有更強的性能。例如,在20-shot生物信息學基準測試中,MVGRL的絕對準確度比最佳的元學習方法高出1.57%。(3) 將基于度量的元學習方法與我們提出的編碼器相結合,顯著提高了性能。例如,在單次測試的情況下,最佳元學習方法結合我們的編碼器,在分子、生物信息學和社交網絡基準上的絕對精度分別比常規元學習方法的最佳結果高出3.28%、4.29%和5.17%。(4)與我們的編碼器相結合,僅用20個例子訓練的RelationNet模型,與全監督模型在所有可用的分子數據、生物信息學和社會網絡基準上訓練的模型相比,準確率分別只有4.46%、6.96%和2.68%。注意,其中一些數據集有成千上萬個訓練樣本。(5) 當我們將知識從分子元訓練遷移到社會網絡元測試時,我們得到了最大的改進。這是因為社會網絡任務不包含任何初始節點特征,因此對它們進行分類完全依賴于任務不可知的幾何特征。這表明我們的編碼器能夠在一個領域學習表達幾何表示并泛化到另一個領域。

付費5元查看完整內容

會話情緒識別(ERC)的目標是檢測每個話語的情緒標簽。最近的研究已經證明,以有意義的順序輸入訓練實例,而不是隨機考慮它們,可以提高模型的性能,基于此,我們提出了一個ercorient混合課程學習框架。我們的框架包括兩個課程:(1)對話水平課程(CC);(2)話語水平課程(UC)。在CC中,我們基于對話中的“情感轉移”頻率構建難度測量器,然后根據難度測量器返回的難度分數將對話安排在“易到難”模式中。UC則從情緒相似度的角度來實現,逐步增強了模型識別困惑情緒的能力。在提出的模型無關的混合課程學習策略下,我們觀察到現有的各種ERC模型的顯著性能提升,并且我們能夠在四個公共ERC數據集上實現新的最先進的結果。

//www.zhuanzhi.ai/paper/99e93cf8c4fdca76e734c63a16d18e94

付費5元查看完整內容

圖神經網絡(GNN)在實際應用中往往會受到可用樣本數量太少的限制,而元學習(meta-learning)作為解決機器學習中樣本缺乏問題的重要框架,正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展,我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類,并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據(Graph)廣泛存在于現實場景中,例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖(Graph)表示,而圖數據(Graph)的廣泛存在也促進了圖神經網絡(GNN)的發展。GNN 是專門用于處理圖數據的深度神經網絡,它將圖或圖上的頂點、邊映射到一個低維空間,從而學習得到圖的有效表示,并進一步將其應用于下游任務。近年來,GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力,但在實際應用中依然面臨樣本數量有限的挑戰,特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習(meta-learning)作為解決深度學習系統中樣本缺乏問題的重要框架,在自然語言處理、機器人技術等多種應用中都取得了成功。因此,如何利用元學習解決 GNN 所面臨的樣本缺乏問題,是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題,從而利用很少的樣本就能學習一個有用的算法。具體來講,元學習旨在以先驗的形式學習一個模型,而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型,以及怎樣設計有效的訓練策略。近期,研究人員針對不同的應用場景,已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

付費5元查看完整內容

目前的深度神經網絡需要為每個新任務收集大量帶標簽的訓練數據,在一定程度上限制了其實用性。給定來自一組源任務的數據,可以使用兩種遷移學習方法來克服此限制:小樣本學習(FSL)和自監督學習(SSL)。前者旨在通過使用源任務設計學習場景來學習“如何學習”,以模擬用很少的帶標簽樣本來解決目標新任務的挑戰。相反,后者利用所有源任務中的無注釋預定義任務來學習可泛化的特征表示。本文提出了一個創新的實例級和場景級的預定義任務(IEPT)框架,該框架無縫地將SSL集成到FSL中。具體來說,給定FSL場景,我們首先將幾何變換應用于每個實例以生成擴展場景。在實例級別,按照標準的SSL執行轉換識別。重要的是,在場景級別中我們設計了兩個SSL-FSL混合學習目標:(1)場景級別的預定義任務,會最大限度地提高來自不同擴展場景的FSL分類預測結果之間的一致性;(2)將從每個實例中跨不同場景提取的特征進行集成,以構建用于元學習的單個FSL分類器。大量實驗表明,我們提出的模型(即帶有IEPT的FSL)達到了最新的技術水平。

付費5元查看完整內容

//www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4

消息傳遞圖神經網絡(GNNs)為關系數據提供了強大的建模框架。曾經,現有GNN的表達能力上界取決于1- Weisfeiller -Lehman (1-WL)圖同構測試,這意味著gnn無法預測節點聚類系數和最短路徑距離,無法區分不同的d-正則圖。在這里,我們提出了一類傳遞消息的GNN,稱為身份感知圖神經網絡(ID- GNNs),具有比1-WL測試更強的表達能力。ID-GNN為現有GNN的局限性提供了一個最小但強大的解決方案。ID-GNN通過在消息傳遞過程中歸納地考慮節點的身份來擴展現有的GNN體系結構。為了嵌入一個給定的節點,IDGNN首先提取以該節點為中心的自我網絡,然后進行輪次異構消息傳遞,中心節點與自我網絡中其他周圍節點應用不同的參數集。我們進一步提出了一個簡化但更快的ID-GNN版本,它將節點標識信息作為增強節點特征注入。總之,ID-GNN的兩個版本代表了消息傳遞GNN的一般擴展,其中實驗表明,在具有挑戰性的節點、邊緣和圖屬性預測任務中,將現有的GNN轉換為ID-GNN平均可以提高40%的準確率;結點和圖分類在基準測試上提高3%精度;在實際鏈路預測任務提高15%的ROC AUC。此外,與其他特定于任務的圖網絡相比,ID- GNN表現出了更好的或相當的性能。

付費5元查看完整內容

從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中,我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系,并對每個問答(QA)對進行語義級交互。然而,目前AVI的研究大多集中在如何更好地表示問題和答案上,而忽視了它們之間的依賴信息和相互作用,而這是QA評估的關鍵。在這項工作中,我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說,我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖,我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后,我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。

//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1

付費5元查看完整內容

題目: 圖神經網絡的無冗余計算 會議: KDD2020 論文地址: //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由: 對于圖神經網絡中重復信息的聚合,這篇文章提出了一種簡單有效的層次化聚合的方法(HAG),用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中,可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。

GNN在單層中基于遞歸鄰域聚合方案,每個節點聚合其鄰居的特征,并使用聚合值更新其自身的特征。這樣遞歸地傳播多次(多層),最后,GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務,例如節點分類、圖分類或鏈路預測。然而,如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是,許多當前的工作是使用整張圖的拉普拉斯矩陣,這樣即便是對于中等規模的圖,也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣,然后再聚合這些節點的鄰域信息,但是對于單個節點進行鄰域采樣是一個高復雜度的事情,因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。

付費5元查看完整內容

【導讀】作為計算機視覺領域三大會議之一,European Conference on Computer Vision(歐洲計算機視覺大會,ECCV)備受全球領域眾多專業人士關注。幾天前,ECCV 2020官方發布接收論文,本次大會共有5025篇投稿,1361篇被接收,接受率27%。ECCV 2020 已經于8月23日-28日Online方式進行。論文列表已經放出,小編發現少樣本學習方向火熱,錄用了好多篇相關paper,為此專知小編整理了七篇 ECCV 2020 少樣本學習(Few-Shot Learning,FSL) 相關論文供大家參考——跨域少樣本學習、膠囊注意力原型網絡、負間隔損失、任務自適應特征學習、自監督

ECCV 2020 接受論文列表和下載地址: //eccv2020.eu/accepted-papers/

ECCV2020ReID、ECCV2020OD、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、

1、A Broader Study of Cross-Domain Few-Shot Learning

作者:Yunhui Guo, Noel C. Codella, Leonid Karlinsky, James V. Codella, John R. Smith, Kate Saenko, Tajana Rosing, Rogerio Feris

摘要:最近在少樣本學習方面的進展很大程度上依賴于元學習的標注數據:與新類別相同的域中采樣其基類。然而,在許多應用中,為元學習收集數據是不可行或不可能的。這導致了跨域的少樣本學習問題,其中在基域和新類別域之間存在很大的Gap。雖然對跨域少樣本場景的研究已經存在,但這些工作僅限于視覺相似度很高的自然圖像。目前還沒有在真實世界場景中看到的不同成像方法(如航空成像和醫學成像)之間進行少樣本學習的研究。在本文中,我們提出了更廣泛的跨域少樣本學習(BSCD-FSL)基準研究,該基準由來自各種圖像獲取方法的圖像數據組成。這些圖像數據包括自然圖像,如作物病害圖像,還有那些與自然圖像有很大不同的圖像,如衛星圖像、皮膚病圖像和放射學圖像。我們在所提出的基準上進行了大量的實驗,以評估最新的元學習方法、遷移學習方法和較新的跨域少樣本學習方法。結果表明,最新的元學習方法的表現優于早期的元學習方法,并且所有的元學習方法的表現都比簡單的精調在平均準確率上要差12.8%。在某些情況下,元學習甚至不如具有隨機權重的網絡。在這個更具挑戰性的基準測試中,以前使用專門用于跨域、少樣本學習的方法的性能提升消失得無影無蹤。最后,所有方法的準確性往往與數據集與自然圖像的相似性相關,我們驗證了基準的價值,從而能夠更好地代表真實場景數據的多樣性,并指導未來的研究。

代碼:

網址:

2、Attentive Prototype Few-shot Learning with Capsule Network-based Embedding

作者:Fangyu Wu, Jeremy S.Smith, Wenjin Lu, Chaoyi Pang, Bailing Zhang

摘要:用很少的訓練樣本識別新的類別的少樣本學習,是機器學習研究中一個極具挑戰性的領域。傳統的深度學習方法需要大量的訓練數據來調整數量龐大的參數,這往往是不切實際的,而且容易過擬合。在這項工作中,我們進一步研究了被稱為原型網絡的少樣本學習方法,以獲得更好的性能。我們的貢獻包括:(1)一種新的嵌入結構,通過應用膠囊網絡(capsule network)來編碼特征之間的相對空間關系;(2)設計了一種新的三元組損失來增強語義特征的嵌入性,即相似樣本之間距離較近,而不同樣本之間的距離較遠;以及(3)一種有效的非參數分類器,稱為注意力原型,取代了目前少樣本學習中的簡單原型。我們提出的注意力原型聚合了支持類中的所有實例,這些實例根據它們的重要性(由給定查詢的重構誤差定義)進行加權。重構誤差允許估計對應于分類置信度分數的分類后驗概率。在三個基準數據集上的大量實驗表明,該方法對于少樣本分類任務是有效的。

網址:

3、Negative Margin Matters: Understanding Margin in Few-shot Classification

作者:Bin Liu1, Yue Cao, Yutong Lin, Qi Li, Zheng Zhang, Mingsheng Long, Han Hu

摘要:本文介紹了一種基于度量學習的負邊距損失(negative margin loss)的少樣本學習方法。負邊距損失的表現明顯優于常規的Softmax損失,并且在三個標準的少樣本分類基準上實現了最先進的精確度。這些結果與度量學習領域的通常做法(差值為零或正)相反。為了理解為什么負邊距損失在少樣本分類中表現良好,我們從經驗和理論上分析了訓練類和新類中不同邊緣的學習特征的可區分性。我們發現,雖然負邊距降低了訓練類的特征可區分性,但也可以避免將同一新類的樣本錯誤映射到多個峰或簇,從而有利于對新類的區分。

代碼:

網址:

4、Prototype Rectification for Few-Shot Learning

作者:Jinlu Liu, Liang Song, Yongqiang Qin

摘要:少樣本學習要求識別具有稀缺標簽數據的新類。原型網絡(prototypical network)在現有的研究中是有用的,然而,對稀缺數據進行窄尺寸分布(narrow-size distribution)的訓練往往會得到有偏差的原型。在本文中,我們找出了這一過程的兩個關鍵影響因素:類內偏差和跨類偏差。然后,我們提出了一種簡單而有效的方法,用于轉導設置(transductive setting)下的原型校正。該方法利用標簽傳播(label propagation)來減小類內偏差,利用特征遷移來減小跨類偏差。我們還進行了理論分析,推導出其合理性以及性能的下界。在三個少樣本基準上的有效性顯示,我們的方法在miniImageNet(1-shot 70.31%, 5-shot 81.89%)和tieredImageNet(1-shot 78.74%,5-shot 86.92%)上都獲得了最先進的性能。

網址:

5、SEN: A Novel Feature Normalization Dissimilarity Measure for Prototypical Few-Shot Learning Networks

作者:Van Nhan Nguyen, Sigurd L?kse, Kristoffer Wickstr?m, Michael Kampffmeyer, Davide Roverso, Robert Jenssen

摘要:在這篇文章中,我們給原型網絡(PNS)配備了一種新的相異度度量,以實現少樣本學習的區分特征歸一化。嵌入到超球面上不需要直接歸一化,易于優化。我們理論分析表明,所提出的歐幾里德距離平方根和范數距離(SEN)的相異度測度迫使嵌入點被吸引到其正確的原型上,而排斥所有其他原型,保持所有點的范數相同。所得到的SEN PN在沒有附加參數的情況下以相當大的幅度優于常規PN,并且計算開銷可以忽略不計。

網址:

6、TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification

作者:Moshe Lichtenstein, Prasanna Sattigeri, Rogerio Feris, Raja Giryes, Leonid Karlinsky

摘要:近來,少樣本學習(FSL),即從非常少的(通常是1到5個)的例子中學習一個新的類別(在訓練時候不存在),得到了很多關注和顯著的性能進步。雖然已經為FSL提出了許多技術,但有幾個因素已經成為影響FSL性能的最重要因素,即使是最簡單的技術也可以授予SOTA。它們是:骨干架構(越大越好),預訓練類型(元訓練與多類別),基類的數量和多樣性(越多越好),以及使用輔助自監督任務(增加多樣性的代理)。在本文中,我們提出了TAFSSL,這是一種簡單的技術,可以在伴隨著一些額外的未標記數據的少樣本任務中提高少樣本性能。TAFSSL的直覺是基于減少預訓練期間未見過的由新類別組成的少樣本任務所固有的特征和采樣噪聲。具體地說,在具有挑戰性的miniImageNet和tieredImageNet基準測試中,TAFSSL可以將當前最先進的轉導和半監督FSL設置提高5%以上,同時將在FSL中使用未標記數據的性能提高到10%以上。

網址:

7、When Does Self-supervision Improve Few-shot Learning?

作者:Jong-Chyi Su, Subhransu Maji, Bharath Hariharan

摘要:我們研究了自監督學習(SSL)在少樣本學習環境中的作用。雖然最近的研究已經顯示了SSL在大型未標記數據集上的好處,但它在小型數據集上的實用性相對來說還沒有被探索過。我們發現,SSL將少樣本元學習的相對錯誤率降低了4%-27%,即使當數據集很小并且只使用數據集中的圖像時也是如此。當訓練集越小或任務越具挑戰性時,改進效果越大。雖然SSL的好處可能會隨著訓練集的增加而增加,但我們觀察到,當用于元學習的圖像的分布與SSL不同時,SSL會損害性能。我們通過改變域轉移的程度和分析幾個元學習在多個領域上的表現來進行系統的研究。基于這一分析,我們提出了一種技術,該技術可以從給定數據集的大型通用未標記圖像池中自動選擇用于SSL的圖像,從而提供進一步的改進。

網址:

付費5元查看完整內容

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能,包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力,但隨著模型的深入,GNN通常會出現嚴重的過擬合和過平滑問題,這限制了模型的可擴展性。在這項工作中,我們提出了一個新的注意力GNN來解決這些挑戰,通過合并三重注意機制,即節點自我注意,鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明,在mini-ImageNet 和Tiered-ImageNet數據集上,通過誘導和直推設置,提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

付費5元查看完整內容

最近深度神經網絡已經在監督識別任務上取得了令人振奮的突破,但是深度神經網絡要求每個類都有足夠 多的且完全標注的訓練數據。如何從少數訓練樣本中學習并識別新的類別,對于深度神經網絡來說是一個具有挑戰性的問題。針對如何解決少樣本學習的問題,全面總結了現有的基于深度神經網絡的少樣本學習方法,涵蓋了方法 所用模型、數據集及評估結果等各個方面。具體地,針對基于深度神經網絡的少樣本學習方法,提出將其分為四種 類別,即數據增強方法、遷移學習方法、度量學習方法和元學習的方法;對于每個類別,進一步將其分為幾個子類 別,并且在每個類別與方法之間進行一系列比較,以顯示各種方法的優劣和各自的特點。最后,強調了現有方法的局限性,并指出了少樣本學習研究領域的未來研究方向。

付費5元查看完整內容
北京阿比特科技有限公司