題目： Meta-Learning Initializations for Low-Resource Drug Discovery
摘要：
建立硅模型來預測化學性質和活性是藥物發現的關鍵一步。然而，藥物發現項目的特點是標記數據有限，這阻礙了深度學習在這種情況下的應用。與此同時，元學習的進步使得在小樣本學習基準中的最優表現成為可能，這自然引發了這樣一個問題:元學習能否提高在低資源藥物發現項目中的深度學習性能?在這項工作中，我們評估了模型不可知元學習(MAML)算法的效率——以及它的變體FO-MAML和ANIL——在學習預測化學性質和活性方面的效率。使用ChEMBL20數據集來模擬低資源設置，我們的基準測試表明，在20個分布任務中的16個任務和所有分布任務中，元初始化的性能與多任務訓練前基線相當或優于多任務訓練基線，分別為AUPRC提供7.2%和14.9%的平均改進。最后，我們觀察到，元初始化一致地在k∈{16,32,64,128,256}實例的微調集上產生性能最佳的模型。
付費5元查看完整內容
相關內容
小樣本目標檢測
·
從少數樣本中發現稀有物體是一個新出現的問題。先前的研究表明元學習工是一個很有前途的方法。但是，微調技術還沒有引起足夠的重視。我們發現，在小樣本目標檢測任務中，僅對稀有類上現有檢測器的最后一層進行微調是至關重要的。這種簡單的方法比元學習方法在當前基準上的表現高出約2 ~ 20點，有時甚至比以前的方法的準確度還要高出一倍。然而，少數樣本的高方差常常導致現有基準的不可靠性。我們通過對多組訓練樣本進行抽樣，以獲得穩定的比較，并在PASCAL VOC、COCO和LVIS三個數據集的基礎上建立新的基準。同樣，我們的微調方法在修訂基準上建立了一種新的技術狀態。代碼和預訓練的模型可以在//github.com/ucbdrive/few-shot-object-detection找到。
付費5元查看完整內容
盡管生成式對抗網絡(GAN)的歷史并不長，但它已被廣泛地研究和用于各種任務，包括其最初的目的，即合成樣品的生成。然而，將GAN用于具有不同神經網絡結構的不同數據類型，由于其在訓練方面的局限性，使得模型很容易出現混亂。這種臭名昭著的GAN訓練是眾所周知的，并已在許多研究中提出。因此，為了使GAN的訓練更加穩定，近年來提出了許多正則化方法。本文綜述了近年來引入的正則化方法，其中大部分是近三年來發表的。具體地說，我們關注的是那些可以被普遍使用的方法，而不管神經網絡體系結構如何。根據其運算原理將其分為若干組，并分析了各方法之間的差異。此外，為了提供使用這些方法的實際知識，我們調研了在最先進的GANs中經常使用的流行方法。此外，我們還討論了現有方法的局限性，并提出了未來的研究方向。
付費5元查看完整內容
題目： Low-Resource Text Classification using Domain-Adversarial Learning
簡介：
深度學習技術最近在自然語言處理任務中取得了成功。 但是，它們需要大量的注釋數據，而這些數據通常會丟失。 本文探討了在訓練新目標域或語言中的低資源和零資源設置的深度，復雜神經網絡的領域不變特征時，如何使用領域對抗學習作為正則化函數來避免過度擬合。 在使用新語言的情況下，我們證明了單語言單詞向量可以直接用于訓練而無需預先對齊。 它們在公共空間中的映射可以在訓練時臨時學習，以達到預訓練的多語言單詞向量的最終性能。
付費5元查看完整內容
主題： A New Meta-Baseline for Few-Shot Learning
摘要： 近年來，元學習已經成為小樣本學習的流行框架，其目標是從少拍分類任務的集合中學習模型。雖然提出了越來越多的新穎元學習模型，但我們的研究發現了被忽視的簡單基準。我們通過在所有基類上預先訓練分類器，并在基于最近質心的少數鏡頭分類算法上進行元學習，提出了一種Meta-Baseline方法，該方法以較大的優勢勝過了最新的方法。為什么這個簡單的方法這么好？在元學習階段，我們觀察到在基礎類的未見任務上更好地推廣的模型在新型類任務上的性能可能會下降，這表明存在潛在的客觀差異。我們發現預訓練和從預訓練的分類器繼承良好的幾次快照分類法對于元基線都很重要，這可能有助于模型更好地利用具有更強可傳遞性的預訓練表示。此外，我們研究了何時需要在此元基線中進行元學習。我們的工作為該領域建立了一個新的基準，并為進一步了解元學習框架中的幾次學習現象提供了啟示。
付費5元查看完整內容
圖分類的目的是對圖結構數據進行準確的信息提取和分類。在過去的幾年里，圖神經網絡(GNNs)在圖分類任務上取得了令人滿意的成績。然而，大多數基于GNNs的方法側重于設計圖卷積操作和圖池操作，忽略了收集或標記圖結構數據比基于網格的數據更困難。我們利用元學習來進行小樣本圖分類，以減少訓練新任務時標記圖樣本的不足。更具體地說，為了促進圖分類任務的學習，我們利用GNNs作為圖嵌入主干，利用元學習作為訓練范式，在圖分類任務中快速捕獲特定任務的知識并將其轉移到新的任務中。為了提高元學習器的魯棒性，我們設計了一種新的基于強化學習的步進控制器。實驗表明，與基線相比，我們的框架運行良好。
付費5元查看完整內容
Dropout是一種廣泛使用的正則化技術，通常需要為許多體系結構獲得最先進的技術。這項工作表明，dropout引入了兩種截然不同但相互糾纏的正則化效應:由于dropout修改了預期的訓練目標而產生的顯式效應(在之前的工作中也研究過)，以及可能令人驚訝的是，dropout訓練更新中的隨機性帶來的另一種隱式效應。這種隱式正則化效應類似于小批量隨機梯度下降中的隨機度效應。我們通過控制實驗把這兩種效應分開。然后，我們推導出分析的簡化，用模型的導數和損失來描述每個影響，對于深度神經網絡。我們證明了這些簡化的、解析的正則化器準確地捕獲了輟學的重要方面，表明它們在實踐中忠實地替代了dropout。
付費5元查看完整內容
論文題目： Meta-Learning to Cluster
摘要： 聚類是探索性數據分析中最基本、最廣泛應用的技術之一。然而，聚類的基本方法并沒有真正改變:專業人員手工挑選特定于任務的聚類損失，以優化并適合給定的數據，以揭示底層聚類結構。某些類型的損失——例如k-means或其非線性版本:kernelized k-means(基于質心的)和DBSCAN(基于密度的)——由于它們在一系列應用中具有良好的經驗性能，因此很受歡迎。盡管使用這些標準損失的聚類輸出常常不能揭示底層結構，而且執行者必須自定義設計它們自己的變體。在這項工作中，我們采用了一種本質上不同的聚類方法:我們不是根據特定的聚類損失來擬合數據集，而是訓練一個學習如何聚類的遞歸模型。該模型使用數據集的示例(作為輸入)和相應的聚類標識(作為輸出)作為訓練對。通過提供多種類型的訓練數據集作為輸入，我們的模型能夠很好地泛化不可見的數據集(新的集群任務)。實驗表明，與標準的基準聚類技術相比，在簡單的綜合生成數據集或現有的真實數據集上進行訓練，可以獲得更好的聚類性能。我們的元聚類模型即使對于通常的深度學習模型表現較差的小數據集也能很好地工作。
作者： Yibo Jiang, Nakul Verma
付費5元查看完整內容
Model-agnostic meta-learners aim to acquire meta-learned parameters from similar tasks to adapt to novel tasks from the same distribution with few gradient updates. With the flexibility in the choice of models, those frameworks demonstrate appealing performance on a variety of domains such as few-shot image classification and reinforcement learning. However, one important limitation of such frameworks is that they seek a common initialization shared across the entire task distribution, substantially limiting the diversity of the task distributions that they are able to learn from. In this paper, we augment MAML with the capability to identify the mode of tasks sampled from a multimodal task distribution and adapt quickly through gradient updates. Specifically, we propose a multimodal MAML (MMAML) framework, which is able to modulate its meta-learned prior parameters according to the identified mode, allowing more efficient fast adaptation. We evaluate the proposed model on a diverse set of few-shot learning tasks, including regression, image classification, and reinforcement learning. The results not only demonstrate the effectiveness of our model in modulating the meta-learned prior in response to the characteristics of tasks but also show that training on a multimodal distribution can produce an improvement over unimodal training.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191