論文題目： Meta-Learning to Cluster
摘要： 聚類是探索性數據分析中最基本、最廣泛應用的技術之一。然而，聚類的基本方法并沒有真正改變:專業人員手工挑選特定于任務的聚類損失，以優化并適合給定的數據，以揭示底層聚類結構。某些類型的損失——例如k-means或其非線性版本:kernelized k-means(基于質心的)和DBSCAN(基于密度的)——由于它們在一系列應用中具有良好的經驗性能，因此很受歡迎。盡管使用這些標準損失的聚類輸出常常不能揭示底層結構，而且執行者必須自定義設計它們自己的變體。在這項工作中，我們采用了一種本質上不同的聚類方法:我們不是根據特定的聚類損失來擬合數據集，而是訓練一個學習如何聚類的遞歸模型。該模型使用數據集的示例(作為輸入)和相應的聚類標識(作為輸出)作為訓練對。通過提供多種類型的訓練數據集作為輸入，我們的模型能夠很好地泛化不可見的數據集(新的集群任務)。實驗表明，與標準的基準聚類技術相比，在簡單的綜合生成數據集或現有的真實數據集上進行訓練，可以獲得更好的聚類性能。我們的元聚類模型即使對于通常的深度學習模型表現較差的小數據集也能很好地工作。
作者： Yibo Jiang, Nakul Verma
付費5元查看完整內容
相關內容
“機器學習是近20多年興起的一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科。機器學習理論主要是設計和分析一些讓
可以自動“
”的算法。機器學習算法是一類從數據中自動分析獲得規律，并利用規律對未知數據進行預測的算法。因為學習算法中涉及了大量的統計學理論，機器學習與統計推斷學聯系尤為密切，也被稱為統計學習理論。算法設計方面，機器學習理論關注可以實現的，行之有效的學習算法。很多
問題屬于
，所以部分的機器學習研究是開發容易處理的近似算法。”
——中文維基百科
元學習利用相關的源任務來學習初始化，可以通過有限的標記示例將初始化快速調整到目標任務。然而，許多流行的元學習算法，如模型無關元學習(MAML)，都只假設可以訪問目標樣本進行微調。在這項工作中，我們提供了一個通用的元學習框架，該框架基于對不同源任務的損失進行加權，其中的權重允許依賴于目標樣本。在這個一般的設置中，我們提供了基于積分概率度量(IPM)和Rademacher復雜性的源任務加權經驗風險和預期目標風險之間距離的上限，該上限適用于包括MAML和加權MAML變體在內的許多元學習設置。然后開發一個基于最小化誤差學習算法對實證IPM,包括α-MAML加權MAML算法。最后，我們實證地證明了我們的加權元學習算法能夠比單加權元學習算法(如MAML)找到更好的初始化。
付費5元查看完整內容
【導讀】最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】，CVPR視覺目標跟蹤，CVPR視覺問答，醫學圖像分割，圖神經網絡的推薦，CVPR域自適應， ICML圖神經網絡相關論文，反響熱烈。最近，Meta-Learning（元學習）相關研究非常火熱，這兩年相關論文非常多，結合最新的熱點方法，在應用到自己的領域，已經是大部分研究者快速出成果的一個必備方式。基于Meta-Learning（元學習）的工作在今年ICML 2019上出現了大量的論文，好多是些理論方法，希望CV、NLP、DM或者其他領域的同學多多學習，看能否結合，期待好的工作！今天小編專門整理最新七篇Meta-Learning（元學習）—在線元學習、元強化學習、元逆強化學習、層次結構元學習、小樣本學習等。
1、Sever: A Robust Meta-Algorithm for Stochastic Optimization（Sever:一種魯棒的隨機優化元算法）
ICML ’19
作者：Ilias Diakonikolas, Gautam Kamath, Daniel Kane, Jerry Li, Jacob Steinhardt, Alistair Stewart
摘要：在高維情況下，大多數機器學習方法對于哪怕是一小部分結構化異常值也是脆弱的。為了解決這一問題，我們引入了一種新的元算法，它可以接納base learner，如最小二乘或隨機梯度下降，并增強learner對異常值的抵抗力。我們的方法Sever具有強大的理論保證，但同時也具有很高的可伸縮性——除了運行base learner本身，它只需要計算某個n* d矩陣的頂部奇異向量。我們將服務器應用于藥物設計數據集和垃圾郵件分類數據集，發現在這兩種情況下，它都比幾個baseline具有更強的魯棒性。在垃圾郵件數據集上，有1%的損壞，我們實現了7.4%的test error, 相比之下，baseline的test error為13.4%-20.5%，未損壞數據集的test error為3%。同樣，在藥物設計數據集上，在10%的損壞情況下，我們獲得了1.42的mean squared test error，而baseline為1.51-2.33，未損壞數據集為1.23的mean squared test error。
網址：
//proceedings.mlr.press/v97/diakonikolas19a.html
代碼鏈接：
2、Online Meta-Learning（在線元學習）
ICML ’19
作者：智能系統的一個核心能力是能夠不斷地利用以前的經驗來加快和加強新任務的學習。兩個不同的研究范式研究了這個問題。元學習將此問題視為學習優先于模型的參數，該參數可用于快速適應新任務，但通常假定任務作為批處理一起可用。相比之下，在線(regret based)學習考慮的是一個任務接一個任務地顯示的環境，但傳統上只訓練一個模型，沒有特定于任務的適應性。這項工作引入了一個在線元學習設置，它融合了兩種范式的思想，以更好地捕捉持續終生學習的精神和實踐。我們提出了follow the meta leader (FTML)算法，它將MAML算法擴展到這個設置。從理論上講，這項工作提供了一個O(log T) regret guarantee，附加了一個高階平滑度的假設(與標準的在線設置相比)。我們對三個不同的大規模問題的實驗評估表明，該算法的性能顯著優于傳統在線學習方法。
網址：
3、Taming MAML: Efficient unbiased meta-reinforcement learning（Taming MAML: 有效的無偏元強化學習）
ICML ’19
作者：Hao Liu, Richard Socher, Caiming Xiong
摘要：雖然元強化學習(meta-reinformation learning，meta-rl)方法取得了顯著的成功，但如何獲得正確的、低方差的policy梯度估計仍然是一個重大的挑戰。特別是，估計一個大的Hessian，低樣本效率和不穩定的訓練繼續使Meta-RL變得困難。我們提出了一個名為Taming MAML (TMAML)的替代目標函數，它通過自動微分將控制變量添加到梯度估計中。TMAML通過在不引入偏差的情況下減小方差，提高了梯度估計的質量。我們進一步提出了我們方法的一個版本，該版本將元學習框架擴展到學習控制變量本身，從而從MDPs的分布中實現高效和可伸縮的學習。我們將我們的方法與MAML和其他方差偏置權衡方法(包括DICE、LVC和action-dependent control variates)進行了經驗性比較。我們的方法易于實現，并且在梯度估計的方差和精度方面優于現有的方法，最終在各種具有挑戰性的Meta-RL環境中獲得更高的性能。
網址：
代碼鏈接：
4、Learning a Prior over Intent via Meta-Inverse Reinforcement Learning（通過元逆強化學習學習先驗過意圖）
ICML ’19
作者：Kelvin Xu, Ellis Ratner, Anca Dragan, Sergey Levine, Chelsea Finn
摘要：將強化學習應用于實際問題的一個重大挑戰是需要指定一個oracle獎勵函數來正確定義任務。逆向強化學習(IRL)試圖通過從專家論證中推斷獎勵函數來避免這一問題。雖然很吸引人，但是收集涵蓋現實世界中常見變化的演示數據集(例如打開任何類型的門)可能會非常昂貴。因此，在實踐中，IRL通常只能通過有限的一組演示來執行，而在這些演示中，要明確地恢復一個獎勵函數是極其困難的。在這項工作中，我們利用了來自其他任務的演示可以用來約束一組可能的獎勵函數這一觀點，方法是學習一個“先驗”，這個“先驗”是專門為從有限的演示中推斷表達性獎勵函數的能力而優化的。我們證明了我們的方法可以有效地從新任務的圖像中recover rewards，并提供關于我們的方法如何類似于學習先驗的intuition。
網址：
5、Hierarchically Structured Meta-learning（層次結構元學習）
ICML ’19
作者：Huaxiu Yao, Ying Wei, Junzhou Huang, Zhenhui Li
摘要：為了在較少樣本的情況下快速學習，元學習利用了從以前任務中學到的先驗知識。然而，元學習的一個關鍵挑戰是任務的不確定性和異構性，這是無法通過任務之間的全局共享知識來處理的。在基于梯度元學習的基礎上，我們提出了一種層次結構的元學習(HSML)算法。受人類組織知識的方式的啟發，我們采用層次任務聚類結構對任務進行聚類。因此，該方法不僅通過對不同任務集群進行知識定制來解決這一問題，而且在相似任務集群之間保持了知識的泛化。為了解決任務關系的變化，我們還將層次結構擴展到連續學習環境中。實驗結果表明，該方法在toy回歸和少樣本圖像分類問題上均能取得較好的分類效果。
網址：
代碼鏈接：
6、Fast Context Adaptation via Meta-Learning（通過元學習快速適應上下文）
ICML ’19
作者：Luisa Zintgraf, Kyriacos Shiarli, Vitaly Kurin, Katja Hofmann, Shimon Whiteson
摘要：我們提出使用CAVIA進行元學習，這是對MAML的一個簡單擴展，它不太容易發生元過度擬合，更容易并行化，并且更具解釋性。CAVIA將模型參數劃分為兩部分:上下文參數(作為模型的額外輸入，適用于單獨的任務)和共享參數(經過元訓練并在任務之間共享)。在測試時，只更新上下文參數，從而導致低維任務表示。我們的經驗表明，CAVIA在回歸、分類和強化學習方面優于MAML。我們的實驗還突出了當前benchmark的弱點，即在某些情況下所需的適應量很小。
網址：
代碼鏈接：
7、LGM-Net: Learning to Generate Matching Networks for Few-Shot Learning（針對小樣本問題的學習生成匹配網絡方法）
ICML ’19
作者：Huaiyu Li, Weiming Dong, Xing Mei, Chongyang Ma, Feiyue Huang, Bao-Gang Hu
摘要：目前，成功的深度神經網絡往往依賴于大量訓練數據和訓練時間，當訓練數據較少時，神經網絡通常容易過擬合，這是由于傳統的基于梯度的更新算法沒有針對當前任務的先驗知識，無法在神經網絡的參數空間中找到具有較好泛化能力的參數點。當一個神經網絡計算結構固定的時候，網絡的參數權重決定了網絡的功能，而具有較好泛化能力的參數點可以看作是一個基于訓練數據的條件概率分布。根據這樣的觀察，我們針對小樣本問題提出了一種基于訓練數據直接生成具有較好泛化性網絡參數的元學習方法，讓神經網絡在大量的任務中積累經驗，自己學會如何解決小樣本問題。
網址：
代碼鏈接：
下載鏈接： 提取碼：06eq
付費5元查看完整內容
論文題目： Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
摘要： 元學習作為一種模仿人類智能的可能方法，近來受到了極大的關注，即，學習新的知識和技能。現有的元學習方法多用于解決圖像、文本等少數樣本的學習問題，在歐幾里得域比較常見。然而，將元學習應用于非歐幾里得域的研究工作非常少，最近提出的圖神經網絡(GNNs)模型在處理圖少樣本學習問題時表現不佳。為此，我們提出了一種新的圖元學習框架——元GNN，以解決圖元學習環境中節點分類問題。該算法通過對多個相似的少樣本學習任務進行訓練，獲得分類器的先驗知識，然后利用標記樣本數量較少的新類對節點進行分類。此外，Meta-GNN是一個通用模型，可以直接納入任何現有的最先進的GNN。我們在三個基準數據集上的實驗表明，我們的方法不僅在元學習范式中大大提高了節點分類性能，而且為任務適應提供了一個更通用、更靈活的模型。
論文作者： Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng
付費5元查看完整內容
Clustering is one of the most fundamental and wide-spread techniques in exploratory data analysis. Yet, the basic approach to clustering has not really changed: a practitioner hand-picks a task-specific clustering loss to optimize and fit the given data to reveal the underlying cluster structure. Some types of losses---such as k-means, or its non-linear version: kernelized k-means (centroid based), and DBSCAN (density based)---are popular choices due to their good empirical performance on a range of applications. Although every so often the clustering output using these standard losses fails to reveal the underlying structure, and the practitioner has to custom-design their own variation. In this work we take an intrinsically different approach to clustering: rather than fitting a dataset to a specific clustering loss, we train a recurrent model that learns how to cluster. The model uses as training pairs examples of datasets (as input) and its corresponding cluster identities (as output). By providing multiple types of training datasets as inputs, our model has the ability to generalize well on unseen datasets (new clustering tasks). Our experiments reveal that by training on simple synthetically generated datasets or on existing real datasets, we can achieve better clustering performance on unseen real-world datasets when compared with standard benchmark clustering techniques. Our meta clustering model works well even for small datasets where the usual deep learning models tend to perform worse.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191