亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

元學習利用相關的源任務來學習初始化，可以通過有限的標記示例將初始化快速調整到目標任務。然而，許多流行的元學習算法，如模型無關元學習(MAML)，都只假設可以訪問目標樣本進行微調。在這項工作中，我們提供了一個通用的元學習框架，該框架基于對不同源任務的損失進行加權，其中的權重允許依賴于目標樣本。在這個一般的設置中，我們提供了基于積分概率度量(IPM)和Rademacher復雜性的源任務加權經驗風險和預期目標風險之間距離的上限，該上限適用于包括MAML和加權MAML變體在內的許多元學習設置。然后開發一個基于最小化誤差學習算法對實證IPM,包括α-MAML加權MAML算法。最后，我們實證地證明了我們的加權元學習算法能夠比單加權元學習算法(如MAML)找到更好的初始化。

元學習的研究越來越受到學者們的重視，從最初在圖像領域的研究逐漸拓展到其他領域，目前推薦系統領域也出現了相關的研究問題，本文介紹了5篇基于元學習的推薦系統相關論文，包括用戶冷啟動推薦、項目冷啟動推薦等。

1. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation

本文提出了一種新的推薦系統，解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好，現有的推薦系統，如Netflix，在啟動初向用戶提供物品選擇，我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性：(1) 只有少量物品交互行為的用戶推薦效果不佳，(2) 候選集合不足，無法識別用戶偏好。為了克服這兩個限制，我們提出了一種基于元學習的推薦系統MeLU。從元學習中，MeLU可以通過幾個例子快速地應用于新任務，通過幾個消費物品來估計新用戶的偏好。此外，我們提供了一個候選集合選擇策略，以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證，與兩個對比模型相比，該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。

2. Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

3. Sequential Scenario-Specific Meta Learner for Online Recommendation

冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

4. A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解（M F）是最流行的項目（item）推薦技術之一，但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳（比如Tweet推薦）。在本文中，我們提出了一種元學習策略，以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構，實現了我們的元學習策略。第一個體系結構學習線性分類器，其權重由項目歷史決定，而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果，實驗證明了我們提出的算法大大超過了MF基線方法。

5. One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

推薦算法的有效性通常用評價指標來評估，如均方根誤差、F1或點擊率CTR，在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的，然而，對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此，基于總體評價結果選擇單一算法并不是最優的。在本文中，我們提出了一種基于元學習的推薦方法，其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法（RMSE，100K：0.973；1M：0.908）沒有優于單個的最佳算法SVD++（RMSE，100k：0.942；1M：0.887）。我們還探索了元學習者之間的區別，他們在每個實例（微級別），每個數據子集（中級）和每個數據集（全局級別）上進行操作。評估表明，與使用的總體最佳算法相比，一個假設完美的微級元學習器將提高RMSE 25.5%。

題目： Multimodal Model Agnostic Meta-Learning via Task-Aware Modulation

簡介：

模型不可知元學習者的目標是從相似的任務中獲取元學習參數，以適應分布相同但梯度更新較少的新任務。由于模型選擇的靈活性，這些框架在諸如少鏡頭圖像分類和增強學習等多個領域表現出了良好的性能。然而，此類框架的一個重要限制是，它們尋求在整個任務分布中共享的公共初始化，這極大地限制了它們能夠學習的任務分布的多樣性。在本文中，我們增強了MAML的能力，以識別從多模式任務分布中采樣的任務模式，并通過梯度更新快速適應。具體來說，我們提出了一個多模態MAML框架，該框架能夠根據所識別的模式調整其元學習先驗參數，從而實現更高效的快速適應。我們在一組不同的少鏡頭學習任務上對所提出的模型進行評估，包括回歸、圖像分類和強化學習。結果不僅證明了我們的模型在調整元學習先驗以響應任務特征方面的有效性，而且表明了多模態分布的訓練比單模態訓練有更好的效果。

邀請嘉賓：

Risto Vuorio是密歇根大學Satinder Singh實驗室的訪問學者，致力于深度強化學習和終身學習，對開發新的增強學習算法并將其應用于新問題很感興趣。

Shao-Hua Sun是南加利福尼亞大學(USC)計算機科學專業的三年級博士生，與Joseph J. Lim教授一起在視覺與機器人認知學習實驗室(CLVR)擔任Annenberg研究員。在加入USC之前，在國立臺灣大學(NTU)電子工程系獲得學士學位。研究興趣橫跨深度學習、計算機視覺、強化學習、元學習、機器人學習等領域。

題目：* Meta-Learning without Memorization

摘要：

元學習已經成為一種很有前途的技術，它可以利用以前任務中的數據來高效地學習新任務。然而，大多數元學習算法都隱含地要求元訓練任務是互斥的，這樣就沒有一個模型可以同時解決所有的任務。例如，在為少鏡頭圖像分類創建任務時，先前的工作使用每個任務隨機分配圖像類到N-way分類標簽。如果不這樣做，元學習者可以忽略任務訓練數據，學習一個模型來執行所有的元訓練任務，但不能有效地適應新的圖像類。這個需求意味著用戶在設計任務時必須非常小心，例如通過打亂標簽或從輸入中刪除任務標識信息。在某些領域，這使得元學習完全不適用。在這篇論文中，我們通過使用信息論設計一個元正則化目標來解決這一挑戰，信息論優先考慮數據驅動的適應。這導致元學習者決定必須從任務訓練數據中學習什么，以及應該從任務測試輸入中推斷什么。通過這樣做，我們的算法可以成功地使用來自非互斥任務的數據來有效地適應新的任務。我們證明了它對上下文和基于梯度的元學習算法的適用性，并將其應用于實際環境中，在那里應用標準的元學習是困難的。在這些設置中，我們的方法大大優于標準的元學習算法。

作者簡介：

Mingzhang Yin是得克薩斯大學奧斯汀分校統計與數據科學系的博士生。Mingzhang Yin對貝葉斯統計和機器學習非常感興趣，研究范圍是近似貝葉斯推理、因果推論、信息論和理論統計學、元學習、生物醫學和醫療。

Mingyuan Zhou是得克薩斯大學奧斯汀分校的副教授，在麥庫姆斯商學院信息、風險和運營管理(IROM)部門的統計組工作，也是自然科學學院統計與數據科學系的核心教員。于2013年獲得杜克大學博士學位，2008年獲得中國科學院碩士學位，2005年獲得南京大學理學學士學位。研究范圍是貝葉斯統計和機器學習的交叉領域，對統計理論與方法、層次模型、貝葉斯非參數、大數據統計推理、深度學習感興趣，目前專注于用深度學習推進統計推斷和用概率方法推進深度學習。

論文題目： Meta Learning for End-to-End Low-Resource Speech Recognition

摘要： 在本文中，我們提出將元學習方法應用于低資源的自動語音識別(ASR)。我們將不同語言的ASR表示為不同的任務，并通過最近提出的模型無關元學習算法(MAML)，從許多預訓練語言中學習初始化參數，以實現對未知目標語言的快速適應。我們以六種語言為訓練前任務，四種語言為目標任務，對提出的方法進行了評估。初步結果表明，MetaASR方法在訓練前不同語言組合的所有目標語言上顯著優于目前最先進的多任務訓練前方法。此外，由于MAML的模型無關性，本文也為元學習在更多語音相關應用中的應用開辟了新的研究方向。

論文作者： Jui-Yang Hsu, Yuan-Jui Chen, Hung-yi Lee

李宏毅（Hung-yi Lee）目前任臺灣大學電機工程學系和電機資訊學院的助理教授，他曾于 2012 年獲得臺灣大學博士學位，并于 2013 年赴麻省理工學院（MIT）計算機科學和人工智能實驗室（CSAIL）做訪問學者。他的研究方向主要是機器學習（深度學習）和語音識別。

論文題目： Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

摘要： 元學習作為一種模仿人類智能的可能方法，近來受到了極大的關注，即，學習新的知識和技能。現有的元學習方法多用于解決圖像、文本等少數樣本的學習問題，在歐幾里得域比較常見。然而，將元學習應用于非歐幾里得域的研究工作非常少，最近提出的圖神經網絡(GNNs)模型在處理圖少樣本學習問題時表現不佳。為此，我們提出了一種新的圖元學習框架——元GNN，以解決圖元學習環境中節點分類問題。該算法通過對多個相似的少樣本學習任務進行訓練，獲得分類器的先驗知識，然后利用標記樣本數量較少的新類對節點進行分類。此外，Meta-GNN是一個通用模型，可以直接納入任何現有的最先進的GNN。我們在三個基準數據集上的實驗表明，我們的方法不僅在元學習范式中大大提高了節點分類性能，而且為任務適應提供了一個更通用、更靈活的模型。

論文作者： Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng