亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在充分利用大量未標記數據的同時，從少量帶標記的樣例中學習的一種模式是，先進行無監督的預訓練，然后進行有監督的微調。盡管與計算機視覺半監督學習的常見方法相比，這種范式以任務無關的方式使用未標記數據，但我們證明它對于ImageNet上的半監督學習非常有效。我們方法的一個關鍵要素是在訓練前和微調期間使用大的(深度和廣度的)網絡。我們發現，標簽越少，這種方法(使用未標記數據的任務無關性)從更大的網絡中獲益越多。經過微調后，通過第二次使用未標記的例子，將大的網絡進一步改進，并以特定任務的方式將其精簡為分類精度損失很小的小網絡。本文提出的半監督學習算法可歸納為三個步驟: 使用SimCLRv2對一個大的ResNet模型進行無監督的預訓練，對少量帶標記的樣例進行有監督的微調，以及對未帶標記的樣例進行精化和傳遞特定任務的知識。使用ResNet-50，該程序僅使用1%的標簽(每個類別≤13張標記圖像)，就實現了73.9%的ImageNet top-1精度，比以前的最先進的標簽效率提高了10倍。對于10%的標簽，ResNet-50用我們的方法訓練達到77.5%的top-1準確性，優于所有標簽的標準監督訓練。

//www.zhuanzhi.ai/paper/0c81b63b2aaae1ae2cc1a9b0fbb382b2

Transformer 模型的自監督預訓練已經徹底改變了NLP的應用。這種語言建模目標的預訓練為參數提供了一個有用的初始化，這些參數可以很好地推廣到新的任務中。然而，微調仍然是數據效率低下的——當有標記的例子很少時，準確性可能會很低。數據效率可以通過優化預訓練;這可以看作是一個元學習問題。然而，標準的元學習技術需要許多訓練任務才能泛化;不幸的是，找到一組不同的這樣的監督任務通常是困難的。本文提出了一種自監督的方法，從無標記文本生成一個龐大的，豐富的元學習任務分布。這是使用closize風格的目標實現的，但是通過從少數詞匯表術語中收集待刪除的標記來創建單獨的多類分類任務。這產生的唯一元訓練任務與詞匯術語子集的數量一樣多。我們使用最近的元學習框架對任務分配的transformer模型進行元訓練。在17個NLP任務中，我們表明，這種元訓練比語言模型前訓練后的精細化能產生更好的少樣本泛化效果。此外，我們還展示了如何將自監督任務與監督任務結合起來進行元學習，從而比之前的監督元學習獲得了更大的準確性。

//arxiv.org/abs/2009.08445

圖分類的目的是對圖結構數據進行準確的信息提取和分類。在過去的幾年里，圖神經網絡(GNNs)在圖分類任務上取得了令人滿意的成績。然而，大多數基于GNNs的方法側重于設計圖卷積操作和圖池操作，忽略了收集或標記圖結構數據比基于網格的數據更困難。我們利用元學習來進行小樣本圖分類，以減少訓練新任務時標記圖樣本的不足。更具體地說，為了促進圖分類任務的學習，我們利用GNNs作為圖嵌入主干，利用元學習作為訓練范式，在圖分類任務中快速捕獲特定任務的知識并將其轉移到新的任務中。為了提高元學習器的魯棒性，我們設計了一種新的基于強化學習的步進控制器。實驗表明，與基線相比，我們的框架運行良好。

元學習的研究越來越受到學者們的重視，從最初在圖像領域的研究逐漸拓展到其他領域，目前推薦系統領域也出現了相關的研究問題，本文介紹了5篇基于元學習的推薦系統相關論文，包括用戶冷啟動推薦、項目冷啟動推薦等。

1. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation

本文提出了一種新的推薦系統，解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好，現有的推薦系統，如Netflix，在啟動初向用戶提供物品選擇，我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性：(1) 只有少量物品交互行為的用戶推薦效果不佳，(2) 候選集合不足，無法識別用戶偏好。為了克服這兩個限制，我們提出了一種基于元學習的推薦系統MeLU。從元學習中，MeLU可以通過幾個例子快速地應用于新任務，通過幾個消費物品來估計新用戶的偏好。此外，我們提供了一個候選集合選擇策略，以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證，與兩個對比模型相比，該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。

2. Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

3. Sequential Scenario-Specific Meta Learner for Online Recommendation

冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

4. A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解（M F）是最流行的項目（item）推薦技術之一，但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳（比如Tweet推薦）。在本文中，我們提出了一種元學習策略，以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構，實現了我們的元學習策略。第一個體系結構學習線性分類器，其權重由項目歷史決定，而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果，實驗證明了我們提出的算法大大超過了MF基線方法。

5. One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

推薦算法的有效性通常用評價指標來評估，如均方根誤差、F1或點擊率CTR，在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的，然而，對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此，基于總體評價結果選擇單一算法并不是最優的。在本文中，我們提出了一種基于元學習的推薦方法，其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法（RMSE，100K：0.973；1M：0.908）沒有優于單個的最佳算法SVD++（RMSE，100k：0.942；1M：0.887）。我們還探索了元學習者之間的區別，他們在每個實例（微級別），每個數據子集（中級）和每個數據集（全局級別）上進行操作。評估表明，與使用的總體最佳算法相比，一個假設完美的微級元學習器將提高RMSE 25.5%。

論文題目： Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

摘要： 元學習作為一種模仿人類智能的可能方法，近來受到了極大的關注，即，學習新的知識和技能。現有的元學習方法多用于解決圖像、文本等少數樣本的學習問題，在歐幾里得域比較常見。然而，將元學習應用于非歐幾里得域的研究工作非常少，最近提出的圖神經網絡(GNNs)模型在處理圖少樣本學習問題時表現不佳。為此，我們提出了一種新的圖元學習框架——元GNN，以解決圖元學習環境中節點分類問題。該算法通過對多個相似的少樣本學習任務進行訓練，獲得分類器的先驗知識，然后利用標記樣本數量較少的新類對節點進行分類。此外，Meta-GNN是一個通用模型，可以直接納入任何現有的最先進的GNN。我們在三個基準數據集上的實驗表明，我們的方法不僅在元學習范式中大大提高了節點分類性能，而且為任務適應提供了一個更通用、更靈活的模型。

論文作者： Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng