亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

目前流行的圖學習方法需要豐富的標簽和邊信息進行學習。「當新任務的數據稀缺時，元學習允許我們從以前的經驗中學習」，并形成急需的歸納偏見，以便快速適應新任務。

此文介紹了「G-META，一種新的圖的元學習方法：」

G-META 使用局部子圖傳遞特定于子圖的信息，并通過元梯度使模型更快地學習基本知識。 G-META 學習如何僅使用新任務中的少數節點或邊來快速適應新任務，并通過學習其他圖或相關圖(盡管是不相交的標簽集)中的數據點來做到這一點。 G-META 在理論上是合理的，因為「特定預測的證據可以在目標節點或邊周圍的局部子圖中找到。」

現有方法是專門為特定的圖元學習問題和特定的任務設計的專門技術。雖然這些方法為 GNN 中的元學習提供了一種很有前途的方法，但它們的特定策略沒有很好的伸縮性，也不能擴展到其他圖的元學習問題（圖1）。

語義分割(Semantic Segmentation)任務需要對輸入圖像中的每一個像素都進行類別預測。因此想要訓練一個全監督的segmentation模型，則首先需要消耗大量的人力、財力對訓練圖像進行逐像素的標注。為緩解這個問題，人們利用一些較容易獲取的弱標簽(Weak Label)作為圖像的監督信息來訓練segmentation模型。比如，常見的弱標簽有Bounding Box、Scribble、Point以及Image-level class label。我們的研究內容是基于image-level class label的，其是這些弱標簽中是容易獲取但也是最難處理的，因為image-level class label本身只提供了圖像的類別信息而沒有目標在圖像中的位置信息。目前流行的基于image-level class label的弱監督segmentation模型主要分為以下三個步驟進行，如圖1所示：1）首先通過multi-label image classification模型獲取圖像的類響應激活圖(Class Activation Map)作為種子區域(Seed Area)；2）在種子區域的基礎上，通過計算像素之間的語義相似性對種子區域進行擴張(Exoansion)得到圖像的偽標簽(Pseudo-Mask)；3）使用偽標簽作為Ground-Truth訓練一個全監督的語義分割模型，并在訓練好的模型上對val/test集合進行預測。

我們提出的基于因果干預的Context Adjustment (CONTA)模型主要有以下幾個優勢：

CONTA是第一個使用因果圖來分析弱監督語義分割模型中各component之間的關系，從而找出了造成現有的pseudo-mask不準確的本質原因是因為數據集中的上下文先驗是混淆因子。在此基礎上，我們又進一步提出了使用因果干預切斷上下文先驗和圖像之間的關聯，從而提升pseudo-mask的質量。

不同于以往的基于graph neural network或復雜的attention機制的弱監督語義分割模型，CONTA的設計簡潔，并沒有很復雜的操作和訓練步驟在其中。

我們在4種不同的弱監督語義分割模型上都進行了實驗，結果表明CONTA可以提升模型CAM、pseuso-mask和segmentation mask的質量，從而驗證了CONTA的通用性和有效性。我們相信CONTA在將來也可以被應用到其他的弱監督語義分割模型上。

參考鏈接：

//zhuanlan.zhihu.com/p/260967655

在關系抽取任務中，注釋大量的句子集是費時且昂貴的，因此標記數據的數量非常有限。通常的解決方法是采用遠程監督，然而遠程監督的缺陷是生成的數據噪聲較多。因為兩個實體之間可能存在多種關系，很難確定實體對在特定的上下文中屬于哪一種關系，或者句子是否表達了某種關系。

目前人們傾向于使用元學習的方法來提取關系。元學習的思想是用大量不同的任務來訓練模型，每個任務都有幾個例子來演示，這樣學習的模型就可以快速推廣到只有幾個例子的新任務。但該方法訓練數據的信息量仍然有限，其性能仍然不盡人意。為了更有效地推廣到新的關系和任務，作者提出了利用全局圖的方法建模不同的關系。全局關系圖提供了不同關系之間關系的先驗知識，允許我們在關系之間轉移監督以及在沒有擴充帶標簽的句子的情況下推廣這些關系。此外，作者提出了一種新的貝葉斯元學習方法，通過學習基于標記句子的關系原型向量(即支持集)和全局關系圖實現小樣本關系抽取。

//arxiv.org/abs/2007.02387

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

小樣本學習(FSL)近年來引起了越來越多的關注，但仍然具有挑戰性，因為學習從少數例子中歸納的固有困難。本文提出了一種自適應間隔原則，以提高基于度量的元學習方法在小樣本學習問題中的泛化能力。具體地說，我們首先開發了一個與類相關的加性邊緣損失算法，該算法考慮了每對類之間的語義相似性，從而將特征嵌入空間中的樣本從相似的類中分離出來。此外，我們在抽樣訓練任務中加入所有類別之間的語義上下文，并開發了與任務相關的附加間隔損失，以更好地區分不同類別的樣本。我們的自適應間隔方法可以很容易地推廣到更現實的廣義FSL設置。大量的實驗表明，在標準FSL和通用FSL設置下，所提出的方法可以提高現有基于度量的元學習方法的性能。

大多數基于圖網絡的元學習方法都對實例級關系進行了建模。我們進一步擴展了這個思想，以1-vs-N的方式顯式地將一個示例的分布級關系建模為所有其他示例的分布級關系。提出了一種新的分布傳播圖網絡(DPGN)學習算法。在每一個小樣本學習任務中，它都傳達了分布層次關系和實例層次關系。為了結合所有實例的分布級關系和實例級關系，我們構造了一個由點圖和分布圖組成的對偶完全圖網絡，其中每個節點都代表一個實例。DPGN具有雙重圖結構，可以在幾個更新代中將標簽信息從帶標簽的示例傳播到未帶標簽的示例。在對小樣本學習基準的大量實驗中，DPGN在監督設置下的5% ~ 12%和在半監督設置下的7% ~ 13%的范圍內都比最新的結果好得多。代碼可以在//github.com/megviiresearch/DPGN找到。

小樣本學習是計算機視覺中的一項基本任務，它帶來了減輕對詳盡標記數據需求的希望。到目前為止，大多數小樣本學習方法都集中在日益復雜的神經特征提取器和分類器適應策略，以及任務定義本身的細化。在這篇論文中，我們探討了一個假設，即一個簡單的基于類協方差的距離度量，即馬氏距離，被采用到一個最先進的小樣本學習方法(CNAPS)中，它本身可以導致顯著的性能改進。我們還發現，學習自適應特征提取器是可能的，它允許從非常少的樣本中對該度量所需的高維特征協方差進行有用的估計。我們的工作結果是一個新的“簡單的CNAPS”架構，它比CNAPS少了9.2%的可訓練參數，并且在標準的小樣本圖像分類基準數據集上比現有的技術水平高了6.1%。

元學習的研究越來越受到學者們的重視，從最初在圖像領域的研究逐漸拓展到其他領域，目前推薦系統領域也出現了相關的研究問題，本文介紹了5篇基于元學習的推薦系統相關論文，包括用戶冷啟動推薦、項目冷啟動推薦等。

1. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation

本文提出了一種新的推薦系統，解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好，現有的推薦系統，如Netflix，在啟動初向用戶提供物品選擇，我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性：(1) 只有少量物品交互行為的用戶推薦效果不佳，(2) 候選集合不足，無法識別用戶偏好。為了克服這兩個限制，我們提出了一種基于元學習的推薦系統MeLU。從元學習中，MeLU可以通過幾個例子快速地應用于新任務，通過幾個消費物品來估計新用戶的偏好。此外，我們提供了一個候選集合選擇策略，以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證，與兩個對比模型相比，該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。

2. Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

3. Sequential Scenario-Specific Meta Learner for Online Recommendation

冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

4. A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解（M F）是最流行的項目（item）推薦技術之一，但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳（比如Tweet推薦）。在本文中，我們提出了一種元學習策略，以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構，實現了我們的元學習策略。第一個體系結構學習線性分類器，其權重由項目歷史決定，而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果，實驗證明了我們提出的算法大大超過了MF基線方法。

5. One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

推薦算法的有效性通常用評價指標來評估，如均方根誤差、F1或點擊率CTR，在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的，然而，對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此，基于總體評價結果選擇單一算法并不是最優的。在本文中，我們提出了一種基于元學習的推薦方法，其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法（RMSE，100K：0.973；1M：0.908）沒有優于單個的最佳算法SVD++（RMSE，100k：0.942；1M：0.887）。我們還探索了元學習者之間的區別，他們在每個實例（微級別），每個數據子集（中級）和每個數據集（全局級別）上進行操作。評估表明，與使用的總體最佳算法相比，一個假設完美的微級元學習器將提高RMSE 25.5%。