亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

自訓練算法訓練模型以適應另一個先前學習的模型預測的偽標簽，對于使用神經網絡對未標記的數據進行學習非常成功。但是，當前對自訓練的理論理解僅適用于線性模型。這項工作為半監督學習，無監督領域適應和無監督學習提供了深度網絡自訓練的統一理論分析。我們分析的核心是一個簡單但現實的“擴展”假設，該假設指出，數據的低概率子集必須擴展到相對于子集而言具有較大概率的鄰域。我們還假設不同類別中的示例鄰域具有最小的重疊。我們證明在這些假設下，基于自訓練和輸入一致性正則化的人口目標最小化方法將在地面真相標簽方面實現高精度。通過使用現成的泛化邊界，我們立即將此結果轉換為在邊際和Lipschitzness中為多項式的神經網絡的樣本復雜度保證。我們的結果有助于解釋最近提出的使用輸入一致性正則化的自訓練算法的經驗成功。

//www.zhuanzhi.ai/paper/dd480967a4fbca4c6cc92

作為一種新穎的范式，可以讓智能體以完全不與環境交互的方式快速適應新的未知任務，極大地提升了強化學習算法在真實世界中的應用范圍和價值。圍繞這一問題目前的相關研究還較少，并且有兩個主要的技術難點。其一，離線強化學習中通常會因為訓練數據與所學習策略的狀態-動作對的分布偏移而產生較大誤差，甚至導致價值函數的發散。其二，元強化學習要求在學習控制策略的同時能高效且魯棒地進行任務推斷(task inference)。

在本文中，我們將針對離線策略學習的行為正則化(behavior regularization)方法，與一個用于任務推斷的確定性的任務信息編碼器進行結合來解決上述的兩大難點。我們在有界的任務信息嵌入空間中引入了一個全新的負指數距離度量，并且將其與控制策略的貝爾曼方程的梯度解耦進行學習。我們分析驗證了在該設定下，采用一些簡單的算法設計即可帶來相比經典元強化學習及度量學習的效果的明顯提升。據我們所知，本方法是第一個端到端、無模型的離線元強化學習算法，計算效率高并且在多個元強化學習實驗環境上表現出優于以往方法的性能。

本方法賦予強化學習算法進行離線學習及高效遷移的能力，離線意味著不需要在真實環境中進行探索、交互，高效遷移意味著算法的魯棒性及數據利用效率更高。我們的方法實現了同時具備上述兩種能力的端到端的算法訓練框架，可以極大擴展強化學習算法的實際應用范圍：例如推動其在諸如醫療、農業、自動駕駛等數據稀缺或極度重視安全性的相關領域的實際應用，包括構建定制化的患者治療方案、針對特定氣候/作物品種的溫室種植策略等。

//www.zhuanzhi.ai/paper/af16ee8631cae148425f27ba32b6f673

最近的小樣本學習方法幾乎都是基于場景式（元任務式）訓練，即為了模仿測試時的情況，每個元任務中對于每個類只采樣少量訓練樣本（支撐樣本）。然而，這種嚴格仿照測試情況的訓練方式有個副作用，即訓練得到的模型容易受到少量支撐樣本的壞采樣的影響。在本工作中，我們第一次以探索場景之間關系的方式來嘗試解決該問題。特別地，我們提出了一個新穎的建模場景級別關系的元學習（MELR）框架：通過采樣兩個擁有相同類別集合的場景用于元訓練，MELR用來保證訓練得到的模型在元測試階段對于質量不高的支撐樣本的存在是魯棒的。這可以通過設計兩個關鍵部件來實現：（1）一個跨場景注意力模塊（CEAM）來提高模型減少壞采樣支撐樣本帶來的反作用的能力；（2）一個跨場景一致性正則（CECR）來保證分別在兩個場景下獨立得到的兩個分類器有一致的表現。在兩個基準數據集上，大量標準小樣本學習實驗顯示我們的MELR相比于我們使用的基準方法（原型網絡）取得了1.0%- 5.0%的性能提升，而且在相同設置下打敗了最新的方法。

//openreview.net/forum?id=D3PcGLdMx0

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

目標檢測器通常在完全標注實例的監督學習情況下獲得很好的結果。但是，對于稀疏實例注釋，它們的性能遠遠不能令人滿意。現有的稀疏標注目標檢測方法主要是對難的負樣本的損失進行重加權，或者將未標注的實例轉換為忽略區域，以減少假陰性的干擾。我們認為這些策略是不夠的，因為它們最多可以減輕由于缺少注釋而造成的負面影響。在本文中，我們提出了一個簡單而有效的機制，稱為協同挖掘，稀疏標注的目標檢測。在協同挖掘中，一個連體網絡的兩個分支相互預測偽標簽集。為了增強多視圖學習和更好地挖掘未標記實例，將原始圖像和相應的增強圖像分別作為Siamese網絡的兩個分支的輸入。協同挖掘可以作為一種通用的訓練機制，應用于大多數現代目標檢測器。在三種不同稀疏注釋設置的MS COCO數據集上進行了實驗，使用兩種典型的框架:基于錨的檢測器RetinaNet和無錨檢測器FCOS。實驗結果表明，與RetinaNet的協同挖掘方法相比，在相同的稀疏標注設置下，相比于不同的基線，改進了1.4%~2.1%，超過了現有的方法。

//www.zhuanzhi.ai/paper/26fe94a8c64fbb5140619ab72ed036d1

論文專欄： KDD 2020 元學習相關論文分享

論文解讀者： 北郵 GAMMA Lab 碩士生 王春辰

題目： TAdaNet: Task-Adaptive Network for Graph-Enriched Meta-Learning

會議： KDD 2020

論文地址： //dl.acm.org/doi/pdf/10.1145/3394486.3403230

推薦理由： 標準的元學習過程是共享全局的經驗進行參數調整。具有全局共享知識的標準元學習不能很好地處理任務的異構性問題，即任務位于不同的分布。本文提出了一種可以融合領域知識的框架，并提供對于特定任務的參數定制。相比于標準元學習過程，該方法可以更好的使的參數適應于一種特定的任務。

1 引言 現實應用程序中帶注釋的數據樣本通常是有限的。元學習利用從相關任務中學習到的先驗知識，并將其推廣到有監督經驗有限的新任務中，是一種有效的少發式學習方法。然而，具有全局共享知識的標準元學習不能很好地處理任務的異構性問題，即任務位于不同的分布。而KDD2020上的這篇文章利用領域知識圖來豐富數據表示，并提供特定于任務的定制。

2 動機與貢獻 本文著眼于將領域圖中的信息引入到元學習當中來，提出了一個任務自適應的元學習框架TAdaNet，該框架允許跨領域知識圖的節點傳遞消息，并促進針對不同任務的元知識定制。該模型通過在記憶網絡中組織歷史任務中的任務知識來學習任務嵌入，并根據任務嵌入的條件產生任務感知參數調整來定制學習器參數。每項任務的學習者為分類任務的每個類生成一個原型。具體地說，該框架利用給定圖上的類關系，通過注意力機制組合鄰域信息來學習原型。數據表示可以通過聚合來自其鄰居的信息來豐富，并且任務關系由圖上鏈接類的路徑來捕獲。

在關系抽取任務中，注釋大量的句子集是費時且昂貴的，因此標記數據的數量非常有限。通常的解決方法是采用遠程監督，然而遠程監督的缺陷是生成的數據噪聲較多。因為兩個實體之間可能存在多種關系，很難確定實體對在特定的上下文中屬于哪一種關系，或者句子是否表達了某種關系。

目前人們傾向于使用元學習的方法來提取關系。元學習的思想是用大量不同的任務來訓練模型，每個任務都有幾個例子來演示，這樣學習的模型就可以快速推廣到只有幾個例子的新任務。但該方法訓練數據的信息量仍然有限，其性能仍然不盡人意。為了更有效地推廣到新的關系和任務，作者提出了利用全局圖的方法建模不同的關系。全局關系圖提供了不同關系之間關系的先驗知識，允許我們在關系之間轉移監督以及在沒有擴充帶標簽的句子的情況下推廣這些關系。此外，作者提出了一種新的貝葉斯元學習方法，通過學習基于標記句子的關系原型向量(即支持集)和全局關系圖實現小樣本關系抽取。

//arxiv.org/abs/2007.02387

//arxiv.org/abs/2008.04031

對于有足夠標記樣本的基類，小樣本分類的目標是在只有少量標記樣本的情況下識別新類的未標記樣本。現有的方法大多只關注新類的標記樣本和未標記樣本之間的關系，沒有充分利用基類內部的信息。在本文中，我們為研究小樣本分類問題做了兩個貢獻。首先，我們提出了一個簡單而有效的基線，通過傳統的監督學習的方式在基類上訓練，可以取得與目前水平相當的結果。其次，在基線的基礎上，我們提出了一個協作的雙路徑分類度量，它利用基類和新類之間的相關性來進一步提高分類的準確性。在兩個廣泛使用的基準上的實驗表明，該方法是一種簡單有效的分類方法，在小樣本分類領域開創了一種新局面。

領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而，對于具有不同數據可用性的時間序列數據，還沒有考慮到健壯的技術。在本文中，我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS)，該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據，我們增加了CoDATS的有用性，從而進一步提高了與以前的單源方法相比的準確性，特別是在域之間具有高度可變性的復雜時間序列數據集上。其次，我們提出了一種新的弱監督域自適應(DA-WS)方法，利用目標域標簽分布形式的弱監督，這可能比其他數據標簽更容易收集。第三，我們對不同的真實數據集進行了綜合實驗，以評估我們的域適應和弱監督方法的有效性。結果表明，用于單源DA的CoDATS比最先進的方法有了顯著的改進，并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。

最近深度神經網絡已經在監督識別任務上取得了令人振奮的突破，但是深度神經網絡要求每個類都有足夠 多的且完全標注的訓練數據。如何從少數訓練樣本中學習并識別新的類別，對于深度神經網絡來說是一個具有挑戰性的問題。針對如何解決少樣本學習的問題，全面總結了現有的基于深度神經網絡的少樣本學習方法，涵蓋了方法 所用模型、數據集及評估結果等各個方面。具體地，針對基于深度神經網絡的少樣本學習方法，提出將其分為四種 類別，即數據增強方法、遷移學習方法、度量學習方法和元學習的方法；對于每個類別，進一步將其分為幾個子類 別，并且在每個類別與方法之間進行一系列比較，以顯示各種方法的優劣和各自的特點。最后，強調了現有方法的局限性，并指出了少樣本學習研究領域的未來研究方向。