亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。

【導讀】Yann Lecun在紐約大學開設的2020春季《深度學習》課程，干貨滿滿。最新的一期是來自Facebook AI的研究科學家Ishan Misra講述了計算機視覺中的自監督學習最新進展，108頁ppt，很不錯報告。

在過去的十年中，許多不同的計算機視覺問題的主要成功方法之一是通過對ImageNet分類進行監督學習來學習視覺表示。并且，使用這些學習的表示，或學習的模型權值作為其他計算機視覺任務的初始化，在這些任務中可能沒有大量的標記數據。

但是，為ImageNet大小的數據集獲取注釋是非常耗時和昂貴的。例如:ImageNet標記1400萬張圖片需要大約22年的人類時間。

因此，社區開始尋找替代的標記過程，如社交媒體圖像的hashtags、GPS定位或自我監督方法，其中標簽是數據樣本本身的屬性。

什么是自監督學習？

定義自我監督學習的兩種方式：

• 基礎監督學習的定義，即網絡遵循監督學習，標簽以半自動化的方式獲得，不需要人工輸入。

• 預測問題，其中一部分數據是隱藏的，其余部分是可見的。因此，其目的要么是預測隱藏數據，要么是預測隱藏數據的某些性質。

自監督學習與監督學習和非監督學習的區別:

• 監督學習任務有預先定義的(通常是人為提供的)標簽，

• 無監督學習只有數據樣本，沒有任何監督、標記或正確的輸出。

• 自監督學習從給定數據樣本的共現形式或數據樣本本身的共現部分派生出其標簽。

自然語言處理中的自監督學習

Word2Vec

• 給定一個輸入句子，該任務涉及從該句子中預測一個缺失的單詞，為了構建文本前的任務，該任務特意省略了該單詞。

• 因此，這組標簽變成了詞匯表中所有可能的單詞，而正確的標簽是句子中省略的單詞。

• 因此，可以使用常規的基于梯度的方法對網絡進行訓練，以學習單詞級表示。

為什么自監督學習

自監督學習通過觀察數據的不同部分如何交互來實現數據的學習表示。從而減少了對大量帶注釋數據的需求。此外，可以利用可能與單個數據樣本相關聯的多個模式。

計算機視覺中的自我監督學習

通常，使用自監督學習的計算機視覺管道涉及執行兩個任務，一個前置任務和一個下游任務。

• 下游任務可以是任何類似分類或檢測任務的任務，但是沒有足夠的帶注釋的數據樣本。

• Pre-text task是為學習視覺表象而解決的自監督學習任務，其目的是利用所學習的表象，或下游任務在過程中獲得的模型權值。

發展Pre-text任務

• 針對計算機視覺問題的文本前任務可以使用圖像、視頻或視頻和聲音來開發。

• 在每個pre-text任務中，都有部分可見和部分隱藏的數據，而任務則是預測隱藏的數據或隱藏數據的某些屬性。

下載鏈接： 鏈接: //pan.baidu.com/s/1gNK4DzqtAMXyrD1fBFGa-w 提取碼: ek7i

最近的研究表明，預訓練文本表示能夠顯著提高許多自然語言處理任務的性能。訓練的中心目標是學習對后續任務有用的文本表示形式。然而，現有的方法是通過最小化代理目標(如語言建模的負日志可能性)來優化的。在這項工作中，我們介紹了一個學習算法，它直接優化模型學習文本表示的能力，以有效地學習下游任務。我們證明了多任務預訓練和模型不可知的元學習之間有著內在的聯系。BERT中采用的標準多任務學習目標是元訓練深度為零的學習算法的一個特例。我們在兩種情況下研究了這個問題:無監督的預訓練和有監督的預訓練，不同的預訓練對象驗證了我們的方法的通用性。實驗結果表明，我們的算法對各種下游任務進行了改進，獲得了更好的初始化。

強化學習(RL)是學習采取行動解決任務的強大框架。然而，在許多情況下，一個代理必須將所有可能的任務的大得令人難以置信的空間縮小到當前要求它解決的單個任務。我們是否可以將任務的空間限制在語義上有意義的范圍內呢?在這項工作中，我們介紹了一個使用弱監督的框架來自動地把這個語義上有意義的子空間的任務從巨大的無意義的“雜碎”任務中分離出來。我們證明了這個學習得的子空間能夠進行有效的探索，并提供了捕獲狀態之間距離的表示。對于各種具有挑戰性的、基于視覺的連續控制問題，我們的方法帶來了大量的性能收益，特別是隨著環境的復雜性的增長。

在這篇論文中，我們提出了一個框架，能夠生成與給定的一次性樣例相同分布的人臉圖像。我們利用一個預先訓練的StyleGAN模型，它已經學會了一般的面部分布。針對這一一次性目標，我們提出了一種快速調整模型權值的迭代優化方案，以使輸出的高階分布適應目標的高階分布。為了生成相同分布的圖像，我們引入了一種風格混合技術，將低水平的統計信息從目標傳輸到模型隨機生成的人臉。這樣，我們就能夠生成無限數量的面孔，這些面孔既繼承了一般人臉的分布，也繼承了一次性人臉的分布。新生成的人臉可以作為其他下游任務的增強訓練數據。這樣的設置很有吸引力，因為它需要在目標域中標記很少的標記，甚至只需要一個示例，而在現實世界中，人臉操作通常是由各種未知的和獨特的分布導致的。結果表明，本文提出的單樣本自適應方法是一種有效的人臉操作檢測方法，并與其他多鏡頭自適應方法進行了定性和定量的比較。

元學習利用相關的源任務來學習初始化，可以通過有限的標記示例將初始化快速調整到目標任務。然而，許多流行的元學習算法，如模型無關元學習(MAML)，都只假設可以訪問目標樣本進行微調。在這項工作中，我們提供了一個通用的元學習框架，該框架基于對不同源任務的損失進行加權，其中的權重允許依賴于目標樣本。在這個一般的設置中，我們提供了基于積分概率度量(IPM)和Rademacher復雜性的源任務加權經驗風險和預期目標風險之間距離的上限，該上限適用于包括MAML和加權MAML變體在內的許多元學習設置。然后開發一個基于最小化誤差學習算法對實證IPM,包括α-MAML加權MAML算法。最后，我們實證地證明了我們的加權元學習算法能夠比單加權元學習算法(如MAML)找到更好的初始化。

【導讀】如何利用未標記數據進行機器學習是當下研究的熱點。最近自監督學習、對比學習等提出用于解決該問題。最近來自Google大腦團隊的Luong博士介紹了無標記數據學習的進展，半監督學習以及他們最近重要的兩個工作：無監督數據增強和自訓練學習，是非常好的前沿材料。

深度學習盡管取得了很大成功，但通常在小標簽訓練集中表現不佳。利用未標記數據改善深度學習一直是一個重要的研究方向，其中半監督學習是最有前途的方法之一。在本次演講中，Luong博士將介紹無監督數據增強（UDA），這是我們最近的半監督學習技術，適用于語言和視覺任務。使用UDA，我們僅使用一個或兩個數量級標記較少的數據即可獲得最先進的性能。

在本次演講中，Luong博士首先解釋了基本的監督機器學習。在機器學習中，計算機視覺的基本功能是利用圖像分類來識別和標記圖像數據。監督學習需要輸入和標簽才能與輸入相關聯。通過這樣做，您可以教AI識別圖像是什么，無論是對象，人類，動物等。Luong博士繼續進一步解釋神經網絡是什么，以及它們如何用于深度學習。這些網絡旨在模仿人類大腦的功能，并允許AI自己學習和解決問題。

論文題目

FEW SHOT LINK PREDICTION VIA META LEARNING

論文摘要

我們考慮了樣本鏈接預測的任務，其目標是僅使用一個小樣本的已知邊來預測多個圖中的未命中邊。但是，目前的鏈路預測方法通常不適合處理這項任務，因為它們無法在多圖環境中有效地在圖之間傳遞知識，也無法有效地從非常稀疏的數據中學習。為了應對這一挑戰，我們引入了一個新的基于梯度的元學習框架meta Graph，它利用高階梯度和一個學習的Graph sig nature函數來有條件地生成一個Graph神經網絡初始化，我們證明，元圖形不僅可以快速適應，而且可以更好地最終收斂，并且僅使用一小部分真實邊緣樣本就可以有效地學習。

論文作者

Avishek Joey Bose*來自麥吉爾大學。