亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Deep Isometric Learning for Visual Recognition

簡介： 初始化，正則化和skip連接被認為是訓練非常深的卷積神經網絡并獲得最新性能的三種必不可少的技術。 本文表明，無需規范化或skip連接的深層卷積網絡也可以訓練出在標準圖像識別基準上獲得令人驚訝的良好性能。 這是通過在初始化和訓練過程中強制卷積內核接近等距來實現的，還可以通過使用ReLU的變體來實現等距變遷。 進一步的實驗表明，如果與skip連接結合使用，則即使完全不進行正則化，此類近等距網絡也可以達到ResNet在ImageNet與COCO數據集上相同的性能。

使用生成模型的無監督學習具有發現3D場景豐富表示的潛力。這種神經場景表示可能隨后支持各種下游任務，從機器人技術到計算機圖形再到醫學成像。然而，現有的方法忽略了場景最基本的屬性之一:三維結構。在這項工作中，我們使神經場景表征與一個感應偏差的三維結構的情況。我們證明了這種歸納偏差如何使無監督的發現幾何和外觀，只給定的二維圖像。通過學習一組這樣的三維結構感知神經表征的分布，我們可以執行聯合重建的三維形狀和外觀只給出一個單一的二維觀察。我們表明，在這個過程中學習到的特征使整個類對象的三維語義分割成為可能，只訓練了30個帶標記的例子，證明了三維形狀、外觀和語義分割之間的緊密聯系。最后，我們討論了場景表示學習在計算機視覺本身中的本質和潛在作用，并討論了未來工作的前景。

交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。

題目： Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation

摘要： 圖像級弱監督語義分割是近年來深入研究的一個具有挑戰性的問題。大多數高級解決方案都利用類激活映射(CAM)。然而，由于監督的充分性和弱監督的差距，CAMs很難作為目標掩模。在這篇論文中，我們提出了一個自我監督的等變注意機制(SEAM)來發現額外的監督并縮小差距。我們的方法是基于等方差是完全監督語義分割的一個隱含約束，其像素級標簽在數據擴充過程中與輸入圖像進行相同的空間變換。然而，這種約束在圖像級監控訓練的凸輪上丟失了。因此，我們提出了對不同變換圖像的預測凸輪進行一致性正則化，為網絡學習提供自監督。此外，我們提出了一個像素相關模塊(PCM)，它利用上下文外觀信息，并改進當前像素的預測由其相似的鄰居，從而進一步提高CAMs的一致性。在PASCAL VOC 2012數據集上進行的大量實驗表明，我們的方法在同等監督水平下表現優于最先進的方法。

強化學習(RL)是學習采取行動解決任務的強大框架。然而，在許多情況下，一個代理必須將所有可能的任務的大得令人難以置信的空間縮小到當前要求它解決的單個任務。我們是否可以將任務的空間限制在語義上有意義的范圍內呢?在這項工作中，我們介紹了一個使用弱監督的框架來自動地把這個語義上有意義的子空間的任務從巨大的無意義的“雜碎”任務中分離出來。我們證明了這個學習得的子空間能夠進行有效的探索，并提供了捕獲狀態之間距離的表示。對于各種具有挑戰性的、基于視覺的連續控制問題，我們的方法帶來了大量的性能收益，特別是隨著環境的復雜性的增長。

題目： Self-Supervised Viewpoint Learning From Image Collections

簡介：

訓練深度神經網絡以估計對象的視點需要標記大型訓練數據集。但是，手動標記視點非常困難，容易出錯且耗時。另一方面，從互聯網（例如汽車或人臉）上挖掘許多未分類的物體類別圖像相對容易。我們試圖回答這樣的研究問題：是否可以僅通過自我監督將這種未標記的野外圖像集合成功地用于訓練一般對象類別的視點估計網絡。這里的自我監督是指網絡具有的唯一真正的監督信號是輸入圖像本身。我們提出了一種新穎的學習框架，該框架結合了“綜合分析”范式，利用生成網絡以視點感知的方式重構圖像，并具有對稱性和對抗性約束，以成功地監督我們的視點估計網絡。我們表明，對于人臉，汽車，公共汽車和火車等幾個對象類別，我們的方法在完全監督方法上具有競爭性。我們的工作為自我監督的觀點學習開辟了進一步的研究，并為其提供了堅實的基礎。

僅憑對話就能猜測人類行為嗎?在這項工作中，我們調查了電影中的言語和動作之間的聯系。我們注意到，電影劇本描述動作，也包含角色的語言，因此可以用來學習這種相關性，而不需要額外的監督。我們在一千多部電影劇本中訓練一個基于BERT的語音動作分類器，從轉錄的語音片段中預測動作標簽。然后，我們將該模型應用于一個大型未標記電影語料庫的語音片段(來自288K電影的1.88億個語音片段)。利用該模型的預測，我們得到了800K以上視頻片段的弱動作標簽。通過對這些視頻剪輯的訓練，我們在標準動作識別基準上展示了優越的動作識別性能，而無需使用一個手動標記的動作示例。

許多深度神經網絡的訓練算法可以解釋為最小化網絡預測與目標分布之間的交叉熵損失。在監督學習中，這種目標分布通常是一個one hot向量。在半監督學習中，這種目標分布通常是由一個預先訓練好的教師模型來訓練主網絡生成的。在這項工作中，我們沒有使用這種預定義的目標分布，而是證明了學習根據主網絡的學習狀態來調整目標分布可以獲得更好的性能。特別地，我們提出了一種有效的元學習算法，該算法鼓勵教師以改善主網絡學習的方式來調整訓練樣本的目標分布。教師通過在一個預定的驗證集上評估主網絡計算出的策略梯度來更新。我們的實驗證明了在強基線上的重大改進，并在CIFAR-10、SVHN和ImageNet上建立了最新的性能。例如，使用小型數據集上的ResNets，我們在CIFAR-10上實現了96.1%(包含4,000個標記示例)，在ImageNet上實現了73.9%(包含10%示例)的top-1。同時，在完整的數據集上加上額外的未標記數據，我們在CIFAR-10上獲得98.6%的準確率，在ImageNet上獲得86.9%的top-1的準確率。

題目： Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey

摘要： 為了在計算機視覺應用中從圖像或視頻中獲得更好的視覺特征學習性能，通常需要大規模的標記數據來訓練深度神經網絡。為了避免大規模數據集收集和標注的大量開銷，作為無監督學習方法的一個子集，提出了一種自監督學習方法，在不使用任何人類標注的標簽的情況下，從大規模無標記數據中學習圖像和視頻的一般特征。本文對基于深度學習的自監督一般視覺特征學習方法進行了廣泛的綜述。首先，描述了該領域的動機、通用管道和術語。在此基礎上，總結了常用的用于自監督學習的深度神經網絡體系結構。接下來，回顧了自監督學習方法的模式和評價指標，然后介紹了常用的圖像和視頻數據集以及現有的自監督視覺特征學習方法。最后，總結和討論了基于基準數據集的定量性能比較方法在圖像和視頻特征學習中的應用。最后，對本文的研究進行了總結，并提出了一套具有發展前景的自監督視覺特征學習方法。

簡介： Yann Lecun在演講中介紹了“蛋糕類比”，以說明自我監督學習的重要性。 盡管對此類比法進行了辯論（參見：《機器人的深度學習》（幻燈片96）， Pieter Abbeel），但我們已經看到了自我監督學習在自然語言處理領域的影響，該領域的最新發展（Word2Vec，Glove，ELMO，BERT） 進行自我監督并取得了最新成果。

“如果智力是蛋糕，那么蛋糕的大部分是自我監督學習，蛋糕上的糖衣是監督學習，蛋糕上的櫻桃是強化學習（RL）。”

核心思想：

要應用監督學習，我們需要足夠的標簽數據。 為此，人工注釋者手動標記數據（圖像/文本），這既耗時又昂貴。 還有一些領域，例如醫學領域，獲取足夠的數據本身就是一個挑戰。

這是自我監督學習發揮作用的地方。 為此提出了以下問題： 我們是否可以通過這樣的方式設計任務，即可以從現有圖像中生成幾乎無限的標簽，并以此來學習表示形式？

現存的方法：

• 圖片
  • 圖片著色
  • 圖片超分辨率
  • 圖像修補
  • 圖像拼圖
  • 上下文預測
  • 圖像幾何變換識別
  • 圖像聚類
  • 圖片合成
• 視頻
  • 圖片幀順序驗證