亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

針對自監督學習的深度聚類是無監督視覺表示學習中一個非常重要和有前途的方向，因為設計前置任務需要較少的領域知識。而關鍵組件嵌入聚類由于需要保存整個數據集的全局潛在嵌入，限制了其擴展到超大規模的數據集。在這項工作中，我們的目標是使這個框架在不降低性能的情況下更加簡單和優雅。提出了一種不使用嵌入聚類的無監督圖像分類框架，與標準的監督訓練方法非常相似。為了進一步解釋，我們進一步分析了其與深度聚類和對比學習的關系。在ImageNet數據集上進行了大量的實驗，驗證了該方法的有效性。此外，在遷移學習基準上的實驗驗證了它對其他下游任務的推廣，包括多標簽圖像分類、目標檢測、語義分割和小樣本圖像分類。

地址：

//arxiv.org/abs/2006.11480

近年來，深度學習在更高層級的視覺任務中取得矚目的成績，如:物體識別,語義分割等。這些課題曾是傳統視覺無法或很難解決的任務。深度學習方法的這種能力拓展了我們對視覺任務的想象空間，越來越多的 SLAM 開始在他們的框架中通過融合學習的方法來改進位姿估計的準確程度和環境重建的效果。但是深度學習是一個非常寬廣的領域,和 SLAM 相關的課題只是它的一個分支，本書稿將會挑選、聚焦與 SLAM 相關的深度學習任務，希望能通過這本書稿來介紹SLAM 系統中使用的幾何和深度學習的方法，幫助讀者掌握最新的進展。

【導讀】Thomas Kipf是阿姆斯特丹大學博士生，是GCN作者。最近他畢業博士論文公布了，《深度學習圖結構表示》178頁pdf闡述圖卷積神經網絡等機制與應用，包括作者一系列原創圖深度學習工作，有GCN、GAE等，是研究該領域不可缺少的文獻。

阿姆斯特丹大學機器學習專業四年級的博士生，導師Max Welling教授。我的主要興趣是學習結構化數據和結構化表示/計算。這包括推理、(多主體)強化學習和結構化的深層生成模型。

//tkipf.github.io/

《深度學習圖結構表示》

地址：

在這篇論文中，我們提出了利用圖結構表示進行深度學習的新方法。所提出的方法主要基于以圖的形式構造基于神經網絡的模型的表示和計算的主題，這使得在使用顯式和隱式模塊結構學習數據時可以改進泛化。

我們的貢獻如下:

• 我們提出圖卷積神經網絡 graph convolutional networks (GCNs) (Kipf and Welling, 2017;第3章) 用于圖結構數據中節點的半監督分類。GCNs是一種圖神經網絡，它在圖中執行參數化的消息傳遞操作，建模為譜圖卷積的一階近似。在發布時，GCNs在許多無向圖數據集的節點級分類任務中取得了最先進的性能。

• 我們提出圖自編碼器(GAEs) (Kipf and Welling, 2016;第四章）用于圖形結構數據中的無監督學習和鏈接預測。GAEs利用一種基于圖神經網絡的編碼器和一種基于成對評分函數重構圖中的鏈接的解碼器。我們進一步提出了一個模型變量作為概率生成模型，該模型使用變量推理進行訓練，我們將其命名為變量GAE。在沒有節點標簽的情況下，GAEs和變分GAEs特別適合于圖數據的表示學習。

• 我們提出了關系型GCNs (Schlichtkrull and Kipf等，2018;第5章)將GCN模型擴展到具有多種邊緣類型的有向關系圖。關系GCNs非常適合于對關系數據進行建模，我們演示了一個應用于知識庫中的半監督實體分類。

• 我們提出了神經關系推理(NRI) (Kipf and Fetaya等，2018; 第六章)用于交互系統中潛在關系結構的發現。NRI將圖神經網絡與圖中邊緣類型的概率潛在變量模型相結合。我們將NRI應用于相互作用的動力學系統，如物理中的多粒子系統。

• 我們提出組合模仿學習和執行(CompILE) (Kipf等，2019;第7章)，一個序列行為數據的結構發現模型。CompILE使用一種新的可微序列分割機制來發現和自動編碼有意義的行為子序列或子程序。潛代碼可以被執行和重新組合以產生新的行為。

• 我們提出了對比訓練的結構化世界模型(C-SWMs) (Kipf等，2020; 第8章)從無監督的原始像素觀測中學習環境的目標分解模型。C-SWMs使用圖神經網絡以圖的形式構造環境的表示，其中節點表示對象，邊表示在動作影響下的成對關系或交互。C-SWMs在沒有像素損耗的情況下使用對比學習進行訓練，非常適合于具有組成結構的環境的學習模型。

Thomas Kipf論文列表：

• Thomas N. Kipf and Max Welling (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In: International Conference on Learning Representations (ICLR).

• Thomas N. Kipf and Max Welling (2016). "Variational Graph Auto-Encoders." In: NeurIPS Workshop on Bayesian Deep Learning.

• Michael Schlichtkrull*, Thomas N. Kipf*, Peter Bloem, Rianne van den Berg, Ivan Titov and Max Welling (2018). "Modeling Relational Data with Graph Convolutional Networks." In: European Semantic Web Conference (ESWC).

• Thomas Kipf*, Ethan Fetaya*, Kuan-ChiehWang, MaxWelling and Richard Zemel (2018). "Neural Relational Inference for Interacting Systems." In: International Conference on Machine Learning (ICML).

• Thomas Kipf, Yujia Li, Hanjun Dai, Vinicius Zambaldi, Alvaro Sanchez- Gonzalez, Edward Grefenstette, Pushmeet Kohli and Peter Battaglia (2019). "CompILE: Compositional Imitation Learning and Execution." In: International Conference on Machine Learning (ICML).

• Thomas Kipf, Elise van der Pol and Max Welling (2020). "Contrastive Learning of Structured World Models." In: International Conference on Learning Representations (ICLR).

?【導讀】圖像分類是計算機視覺中的基本任務之一，深度學習的出現是的圖像分類技術趨于完善。最近，自監督學習與預訓練技術的發展使得圖像分類技術出現新的變化，這篇論文概述了最新在實際情況中少標簽小樣本等情況下，關于自監督學習、半監督、無監督方法的綜述，值得看！

地址：

//www.zhuanzhi.ai/paper/6d160a5f8634d25a2feda7a30e1e5132

摘要

雖然深度學習策略在計算機視覺任務中取得了突出的成績，但仍存在一個問題。目前的策略嚴重依賴于大量的標記數據。在許多實際問題中，創建這么多標記的訓練數據是不可行的。因此，研究人員試圖將未標記的數據納入到培訓過程中，以獲得與較少標記相同的結果。由于有許多同時進行的研究，很難掌握最近的發展情況。在這項調查中，我們提供了一個概述，常用的技術和方法，在圖像分類與較少的標簽。我們比較了21種方法。在我們的分析中，我們確定了三個主要趨勢。1. 基于它們的準確性，現有技術的方法可擴展到實際應用中。2. 為了達到與所有標簽的使用相同的結果所需要的監督程度正在降低。3.所有方法都共享公共技術，只有少數方法結合這些技術以獲得更好的性能。基于這三個趨勢，我們發現了未來的研究機會。

1. 概述

深度學習策略在計算機視覺任務中取得了顯著的成功。它們在圖像分類、目標檢測或語義分割等各種任務中表現最佳。

圖1: 這張圖說明并簡化了在深度學習訓練中使用未標記數據的好處。紅色和深藍色的圓圈表示不同類的標記數據點。淺灰色的圓圈表示未標記的數據點。如果我們只有少量的標記數據可用，我們只能對潛在的真實分布(黑線)做出假設(虛線)。只有同時考慮未標記的數據點并明確決策邊界，才能確定這種真實分布。

深度神經網絡的質量受到標記/監督圖像數量的強烈影響。ImageNet[26]是一個巨大的標記數據集，它允許訓練具有令人印象深刻的性能的網絡。最近的研究表明，即使比ImageNet更大的數據集也可以改善這些結果。但是，在許多實際的應用程序中，不可能創建包含數百萬張圖像的標記數據集。處理這個問題的一個常見策略是遷移學習。這種策略甚至可以在小型和專門的數據集(如醫學成像[40])上改進結果。雖然這對于某些應用程序來說可能是一個實際的解決方案，但基本問題仍然存在: 與人類不同，監督學習需要大量的標記數據。

對于給定的問題，我們通常可以訪問大量未標記的數據集。Xie等人是最早研究無監督深度學習策略來利用這些數據[45]的人之一。從那時起，未標記數據的使用被以多種方式研究，并創造了研究領域，如半監督、自我監督、弱監督或度量學習[23]。統一這些方法的想法是，在訓練過程中使用未標記的數據是有益的(參見圖1中的說明)。它要么使很少有標簽的訓練更加健壯，要么在某些不常見的情況下甚至超過了監督情況下的性能[21]。

由于這一優勢，許多研究人員和公司在半監督、自我監督和非監督學習領域工作。其主要目標是縮小半監督學習和監督學習之間的差距，甚至超越這些結果。考慮到現有的方法如[49,46]，我們認為研究處于實現這一目標的轉折點。因此，在這個領域有很多正在進行的研究。這項綜述提供了一個概述，以跟蹤最新的在半監督，自監督和非監督學習的方法。

大多數綜述的研究主題在目標、應用上下文和實現細節方面存在差異，但它們共享各種相同的思想。這項調查對這一廣泛的研究課題進行了概述。這次調查的重點是描述這兩種方法的異同。此外，我們還將研究不同技術的組合。

2. 圖像分類技術

在這一節中，我們總結了關于半監督、自監督和非監督學習的一般概念。我們通過自己對某些術語的定義和解釋來擴展這一總結。重點在于區分可能的學習策略和最常見的實現策略的方法。在整個綜述中，我們使用術語學習策略，技術和方法在一個特定的意義。學習策略是算法的一般類型/方法。我們把論文方法中提出的每個算法都稱為獨立算法。方法可以分為學習策略和技術。技術是組成方法/算法的部分或思想。

2.1 分類方法

監督、半監督和自我監督等術語在文獻中經常使用。很少有人給出明確的定義來區分這兩個術語。在大多數情況下，一個粗略的普遍共識的意義是充分的，但我們注意到，在邊界情況下的定義是多種多樣的。為了比較不同的方法，我們需要一個精確的定義來區分它們。我們將總結關于學習策略的共識，并定義我們如何看待某些邊緣案例。一般來說，我們根據使用的標記數據的數量和訓練過程監督的哪個階段來區分方法。綜上所述，我們把半監督策略、自我學習策略和無監督學習策略稱為reduced減約監督學習策略。圖2展示了四種深度學習策略。

圖2: 插圖的四個深學習策略——紅色和深藍色的圓圈表示標記數據點不同的類。淺灰色的圓圈表示未標記的數據點。黑線定義了類之間的基本決策邊界。帶條紋的圓圈表示在訓練過程的不同階段忽略和使用標簽信息的數據點。

監督學習 Supervised Learning

監督學習是深度神經網絡圖像分類中最常用的方法。我們有一組圖像X和對應的標簽或類z。設C為類別數，f(X)為X∈X的某個神經網絡的輸出，目標是使輸出與標簽之間的損失函數最小化。測量f(x)和相應的z之間的差的一個常用的損失函數是交叉熵。

遷移學習

監督學習的一個限制因素是標簽的可用性。創建這些標簽可能很昂貴，因此限制了它們的數量。克服這一局限的一個方法是使用遷移學習。

遷移學習描述了訓練神經網絡的兩個階段的過程。第一個階段是在大型通用數據集(如ImageNet[26])上進行有無監督的訓練。第二步是使用經過訓練的權重并對目標數據集進行微調。大量的文獻表明，即使在小的領域特定數據集[40]上，遷移學習也能改善和穩定訓練。

半監督學習

半監督學習是無監督學習和監督學習的混合.

Self-supervised 自監督學習

自監督使用一個借托pretext任務來學習未標記數據的表示。借托pretext任務是無監督的，但學習表征往往不能直接用于圖像分類，必須進行微調。因此，自監督學習可以被解釋為一種無監督的、半監督的或其自身的一種策略。我們將自我監督學習視為一種特殊的學習策略。在下面，我們將解釋我們是如何得出這個結論的。如果在微調期間需要使用任何標簽，則不能將該策略稱為無監督的。這與半監督方法也有明顯的區別。標簽不能與未標記的數據同時使用，因為借托pretext任務是無監督的，只有微調才使用標簽。對我們來說，將標記數據的使用分離成兩個不同的子任務本身就是一種策略的特征。

2.2 分類技術集合

在減少監督的情況下，可以使用不同的技術來訓練模型。在本節中，我們將介紹一些在文獻中多種方法中使用的技術。

一致性正則化 Consistency regularization

一個主要的研究方向是一致性正則化。在半監督學習過程中，這些正則化被用作數據非監督部分的監督損失的附加損失。這種約束導致了改進的結果，因為在定義決策邊界時可以考慮未標記的數據[42,28,49]。一些自監督或無監督的方法甚至更進一步，在訓練中只使用這種一致性正則化[21,2]。

虛擬對抗性訓練(VAT)

VAT[34]試圖通過最小化圖像與轉換后的圖像之間的距離，使預測不受小轉換的影響。

互信息(MI)

MI定義為聯合分布和邊緣分布[8]之間的Kullback Leiber (KL)散度。

熵最小化(EntMin)

Grandvalet和Bengio提出通過最小化熵[15]來提高半監督學習的輸出預測。

Overclustering

過度聚類在減少監督的情況下是有益的，因為神經網絡可以自行決定如何分割數據。這種分離在有噪聲的數據中或在中間類被隨機分為相鄰類的情況下是有用的。

Pseudo-Labels

一種估計未知數據標簽的簡單方法是偽標簽

3. 圖像分類模型

3.1 半監督學習

 四種選擇的半監督方法的圖解——使用的方法在每張圖像下面給出。輸入在左邊的藍色方框中給出。在右側提供了該方法的說明。一般來說，這個過程是自上而下組織的。首先，輸入圖像經過無或兩個不同的隨機變換預處理。自動增廣[9]是一種特殊的增廣技術。下面的神經網絡使用這些預處理圖像(x, y)作為輸入。損失的計算(虛線)對于每種方法都是不同的，但是共享公共部分。所有的方法都使用了標記和預測分布之間的交叉熵(CE)。所有的方法還使用了不同預測輸出分布(Pf(x)， Pf(y))之間的一致性正則化。

3.2 自監督學習

四種選擇的自我監督方法的圖解——使用的方法在每張圖像下面給出。輸入在左邊的紅色方框中給出。在右側提供了該方法的說明。微調部分不包括在內。一般來說，這個過程是自上而下組織的。首先，對輸入圖像進行一兩次隨機變換預處理或分割。下面的神經網絡使用這些預處理圖像(x, y)作為輸入。損失的計算(虛線)對于每種方法都是不同的。AMDIM和CPC使用網絡的內部元素來計算損失。DeepCluster和IIC使用預測的輸出分布(Pf(x)、Pf(y))來計算損耗

3.3 21種圖像分類方法比較

21種圖像分類方法及其使用技術的概述——在左側，第3節中回顧的方法按學習策略排序。第一行列出了在2.2小節中討論過的可能的技術。根據是否可以使用帶標簽的數據，將這些技術分為無監督技術和有監督技術。技術的縮寫也在第2.2小節中給出。交叉熵(Cross-entropy, CE)將CE的使用描述為訓練損失的一部分。微調(FT)描述了交叉熵在初始訓練后(例如在一個借口任務中)對新標簽的使用。(X)指該技術不是直接使用，而是間接使用。個別的解釋由所指示的數字給出。1 - MixMatch通過銳化預測[3]，隱式地實現了熵最小化。2 - UDA預測用于過濾無監督數據的偽標簽。3 -盡量減少相互信息的目的作為借口任務，例如視圖之間的[2]或層之間的[17]。4 -信息的丟失使相互信息間接[43]最大化。5 - Deep Cluster使用K-Means計算偽標簽，以優化分配為借口任務。6 - DAC使用元素之間的余弦距離來估計相似和不相似的項。可以說DAC為相似性問題創建了偽標簽。

4. 實驗比較結果

報告準確度的概述——第一列說明使用的方法。對于監督基線，我們使用了最好的報告結果，作為其他方法的基線。原始論文在準確度后的括號內。第二列給出了體系結構及其參考。第三列是預印本的出版年份或發行年份。最后四列報告了各自數據集的最高準確度分數%。

5 結論

在本文中，我們概述了半監督、自監督和非監督技術。我們用21種不同的方法分析了它們的異同和組合。這項分析確定了幾個趨勢和可能的研究領域。

我們分析了不同學習策略(半監督學習策略、自監督學習策略和無監督學習策略)的定義，以及這些學習策略中的常用技術。我們展示了這些方法一般是如何工作的，它們使用哪些技術，以及它們可以被歸類為哪種策略。盡管由于不同的體系結構和實現而難以比較這些方法的性能，但我們確定了三個主要趨勢。

ILSVRC-2012的前5名正確率超過90%，只有10%的標簽表明半監督方法適用于現實問題。然而，像類別不平衡這樣的問題并沒有被考慮。未來的研究必須解決這些問題。

監督和半監督或自監督方法之間的性能差距正在縮小。有一個數據集甚至超過了30%。獲得可與全監督學習相比的結果的標簽數量正在減少。未來的研究可以進一步減少所需標簽的數量。我們注意到，隨著時間的推移，非監督方法的使用越來越少。這兩個結論使我們認為，無監督方法在未來的現實世界中對圖像分類將失去意義。

我們的結論是，半監督和自監督學習策略主要使用一套不同的技術。通常，這兩種策略都使用不同技術的組合，但是這些技術中很少有重疊。S4L是目前提出的唯一一種消除這種分離的方法。我們確定了不同技術的組合有利于整體性能的趨勢。結合技術之間的微小重疊，我們確定了未來可能的研究機會。

參考文獻：

[1] B. Athiwaratkun, M. Finzi, P. Izmailov, and A. G. Wilson. There are many consistent explanations of unlabeled data: Why you should average. In International Conference on Learning Representations, 2019.

[2] P. Bachman, R. D. Hjelm, and W. Buchwalter. Learning representations by maximizing mutual information across views. In Advances in Neural Information Processing Systems, pages 15509–15519, 2019.

[3] D. Berthelot, N. Carlini, I. Goodfellow, N. Papernot, A. Oliver, and C. A. Raffel. Mixmatch: A holistic approach to semi-supervised learning. In Advances in Neural Information Processing Systems, pages 5050–5060, 2019.

[4] M. Caron, P. Bojanowski, A. Joulin, and M. Douze. Deep clustering for unsupervised learning of visual features. In Proceedings of the European Conference on Computer Vision (ECCV), pages 132–149, 2018.

[5] J. Chang, L. Wang, G. Meng, S. Xiang, and C. Pan. Deep adaptive image clustering. 2017 IEEE International Conference on Computer Vision (ICCV), pages 5880–5888, 2017.

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 于美國紐約舉辦。遷移學習近年來受到了非常大的關注，今年AAAI也有很多相關論文，這場Tutorial全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，還討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示，是一個非常全面的遷移表示學習總結，講者最后也介紹了其未來發展趨勢，值得研究者關注和收藏。

遷移表示學習最新進展

Recent Advances in Transferable Representation Learning

Tutorial 目標

本教程針對有興趣將深度學習技術應用于跨域決策任務的AI研究人員和從業人員。這些任務包括涉及多語言和跨語言自然語言處理，特定領域知識以及不同數據模式的任務。本教程將為聽眾提供以下方面的整體觀點：（i）針對未標記的文本，多關系和多媒體數據的多種表示學習方法；（ii）在有限的監督下跨多種表示對齊和遷移知識的技術；以及（iii）在自然語言理解，知識庫和計算生物學中使用這些技術的大量AI應用程序。我們將通過概述該領域未來的研究方向來結束本教程。觀眾不需要有特定的背景知識。

概述

許多人工智能任務需要跨域決策。例如，許多NLP任務涉及跨多種語言的預測，其中可以將不同的語言視為不同的域;在人工智能輔助的生物醫學研究中，藥物副作用的預測常常與蛋白質和有機體相互作用的建模并行進行。為了支持機器學習模型來解決這種跨域任務，必須提取不同域中數據組件的特征和關系，并在統一的表示方案中捕獲它們之間的關聯。為了滿足這一需求，表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣，跨域的知識遷移可以通過向量搭配或變換來實現。這種可遷移的表現形式在涉及跨域決策的一系列人工智能應用中取得了成功。然而，這一領域的前沿研究面臨兩大挑戰。一是在學習資源很少的情況下如何有效地從特定領域中提取特性。另一個是在最少的監督下精確地對齊和傳遞知識，因為連接不同域的對齊信息常常是不充分和有噪聲的。

在本教程中，我們將全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，我們還將討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示。我們還將比較域內嵌入算法和跨域對齊算法的改進和聯合學習過程。此外，我們將討論如何利用獲得的可遷移表征來解決低資源和無標簽的學習任務。參會者將了解本主題的最新趨勢和挑戰，了解代表性工具和學習資源以獲取即用型模型，以及相關的模型和技術如何有益于現實世界AI應用程序。

講者介紹

Muhao Chen目前是美國賓夕法尼亞大學研究生院博士后。他于2019年在加州大學洛杉磯分校獲得了計算機科學博士學位。Muhao從事過機器學習和NLP方面的各種課題。他最近的研究也將相關技術應用于計算生物學。更多信息請訪問//muhaochen.github.io。

Kai-Wei Chang是加州大學洛杉磯分校計算機科學系的助理教授。他的研究興趣包括為大型復雜數據設計魯棒的機器學習方法，以及為社會公益應用程序構建語言處理模型。其他信息請訪問

Dan Roth是賓夕法尼亞大學CIS的Eduardo D. Glandt Distinguished Professor，也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然語言理解建模、機器學習和推理方面的重大概念和理論進展而被認可。更多信息可以參考: /.

論文題目：

Compositional visual intelligence

作者：

Johnson Justin

貢獻者：

Li, Fei Fei, 1976- degree supervisor.

Goodman, Noah, degree committee member.

Ré, Christopher, degree committee member.

Stanford University. Computer Science Departmen

網址：

//searchworks.stanford.edu/view/12746402

論文摘要：

計算機視覺領域在過去幾年取得了巨大的進步，這主要歸功于卷積神經網絡。盡管在傳統的計算機視覺任務上取得了成功，但我們的機器系統離人類的一般視覺智能還有很長的路要走。視覺智能的一個重要方面是組合——對整體的理解源于對部分的理解。為了實現組成視覺智能的目標，我們必須探索新的計算機視覺任務，創建新的數據集，開發利用組成性的新模型。在這篇論文中，我將討論我的工作在三個不同的計算機視覺任務涉及語言，其中包含的合規性幫助我們建立具有更豐富的視覺智能的系統。我將首先討論圖像標題描述:傳統系統生成描述圖像的簡短句子，但是通過將圖像分解為區域和描述分解為短語，我們可以生成兩種更豐富的描述:密集的標題和段落。其次，我將討論視覺問答:現有的數據集主要由簡短的問題組成;為了研究更復雜的需要復合位置推理的問題，我們引入了一個新的benchark數據集。在此基礎上，提出了一種可視化問題交互的顯式組成模型，該模型將問題轉換為功能程序，并通過組合神經模塊來執行這些程序。第三，我將討論文本到圖像生成:現有的系統可以根據文本描述檢索或生成單個對象的簡單圖像，但難以處理更復雜的描述。用對象和關系的構成場景圖代替自由形式的自然語言，可以檢索和生成包含多個對象的復雜圖像。