亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Online Deep Clustering for Unsupervised Representation Learning

摘要：

聯合聚類和特征學習方法在無監督表示學習中表現出了顯著的效果。但是，特征聚類和網絡參數更新訓練計劃的交替導致視覺表征學習的不穩定。為了克服這個挑戰，我們提出在線深度集群(ODC)，它可以同時執行集群和網絡更新，而不是交替進行。關鍵見解是，聚類中心應該穩步發展，以保持分類器的穩定更新。具體來說，設計和維護了兩個動態內存模塊，即樣本記憶用于存儲樣本標簽和特征，中心記憶用于中心進化。我們將全局聚類分解為穩定的內存更新和成批的標簽重新分配。該過程被集成到網絡更新迭代中。通過這種方式，標簽和網絡齊頭并進，而不是交替發展。大量的實驗表明，ODC能夠穩定訓練過程，有效地提高訓練性能。

主題： Understanding Negative Sampling in Graph Representation Learning

摘要： 在最近的幾年中，研究人員對圖形表示學習進行了廣泛的研究。盡管它具有為各種網絡生成連續嵌入的潛力，但推斷向大型節點集表示高質量表示的有效性和效率仍然具有挑戰性。采樣是實現性能目標的關鍵點。現有技術通常集中于對正節點對進行采樣，而對負采樣的策略還沒有得到足夠的研究。為了彌合差距，我們從客觀和風險兩個角度系統地分析了負樣本的作用，從理論上證明了負樣本在確定優化目標和結果方差方面與正樣本同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布呈正相關但與子線性相關的方法。在該理論的指導下，我們提出了MCNS，用Metropolis-Hastings用自對比度逼近來近似正分布，并加速Metropolis-Hastings進行負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖形學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其魯棒性和優越性。

在為視覺訓練深度神經網絡時，預訓練表示的遷移提高了樣本效率并簡化了超參數調整。我們回顧了在大型監督數據集上進行預訓練和在目標任務上對模型進行微調的范例。我們擴大了預訓練的規模，并提出了一個簡單的方法，我們稱之為大遷移(BiT)。通過組合一些精心選擇的組件，并使用一個簡單的啟發式傳輸，我們在20多個數據集上實現了強大的性能。BiT在非常廣泛的數據范圍內執行得非常好——從每個類1個示例到總共100萬個示例。BiT在ILSVRC-2012上達到87.5%的top-1準確率，在CIFAR-10上達到99.4%，在19個任務的視覺任務適應基準(VTAB)上達到76.3%。在小型數據集上，在ILSVRC-2012上BiT達到了76.8%，每個類有10個例子，在CIFAR-10上達到了97.0%，每個類有10個例子。我們對導致高遷移性能的主要部件進行了詳細的分析。

主動學習是通過對最有代表性的樣本進行抽樣，設計標簽有效的算法。在本文中，我們提出了一種狀態重新標記對抗主動學習模型(SRAAL)，該模型利用標注和標記/未標記的狀態信息來獲得信息量最大的未標記樣本。SRAAL由一個表示生成器和一個狀態鑒別器組成。該生成器利用補充標注信息與傳統重建信息生成樣本的統一表示，將語義嵌入到整個數據表示中。然后，我們在鑒別器中設計了一個在線不確定度指標，使未標記樣本具有不同的重要性。因此，我們可以根據鑒別器的預測狀態來選擇信息最豐富的樣本。我們還設計了一個算法來初始化標記池，這使得后續的采樣更加有效。在各種數據集上進行的實驗表明，我們的模型優于現有的主動學習方法，并且我們的初始采樣算法具有更好的性能。

題目

跨語言表示學習，Unsupervised Cross-lingual Representation Learning at Scale

關鍵詞

自然語言處理，表示學習，跨語言，人工智能

簡介

本文表明，針對多種跨語言轉換任務，大規模地對多語言語言模型進行預訓練可以顯著提高性能。 我們使用超過2 TB的經過過濾的CommonCrawl數據在一百種語言上訓練了基于Transformer的屏蔽語言模型。 我們的模型稱為XLM-R，在各種跨語言基準測試中，其性能明顯優于多語言BERT（mBERT），包括XNLI的平均精度為+ 13.8％，MLQA的平均F1得分為+ 12.3％，NER的平均F1得分為+ 2.1％。 XLM-R在低資源語言上表現特別出色，與以前的XLM模型相比，斯瓦希里語的XNLI準確性提高了11.8％，烏爾都語的準確性提高了9.2％。 我們還對獲得這些收益所需的關鍵因素進行了詳細的實證評估，包括（1）積極轉移和能力稀釋以及（2）大規模資源資源的高低性能之間的權衡。 最后，我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性。 XLM-R在GLUE和XNLI基準測試中具有強大的單語言模型，因此非常具有競爭力。 我們將公開提供XLM-R代碼，數據和模型。

作者

Alexis Conneau， Kartikay Khandelwal等。

標題

對抗特征幻覺網絡的小樣本學習，Adversarial Feature Hallucination Networks for Few-Shot Learning

關鍵字

小樣本學習，神經網絡，生成對抗網絡，機器學習，人工智能

簡介

最近在各種任務中進行的深度學習蓬勃發展，在很大程度上已經獲得了豐富且可訪問的標記數據的認可。 盡管如此，對于許多實際應用而言，大量的監督仍然是奢侈的事情，這引起了人們對標簽稀缺技術的極大興趣，例如小樣本學習（FSL），旨在通過少量標簽樣本學習新類的概念。 FSL的自然方法是數據擴充，許多最近的工作通過提出各種數據綜合模型證明了其可行性。 但是，這些模型不能很好地確保合成數據的可分辨性和多樣性，因此經常會產生不良結果。 在本文中，我們提出了基于條件Wasserstein生成對抗網絡（cWGAN）的對抗特征幻覺網絡（AFHN），并幻化了以少量標記樣本為條件的各種和判別特征。 兩種新穎的正則化器，即分類正則器和反崩潰正則器，被合并到AFHN中以分別促進合成特征的可辨別性和多樣性。 消融研究驗證了所提出的基于cWGAN的特征幻覺框架和所提出的調節器的有效性。 在三個常見基準數據集上的比較結果證實了AFHN優于現有的基于數據增強的FSL方法和其他最新方法的優越性。

作者

Kai Li, Yulun Zhang, Kunpeng Li, Yun Fu，波士頓東北大學電氣與計算機工程系

元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。

地址:

//arxiv.org/abs/1812.02391

代碼：

題目

知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

簡介

大規模知識圖譜（KGs）在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍，以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式，即零樣本學習，以擺脫這種繁瑣的處理，對于新增加的關系，我們試圖從文本描述中學習它們的語義特征，從而在不見實例的情況下識別出看不見的關系。為此，我們利用生成性對抗網絡（GANs）來建立文本與知識邊緣圖域之間的聯系：生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下，零樣本學習自然轉化為傳統的監督分類任務。從經驗上講，我們的方法是模型不可知的，可以應用于任何版本的KG嵌入，并在NELL和Wikidataset上產生性能改進。

作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang

NeurIPS 2019（Neural Information Processing Systems）將在12月8日-14日在加拿大溫哥華舉行。NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一，每年全球的人工智能愛好者和科學家都會在這里聚集，發布最新研究。今天小編整理了表示學習相關論文。

1. Self-attention with Functional Time Representation Learning

作者： Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan

摘要：在自然語言處理中，具有self-attention的序列模型已經取得了很好的效果。self-attention具有模型靈活性、計算復雜性和可解釋性等優點，正逐漸成為事件序列模型的重要組成部分。然而，像大多數其他的序列模型一樣，自我注意并不能解釋事件之間的時間跨度，因此它捕捉的是序列信號而不是時間模式。在不依賴遞歸網絡結構的情況下，self-attention通過位置編碼來識別事件的順序。為了彌補時間無關和時間相關事件序列建模之間的差距，我們引入了一個嵌入時間跨度到高維空間的功能特征映射。通過構造相關的平移不變時間核函數，揭示了經典函數函數分析結果下特征圖的函數形式，即Bochner定理和Mercer定理。我們提出了幾個模型來學習函數性時間表示以及與事件表示的交互。這些方法是在各種連續時間事件序列預測任務下對真實數據集進行評估的。實驗結果表明，所提出的方法與基線模型相比，具有更好的性能，同時也能捕獲有用的時間-事件交互。
論文鏈接：
//papers.nips.cc/paper/9720-self-attention-with-functional-time-representation-learning

2. Large Scale Adversarial Representation Learning

作者：Jeff Donahue, Karen Simonyan

摘要：對抗訓練生成模型(GANs)最近取得了引人注目的圖像合成結果。GANs在無監督的表現學習中盡管在早期取得了的成功，但是它們已經被基于自監督的方法所取代。在這項工作中，我們證明了圖像生成質量的進步轉化為極大地改進了表示學習性能。我們的方法BigBiGAN建立在最先進的BigGAN模型之上，通過添加編碼器和修改鑒別器將其擴展到表示學習。我們廣泛地評估了這些BigBiGAN模型的表示學習和生成能力，證明了這些基于生成的模型在ImageNet的無監督表示學習方面達到了最新的水平，并在無條件生成圖像方面取得了令人信服的結果。

論文鏈接：

3. Rethinking Kernel Methods for Node Representation Learning on Graphs

作者：Yu Tian, Long Zhao, Xi Peng, Dimitris Metaxas

摘要：圖核是度量圖相似性的核心方法，是圖分類的標準工具。然而，作為與圖表示學習相關的一個問題，使用核方法進行節點分類仍然是不適定的，目前最先進的方法大多基于啟發式。在這里，我們提出了一個新的基于核的節點分類理論框架，它可以彌補這兩個圖上表示學習問題之間的差距。我們的方法是由圖核方法驅動的，但是擴展到學習捕獲圖中結構信息的節點表示。我們從理論上證明了我們的公式與任何半正定核一樣強大。為了有效地學習內核，我們提出了一種新的節點特征聚合機制和在訓練階段使用的數據驅動的相似度度量。更重要的是，我們的框架是靈活的，并補充了其他基于圖形的深度學習模型，如圖卷積網絡(GCNs)。我們在一些標準節點分類基準上對我們的方法進行了經驗評估，并證明我們的模型設置了最新的技術狀態。
論文鏈接：

4. Continual Unsupervised Representation Learning

作者：Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell

摘要：持續學習旨在提高現代學習系統處理非平穩分布的能力，通常是通過嘗試按順序學習一系列任務。該領域的現有技術主要考慮監督或強化學習任務，并經常假設對任務標簽和邊界有充分的認識。在這項工作中，我們提出了一種方法(CURL)來處理一個更普遍的問題，我們稱之為無監督連續學習。重點是在不了解任務身份的情況下學習表示，我們將探索任務之間的突然變化、從一個任務到另一個任務的平穩過渡，甚至是數據重組時的場景。提出的方法直接在模型中執行任務推斷，能夠在其生命周期內動態擴展以捕獲新概念，并結合其他基于排練的技術來處理災難性遺忘。我們用MNIST和Omniglot演示了CURL在無監督學習環境中的有效性，在這種環境中，沒有標簽可以確保沒有關于任務的信息泄露。此外，與現有技術相比，我們在i.i.中表現出了較強的性能。在i.i.d的設置下，或將該技術應用于監督任務(如漸進式課堂學習)時。 論文鏈接：

5. Unsupervised Scalable Representation Learning for Multivariate Time Series

作者： Jean-Yves Franceschi, Aymeric Dieuleveut, Martin Jaggi

摘要：由于時間序列在實際應用中具有高度可變的長度和稀疏標記，因此對機器學習算法而言，時間序列是一種具有挑戰性的數據類型。在本文中，我們提出了一種學習時間序列通用嵌入的無監督方法來解決這一問題。與以前的工作不同，它的長度是可伸縮的，我們通過深入實驗和比較來展示學習表示的質量、可移植性和實用性。為此，我們將基于因果擴張卷積的編碼器與基于時間負采樣的新三重態損耗相結合，獲得了可變長度和多元時間序列的通用表示。
論文鏈接：

6. A Refined Margin Distribution Analysis for Forest Representation Learning

作者：Shen-Huan Lyu, Liang Yang, Zhi-Hua Zhou

摘要：在本文中，我們將森林表示學習方法casForest作為一個加法模型，并證明當與邊際標準差相對于邊際均值的邊際比率足夠小時，泛化誤差可以以O(ln m/m)為界。這激勵我們優化比例。為此，我們設計了一種邊際分布的權重調整方法，使深林模型的邊際比較小。實驗驗證了邊緣分布與泛化性能之間的關系。我們注意到，本研究從邊緣理論的角度對casForest提供了一個新的理解，并進一步指導了逐層的森林表示學習。

論文鏈接：

7. Adversarial Fisher Vectors for Unsupervised Representation Learning

作者：Shuangfei Zhai, Walter Talbott, Carlos Guestrin, Joshua Susskind

摘要：我們通過基于深度能量的模型(EBMs)來研究生成對抗網絡(GANs)，目的是利用從這個公式推導出的密度模型。與傳統的鑒別器在達到收斂時學習一個常數函數的觀點不同，這里我們證明了它可以為后續的任務提供有用的信息，例如分類的特征提取。具體來說，在EBM公式中，鑒別器學習一個非歸一化密度函數(即，負能量項)，它描述了數據流形。我們建議通過從EBM中獲得相應的Fisher分數和Fisher信息來評估生成器和鑒別器。我們證明了通過假設生成的示例形成了對學習密度的估計，費雪信息和歸一化費雪向量都很容易計算。我們還證明了我們能夠推導出例子之間和例子集之間的距離度量。我們進行的實驗表明，在分類和感知相似性任務中，甘氏神經網絡誘導的費雪向量作為無監督特征提取器表現出了競爭力。代碼地址：
論文鏈接：

8. vGraph: A Generative Model for Joint Community Detection and Node Representation Learning

作者：Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang

摘要：本文重點研究了圖數據分析的兩個基本任務:社區檢測和節點表示學習，它們分別捕獲圖數據的全局結構和局部結構。在現有的文獻中，這兩個任務通常是獨立研究的，但實際上是高度相關的。提出了一種協作學習社區成員和節點表示的概率生成模型vGraph。具體地說，我們假設每個節點都可以表示為群落的混合，并且每個群落都定義為節點上的多項分布。混合系數和群落分布均由節點和群落的低維表示參數化。我們設計了一種有效的變分推理算法，通過反向傳播進行優化，使相鄰節點的社區成員關系在潛在空間中相似。在多個真實圖上的實驗結果表明，vGraph在社區檢測和節點表示學習兩方面都非常有效，在兩方面都優于許多有競爭力的基線。結果表明，該vGraph框架具有良好的靈活性，可以方便地擴展到層次社區的檢測。
論文鏈接：

題目： Active Learning: From Theory to Practice

簡介：

近年來，機器學習領域取得了相當大的進步，但主要是在定義明確的領域中使用了大量帶有人類標記的訓練數據。機器可以識別圖像中的物體并翻譯文本，但它們必須接受比人一生所能看到的更多的圖像和文本的訓練。生成必要的訓練數據集需要大量的人力工作。Active ML旨在解決這個問題，它設計了一種學習算法，能夠自動、自適應地選擇最具信息性的數據進行標記，這樣就不會浪費人類的時間來標記不相關、冗余或瑣碎的例子。本教程將概述應用程序，并介紹主動機器學習的基本理論和算法。它將特別關注可證明的健全的主動學習算法，并量化學習所需的標記訓練數據的減少。

邀請嘉賓：

Robert Nowak是威斯康星大學麥迪遜分校的諾斯布施工程教授，他的研究重點是信號處理、機器學習、優化和統計。

Steve Hanneke是芝加哥豐田技術研究所的研究助理教授。他的研究探索了機器學習理論:設計新的學習算法，能夠從更少的樣本中學習，理解交互式機器學習的好處和能力，開發遷移學習和終身學習的新視角，并在學習理論的基礎上重新審視基本的概率假設。Steve于2005年在UIUC獲得了計算機科學學士學位，2009年在卡內基梅隆大學獲得了機器學習博士學位，并完成了一篇關于主動學習理論基礎的論文。