亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

主題： A computational framework for learning and transforming task representations

摘要： 本文首先回顧了關于認知靈活性的文獻，以及在構建更靈活的人工智能系統方面的最新進展。作者提供了這些文獻的綜述，并概述了他認為仍然存在的挑戰。作者特別關注基于零任務（即沒有任何數據）的新任務適應新任務的能力，該任務基于它們與先前任務的關系。為了應對這一挑戰，作者提出了一個通用的計算框架，用于根據新任務與先前任務的關系來適應新任務。該框架基于元映射，即轉換基本任務的高階任務。以同音元映射架構的形式提出了該框架的簡約實現。作者將在從回歸到圖像分類和強化學習的各種任務和計算范例中演示該框架。作者將人類的適應能力和基于語言的零任務執行方法進行了比較。作者成功地展示了元映射，即使新任務直接與先前的經驗相矛盾，通常在一項新任務上也能達到80-90％的性能。作者進一步證明，以這種適應為起點可以極大地加速以后對某項任務的學習，并將掌握過程中所犯的錯誤減少近一個數量級。因此，作者建議元映射可以為適應新任務提供計算基礎，并為有效學習提供起點。因此，本文為建立更好的認知模型和更靈活的人工智能系統提供了框架。最后一章回顧了這項工作對有關智力必要的計算原理的持續討論所做出的更廣泛的貢獻，并強調了從理解數學認知到神經科學的未來可能方向。

題目： Online Deep Clustering for Unsupervised Representation Learning

摘要：

聯合聚類和特征學習方法在無監督表示學習中表現出了顯著的效果。但是，特征聚類和網絡參數更新訓練計劃的交替導致視覺表征學習的不穩定。為了克服這個挑戰，我們提出在線深度集群(ODC)，它可以同時執行集群和網絡更新，而不是交替進行。關鍵見解是，聚類中心應該穩步發展，以保持分類器的穩定更新。具體來說，設計和維護了兩個動態內存模塊，即樣本記憶用于存儲樣本標簽和特征，中心記憶用于中心進化。我們將全局聚類分解為穩定的內存更新和成批的標簽重新分配。該過程被集成到網絡更新迭代中。通過這種方式，標簽和網絡齊頭并進，而不是交替發展。大量的實驗表明，ODC能夠穩定訓練過程，有效地提高訓練性能。

機器學習應用在高風險領域(如刑事判決、醫學測試、在線廣告等)的流行，至關重要的是要確保這些決策支持系統不會傳播歷史數據中可能存在的現有偏見或歧視。一般來說，在算法公平文獻中有兩個關于公平的中心概念。第一個是個體公平，它要求公平的算法以相似的方式對待相似的個體。然而，在實踐中，通常很難找到或設計一個社會可接受的距離度量來捕獲個體之間關于特定任務的相似性。相反，在這篇博客文章中，我們關注的是公平的第二個概念，群體公平，更具體地說是統計上的平等，這本質上要求預測器的結果在不同的子群體中是平等的。

題目： A Survey on Deep Geometry Learning: From a Representation Perspective

摘 要:

目前，研究人員已經在利用深度學習處理二維圖像方面取得了很大的成功。近年來，三維計算機視覺和幾何深度學習越來越受到人們的重視。針對不同的應用，提出了許多先進的三維造型技術。與二維圖像可以由像素的規則網格統一表示不同，三維圖形具有多種表示，如深度和多視圖圖像、基于體素的表示、基于點的表示、基于網格的表示、隱式的表面表示等。然而，不同應用程序的性能在很大程度上取決于所使用的表示，并且沒有一種惟一的表示可以適用于所有應用程序。因此，在本次調查中，我們從表象的角度回顧了三維幾何深度學習的最新發展，總結了不同表象在不同應用中的優缺點。我們也提出現有的數據集在這些表示和進一步討論未來的研究方向。

題目： MULTI-TASK SELF-SUPERVISED LEARNING FOR ROBUST SPEECH RECOGNITION

摘要: 盡管人們對無監督學習越來越感興趣，但從無標簽的音頻中提取有意義的知識仍然是一個公開的挑戰。為了在這個方向上邁出一步，我們最近提出了一個問題不可知的語音編碼器(PASE)，它結合了一個卷積編碼器和多個神經網絡，稱為workers，其任務是解決自監督的問題，不需要手動注釋的真值。PASE證明能夠捕捉相關的語音信息，包括說話者的聲紋和音素。本文提出了一種改進的PASE+，用于在噪聲和混響環境下進行魯棒語音識別。為此，我們使用了一個在線語音失真模塊，它用各種隨機干擾來污染輸入信號。然后，我們提出一種改進的編碼器，更好地學習短期和長期語音動態與遞歸網絡和卷積網絡的有效結合。最后，我們完善了用于自監督的workers，以鼓勵更好的合作。

TIMIT、DIRHA和CHiME-5的結果表明，PASE+ sig-明顯優于之前版本的PASE以及常見的聲學特性。有趣的是，PASE+學習適用于高度不匹配的聲學條件的可轉移特征。

題目： Unsupervised pre-training for sequence to sequence speech recognition

摘要：

本文提出了一種新的編碼-解碼器序列到序列預訓練模型(seq2seq)。我們的前訓練方法分為兩個階段，分別是聲學前訓練和語言前訓練。在聲學預訓練階段，我們使用大量的語音來預訓練編碼器，通過預測掩蔽語音特征塊及其上下文。在語言前訓練階段，我們使用單說話文本到語音(TTS)系統從大量的文本中生成合成語音，并使用合成的成對數據對譯碼器進行預訓練。這種兩階段預訓練方法將豐富的聲學和語言知識整合到seq2seq模型中，有利于后續的自動語音識別(ASR)任務。在AISHELL-2數據集上完成無監督的預訓練，我們將預訓練模型應用于AISHELL-1和香港科技大學的多重配對數據比率。我們的相對錯誤率由AISHELL-1的38.24%降至7.88%，由香港科技大學的12.00%降至1.20%。此外，將我們的預訓練模型應用到帶有CALLHOME數據集的跨語言案例中。對于CALLHOME數據集中的所有六種語言，我們的預訓練方法使模型始終優于基線。

作者：

徐波，研究員，1988年畢業于浙江大學，現任中國科學院自動化所所長 ，研究領域包括：多語言語音識別與機器翻譯、多媒體網絡內容智能處理、互動沉浸式3D互聯網等。

NeurIPS 2019（Neural Information Processing Systems）將在12月8日-14日在加拿大溫哥華舉行。NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一，每年全球的人工智能愛好者和科學家都會在這里聚集，發布最新研究。今天小編整理了表示學習相關論文。

1. Self-attention with Functional Time Representation Learning

作者： Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan

摘要：在自然語言處理中，具有self-attention的序列模型已經取得了很好的效果。self-attention具有模型靈活性、計算復雜性和可解釋性等優點，正逐漸成為事件序列模型的重要組成部分。然而，像大多數其他的序列模型一樣，自我注意并不能解釋事件之間的時間跨度，因此它捕捉的是序列信號而不是時間模式。在不依賴遞歸網絡結構的情況下，self-attention通過位置編碼來識別事件的順序。為了彌補時間無關和時間相關事件序列建模之間的差距，我們引入了一個嵌入時間跨度到高維空間的功能特征映射。通過構造相關的平移不變時間核函數，揭示了經典函數函數分析結果下特征圖的函數形式，即Bochner定理和Mercer定理。我們提出了幾個模型來學習函數性時間表示以及與事件表示的交互。這些方法是在各種連續時間事件序列預測任務下對真實數據集進行評估的。實驗結果表明，所提出的方法與基線模型相比，具有更好的性能，同時也能捕獲有用的時間-事件交互。
論文鏈接：
//papers.nips.cc/paper/9720-self-attention-with-functional-time-representation-learning

2. Large Scale Adversarial Representation Learning

作者：Jeff Donahue, Karen Simonyan

摘要：對抗訓練生成模型(GANs)最近取得了引人注目的圖像合成結果。GANs在無監督的表現學習中盡管在早期取得了的成功，但是它們已經被基于自監督的方法所取代。在這項工作中，我們證明了圖像生成質量的進步轉化為極大地改進了表示學習性能。我們的方法BigBiGAN建立在最先進的BigGAN模型之上，通過添加編碼器和修改鑒別器將其擴展到表示學習。我們廣泛地評估了這些BigBiGAN模型的表示學習和生成能力，證明了這些基于生成的模型在ImageNet的無監督表示學習方面達到了最新的水平，并在無條件生成圖像方面取得了令人信服的結果。

論文鏈接：

3. Rethinking Kernel Methods for Node Representation Learning on Graphs

作者：Yu Tian, Long Zhao, Xi Peng, Dimitris Metaxas

摘要：圖核是度量圖相似性的核心方法，是圖分類的標準工具。然而，作為與圖表示學習相關的一個問題，使用核方法進行節點分類仍然是不適定的，目前最先進的方法大多基于啟發式。在這里，我們提出了一個新的基于核的節點分類理論框架，它可以彌補這兩個圖上表示學習問題之間的差距。我們的方法是由圖核方法驅動的，但是擴展到學習捕獲圖中結構信息的節點表示。我們從理論上證明了我們的公式與任何半正定核一樣強大。為了有效地學習內核，我們提出了一種新的節點特征聚合機制和在訓練階段使用的數據驅動的相似度度量。更重要的是，我們的框架是靈活的，并補充了其他基于圖形的深度學習模型，如圖卷積網絡(GCNs)。我們在一些標準節點分類基準上對我們的方法進行了經驗評估，并證明我們的模型設置了最新的技術狀態。
論文鏈接：

4. Continual Unsupervised Representation Learning

作者：Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell

摘要：持續學習旨在提高現代學習系統處理非平穩分布的能力，通常是通過嘗試按順序學習一系列任務。該領域的現有技術主要考慮監督或強化學習任務，并經常假設對任務標簽和邊界有充分的認識。在這項工作中，我們提出了一種方法(CURL)來處理一個更普遍的問題，我們稱之為無監督連續學習。重點是在不了解任務身份的情況下學習表示，我們將探索任務之間的突然變化、從一個任務到另一個任務的平穩過渡，甚至是數據重組時的場景。提出的方法直接在模型中執行任務推斷，能夠在其生命周期內動態擴展以捕獲新概念，并結合其他基于排練的技術來處理災難性遺忘。我們用MNIST和Omniglot演示了CURL在無監督學習環境中的有效性，在這種環境中，沒有標簽可以確保沒有關于任務的信息泄露。此外，與現有技術相比，我們在i.i.中表現出了較強的性能。在i.i.d的設置下，或將該技術應用于監督任務(如漸進式課堂學習)時。 論文鏈接：

5. Unsupervised Scalable Representation Learning for Multivariate Time Series

作者： Jean-Yves Franceschi, Aymeric Dieuleveut, Martin Jaggi

摘要：由于時間序列在實際應用中具有高度可變的長度和稀疏標記，因此對機器學習算法而言，時間序列是一種具有挑戰性的數據類型。在本文中，我們提出了一種學習時間序列通用嵌入的無監督方法來解決這一問題。與以前的工作不同，它的長度是可伸縮的，我們通過深入實驗和比較來展示學習表示的質量、可移植性和實用性。為此，我們將基于因果擴張卷積的編碼器與基于時間負采樣的新三重態損耗相結合，獲得了可變長度和多元時間序列的通用表示。
論文鏈接：

6. A Refined Margin Distribution Analysis for Forest Representation Learning

作者：Shen-Huan Lyu, Liang Yang, Zhi-Hua Zhou

摘要：在本文中，我們將森林表示學習方法casForest作為一個加法模型，并證明當與邊際標準差相對于邊際均值的邊際比率足夠小時，泛化誤差可以以O(ln m/m)為界。這激勵我們優化比例。為此，我們設計了一種邊際分布的權重調整方法，使深林模型的邊際比較小。實驗驗證了邊緣分布與泛化性能之間的關系。我們注意到，本研究從邊緣理論的角度對casForest提供了一個新的理解，并進一步指導了逐層的森林表示學習。

論文鏈接：

7. Adversarial Fisher Vectors for Unsupervised Representation Learning

作者：Shuangfei Zhai, Walter Talbott, Carlos Guestrin, Joshua Susskind

摘要：我們通過基于深度能量的模型(EBMs)來研究生成對抗網絡(GANs)，目的是利用從這個公式推導出的密度模型。與傳統的鑒別器在達到收斂時學習一個常數函數的觀點不同，這里我們證明了它可以為后續的任務提供有用的信息，例如分類的特征提取。具體來說，在EBM公式中，鑒別器學習一個非歸一化密度函數(即，負能量項)，它描述了數據流形。我們建議通過從EBM中獲得相應的Fisher分數和Fisher信息來評估生成器和鑒別器。我們證明了通過假設生成的示例形成了對學習密度的估計，費雪信息和歸一化費雪向量都很容易計算。我們還證明了我們能夠推導出例子之間和例子集之間的距離度量。我們進行的實驗表明，在分類和感知相似性任務中，甘氏神經網絡誘導的費雪向量作為無監督特征提取器表現出了競爭力。代碼地址：
論文鏈接：

8. vGraph: A Generative Model for Joint Community Detection and Node Representation Learning

作者：Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang

摘要：本文重點研究了圖數據分析的兩個基本任務:社區檢測和節點表示學習，它們分別捕獲圖數據的全局結構和局部結構。在現有的文獻中，這兩個任務通常是獨立研究的，但實際上是高度相關的。提出了一種協作學習社區成員和節點表示的概率生成模型vGraph。具體地說，我們假設每個節點都可以表示為群落的混合，并且每個群落都定義為節點上的多項分布。混合系數和群落分布均由節點和群落的低維表示參數化。我們設計了一種有效的變分推理算法，通過反向傳播進行優化，使相鄰節點的社區成員關系在潛在空間中相似。在多個真實圖上的實驗結果表明，vGraph在社區檢測和節點表示學習兩方面都非常有效，在兩方面都優于許多有競爭力的基線。結果表明，該vGraph框架具有良好的靈活性，可以方便地擴展到層次社區的檢測。
論文鏈接：