題目： Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data
摘要：
這篇論文探討了一個有趣的問題，即我們是否可以創建自動生成訓練數據、學習環境和課程的學習算法，以幫助人工智能智能體快速學習。我們證明了這種算法可以通過生成式教學網絡(GTNs)來實現，生成式教學網絡是一種理論上適用于有監督、無監督和強化學習的通用方法，盡管我們的實驗只關注有監督的情況。GTNS是生成數據和訓練環境的深度神經網絡，學習者(例如，一個新初始化的神經網絡)在對目標任務進行測試之前需要進行幾個SGD步驟的訓練。然后，我們通過元梯度來區分整個學習過程，更新GTN參數，以提高目標任務的性能。GTNS的有益特性是，理論上它們可以生成任何類型的數據或培訓環境，從而使它們的潛在影響很大。本文介紹了GTNS，討論了它們的潛力，并展示了它們可以極大地加速學習。我們還演示了一個實際的和令人興奮的應用:加速評估候選架構的神經架構搜索(NAS)，這是由這種評估的速度限制，使大量的加速在NAS。GTN-NAS改進了NAS的狀態，在控制搜索建議機制時可以找到性能更好的架構。GTN-NAS還可以與現有的最先進的方法相競爭，這些方法在使用比典型NAS方法少幾個數量級的計算量的情況下獲得最佳性能。展望未來，GTNs可能代表著朝著算法的宏偉目標邁出的第一步，算法可以生成自己的訓練數據，并在此過程中打開各種有趣的新研究問題和方向。
作者簡介：
Felipe Petroski Such是一位專注于深度神經進化、強化學習和高性能計算的科學家。在加入Uber AI實驗室之前，他獲得了RIT的BS/MS學位，在那里他開發了圖形應用和ICR的深度學習架構，以及使用fpga的硬件加速。
Aditya RawalAditya Rawal是Uber AI實驗室的研究科學家。他的興趣在于兩個研究領域的融合——神經進化和深度學習。在此之前，Aditya在奧斯汀的德克薩斯大學獲得了計算機科學的碩士/博士學位，在他的博士期間，他開發了神經進化算法來進化序列預測問題的遞推架構，并構建了合作、競爭和交流的多主體系統。
Joel Lehman之前是哥本哈根IT大學的助理教授，研究神經網絡、進化算法和強化學習。
付費5元查看完整內容
相關內容
題目：
Con?dence-Aware Learning for Deep Neural Networks
簡介：
盡管深度神經網絡可以執行多種任務，但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題，但是大多數工作需要在訓練和/或推理階段增加計算成本，或者需要定制的體系結構來分別輸出置信估計。在本文中，我們提出了一種使用新的損失函數訓練深度神經網絡的方法，稱為正確排名損失，該方法將類別概率顯式規范化，以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現，并且無需進行任何修改即可應用于現有體系結構。而且，它的訓練計算成本幾乎與傳統的深度分類器相同，并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明，所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明，它對于與置信估計，分布外檢測和主動學習密切相關的任務十分有效。
付費5元查看完整內容
Go Wide, Then Narrow: Efficient Training of Deep Thin Networks
為了將深度學習模型部署到生產中，它需要準確和緊湊，以滿足延遲和內存的限制。這通常會導致網絡的深度(以確保性能)和瘦(以提高計算效率)。本文提出了一種在理論保證下訓練深薄網絡的有效方法。我們的方法是由模型壓縮驅動的。它由三個階段組成。在第一階段，我們充分拓寬深薄網絡，并訓練它直到收斂。在第二階段，我們使用這個訓練良好的深寬網絡來預熱(或初始化)原始的深薄網絡。這是通過讓瘦網絡從層到層模擬寬網絡的直接輸出來實現的。在最后一個階段，我們進一步優化這個初始化良好的深薄網絡。通過平均場分析，建立了理論保證，表明了分層模擬比傳統的反向傳播從頭開始訓練深薄網絡的優越性。我們還進行了大規模的實證實驗來驗證我們的方法。通過使用我們的方法進行訓練，ResNet50可以超過ResNet101, BERTBASE可以與BERTLARGE相媲美，后者的模型都是通過文獻中的標準訓練程序進行訓練的。
付費5元查看完整內容
自回歸文本生成模型通常側重于局部的流暢性，在長文本生成過程中可能導致語義不一致。此外，自動生成具有相似語義的單詞是具有挑戰性的，而且手工編寫的語言規則很難應用。我們考慮了一個文本規劃方案，并提出了一個基于模型的模仿學習方法來緩解上述問題。具體來說，我們提出了一種新的引導網絡來關注更長的生成過程，它可以幫助下一個單詞的預測，并為生成器的優化提供中間獎勵。大量的實驗表明，該方法具有較好的性能。
付費5元查看完整內容
題目： Training Binary Neural Networks with Real-to-Binary Convolutions
摘要：
本文展示了如何將二進制網絡訓練到與完全精確網絡相當的幾個百分點(～3?5%)之內。我們首先展示如何建立一個強大的基線，該基線通過結合最近提出的進展和仔細調整優化過程已經達到了最先進的精度。其次，我們證明了通過最小化二進制信號的輸出和相應的實值卷積之間的差異，可以獲得額外顯著的精度增益。我們以兩種互補的方式實現了這個想法:
- (1)具有損失函數，在訓練過程中，通過對二值卷積和實值卷積輸出的空間注意圖進行匹配；
- (2)以數據驅動的方式，利用二值化過程之前的推理過程中可用的實值激活，在二進制卷積之后重新縮放激活。
最后，我們證明，當我們把所有的改進放在一起，當使用ResNet-18架構時，該模型在ImageNet上的top-1精度超過當前水平的5%，并將其與CIFAR-100和ImageNet上的real-value精度的差距分別降低到不足3%和5%。
付費5元查看完整內容
題目： DAWSON: A Domain Adaptive Few Shot Generation Framework
摘要：
為一個新領域從無到有地訓練一個可生成對抗網絡(GAN)需要大量的訓練數據和幾天的訓練時間。為此，我們提出了一種基于元學習的GANs領域自適應少鏡頭生成框架DAWSON。在GANs上應用元學習的一個主要挑戰是，由于GANs的無概率特性，通過在開發集上對生成器進行評估來獲得生成器的梯度。為了解決這一挑戰，我們提出了一個替代的GAN訓練過程，它自然地結合了GANs的兩步訓練過程和元學習算法的兩步訓練過程。DAWSON是一個即插即用的框架，它支持一個廣泛的元學習算法家族和各種具有體系結構變體的GANs。在DAWSON的基礎上，我們還提出了音樂日場，這是第一個少鏡頭的音樂生成模型。我們的實驗表明，音樂日場可以快速適應新的領域，只有幾十首歌曲從目標領域。我們還表明，DAWSON可以學習生成新的數字只有四個樣本在MNIST數據集。我們在PyTorch和Tensorflow中發布了DAWSON的源代碼實現，生成了兩種類型的音樂樣本和快閃視頻。
作者：
Weixin Liang,斯坦福大學，主要研究方向為自然語言處理，對話系統，計算機系統。
付費5元查看完整內容
題目
Ranking architectures using meta-learning
簡介
神經架構搜索（Neural architecture search）最近吸引了大量的研究工作，因為它有望實現神經網絡手動設計的自動化。然而，它需要大量的計算資源，為了緩解這一問題，最近提出了一種性能預測網絡，它可以通過預測候選體系結構的性能來實現高效的體系結構搜索，而不依賴于實際的模型訓練。性能預測器是任務感知的，不僅作為候選體系結構的輸入，而且作為任務元特性的輸入，它被設計為從多個任務中共同學習。在這項工作中，我們引入了一個成對排序損失，用于訓練一個網絡，該網絡能夠根據其任務元特征，為一個新的不可見任務條件排列候選架構。我們給出了實驗結果，表明該排序網絡比先前提出的性能預測器在架構搜索方面更有效。
作者
Alina Dubatovka，Efi Kokiopoulou，Luciano Sbaiz，Andrea Gesmundo，Gábor Bartók，Jesse Berent來自于Google AI團隊
付費5元查看完整內容
論文名字
Modeling Musical Structure with Artificial Neural Networks
論文簡介
近年來，人工神經網絡（ANNs）已成為解決現實問題的通用工具。人工神經網絡在音樂相關任務中也取得了巨大的成功，包括音樂摘要和分類、相似性估計、計算機輔助或自主作曲以及自動音樂分析。由于結構是西方音樂的一個基本特征，它在所有這些任務中都扮演著重要的角色。在當前的人工神經網絡體系結構中，一些結構方面的知識尤其具有挑戰性。這尤其適用于中高級的自相似性、音調和節奏關系。在本文中，我將探討ANNs在di中的應用！音樂結構建模的不同方面，找出其中涉及的一些挑戰并提出應對策略。首先，使用受限Boltzmann機器（RBM）的概率估計，研究了一種基于概率自底向上的旋律分割方法。然后，提出了一種自頂向下的方法，將卷積RBM的Gibbs抽樣與梯度下降優化相結合，應用于音樂生成中。此外，我激發了音樂轉換在結構建模中的相關性，并展示了如何使用連接模型門控自動編碼器（GAE）來學習音樂片段之間的轉換。為了學習序列中的變換，我提出了一種特殊的GAE預測訓練，它將復調音樂表示為一系列的間隔。而且這些區間表示在自上而下的重復音樂節的發現中的適用性被證明了。最后，提出了一種GAE的遞歸變體，并將其用于音樂預測和低層重復結構的建模。
論證。
論文作者
Stefan Lattner，來自巴黎索尼計算機科學實驗室（CSL），長期從事人工智能研究，是機器學習領域專家級人物，尤其在人工神經網絡領域頗有建樹。最近一直致力于深度神經網絡與音樂之間的研究，試圖通過深度學習對音樂進行建模，并取得了最大突破。主張機器學習要面向實踐，面向實際，立志解決當前問題，AI必須要有商業驅動，方能足夠長遠的發展。。
付費5元查看完整內容
Deep neural networks (DNNs) have been found to be vulnerable to adversarial examples resulting from adding small-magnitude perturbations to inputs. Such adversarial examples can mislead DNNs to produce adversary-selected results. Different attack strategies have been proposed to generate adversarial examples, but how to produce them with high perceptual quality and more efficiently requires more research efforts. In this paper, we propose AdvGAN to generate adversarial examples with generative adversarial networks (GANs), which can learn and approximate the distribution of original instances. For AdvGAN, once the generator is trained, it can generate adversarial perturbations efficiently for any instance, so as to potentially accelerate adversarial training as defenses. We apply AdvGAN in both semi-whitebox and black-box attack settings. In semi-whitebox attacks, there is no need to access the original target model after the generator is trained, in contrast to traditional white-box attacks. In black-box attacks, we dynamically train a distilled model for the black-box model and optimize the generator accordingly. Adversarial examples generated by AdvGAN on different target models have high attack success rate under state-of-the-art defenses compared to other attacks. Our attack has placed the first with 92.76% accuracy on a public MNIST black-box attack challenge.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191