杰出論文獎
論文1：On Learning Sets of Symmetric Elements
論文地址：//arxiv.org/pdf/2002.08599.pdf
論文作者：Haggai Maron（英偉達研究院）、Or Litany（斯坦福大學）、Gal Chechik（英偉達、以色列巴伊蘭大學）、Ethan Fetaya（以色列巴伊蘭大學）
從無序集合中學習是一種基本的學習設置，最近這引起了越來越多的關注。這一領域的研究集中于用特征向量表示集合元素的案例，很少關注集合元素本身即遵循其自身對稱性的常見情況。而后者與大量應用具備相關性，如圖像去噪、多視圖 3D 形狀識別與重建等。
這篇論文提出了一種原則性方法來學習一般對稱元素的集合。研究者首先描述了線性層的空間。線性層與元素重排序和元素的內在對稱性具備等變性。
該研究進一步表明，由被稱為 Deep Sets for Symmetric elements layers (DSS) 的層構成的網絡是不變函數和等變函數的通用逼近器。此外，DSS 層很容易實現。
最后，研究者用一系列使用圖像、圖以及點云的實驗，證明該方法比現有的集合學習架構有所改進。
論文2：Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
論文地址：
論文作者：Kaixuan Wei（北理工）、Angelica Aviles-Rivero（劍橋大學）、Jingwei Liang（劍橋大學）、Ying Fu（北理工）、Carola-Bibiane Schnlieb（劍橋大學）、Hua Huang（北理工）
即插即用（PnP）是將 ADMM 或其他近端算法與高級去噪先驗結合的非凸（non-convex）框架。近來，PnP 取得了巨大的實驗成功，特別是集成了基于深度學習的去噪器。但是，基于 PnP 的方法存在一個關鍵的問題：這些方法需要手動調參。此類方法必須在成像條件和場景內容具備高度差異的情況下獲得高質量結果。
該研究提出了一種免調參的 PnP 近端算法，支持自動設置內部參數，包括懲罰參數、去噪強度以及終止時間。該方法的核心部分是開發一個用于自動搜索參數的策略網絡，該網絡能夠通過混合無模型和基于模型的深度強化學習來高效地學習參數。
研究人員通過數值和視覺實驗表明，該方法學到的策略能夠為不同的狀態定制不同的參數，并且比現有的手動調參更加高效。
此外，該研究還探討了插入式去噪器，它和學得策略一起可達到 SOTA 結果，在線性和非線性的示例逆成像問題中皆是如此，尤其是在壓縮感知 MRI 和相位恢復問題上都取得了不錯的結果。
個人主頁：
另外，這篇論文的第一作者魏愷軒目前就讀于北京理工大學，是一名研二學生。研究興趣為圖像處理、計算機視覺、計算攝影學、計算成像學，在 NEUCOM、CVPR、ICML 等會議上發表論文。
杰出論文榮譽提名獎
本屆杰出論文榮譽提名獎授予了兩篇論文，分別是帝國理工學院、圣彼得堡國立大學等研究者的《Efficiently sampling functions from Gaussian process posteriors》和 OpenAI 研究者的《Generative Pretraining from Pixels》。
論文 1：Efficiently sampling functions from Gaussian process posteriors
論文地址：
論文作者：James T. Wilson（帝國理工學院） 、Viacheslav Borovitskiy（圣彼得堡國立大學）、Alexander Terenin（帝國理工學院）、Peter Mostowsky（圣彼得堡國立大學）、Marc Peter Deisenroth（倫敦大學學院）
該研究發現了一種高斯過程（Gaussian process）分解形式，該分解通過從數據中分離出先驗，從而自然地進行可擴展采樣。在這種因式分解的基礎上，研究者提出了一種易用且通用的快速后驗采樣方法，該方法可以無縫匹配稀疏近似，從而在訓練和測試階段保證可擴展性。
該研究進行了一系列實驗，表明只需要通常成本的一部分即可利用解耦采樣路徑準確地表示高斯過程后驗。
論文 2：Generative Pretraining From Pixels
論文地址：
論文作者：Mark Chen、Alec Radford、Rewon Child、Jeff Wu、Heewoo Jun、Prafulla Dhariwal 、David Luan、Ilya Sutskever（均來自 OpenAI）
受自然語言無監督表示學習進展的啟發，OpenAI 的研究者探究了類似模型是否可以學習圖像的有用表示。具體來說，OpenAI 推出了用于圖像分類的模型 iGPT，并發現該模型似乎能夠理解物體外觀和類別等 2D 圖像特征。那么，iGPT 緣何能夠成功呢？這是因為，在下一像素預測（next pixel prediction）上訓練的足夠大的 transformer 模型最終可能學會生成具有清晰可識別物體的樣本。一旦學會了生成此類樣本，那么通過「合成分析」，iGPT 將知道目標類別。
實驗表明，iGPT 模型的特征在大量的分類數據集上實現了當前 SOTA 性能，以及在 ImageNet 數據集上實現了接近 SOTA 的無監督準確率。
付費5元查看完整內容
相關內容
主題： Representations for Stable Off-Policy Reinforcement Learning
摘要： 具有函數逼近的強化學習可能不穩定，甚至會產生分歧，尤其是與非策略學習和Bellman更新結合使用時。在深度強化學習中，這些問題已通過調整和規范化表示形式（特別是輔助任務）以經驗方式得到處理。這表明表示學習可以提供一種保證穩定性的方法。在本文中，我們正式表明，即使在學習非策略時，確實存在非平凡的狀態表示形式，規范的TD算法是穩定的。我們沿著三個軸分析基于策略過渡矩陣（例如原型值函數）的表示學習方案：逼近誤差，穩定性和易于估計性。在最一般的情況下，我們表明Schur基提供了收斂性保證，但是很難從樣本中進行估計。對于固定的獎勵函數，我們發現相應Krylov子空間的正交基礎是更好的選擇。我們通過經驗證明，可以使用隨機梯度下降學習這些穩定的表示，從而為使用深度網絡進行表示學習的改進技術打開了大門。
付費5元查看完整內容
最佳論文：Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild
最佳論文提出了一種無需外部監督即可從原始單視圖圖像中學習3D變形對象的方法。該方法基于自動編碼器，該自動編碼器將每個輸入圖像分解為深度，反射率，視角和照明。為了在無監督的情況下解構這些組件，作者使用了以下事實：許多對象類別至少在原則上具有對稱結構。
作者通過光照的推理來利用底層對象的對稱性，即使外觀由于陰影而不對稱。接著通過預測對稱概率圖來建模可能（但不一定）對稱的對象，并與模型的其他組件聯合起來進行端到端的學習。實驗表明該方法可以從單視圖圖像中非常準確地恢復人臉，貓臉和汽車的3D形狀，而無需任何監督或預先設定的形狀模型。
最佳論文一作Shangzhe Wu，是來自牛津大學視覺幾何組的二年級學生，由 Andrea Vedaldi 教授指導獲得了 Facebook 研究所的全額獎學金。在 HKUST 讀本科期間，曾與Chi-Keung Tang教授和Yu-Wing Tai 教授合作研究圖像翻譯 / 生成，現在主要的研究方向為無監督 / 自監督的3D 理解。Shangzhe Wu曾于2017年11月 -2018年2月，在騰訊優圖實驗室做機器學習實習生。
最佳學生論文: BSP-Net: Generating Compact Meshes via Binary Space Partitioning BSP-Net：通過二叉空間分割生成緊湊網絡
這篇論文的角度十分新穎，從多邊形網格入手，基于計算機圖形學的經典空間數據結構Binary Space Partitioning（BSP）來設計了一個BSP-Net。這個網絡可通過凸分解來學習表示3D形狀，并且不受監督，因此訓練不需要進行凸形分解。BSP-Net的重建質量有很大的優勢，并且很容易能夠進行參數設置。
論文一作是來自Simon Fraser University的博士一年級學生Zhiqin Chen，師從張皓教授，從事計算機圖形學相關的研究，主要研究方向是幾何建模和機器學習。Chen于2017年從上海交通大學本科畢業，于2019年從Simon Fraser University碩士畢業。
付費5元查看完整內容
論文摘要：本文基于方差縮減、拒絕采樣、訪存優化等技術，研究了隱變量模型和深度表示學習兩類模型的高效算法，并研究了這些算法在文本分析、生成式模型、圖節 點分類等多個任務中的應用。具體地，本文創新點有：
- 提出隱變量模型的方差縮減 EM 算法，并給出了其局部收斂速度和全局收斂性的理論結果。
- 提出了緩存高效的 O(1) 時間復雜度主題模型采樣算法，該算法較之前算法提速了 5-15 倍，且能擴展到數億文檔、數百萬主題、上萬 CPU 核的場景。
- 提出了結構化主題模型的高效算法，具體包括層次化主題模型的部分坍縮吉 布斯采樣算法，將該模型擴展到了比之前大5個數量級的數據集上；以及有監督主題模型的坐標下降、拒絕采樣算法，較之前算法加速4倍。
- 提出了總體匹配差異，一個兩分布之間距離基于樣本的估計；證明了總體匹配差異的一致性，并討論了其在領域自適應、深度生成模型上的應用。
- 提出了一個基于控制變量的圖卷積網絡高效隨機訓練算法，并給出了其收斂性證明和實驗結果，較之前算法收斂速度快了7倍。
關鍵詞：表示學習；隱變量模型；主題模型；采樣算法；圖卷積網絡
作者介紹：陳健飛，他目前是清華大學計算機科學與技術系的博士研究生，他的博士生導師是朱軍。他研究興趣是大規模機器學習，尤其是可擴展的深層生成模型和深層主題模型。之前，他專注于擴展各種主題模型，包括LDA、CTM、DTM等。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191