由ICLR 2021項目聯合主席Ivan Titov(愛丁堡大學/阿姆斯特丹大學),Naila Murray (Facebook人工智能研究),Alice Oh (KAIST),高級項目主席Katja Hofmann(微軟研究)
我們很激動地宣布ICLR 2021杰出論文獎的獲獎者。在我們的項目中有860篇優秀的論文,其中很多都是高質量的,我們想強調8篇特別值得注意的論文。
超越具有四元數的全連通層,Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters by Aston Zhang, Yi Tay, Shuai Zhang, Alvin Chan, Anh Tuan Luu, Siu Hui, and Jie Fu
復雜的查詢回答與神經鏈接預測器 Complex Query Answering with Neural Link Predictors by Erik Arakelyan, Daniel Daza, Pasquale Minervini, and Michael Cochez
PCA作為納什均衡 EigenGame: PCA as a Nash Equilibrium by Ian Gemp, Brian McWilliams, Claire Vernade, and Thore Graepel
Learning Mesh-Based Simulation with Graph Networks by Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez, and Peter Battaglia
Neural Synthesis of Binaural Speech from Mono Audio by Alexander Richard, Dejan Markovic, Israel D. Gebru, Steven Krenn, Gladstone Alexander Butler, Fernando Torre, and Yaser Sheikh
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime by Atsushi Nitanda, and Taiji Suzuki
Rethinking Architecture Selection in Differentiable NAS by Ruochen Wang, Minhao Cheng, Xiangning Chen, Xiaocheng Tang, and Cho-Jui Hsieh
Score-Based Generative Modeling through Stochastic Differential Equations by Yang Song, Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole
最近ICLR 2021初審結果在官網公布,本次ICLR 2021一共有3013篇論文提交,其中有856篇論文是來自NeurIPS 2020 Rejection 之后重新提交的。
ICLR,全稱為International Conference on Learning Representations(國際學習表征會議),2013年由兩位深度學習大牛、圖靈獎得主 Yoshua Bengio 和 Yann LeCun牽頭創辦。
ICLR成立至今僅七年,但它已被學術研究者們廣泛認可,被認為是“深度學習領域的頂級會議”。 ICLR 采用公開評審(Open Review )機制。所有提交的論文都會公開,并且接受所有同行的評審及提問,任何學者都可或匿名或實名地評價論文。而在初審公開之后,論文作者也能夠對論文進行調整和修改以及進行Rebuttal。
【導讀】機器學習深度學習頂會NeurIPS2020接收論文公布!
NeurIPS2020官方今日發布接收論文列表,9454篇論文提交有1900篇論文接受,接受率20.1%,其中涵蓋280篇Spotlight和105篇Oral.
NeurIPS2020官方今日發布接收論文列表,9454篇論文提交有1900篇論文接受,接受率20.1%,其中涵蓋280篇Spotlight和105篇Oral.
杰出論文獎
論文1:On Learning Sets of Symmetric Elements
論文地址://arxiv.org/pdf/2002.08599.pdf
論文作者:Haggai Maron(英偉達研究院)、Or Litany(斯坦福大學)、Gal Chechik(英偉達、以色列巴伊蘭大學)、Ethan Fetaya(以色列巴伊蘭大學)
從無序集合中學習是一種基本的學習設置,最近這引起了越來越多的關注。這一領域的研究集中于用特征向量表示集合元素的案例,很少關注集合元素本身即遵循其自身對稱性的常見情況。而后者與大量應用具備相關性,如圖像去噪、多視圖 3D 形狀識別與重建等。
這篇論文提出了一種原則性方法來學習一般對稱元素的集合。研究者首先描述了線性層的空間。線性層與元素重排序和元素的內在對稱性具備等變性。
該研究進一步表明,由被稱為 Deep Sets for Symmetric elements layers (DSS) 的層構成的網絡是不變函數和等變函數的通用逼近器。此外,DSS 層很容易實現。
最后,研究者用一系列使用圖像、圖以及點云的實驗,證明該方法比現有的集合學習架構有所改進。
論文2:Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
論文地址:
論文作者:Kaixuan Wei(北理工)、Angelica Aviles-Rivero(劍橋大學)、Jingwei Liang(劍橋大學)、Ying Fu(北理工)、Carola-Bibiane Schnlieb(劍橋大學)、Hua Huang(北理工)
即插即用(PnP)是將 ADMM 或其他近端算法與高級去噪先驗結合的非凸(non-convex)框架。近來,PnP 取得了巨大的實驗成功,特別是集成了基于深度學習的去噪器。但是,基于 PnP 的方法存在一個關鍵的問題:這些方法需要手動調參。此類方法必須在成像條件和場景內容具備高度差異的情況下獲得高質量結果。
該研究提出了一種免調參的 PnP 近端算法,支持自動設置內部參數,包括懲罰參數、去噪強度以及終止時間。該方法的核心部分是開發一個用于自動搜索參數的策略網絡,該網絡能夠通過混合無模型和基于模型的深度強化學習來高效地學習參數。
研究人員通過數值和視覺實驗表明,該方法學到的策略能夠為不同的狀態定制不同的參數,并且比現有的手動調參更加高效。
此外,該研究還探討了插入式去噪器,它和學得策略一起可達到 SOTA 結果,在線性和非線性的示例逆成像問題中皆是如此,尤其是在壓縮感知 MRI 和相位恢復問題上都取得了不錯的結果。
個人主頁:
另外,這篇論文的第一作者魏愷軒目前就讀于北京理工大學,是一名研二學生。研究興趣為圖像處理、計算機視覺、計算攝影學、計算成像學,在 NEUCOM、CVPR、ICML 等會議上發表論文。
杰出論文榮譽提名獎
本屆杰出論文榮譽提名獎授予了兩篇論文,分別是帝國理工學院、圣彼得堡國立大學等研究者的《Efficiently sampling functions from Gaussian process posteriors》和 OpenAI 研究者的《Generative Pretraining from Pixels》。
論文 1:Efficiently sampling functions from Gaussian process posteriors
論文地址:
論文作者:James T. Wilson(帝國理工學院) 、Viacheslav Borovitskiy(圣彼得堡國立大學)、Alexander Terenin(帝國理工學院)、Peter Mostowsky(圣彼得堡國立大學)、Marc Peter Deisenroth(倫敦大學學院)
該研究發現了一種高斯過程(Gaussian process)分解形式,該分解通過從數據中分離出先驗,從而自然地進行可擴展采樣。在這種因式分解的基礎上,研究者提出了一種易用且通用的快速后驗采樣方法,該方法可以無縫匹配稀疏近似,從而在訓練和測試階段保證可擴展性。
該研究進行了一系列實驗,表明只需要通常成本的一部分即可利用解耦采樣路徑準確地表示高斯過程后驗。
論文 2:Generative Pretraining From Pixels
論文地址:
論文作者:Mark Chen、Alec Radford、Rewon Child、Jeff Wu、Heewoo Jun、Prafulla Dhariwal 、David Luan、Ilya Sutskever(均來自 OpenAI)
受自然語言無監督表示學習進展的啟發,OpenAI 的研究者探究了類似模型是否可以學習圖像的有用表示。具體來說,OpenAI 推出了用于圖像分類的模型 iGPT,并發現該模型似乎能夠理解物體外觀和類別等 2D 圖像特征。那么,iGPT 緣何能夠成功呢?這是因為,在下一像素預測(next pixel prediction)上訓練的足夠大的 transformer 模型最終可能學會生成具有清晰可識別物體的樣本。一旦學會了生成此類樣本,那么通過「合成分析」,iGPT 將知道目標類別。
實驗表明,iGPT 模型的特征在大量的分類數據集上實現了當前 SOTA 性能,以及在 ImageNet 數據集上實現了接近 SOTA 的無監督準確率。
?據陳怡然老師微博,ICML 2020官方今日發布接收論文,共有4990篇論文投稿,共有1088篇接受,接受率21.8%。
ICML是 International Conference on Machine Learning的縮寫,即國際機器學習大會。今年第37屆ICML原定于2020年7月12-18日在奧地利維也納舉行。
ICML官方發布了一篇“組織者的來信”,表示受COVID-19影響,無法預測7月份的情況,決定ICML 2020將完全以虛擬方式進行。
一些接受論文搶先看:
Sparse Sinkhorn Attention //arxiv.org/abs/2002.11296 Random Matrix Theory Proves that Deep Learning Representations of GAN-data Behave as Gaussian Mixtures, GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values Deep k-NN for Noisy Labels Likelihood-free MCMC with Amortized Approximate Ratio Estimators Revisiting Spatial Invariance with Low-Rank Local Connectivity
【導讀】數據挖掘頂會KDD 2020接收論文列表已公布,你的文章中了嗎?
KDD2020官方今日發布接收論文,共有1279篇論文提交到Research Track,共有216篇接受,接受率16.8%。
ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)是世界數據挖掘領域的最高級別的學術會議,由 ACM 的數據挖掘及知識發現專委會(SIGKDD)主辦,被中國計算機協會推薦為 A 類會議。
自 1995 年以來,KDD 已經連續舉辦了二十余屆大會,今年是第26屆。今年的 KDD 大會將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。