亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

剛剛，ICML 2021揭曉了本屆杰出論文獎和杰出論文榮譽提名獎，來自多倫多大學、谷歌大腦的研究獲得了杰出論文獎，包括田淵棟、陸昱成在內的多位學者獲得了杰出論文榮譽提名獎。此外，高通副總裁Max Welling和Hinton學生鄭宇懷合著的研究獲得了本次大會的時間檢驗獎。

就在今天，機器學習頂會ICML公布了2021年度的論文獲獎名單！

本次大會共有6篇論文獲獎，其中包括1篇杰出論文獎，4篇杰出論文提名獎，以及1篇時間檢驗獎。

來自多倫多大學和谷歌大腦的研究人員斬獲杰出論文獎，Hinton高徒鄭宇懷獲時間檢驗獎。

ICML 2021是第38屆年會，受疫情影響，本屆會議在7月18日-7月24日采用線上會議的形式舉行。

本屆會議中，共有430多位華人論文入選ICML，西北大學汪昭然和普林斯頓大學楊卓然9篇論文入選，并列第一。

杰出論文獎

獲得本次 ICML 杰出論文獎的研究者來自多倫多大學和谷歌大腦，他們提出了一種在展開計算圖中高效學習和優化參數的無偏梯度方法，并在實驗中展現出了相較于其他方法的優勢。

論文地址：//proceedings.mlr.press/v139/vicol21a/vicol21a.pdf

論文作者：Paul Vicol、Luke Metz、Jascha Sohl-Dickstein

機構：多倫多大學、谷歌大腦

目前，展開（unrolled）計算圖應用在很多場景中，包括訓練 RNN、通過展開優化微調超參數和訓練可學習優化器等。但是，在這類計算圖中優化參數的方法存在著高方差梯度、偏差、更新緩慢以及大量內存使用等諸多問題。

在本文中，研究者提出了一種名為 Persistent Evolution Strategies （PES）的方法，它可以將計算圖分成一系列截斷的展開，并在每次展開后執行基于進化策略的更新步驟。PES 通過在整個展開序列上累積校正項來消除這些截斷的偏差。PES 可以實現快速參數更新，具有低內存使用、無偏差以及合理的方差特征。實驗表明，PES 在合成任務上展現出了與其他梯度估計方法的優勢，并在訓練可學習優化器和微調超參數方面具有適用性。

杰出論文榮譽提名獎

本次有四篇論文獲得 ICML 2021 杰出論文榮譽提名獎，分別由來自康奈爾大學、多倫多大學、谷歌大腦、FAIR、斯坦福大學、德國柏林自由大學、德國波茨坦大學等機構的研究者獲得。值得一提的是，來自 Facebook 的科學家田淵棟擔任一作的論文也收獲此獎。

論文 1：Optimal Complexity in Decentralized Training

論文地址：

論文作者：Yucheng Lu（陸昱成）、Christopher De Sa

機構：康奈爾大學

去中心化是擴展并行機器學習系統的一種有效方法。本文給出了在隨機非凸設置下進行復雜迭代的下界，該下界揭示了現有分散訓練算法（例如 D-PSGD）在已知收斂速度方面存在理論差距。該研究通過構造來證明這個下界是嚴格的，并且可實現。基于這一發現，該研究進一步提出了 DeTAG，一個實用的 gossip 風格去中心化算法，僅以對數間隔（logarithm gap）就能實現下界。該研究將 DeTAG 算法與其他去中心化算法在圖像分類任務上進行了比較，結果表明 DeTAG 算法與基線算法相比具有更快的收斂速度，特別是在未經打亂的數據和稀疏網絡中。

該論文一作陸昱成本科就讀于上海交通大學，現為康奈爾大學計算機科學系博士生。陸昱成的主要研究領域包括分布式優化和機器學習系統。

論文 2：Oops I Took A Gradient: Scalable Sampling for Discrete Distributions

論文地址：

論文作者：Will Grathwohl、Kevin Swersky、Milad Hashemi、David Duvenaud、Chris Maddison

機構：多倫多大學、谷歌大腦

研究者為帶有離散變量的概率模型提供了一種通用且可擴展的近似采樣策略，該策略使用似然函數相對于其自身離散輸入的梯度以在 Metropolis–Hastings 采樣器中進行更新。實驗表明，該方法在很多困難的設置下均優于通用采樣器，包括 Ising 模型、Potts 模型以及受限玻爾茲曼機和因子隱馬爾可夫模型。此外，研究者還展示了改進后的采樣器可以在高維離散圖像數據上訓練基于能量的深度模型。這種方法優于變分自編碼器和現有的基于能量的模型。最后，研究者給出了 bounds，表明他們的方法在提出局部更新的采樣器中接近最優。

論文 3：Understanding self-supervised learning dynamics without contrastive pair

論文地址：

論文作者：Yuandong Tian（田淵棟）、Xinlei Chen、Surya Ganguli

機構：FAIR、斯坦福大學

對比自監督學習（SSL）的比較方法通過最小化同一數據點（正樣本對）的兩個增強視圖之間的距離和最大化來自不同數據點的視圖（負樣本對）來學習表征，然而，最近的非對比 SSL（如 BYOL 、SimSiam）在沒有負樣本對的情況下表現出了卓越的性能，使用額外的可學習預測器和停止梯度操作（stop-gradient operation），模型性能會更佳。這樣會出現一個基本的問題：為什么這些方法不能分解成簡單的表征？

該研究通過一個簡單的理論研究來回答這個問題，并提出一個新的方法 DirectPred，該方法直接根據輸入的統計數據設置線性預測器，而不需要梯度訓練。研究者在 ImageNet 上進行了比較，結果顯示其結果與使用 BatchNorm 更復雜的兩層非線性預測器性能相當，并且在 300-epoch 的訓練中比線性預測器高出 2.5%（在 60 個 epoch 中高出 5%）。DirectPred 研究是受到對簡單線性網絡中非對比 SSL 的非線性學習動力學理論研究的啟發。該研究從概念上深入了解了非對比 SSL 方法是如何學習以及如何避免表征崩潰，此外還包括多重因素，例如預測網絡、停止梯度、指數移動平均數、權重衰減等因素如何發揮作用。

最后，該研究還簡單概括了所提方法在 STL-10 和 ImageNet 消融研究的結果。

論文 4：Solving high-dimensional parabolic PDEs using the tensor train format

論文地址：

論文作者：Lorenz Richter、Leon Sallandt、Nikolas Nüsken

機構：德國柏林自由大學、德國波茨坦大學等

高維偏微分方程（PDE）在經濟學、科學和工程中無處不在。然而，對 PDE 數值的處理還存在巨大的挑戰，因為傳統的基于網格（gridbased）的方法往往會受到維數詛咒的阻礙。在本文中，研究者認為張量訓練為拋物偏微分方程提供了一個合理的近似框架：將倒向隨機微分方程和張量格式的回歸型方法相結合，有望利用潛在的低秩結構，實現壓縮和高效計算。

依照此范式，研究者開發了新的迭代方案，包括顯式、快速的或者隱式、準確的更新。與 SOTA 性能的神經網絡相比所提方法在準確率和計算效率之間取得了很好的權衡。

時間檢驗獎

獲得本次大會時間檢驗獎的是一篇 ICML 2011 的論文，主題是「基于隨機梯度 Langevin 動力學的貝葉斯學習」。

論文地址：

論文作者：Max Welling、Yee Whye Teh

Max Welling 是阿姆斯特丹大學機器學習研究負責人、高通公司技術副總裁，同時也是加拿大高級研究院（CIFAR）的高級研究員。1998 年，Max Welling 在諾貝爾經濟學獎獲得者 Gerard't Hooft 的指導下獲得博士學位。Max Welling 在加州理工學院（98-00）、倫敦大學學院（00-01）和多倫多大學（01-03）均有過博士后工作經歷，目前擁有超過 250 篇機器學習、計算機視覺、統計學和物理學方面的科學出版物，h-index 指數為 62。

Yee Whye Teh（鄭宇懷）是牛津大學統計學系教授、DeepMind 研究科學家，馬來西亞華人。鄭宇懷在多倫多大學獲得博士學位，師從 Geroffery Hinton，并在加州大學伯克利分校和新加坡國立大學從事博士后工作。他的研究興趣包括機器學習、計算統計學和人工智能，特別是概率模型、非參數貝葉斯、大規模學習和深度學習。他是深度信念網絡和層次狄利克雷過程的最初提出者之一。

在這篇論文中，研究者提出了一種基于 small mini-batches 迭代學習的大規模數據集學習框架。通過在標準的隨機梯度優化算法中加入適量噪聲，研究者證明了 stepsize 退火時迭代會收斂到真實后驗概率的樣本。這種優化和貝葉斯后驗采樣之間的無縫銜接提供了一個防止過擬合的內置保護。此外，論文提出了一種蒙特卡羅后驗統計量估計的實用方法，該方法可監測「采樣閾值」，并在超過采樣閾值后收集樣本。研究者將這種方法應用于高斯、邏輯回歸、ICA 三種模型的混合，并使用自然梯度。

同樣地，為了幫助研究者快速了解本次會議入選的工作，這一次 Paper Digest Team 整理了所有被接收的論文，并給每篇論文提煉了一個金句（通常是主題），幫助讀者快速了解每篇論文的主要思想。

4月15日，中國計算機學會（CCF）推薦的A類國際學術會議SIGIR 2021論文接收結果公布。SIGIR是人工智能領域智能信息檢索方向最權威的國際會議。第44屆國際計算機學會信息檢索大會（The 44rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2021）計劃于2021年7月11日-7月15日以線上會議形式召開。這次會議共收到720篇長文投稿，僅有151篇長文被錄用，錄用率約21%。

//sigir.org/sigir2021/accepted-papers/

【導讀】數據挖掘頂會KDD 2020接收論文列表已公布，你的文章中了嗎？

KDD2020官方今日發布接收論文，共有1279篇論文提交到Research Track，共有216篇接受，接受率16.8%。

ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）是世界數據挖掘領域的最高級別的學術會議，由 ACM 的數據挖掘及知識發現專委會（SIGKDD）主辦，被中國計算機協會推薦為 A 類會議。

自 1995 年以來，KDD 已經連續舉辦了二十余屆大會，今年是第26屆。今年的 KDD 大會將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。