亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

KDD 會議始于 1989 年，是數據挖掘領域歷史最悠久、規模最大的國際頂級學術會議，也是首個引入大數據、數據科學、預測分析、眾包等概念的會議。

目前，KDD 2021 大會正在線上如火如荼地舉行當中，議程包括主題演講、專題小組、特邀報告、精選研究、workshop 等。大會共計收到 1541 篇有效投稿，其中 238 篇論文被接收，接收率為 15.4%，相比去年的接收率 16.9% 有所下降。

KDD 2021 線上開幕之前，多個獎項已經公布，包括創新獎、服務獎、學位論文獎（亞軍及榮譽提名）、新星獎、時間檢驗研究獎和時間檢驗應用科學獎，其中北航校友 Xia “Ben” Hu （胡俠）獲得了新星獎，字節跳動 AML 研究團隊 Chong Wang 的一篇 KDD 2011 論文獲得了時間檢驗研究獎。

剛剛，KDD 2021 公布了研究方向（research track）和應用數據科學方向（Applied Data Science Track）的最佳論文和最佳學生論文，具體如下：

首爾大學研究者獲得研究方向最佳論文獎

斯坦福大學等機構的研究者獲得應用數據科學方向最佳論文

北京理工大學和美的集團的研究者獲得應用數據科學方向最佳論文亞軍

維也納大學的研究者獲得研究方向最佳學生論文

研究方向最佳論文

今年的「研究方向最佳論文獎」由來自首爾大學的 Jun-gi Jang、U Kang 摘得，獲獎論文是《Fast and Memory-Efficient Tucker Decomposition for Answering Diverse Time Range Queries》。

論文地址：//dl.acm.org/doi/pdf/10.1145/3447548.3467290

論文摘要：給定一個時間密集張量和一個任意的時間范圍，我們如何有效地在這個范圍內得到潛在因子？Tucker 分解是分析密集張量以發現隱藏因子的基本工具，已在許多數據挖掘應用中得到應用。然而，現有的分解方法不提供分析特定范圍的時間張量的功能。現有的方法是 one-off 形式，主要集中在對整個輸入張量執行一次 Tucker 分解。盡管現有的一些預處理方法可以處理時間范圍查詢，但它們仍然非常耗時，并且準確率較低。

在該論文中，該研究提出了 Zoom-Tucker，這是一種快速且節省內存的 Tucker 分解方法，可用于在任意時間范圍內查找時間張量數據的隱藏因子。Zoom-Tucker 充分利用塊結構來壓縮給定的張量，支持有效查詢并捕獲本地信息。Zoom-Tucker 通過精心解耦包含在該范圍內的預處理結果并仔細確定計算順序，快速且高效地回答各種時間范圍查詢。研究證明，與現有的方法相比 Zoom-Tucker 的速度快 171.9 倍，所需空間少 230 倍，同時提供了相當的準確率。

研究方向最佳學生論文

來自維也納大學計算機學院的 Ylli Sadikaj 等人獲得了研究方向最佳學生論文，獲獎論文是《Spectral Clustering of Attributed Multi-relational Graphs》。

論文地址：

論文摘要：圖聚類旨在發現節點的自然分組，以便將相似的節點分配到一個公共集群。已有一些研究提出了面向多種圖的多種算法，包括簡單圖、節點含有相關屬性的圖，以及對于邊代表不同類型關系的圖等。然而，許多領域中的復雜數據可以同時表征為屬性網絡和多關系網絡。在該論文中，研究者提出了 SpectralMix，這是一種用于具有分類節點屬性的多關系圖的聯合降維技術。SpectralMix 集成了來自屬性、關系類型和圖結構的所有可用信息，以實現對聚類結果的合理解釋。此外，SpectralMix 泛化了現有方法：當僅應用于單個圖時，它簡化為頻譜嵌入和聚類，當應用于分類數據時轉換為同質性分析。該研究在幾個現實世界的數據集上進行了實驗，以檢測圖結構和分類屬性之間的依賴關系，并展示了 SpectralMix 相比于現有方法的優勢。

應用數據科學方向最佳論文獎

今年的「應用數據科學方向最佳論文獎」由來自斯坦福大學等機構的 Serina Chang 等人摘得，獲獎論文是《Supporting COVID-19 policy response with large-scale mobility-based modeling》。

論文地址：

論文摘要：移動性限制（Mobility restriction）一直是控制 COVID-19 傳播的主要干預措施，但它們也給個人和企業帶來經濟負擔。為了平衡這些相互競爭的需求，決策者需要分析工具來評估不同的移動性措施帶來的成本和收益。

在該論文中，研究者介紹了與弗吉尼亞衛生部在決策支持工具上的互動所激發的工作，該工具利用大規模數據和流行病學模型來量化移動性變化對感染率的影響。該研究模型通過使用細粒度的動態移動網絡來捕獲 COVID-19 的傳播，該網絡對人們每小時從社區到各個地方的移動進行編碼，每小時有超過 30 億條邊。通過擾亂移動網絡，該研究可以模擬各種各樣的重新開放計劃，并預測它們在新感染和每個部門的訪問量損失方面的影響。為了在實踐中部署這個模型，該研究構建了一個具有魯棒性的計算基礎設施來運行數百萬個模型，并且該研究與政策制定者合作開發了一個交互式儀表板（dashboard），用于傳達模型對數千個潛在政策的預測。

應用數據科學方向最佳論文亞軍

北京理工大學和美的集團的 Hao Wang、Chi Harold Liu 和 Jian Tang 等人獲得了應用數據科學方向最佳論文亞軍，獲獎論文是《 Energy-Efficient 3D Vehicular Crowdsourcing For Disaster Response by Distributed Deep Reinforcement Learning 》。

論文地址：

論文摘要快速有效地訪問環境和生活數據是成功應對災害的關鍵。由無人機和無人駕駛汽車等無人駕駛交通工具 (UV) 組成的車輛眾包 (VC) 從興趣點 (PoI) 收集數據，例如可能有幸存者的地點和火災現場，這提供了一種有效的方式來協助災難救援。在該論文中，研究者考慮了在 3D 災難工作區中導航一組 UV，以最大限度地提高收集的數據量、地理公平性、能源效率，同時最大限度地減少由于傳輸速率有限而導致的數據丟失。

該研究提出了一種分布式深度強化學習框架 DRL-DisasterVC(3D)，該框架帶有重復經驗回放 (RER) 以提高學習效率，并使用裁剪目標網絡來提高學習穩定性。該研究使用具有多頭關系注意力 (MHRA) 的 3D 卷積神經網絡進行空間建模，并且添加輔助像素控制 (PC) 進行空間探索。研究者設計了一種名為「DisasterSim」的新型災難響應模擬器，并進行了大量實驗，以表明當改變 UV、PoI 和 SNR 閾值的數量時，DRL-DisasterVC(3D) 在能效方面優于實驗中所有 5 個基線方法。

Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

作者：Paul Vicol、Luke Metz、Jascha Sohl-Dickstein

論文地址：//proceedings.mlr.press/v139/vicol21a/vicol21a.pdf

摘要：目前，展開（unrolled）計算圖應用在很多場景中，包括訓練 RNN、通過展開優化微調超參數和訓練可學習優化器等。但是，在這類計算圖中優化參數的方法存在著高方差梯度、偏差、更新緩慢以及大量內存使用等諸多問題。

研究者提出了一種名為 Persistent Evolution Strategies （PES）的方法，它可以將計算圖分成一系列截斷的展開，并在每次展開后執行基于進化策略的更新步驟。PES 通過在整個展開序列上累積校正項消除這些截斷的偏差，可以實現快速參數更新，具有低內存使用、無偏差以及合理的方差特征。實驗表明，PES 在合成任務上展現出了與其他梯度估計方法的優勢，并在訓練可學習優化器和微調超參數方面具有適用性。

近日，全球計算機理論頂會 ACM STOC 公布了今年的最佳論文獎、最佳學生論文獎、時間檢驗獎等獎項。南加州大學計算機科學與數學系教授滕尚華等多位華人學者獲獎。

作為計算機理論領域的全球頂級學術會議，ACM 計算理論年會（ACM Symposium on Theory of Computing，STOC）始于 1969 年，今年已經舉辦了 53 屆。

STOC 在整個計算機科學領域享有崇高的聲望，屬于公認難度最高的會議之一。與人工智能不同，計算機理論領域被認為是國內學界與全球頂級水平相距較大的方向，在 STOC 大會中，2000-2017 年大陸研究機構平均每年發表的論文數量僅為 0.89 篇。

該會議由 ACM SIGACT (Special Interest Group in Algorithms and Computation Theory) 主辦，歷年會議涵蓋的領域十分廣泛，包括算法和數據結構、計算復雜性、密碼學、計算幾何、組合學、隨機與去隨機化、算法博弈論和量子計算等。受疫情影響，STOC 2021 于 2021 年 6 月 21-25 日在線舉行。

在 STOC 2021 上，南加州大學計算機科學與數學系教授、哥德爾獎得主滕尚華的論文摘得時間檢驗獎。此外，來自華盛頓大學的 Huijia Lin 參與的論文《Indistinguishability Obfuscation from Well-Founded Assumptions》獲最佳論文獎，他們研究的 iO 問題被譽為密碼學「皇冠上的明珠」。

以下是 STOC 2021 的具體獲獎情況。

最佳論文獎

今年，共有三篇論文摘得 STOC 的最佳論文獎，分別是：

論文 1：A (Slightly) Improved Approximation Algorithm for Metric TSP

作者：Anna R. Karlin（華盛頓大學）、Nathan Klein（華盛頓大學）、Shayan Oveis Gharan（華盛頓大學）

論文鏈接：//arxiv.org/pdf/2007.01409.pdf

旅行推銷員問題（TSP）是組合優化中最基本的問題之一。在這篇論文中，對于某個圖片，研究者為度量空間下的旅行推銷員問題（metric TSP）給出了一個隨機圖片逼近算法。

論文 2：The Complexity of Gradient Descent: CLS = PPAD ∩ PLS

作者：John Fearnley（利物浦大學）、Paul W. Goldberg（牛津大學）、Alexandros Hollender（牛津大學）、Rahul Savani（利物浦大學）

論文鏈接：

在這篇論文中，研究者探討了在有界凸多邊形域上能用梯度下降法求解的搜索問題，并證明了這類連續局部搜索（CLS）問題等于兩個已知類的交集：PPAD 和 PLS。

論文 3：Indistinguishability Obfuscation from Well-Founded Assumptions

作者：Aayush Jain（加州大學洛杉磯分校）、Huijia Lin（華盛頓大學）、Amit Sahai（加州大學洛杉磯分校）

論文鏈接：

iO（Indistinguishability Obfuscation，不可區分混淆）是密碼學中黑科技一樣的存在，它不僅可以隱藏數據集合，還可以隱藏計算機程序的內部工作機制，創造出強大的加密工具。但這種力量的強大讓人們懷疑 iO 是否真的存在。

在這篇最佳論文中，研究者首次展示了如何僅使用「標準」安全假設來構建 iO。它從理論角度提供了一種即時構建多個加密工具的方式，而這在之前是不可能的。例如，它允許創建「可否認」加密和「函數」加密。以色列理工學院教授 Yuval Ishai 曾表示：「現在應該不會有人懷疑 iO 的存在了。」（詳見：《不可區分混淆被實現，計算機科學家摘得這顆密碼學「皇冠上的明珠」）

本文作者之一 Huijia Lin 本科畢業于浙江大學，2011 年在康奈爾大學拿到博士學位，目前在華盛頓大學計算機科學與工程學院擔任副教授。她的主要研究興趣集中在密碼學以及密碼學與其他計算機領域的交叉領域，如復雜性理論、算法設計和安全等。

最佳學生論文獎

STOC Danny Lewin 最佳學生論文獎是為了紀念著名數學家和企業家 Danny Lewin 設立的，他曾參與創立互聯網公司 Akamai Technologies。今年共有兩篇論文獲得 Danny Lewin 最佳學生論文獎。

論文 1：Discrepancy Minimization via a Self-Balancing Walk

作者：Ryan Alweiss（普林斯頓大學）、Yang P. Liu（斯坦福大學）、Mehtaab Sawhney（麻省理工學院）

論文鏈接：

該研究探究了在各種設置下圖片中向量的差異最小化，在多個維度上分析了一個新的簡單隨機過程。根據研究結果的推論，研究者推算出由 Bansal 等人提出的在線向量平衡中幾個問題的對數因子的嚴格邊界，并提出了 Komlós 猜想的對數邊界的線性時間算法。

本文作者之一 Yang P. Liu 本科畢業于麻省理工學院，目前在斯坦福大學讀博，主攻數學。他曾在 2014 年和 2015 年拿到過國際數學奧林匹克競賽（IMO）的金獎。除了純數學之外，他還對理論計算機科學感興趣，尤其是算法設計。

論文 2：Separating Words and Trace Reconstruction

作者：Zachary Chase（牛津大學）

論文鏈接：

該研究證明對于任意不同的 x,y ∈ 圖片，存在一個具有 O(n^(1/3)) 狀態的確定有限自動機，它接受 x 但不接受 y。這改進了 Robson 在 1989 年提出的 O(n^(2/5)) 邊界。使用一種類似的復雜分析技術，研究者改進了最壞情況軌跡重建的上限，表明任何未知字符串 x ∈ 圖片都能以高概率從 exp(O(n^(1/5))) 獨立生成的跡（trace）中重建。

時間檢驗獎

今年 STOC 的時間檢驗獎頒給了 7 篇論文，距今的時間跨度大約分為 30 年、20 年、10 年三個類別，分別是：

論文 1：Completeness theorems for non-cryptographic fault-tolerant distributed computation（STOC 1988）

作者：Michael Ben-Or、Shafi Goldwasser、Avi Wigderson

論文鏈接：

論文 2：Multiparty unconditionally secure protocols（STOC 1988）

作者：David Chaum、Claude Crépeau、Ivan Damg?rd

論文鏈接：

論文 3：Verifiable secret-sharing and multiparty protocols with honest majority

作者：Tal Rabin、Michael Ben-Or

論文鏈接：

論文 4：A polynomial-time approximation algorithm for the permanent of a matrix with non-negative entries（STOC 2001）

作者：Mark Jerrum、Alistair Sinclair、Eric Vigoda

論文鏈接：

論文 5：Smoothed analysis of algorithms: why the simplex algorithm usually takes polynomial time

作者：Daniel A. Spielman、Shang-Hua Teng

論文鏈接：

論文 6：Approximate distance oracles

作者：Mikkel Thorup、Uri Zwick

論文鏈接：

論文 7：The computational complexity of linear optics

作者：Scott Aaronson、Alex Arkhipov

論文鏈接：

論文 5 的作者之一滕尚華是著名的華人學者。他是南加州大學計算機科學與數學系教授，此次獲獎的論文由他和 Daniel A. Spielman 合著。這篇論文在 STOC 2001 上發表，曾獲 ACM 算法和計算理論特別興趣小組的獎項。如今經過 20 年的時間檢驗，它又摘得 STOC 2021 的時間檢驗獎。

在這篇論文中，滕教授和 Spielman 使用平滑分析的概念為了解算法性能給出了更實際的理解方法，例如度量其運行時間。這個概念有助于解釋一個現象：為什么有些算法在實踐中比理論上更有效？該研究發現，許多算法，尤其是廣泛使用的線性規劃單純形算法，只要輸入中有噪聲就可以工作，而現實世界的數據中通常存在噪聲。該研究的發現已應用于無數實用算法，涉及互聯網通信、深度學習、數據挖掘、差分隱私、博弈論和個性化推薦系統等多個領域。

滕尚華于 1985 年畢業于上海交通大學，獲得電氣工程和計算機科學雙學士學位，1988 年獲得南加州大學計算機科學碩士學位，1991 年獲卡內基梅隆大學 (CMU) 計算機科學博士學位。在受聘于南加州大學之前，他曾在波士頓大學任教，是 Akamai 科技公司高級科學家，麻省理工學院 (MIT) 數學系客座教授，并在 IBM Almaden 研究中心、微軟亞洲研究院等多家學術研究機構兼任研究員。此外，滕尚華教授還是 ACM Fellow。

2008 年，滕尚華教授因在算法的平滑分析領域的研究成果，獲得理論計算機領域最高獎——哥德爾獎(G?del Prize)。2009 年獲得由美國數學學會和美國數學規劃學會頒發的富爾克森獎(Fulkerson Prize)。他曾被西蒙斯基金會評為「世界上最具原創性的理論科學家」之一。

參考鏈接：

昨日，NLP 領域國際頂會 ACL 2021 公布獲獎論文信息：來自字節跳動火山翻譯的一篇神經機器翻譯工作被評為最佳論文。此外，最佳主題論文、杰出論文也揭曉。

ACL，是計算語言學和自然語言處理領域的頂級國際會議，由國際計算語言學協會組織，每年舉辦一次。

一直以來，ACL 在 NLP 領域的學術影響力都位列第一，它也是 CCF-A 類推薦會議。

今年的 ACL 大會已是第 59 屆，計劃于 8 月 1-6 日在泰國曼谷舉行。

不久之前，ACL 2021 官方發布了關于本屆大會接收結果：本屆 ACL 共計收到 3350 篇論文投稿，最終有 21.3% 的論文錄用到主會（Main Conference），并額外接收了 14.9% 的論文到 Findings 子刊，綜合錄用率為 36.2%。我們可以從被接收的論文作者與機構中發現，有大量的國內論文被接收。

除了接收論文之外，今年的 ACL 的組織成員里面也有大量的華人面孔，特別是今年的年會主席是中科院自動化研究所的宗成慶老師，程序主席包括華盛頓大學的 Fei Xia 教授、香港理工大學 Wenjie Li 教授。

昨天，大家最為關注的 ACL 2021 獲獎論文公布，令人驚喜的是這些獲獎論文里面也包含多篇國內研究成果：如來自字節跳動火山翻譯的機器翻譯研究獲得最佳論文，來自港中文、騰訊 AI Lab 合作的論文也入選杰出論文。

最佳論文：字節跳動火山翻譯

ACL 2021 的最佳論文來自字節跳動火山翻譯團隊，該研究提出了一種新的詞表學習方案 VOLT，在多種翻譯任務上取得了優秀的結果。

標題：Vocabulary Learning via Optimal Transport for Neural Machine Translation

作者：許晶晶、周浩、甘純、鄭在翔、李磊

論文地址：//arxiv.org/pdf/2012.15671.pdf

代碼地址：

對于從業者來說，大家無時無刻不在使用詞表對語言進行向量化表示。在深度學習時代，詞表構建基本上是所有自然語言處理任務的第一步工作。盡管現今也有了一些比較通用的詞表處理方法，但是仍然沒有辦法回答最基礎的問題：什么是最優詞表，如何生成最優詞表？

為了回答該問題，本論文嘗試提出一種無需訓練的詞表評價指標和針對該評價指標的詞表學習方案 VOLT。該方案在常用的英德翻譯、英法翻譯、低資源翻譯、多語言翻譯上都取得了相比傳統詞表解決方案更好的結果。

值得一提的是，該研究修改前的版本曾投至另一個機器學習頂會 ICLR 2021。在 Openreview 網站上現在還能看到該論文及匿名評審的結果。當時四名評審給出的意見是 3、3、4、4——未達到接收標準，作者做了rebuttal之后撤稿投了ACL。

論文作者之一的周浩在社交網絡中表示：「關于從 ICLR 到 ACL 的轉投當時情況是這樣的，我們在投 ICLR 的時候花了太多時間在實驗上，在 writing 上花的時間很不夠，整個 paper 顯地平鋪直敘，Intuition 沒有說出來，且有部分重要的實驗沒有補充。結果大家也看到了，我覺得這是一個重要的 lesson，也歡迎大家對比我們兩個版本的論文。」

論文一作許晶晶則總結了經驗與教訓：「我學到的最重要教訓是一定要把東西寫清楚。雖然寫作不是最重要的，idea 才是，但是寫清楚是讓評審評價工作的前提。其實 ICLR 的評審和 ACL 的評委都對我們的 Idea 做了肯定，新穎性和有趣性都是被承認的，我們給出的基于最大邊際效應的解釋，和把詞表學習建模成一個最優運輸問題都是全新的一套想法。ICLR 對 idea 沒有太多問題，問題主要是在寫作上，后來我們把寫作改進之后，能拿到高分雖然意料之外，倒也在情理之中。有一說一，我們 ICLR 那篇工作確實寫的不好。評審的反饋主要在以下幾個方面：實驗做的不夠充分，方法介紹的不夠清楚，動機也缺乏直接證據。后來的這幾點，我們在 ACL 版本都做了大量的改進。我們補充了很多后續實驗，寫作也推倒重來，一遍遍推敲邏輯是否合理，實驗是不是嚴謹和充分等等，整個過程是很痛苦的。所以后來我們得到 ACL 的評審認可的時候非常激動，畢竟投入了很多心血的工作終于得到了回報。」

這篇論文在一番改進之后獲得了另一個頂會的最佳獎項，過程可謂大起大落。

最佳主題論文：CMU

今年的最佳主題論文（Best theme paper）研究來自卡耐基梅隆大學、巴伊蘭大學、加勞德特大學與艾倫人工智能研究所等機構。第一作者殷綺妤（Kayo Yin）本科畢業于巴黎綜合理工學院，目前是卡耐基梅隆大學的在讀研究生。

標題：Including Signed Languages in Natural Language Processing

作者：Kayo Yin、Amit Moryossef、Julie Hochgesang、Yoav Goldberg、Malihe Alikhani

機構：CMU、巴伊蘭大學、加勞德特大學、艾倫人工智能研究所、匹茲堡大學

鏈接：

論文摘要：手語是許多聾啞人和重聽人交流的主要手段。由于手語表現了自然語言的所有基本語言特性，該研究認為自然語言處理的工具和理論對其建模至關重要。然而，現有的手語處理 (SLP) 研究很少嘗試探索和利用手語的語言結構組織。該研究呼吁 NLP 社區將手語作為具有高度社會和科學影響的研究領域。該研究首先討論了手語在建模過程中要考慮的語言屬性；然后回顧了當前 SLP 模型的局限性，并確定了將 NLP 擴展到手語的開放挑戰；最后，該研究建議以下幾點 (1) 采用一種有效的 tokenization 方法 (2) 語言信息模型的發展 (3) 真實世界的手語數據的收集(4) 將當地手語社區納入到積極而主導話語權研究方向中。

六篇杰出論文

除最佳論文以外，今年的 ACL 還評出了六篇杰出論文（Outstanding papers），其中包括港中文、騰訊 AI Lab、斯坦福大學（李飛飛、曼寧等人團隊）的研究。

論文 1：All That’s ‘Human’ Is Not Gold: Evaluating Human Evaluation of Generated Text

作者：Elizabeth Clark、Tal August、Sofia Serrano、Nikita Haduong、Suchin Gururangan、Noah A. Smith

機構：華盛頓大學、艾倫人工智能研究所

論文地址：

論文摘要：人類評估通常被認為是自然語言生成的黃金標準，但隨著模型流暢程度的提升，評估者能夠檢測、判斷出機器生成的文本嗎？在這項研究中，研究者評估了非專家在故事、新聞、食譜三個領域中區分人工與機器（GPT-2、GPT-3）撰寫文本的能力。他們發現，未經過訓練的評估者區分 GPT-3 與人類生成文本的概率是隨機的。研究者探索了三種快速訓練評估者的方法以更好地識別 GPT-3 生成的文本(詳細說明、附加注釋的例子和配對例子) ，并發現其準確率提高了 55%，但在上面提到的三個領域仍然沒有顯著改善。考慮到文本域的結果不一致，以及評估者給出的判斷常常相互矛盾，研究者檢驗了未經訓練的人類評估者在自然語言生成評估中所起的作用，并為自然語言生成的研究者們提供了改進人類評估文本生成結果的最新模型建議。

論文 2：Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning

作者：Armen Aghajanyan、Sonal Gupta、Luke Zettlemoyer

機構：Facebook

論文地址：

論文摘要：盡管可以通過對預訓練語言模型進行微調，來為廣泛的語言理解任務產生 SOTA 結果，但該過程的具體原理還沒有得到很好的解釋，尤其是在低數據范圍內。為什么使用相對普通的梯度下降算法（例如不包含強大的正則化）就能在只有數百或數千個標記樣本的數據集上調整具有數億個參數的模型？在該論文中，研究者認為從內在維度的角度分析微調，能夠得到解釋上述現象的實驗和理論依據。該研究通過實驗表明，常見的預訓練模型具有非常低的內在維度；換句話說，存在與完全參數空間一樣有效的微調低維重參數化。例如，通過僅優化隨機投射回完全空間的 200 個可訓練參數，研究者可以調整 RoBERTa 模型以在 MRPC 上實現 90% 的完全參數性能水平。此外，該研究通過實驗表明，預訓練隱式地最小化了內在維度，也許令人驚訝的是，經過一定數量的預訓練更新，較大的模型往往具有較低的內在維度，這在一定程度上解釋了它們的極端有效性。最后，研究者將內在維度與低維任務表征和基于壓縮的泛化邊界聯系起來，以提供基于內在維度的，與完全參數數量無關的泛化邊界。

論文 3：Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering

作者：Siddharth Karamcheti、Ranjay Krishna、Li Fei-Fei、Christopher Manning

機構：斯坦福大學

目前，這篇論文的 PDF 和網站還未公開，之后將持續關注。

論文 4：Neural Machine Translation with Monolingual Translation Memory

作者：Deng Cai、Yan Wang、Huayang Li、Wai Lam、Lemao Liu

機構：香港中文大學、騰訊 AI Lab

論文地址：

論文摘要：先前的研究證明翻譯記憶 (TM) 可以提高神經機器翻譯 (NMT) 的性能。與使用雙語語料庫作為 TM 并采用源端相似性搜索進行記憶檢索的現有工作相比，該研究提出了一種新框架，該框架使用單語記憶并以跨語言方式執行可學習的記憶檢索，該框架具有獨特的優勢。首先，跨語言記憶檢索器允許大量的單語數據成為 TM。第二，記憶檢索器和 NMT 模型可以為最終的翻譯目標進行聯合優化。實驗表明，該方法得到了顯著的改進。值得注意的是，它甚至優于使用雙語 TM 的「TM-augmented NMT」基線方法。由于能夠利用單語數據，該研究還證明了所提模型在低資源和領域適應場景中的有效性。

論文 5：Scientific Credibility of Machine Translation Research: A Meta-Evaluation of 769 Papers

作者：Benjamin Marie、Atsushi Fujita、Raphael Rubino

機構：NICT（日本）

論文地址：

論文摘要：本文提出了首個大規模機器翻譯 (MT) 元評估（metaevaluation）。該研究對 2010 年至 2020 年發表的 769 篇研究論文進行了機器翻譯評估。研究表明，MT 自動評估的實踐在過去的十年中發生了巨大的變化，并遵循相關的趨勢。越來越多的 MT 評估僅依靠 BLEU 得分之間的差異得出結論，而不進行任何統計意義測試或人為評價，而至少有 108 個指標聲稱優于 BLEU。在最近的論文中，MT 評估傾向于復制和比較以前工作中的自動度量得分，以聲稱一種方法或算法的優越性，而沒有確認使用過完全相同的訓練、驗證和測試數據，度量得分不具有可比性。此外，報告標準化度量得分的工具還遠未被 MT 社區廣泛采用。在展示了這些缺陷累積導致可疑的評估后，該研究提出了一個準則，以鼓勵更好的自動 MT 評估以及一個簡單的元評估得分方法來評估其可信度。

論文 6：UnNatural Language Inference

作者：Koustuv Sinha、Prasanna Parthasarathi、Joelle Pineau、Adina Williams

機構：麥吉爾大學、MILA、FAIR

論文地址：

GitHub 地址：

論文摘要：近期基于 Transformer 的自然語言理解研究表明，這些大規模預訓練 SOTA 模型似乎能夠在某種程度上理解類人的語法。在這篇論文中，研究者提供了一些新的證據，從更復雜的維度闡釋了這一問題。他們發現當前的自然語言推理 SOTA 模型能夠給重新排列的示例打上與此前相同的標簽，也就是說，它們在很大程度上對隨機的詞序排列具有不變性。為了度量這個問題的嚴重性，研究者提出了一套度量方法，并研究了特定排列中的哪些特質使得模型具備詞序不變性。例如在 MNLI 數據集中，研究者發現幾乎所有 (98.7%) 的示例都至少包含一個引發黃金標簽的序列。模型有時候甚至能為它們最初未能正確預測的序列分配黃金標簽。在進行了全面的實驗評估以后，結果表明這個問題存在于 Transformer 和基于 pre-Transformer 架構的編碼器，在跨多種語言時也會出現。

ACL 獲獎論文完整列表：

參考內容：

ICML 2021官方發布接收論文，共有5513篇論文投稿，共有1184篇接受（包括1018篇短論文和166篇長論文），接受率21.48%。

由ICLR 2021項目聯合主席Ivan Titov(愛丁堡大學/阿姆斯特丹大學)，Naila Murray (Facebook人工智能研究)，Alice Oh (KAIST)，高級項目主席Katja Hofmann(微軟研究)

我們很激動地宣布ICLR 2021杰出論文獎的獲獎者。在我們的項目中有860篇優秀的論文，其中很多都是高質量的，我們想強調8篇特別值得注意的論文。

• 超越具有四元數的全連通層，Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters by Aston Zhang, Yi Tay, Shuai Zhang, Alvin Chan, Anh Tuan Luu, Siu Hui, and Jie Fu

• 復雜的查詢回答與神經鏈接預測器 Complex Query Answering with Neural Link Predictors by Erik Arakelyan, Daniel Daza, Pasquale Minervini, and Michael Cochez

• PCA作為納什均衡 EigenGame: PCA as a Nash Equilibrium by Ian Gemp, Brian McWilliams, Claire Vernade, and Thore Graepel

• Learning Mesh-Based Simulation with Graph Networks by Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez, and Peter Battaglia

• Neural Synthesis of Binaural Speech from Mono Audio by Alexander Richard, Dejan Markovic, Israel D. Gebru, Steven Krenn, Gladstone Alexander Butler, Fernando Torre, and Yaser Sheikh

• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime by Atsushi Nitanda, and Taiji Suzuki

• Rethinking Architecture Selection in Differentiable NAS by Ruochen Wang, Minhao Cheng, Xiangning Chen, Xiaocheng Tang, and Cho-Jui Hsieh

• Score-Based Generative Modeling through Stochastic Differential Equations by Yang Song, Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole

杰出論文獎

論文1：On Learning Sets of Symmetric Elements

論文地址：//arxiv.org/pdf/2002.08599.pdf

論文作者：Haggai Maron（英偉達研究院）、Or Litany（斯坦福大學）、Gal Chechik（英偉達、以色列巴伊蘭大學）、Ethan Fetaya（以色列巴伊蘭大學）

從無序集合中學習是一種基本的學習設置，最近這引起了越來越多的關注。這一領域的研究集中于用特征向量表示集合元素的案例，很少關注集合元素本身即遵循其自身對稱性的常見情況。而后者與大量應用具備相關性，如圖像去噪、多視圖 3D 形狀識別與重建等。

這篇論文提出了一種原則性方法來學習一般對稱元素的集合。研究者首先描述了線性層的空間。線性層與元素重排序和元素的內在對稱性具備等變性。

該研究進一步表明，由被稱為 Deep Sets for Symmetric elements layers (DSS) 的層構成的網絡是不變函數和等變函數的通用逼近器。此外，DSS 層很容易實現。

最后，研究者用一系列使用圖像、圖以及點云的實驗，證明該方法比現有的集合學習架構有所改進。

論文2：Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

論文地址：

論文作者：Kaixuan Wei（北理工）、Angelica Aviles-Rivero（劍橋大學）、Jingwei Liang（劍橋大學）、Ying Fu（北理工）、Carola-Bibiane Schnlieb（劍橋大學）、Hua Huang（北理工）

即插即用（PnP）是將 ADMM 或其他近端算法與高級去噪先驗結合的非凸（non-convex）框架。近來，PnP 取得了巨大的實驗成功，特別是集成了基于深度學習的去噪器。但是，基于 PnP 的方法存在一個關鍵的問題：這些方法需要手動調參。此類方法必須在成像條件和場景內容具備高度差異的情況下獲得高質量結果。

該研究提出了一種免調參的 PnP 近端算法，支持自動設置內部參數，包括懲罰參數、去噪強度以及終止時間。該方法的核心部分是開發一個用于自動搜索參數的策略網絡，該網絡能夠通過混合無模型和基于模型的深度強化學習來高效地學習參數。

研究人員通過數值和視覺實驗表明，該方法學到的策略能夠為不同的狀態定制不同的參數，并且比現有的手動調參更加高效。

此外，該研究還探討了插入式去噪器，它和學得策略一起可達到 SOTA 結果，在線性和非線性的示例逆成像問題中皆是如此，尤其是在壓縮感知 MRI 和相位恢復問題上都取得了不錯的結果。

個人主頁：

另外，這篇論文的第一作者魏愷軒目前就讀于北京理工大學，是一名研二學生。研究興趣為圖像處理、計算機視覺、計算攝影學、計算成像學，在 NEUCOM、CVPR、ICML 等會議上發表論文。

杰出論文榮譽提名獎

本屆杰出論文榮譽提名獎授予了兩篇論文，分別是帝國理工學院、圣彼得堡國立大學等研究者的《Efficiently sampling functions from Gaussian process posteriors》和 OpenAI 研究者的《Generative Pretraining from Pixels》。

論文 1：Efficiently sampling functions from Gaussian process posteriors

論文地址：

論文作者：James T. Wilson（帝國理工學院） 、Viacheslav Borovitskiy（圣彼得堡國立大學）、Alexander Terenin（帝國理工學院）、Peter Mostowsky（圣彼得堡國立大學）、Marc Peter Deisenroth（倫敦大學學院）

該研究發現了一種高斯過程（Gaussian process）分解形式，該分解通過從數據中分離出先驗，從而自然地進行可擴展采樣。在這種因式分解的基礎上，研究者提出了一種易用且通用的快速后驗采樣方法，該方法可以無縫匹配稀疏近似，從而在訓練和測試階段保證可擴展性。

該研究進行了一系列實驗，表明只需要通常成本的一部分即可利用解耦采樣路徑準確地表示高斯過程后驗。

論文 2：Generative Pretraining From Pixels

論文地址：

論文作者：Mark Chen、Alec Radford、Rewon Child、Jeff Wu、Heewoo Jun、Prafulla Dhariwal 、David Luan、Ilya Sutskever（均來自 OpenAI）

受自然語言無監督表示學習進展的啟發，OpenAI 的研究者探究了類似模型是否可以學習圖像的有用表示。具體來說，OpenAI 推出了用于圖像分類的模型 iGPT，并發現該模型似乎能夠理解物體外觀和類別等 2D 圖像特征。那么，iGPT 緣何能夠成功呢？這是因為，在下一像素預測（next pixel prediction）上訓練的足夠大的 transformer 模型最終可能學會生成具有清晰可識別物體的樣本。一旦學會了生成此類樣本，那么通過「合成分析」，iGPT 將知道目標類別。

實驗表明，iGPT 模型的特征在大量的分類數據集上實現了當前 SOTA 性能，以及在 ImageNet 數據集上實現了接近 SOTA 的無監督準確率。