亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文將介紹華為諾亞推薦與搜索實驗室和上海交通大學APEX實驗室的聯合研究成果，關于深度點擊率預估模型的綜述。本論文是第一篇系統性介紹深度點擊率預估模型的綜述，且被IJCAI 2021 Survey Track收錄。

論文：Deep Learningfor Click-Through Rate Estimation, //arxiv.org/abs/2104.10584 （點擊底部左下角“閱讀原文”可直接進入）

點擊率預估問題背景

點擊率預估 (CTR estimation) 是在線信息系統的核心模塊之一，廣泛應用于推薦系統、付費廣告、搜索引擎等產品和業務中。隨著深度學習的廣泛應用，深度點擊率預估模型被廣泛用于工業界的線上系統中，并取得了顯著的業務效果提升。

本文首先回顧淺層模型到深度CTR模型的演化過程，之后重點介紹近年來深度CTR模型發展主要集中的三個方面：深度特征交互模型、深度行為模型和AutoML在深度CTR模型中的應用。我們從模型capacity和對特征工程的需求程度這兩個維度總結了CTR模型的發展脈絡，如圖1。一方面，從淺層模型到深度模型，由于模型建模能力的增強，對于特征工程的需求在下降，不再需要對特征工程進行過多的人工干預。而另一方面，隨著模型復雜度的增加以及設計更復雜模型帶來的邊際收益減小，開始有工作重新將注意力集中到如何設計和抽取更有效的特征，并通過可學習的方式自動進行特征工程。將復雜模型與更好的特征工程融合是目前深度CTR模型發展的重要趨勢。

圖1：CTR預測模型發展趨勢

從淺層CTR模型到早期深度CTR模型

早期的淺層模型以LR為起點，通過線性函數建模特征。POLY2 [1]在一階特征之外引入二階特征，但無法較好地處理二階特征稀疏性帶來的問題。FM[2]及其各種變體（如FFM、HOFM、FwFM等）在POLY2的基礎上將交互特征建模為低維的稠密向量的乘積，較好地解決了高階特征交互稀疏的問題。

隨著深度學習的興起，DNN開始被應用于CTR任務中。早期的深度CTR模型將稀疏特征表達為低維稠密向量（feature embedding）并在拼接后直接輸入DNN。Wide&Deep [3]、DeepCross [4]等模型為這個時期的代表工作。雖然這些工作取得了顯著的效果提升，但是一些研究工作[5, 6]發現DNN并不能很好地學習到特征交互的模式。因此，我們在第三章討論深度特征交互模型，第四章討論深度行為模型，第五章討論自動網絡搜索模型。這三類模型的關系為：(1) 特征交互的學習主要聚焦于在同一條樣本的特征之間挖掘交互模式，(2) 用戶行為建模探索同一個用戶不同樣本之間的依賴關系，(3) 而自動網絡搜索模型嘗試去自動化地設計上述兩類模型結構。

深度特征交互模型

特征交互建模對CTR模型的預測能力至關重要，但是僅僅依靠DNN很難有效學習復雜的特征交互 [5, 6]。因此很多工作探索DNN結合不同的算子顯式建模特征交互來提升DNN的建模能力。

圖2：三種典型的特征交互算子

典型的用于特征交互建模的算子可以分為三類：乘積算子，卷積算子和注意力算子，如圖2所示。PNN [7]、DeepFM[8]等工作采用乘積算子如內積、外積等來顯式建模特征交互；CCPM [9]、FGCNN [10]等工作采用歐式空間或圖上的卷積來建模特征交互；AFM [11]、FiBiNET [12]則聚焦于采用注意力算子給特征交互賦予不同的注意力權重以提升推薦性能。

特征交互的算子除了類型的不同之外，它們和DNN的結合模式也得到了大量的研究。根據結合方式的不同，已有的工作可以分為兩類：單塔網絡和雙塔網絡，如圖3所示。單塔網絡將特征交互算子和DNN串行放置，雙塔網絡將特征交互算子和DNN并行放置。一般來說，單塔網絡的模型capacity更大，但雙塔網絡訓練更平穩，實際性能更好。

圖3：單塔和雙塔CTR網絡結構

深度行為模型

深度行為模型重點學習用戶的行為模式，通過對用戶歷史行為的建模預測其未來的行為，捕捉用戶興趣隨時間的變化。如圖4所示，用戶的行為特征是一個多值特征，深度行為模型通過各種不同的結構將用戶行為學習為一個統一的表達并與其他特征拼接在一起進行CTR預測。

圖4：用戶行為模型的通用框架

對于深度行為CTR模型，按照技術路線的不同，可以大致分為三類。第一類是基于注意力機制的模型，典型代表為DIN [13]、DIEN [14]、BST、DSIN等。注意力機制主要用來對不同的用戶行為賦予不同的重要性。第二類是基于記憶神經網絡的模型，這類模型重點建模超長序列的用戶行為，典型代表如HPMN [15]，MIMN [16]等。第三類是基于檢索的行為模型，這類方法根據預測目標的不同，動態地從用戶長時間的歷史序列中檢索出合適的行為輔助CTR預測，這類模型主要包括UBR4CTR [17]與SIM [18]等。用戶行為建模是深度CTR模型發展中的一個重要路線。

自動網絡搜索模型

自動網絡搜索模型通過AutoML技術，對深度推薦模型的各個部分進行自動化的設計。根據應用在不同分不分，這些自動網絡搜索模型可以分為三類。第一類是為每個特征自動化設計feature embedding的維度。其中，有的工作 [19, 20]將這項任務建模成離散選擇過程，通過強化學習 (RL) 來進行搜索；有的工作將這項任務建模成連續選擇過程，通過hardselection [21, 22]或者soft selection [23, 24]方式來找到合適的embedding維度。第二類是自動化地篩選或者生成有效的特征交互。其中，AutoFIS[25]自動化地篩選有效的特征交互，SIF [26]、AutoFeature[27] 自動為不同的特征交互設計不同的交互函數，AutoGroup [28]自動化地生成有效的特征集合。第三類是對整個網絡架構的自動搜索，AutoCTR [29]自動探索多種子模塊之間關系以生成網絡架構，AMER [30]同時自動探索有效的特征交互和有效的用戶行為建模方式。

盡管深度CTR模型近年來飛速發展，取得了巨大的成功，但是這個領域依然面臨一些挑戰。第一，盡管許多深度CTR模型被提出，但是很少有工作研究這些模型的深度學習理論。第二，預訓練技術在深度CTR模型中沒有被很好的研究。第三，多模態特征在深度CTR模型中沒有得到很好的應用。第四，沒有將數據預處理和特征選取過程與深度CTR模型的訓練結合起來。

相關文獻

[1] Yin-Wen Chang, Cho-Jui Hsieh, Kai-WeiChang, Michael Ringgaard, and Chih-Jen Lin. Training and testing low-degree polynomial data mappings via linear svm. Journal of Machine Learning Research,11(4), 2010.

[2] Steffen Rendle. Factorization machines.In ICDM, 2010.

[3] Heng-Tze Cheng, Levent Koc, Jeremiah Harmsen, Tal Shaked, Tushar Chandra, Hrishi Aradhye, Glen Anderson, Greg Corrado, Wei Chai, Mustafa Ispir, et al. Wide & deep learning for recommender systems. In 1st DLRS workshop, pages 7–10, 2016.

[4] Ying Shan, T Ryan Hoens, Jian Jiao,Haijing Wang, Dong Yu, and JC Mao. Deep crossing: Webscale modeling without manually crafted combinatorial features. In KDD, pages 255–262, 2016.

[5] Yanru Qu, Bohui Fang, Weinan Zhang, Ruiming Tang, Minzhe Niu, Huifeng Guo, Yong Yu, and Xiuqiang He.Product-based neural networks for user response prediction over multi-field categorical data. TOIS, 37(1):1–35, 2018.

[6] Steffen Rendle, Walid Krichene, Li Zhang, and John Anderson. Neural collaborative filtering vs. matrix factorization revisited. In RecSys, 2020.

[7] Yanru Qu, Han Cai, Kan Ren, Weinan Zhang, Yong Yu, Ying Wen, and Jun Wang. Product-based neural networks for user response prediction. In ICDM, pages 1149–1154, 2016.

[8] Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, and Xiuqiang He. Deepfm: a factorization-machine based neural network for ctr prediction. IJCAI,2017.

[9] Qiang Liu, Feng Yu, Shu Wu, and Liang Wang. A convolutional click prediction model. In CIKM, 2015.

[10] Bin Liu, Ruiming Tang, Yingzhi Chen,Jinkai Yu, Huifeng Guo, and Yuzhou Zhang. Feature generation by convolutional neural network for click-through rate prediction. In WWW, pages 1119–1129,2019.

[11] Jun Xiao, Hao Ye, Xiangnan He,Han-wang Zhang, Fei Wu, and Tat-Seng Chua. Attentional factorization machines: Learning the weight of feature interactionsvia attention networks. IJCAI, 2017.

[12] Tongwen Huang, Zhiqi Zhang, andJun-lin Zhang. Fibinet: combining feature importance and bilinear feature interaction for click-through rate prediction. InRecSys, pages 169–177, 2019.

[13] Guorui Zhou, Xiaoqiang Zhu, ChenruSong, Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, and Kun Gai.Deep interest network for click- through rate prediction. In KDD, 2018.

[14] Guorui Zhou, Na Mou, Ying Fan, Qi Pi,Weijie Bian, Chang Zhou, Xiaoqiang Zhu, and Kun Gai. Deep interest evolution network for click-through rate pre- diction. In AAAI, volume 33, pages5941–5948, 2019.

[15] Kan Ren, Jiarui Qin, Yuchen Fang, WeinanZhang, Lei Zheng, Weijie Bian, Guorui Zhou, Jian Xu, Yong Yu, Xiaoqiang Zhu, etal. Lifelong sequential modeling with personalized memorization for user response prediction. In SIGIR, 2019.

[16] Qi Pi, Weijie Bian, Guorui Zhou,Xiaoqiang Zhu, and Kun Gai. Practice on long sequential user behavior modeling for click-through rate prediction. In KDD, 2019.

[17] Jiarui Qin, W. Zhang, Xin Wu, Jiarui Jin, Yuchen Fang, and Y. Yu. User behavior retrieval for click- through rate prediction. In SIGIR, 2020.

[18] Pi Qi, Xiaoqiang Zhu, Guorui Zhou,Yujing Zhang, Zhe Wang, Lejian Ren, Ying Fan, and Kun Gai. Search-based user interest modeling with lifelong sequential behavior data for click-through rate prediction. In CIKM, 2020.

[19] Manas R. Joglekar, Cong Li, Mei Chen,Taibai Xu, Xiaoming Wang, Jay K. Adams, Pranav Khaitan, Jiahui Liu, and Quoc V. Le. Neural input search for large scale recommendation models. In KDD, 2020.

[20] Haochen Liu, Xiangyu Zhao, Chong Wang,Xiaobing Liu, and Jiliang Tang. Automated embedding size search in deep recommender systems. In SIGIR, pages 2307–2316, 2020.

[21] Weiyu Cheng, Yanyan Shen, and Linpeng Huang. Differentiable neural input search for recommender systems. CoRR,abs/2006.04466, 2020.

[22] Siyi Liu, Chen Gao, Yihong Chen, Depeng Jin, and Yong Li. Learnable embedding sizes for recommender systems. CoRR,abs/2101.07577, 2021.

[23] Xiangyu Zhao, Haochen Liu, Hui Liu,Jiliang Tang, Weiwei Guo, Jun Shi, Sida Wang, Huiji Gao, and Bo Long.Memory-efficient embedding for recommendations. CoRR, abs/2006.14827, 2020.

[24] Xiangyu Zhao, Chong Wang, Ming Chen,Xudong Zheng, Xiaobing Liu, and Jiliang Tang.Autoemb: Automated embedding dimensionality search in streaming recommendations. CoRR, abs/2002.11252, 2020.

[25] Bin Liu, Chenxu Zhu, Guilin Li, Weinan Zhang, Jincai Lai, Ruiming Tang, Xiuqiang He, Zhenguo Li, and Yong Yu. Autofis:Automatic feature interaction selection in factorization models for click-through rate prediction. In KDD, pages 2636–2645, 2020.

[26] Quanming Yao, Xiangning Chen, James T.Kwok, Yong Li, and Cho-Jui Hsieh. Efficient neural interaction function searchfor collaborative filtering. In WWW, pages 1660–1670, 2020.

[27] Farhan Khawar, Xu Hang, Ruiming Tang,Bin Liu, Zhenguo Li, and Xiuqiang He. Autofeature: Searching for feature interactions and their architectures for click-through rate prediction. InCIKM, 2020.

[28] Bin Liu, Niannan Xue, Huifeng Guo,Ruiming Tang, Stefanos Zafeiriou, Xiuqiang He, and Zhenguo Li. Autogroup:Automatic feature grouping for modelling explicit high-order feature interactions in ctr prediction. In SIGIR, pages 199–208, 2020.

[29] Qingquan Song, Dehua Cheng, Hanning Zhou, Jiyan Yang, Yuandong Tian, and Xia Hu. Towards automated neural interaction discovery for click-through rate prediction. In KDD, pages 945–955,2020.

[30] Pengyu Zhao, Kecheng Xiao, Yuanxing Zhang, Kaigui Bian, and Wei Yan. AMER: automatic behavior modeling and interaction exploration in recommender system. CoRR, abs/2006.05933, 2020.

圖是連接數據網絡結構的一種常用表示形式。圖數據可以在廣泛的應用領域中找到，如社會系統、生態系統、生物網絡、知識圖譜和信息系統。隨著人工智能技術的不斷滲透發展，圖學習(即對圖進行機器學習)越來越受到研究者和實踐者的關注。圖學習對許多任務都非常有效，如分類，鏈接預測和匹配。圖學習方法通常是利用機器學習算法提取圖的相關特征。在這個綜述中，我們提出了一個關于圖學習最全面的概述。特別關注四類現有的圖學習方法，包括圖信號處理、矩陣分解、隨機游走和深度學習。分別回顧了這些類別下的主要模型和算法。我們研究了諸如文本、圖像、科學、知識圖譜和組合優化等領域的圖學習應用。此外，我們還討論了該領域幾個有前景的研究方向。

真實的智能系統通常依賴于機器學習算法處理各種類型的數據。盡管圖數據無處不在，但由于其固有的復雜性，給機器學習帶來了前所未有的挑戰。與文本、音頻和圖像不同，圖數據嵌入在一個不規則的領域，使得現有機器學習算法的一些基本操作不適用。許多圖學習模型和算法已經被開發出來解決這些挑戰。本文系統地綜述了目前最先進的圖學習方法及其潛在的應用。這篇論文有多種用途。首先，它作為不同領域(如社會計算、信息檢索、計算機視覺、生物信息學、經濟學和電子商務)的研究人員和從業者提供圖學習的快速參考。其次，它提供了對該領域的開放研究領域的見解。第三，它的目的是激發新的研究思路和更多的興趣在圖學習。

圖，又稱網絡，可以從現實世界中豐富的實體之間的各種關系中提取。一些常見的圖表已經被廣泛用于表達不同的關系，如社會網絡、生物網絡、專利網絡、交通網絡、引文網絡和通信網絡[1]-[3]。圖通常由兩個集合定義，即頂點集和邊集。頂點表示圖形中的實體，而邊表示這些實體之間的關系。由于圖學習在數據挖掘、知識發現等領域的廣泛應用，引起了人們的廣泛關注。由于圖利用了頂點[4]，[5]之間的本質和相關關系，在捕獲復雜關系方面，圖學習方法變得越來越流行。例如，在微博網絡中，通過檢測信息級聯，可以跟蹤謠言的傳播軌跡。在生物網絡中，通過推測蛋白質的相互作用可以發現治療疑難疾病的新方法。在交通網絡中，通過分析不同時間戳[6]的共現現象，可以預測人類的移動模式。對這些網絡的有效分析很大程度上取決于網絡的表示方式。

一般來說，圖學習是指對圖進行機器學習。圖學習方法將圖的特征映射到嵌入空間中具有相同維數的特征向量。圖學習模型或算法直接將圖數據轉換為圖學習體系結構的輸出，而不將圖投影到低維空間。由于深度學習技術可以將圖數據編碼并表示為向量，所以大多數圖學習方法都是基于或從深度學習技術推廣而來的。圖學習的輸出向量在連續空間中。圖學習的目標是提取圖的期望特征。因此，圖的表示可以很容易地用于下游任務，如節點分類和鏈接預測，而無需顯式的嵌入過程。因此，圖學習是一種更強大、更有意義的圖分析技術。

在這篇綜述論文中，我們試圖以全面的方式檢驗圖機器學習方法。如圖1所示，我們關注現有以下四類方法:基于圖信號處理(GSP)的方法、基于矩陣分解的方法、基于隨機游走的方法和基于深度學習的方法。大致來說，GSP處理圖的采樣和恢復，并從數據中學習拓撲結構。矩陣分解可分為圖拉普拉斯矩陣分解和頂點接近矩陣分解。基于隨機游動的方法包括基于結構的隨機游動、基于結構和節點信息的隨機游動、異構網絡中的隨機游動和時變網絡中的隨機游動。基于深度學習的方法包括圖卷積網絡、圖注意力網絡、圖自編碼器、圖生成網絡和圖時空網絡。基本上，這些方法/技術的模型架構是不同的。本文對目前最先進的圖學習技術進行了廣泛的回顧。

傳統上，研究人員采用鄰接矩陣來表示一個圖，它只能捕捉相鄰兩個頂點之間的關系。然而，許多復雜和不規則的結構不能被這種簡單的表示捕獲。當我們分析大規模網絡時，傳統的方法在計算上是昂貴的，并且很難在現實應用中實現。因此，有效地表示這些網絡是解決[4]的首要問題。近年來提出的網絡表示學習(NRL)可以學習低維表示[7]-[9]的網絡頂點潛在特征。當新的表示被學習后，可以使用以前的機器學習方法來分析圖數據，并發現數據中隱藏的關系。

當復雜網絡被嵌入到一個潛在的、低維的空間中時，結構信息和頂點屬性可以被保留[4]。因此，網絡的頂點可以用低維向量表示。在以往的機器學習方法中，這些向量可以看作是輸入的特征。圖學習方法為新的表示空間中的圖分析鋪平了道路，許多圖分析任務，如鏈接預測、推薦和分類，都可以有效地解決[10]，[11]。網絡的圖形化表現方式揭示了社會生活的各個方面，如交流模式、社區結構和信息擴散[12]，[13]。根據頂點、邊和子圖的屬性，可以將圖學習任務分為基于頂點、基于邊和基于子圖三類。圖中頂點之間的關系可以用于分類、風險識別、聚類和社區檢測[14]。通過判斷圖中兩個頂點之間的邊的存在，我們可以進行推薦和知識推理。基于子圖[15]的分類，該圖可用于聚合物分類、三維可視化分類等。對于GSP，設計合適的圖形采樣方法以保持原始圖形的特征，從而有效地恢復原始圖形[16]具有重要意義。在存在不完整數據[17]的情況下，可以使用圖恢復方法構造原始圖。然后利用圖學習從圖數據中學習拓撲結構。綜上所述，利用圖學習可以解決傳統的圖分析方法[18]難以解決的以下挑戰。

藥物發現是一個非常漫長和昂貴的過程，開發一種新藥平均需要10年以上，花費25億美元。人工智能有潛力通過從大量生物醫學數據中提取證據來顯著加快藥物發現過程，從而徹底改變整個制藥行業。圖表示學習技術是機器學習和數據挖掘領域中一個快速發展的主題，專注于圖形結構數據的深度學習。由于該領域中的許多數據都是分子和生物醫學知識圖等圖形結構的數據，它為藥物發現帶來了巨大的機遇。在本次演講中，我將介紹我們在藥物發現的圖表示學習方面的最新進展，包括: (1)分子性質預測; (2)從頭分子設計與優化; (3)反合成預測。

在人類中，注意力是所有感知和認知操作的核心屬性。考慮到我們處理競爭性信息來源的能力有限，注意力機制選擇、調整和關注與行為最相關的信息。

幾十年來，哲學、心理學、神經科學和計算機科學都在研究注意力的概念和功能。在過去的六年中，這一特性在深度神經網絡中得到了廣泛的研究。目前，深度學習的研究進展主要體現在幾個應用領域的神經注意力模型上。

本研究對神經注意力模型的發展進行了全面的概述和分析。我們系統地回顧了該領域的數百個架構，識別并討論了那些注意力顯示出重大影響的架構。我們亦制訂了一套自動化方法體系，并將其公諸于眾，以促進這方面的研究工作。通過批判性地分析650部文獻，我們描述了注意力在卷積、循環網絡和生成模型中的主要用途，識別了使用和應用的共同子組。

此外，我們還描述了注意力在不同應用領域的影響及其對神經網絡可解釋性的影響。最后，我們列出了進一步研究的可能趨勢和機會，希望這篇綜述能夠對該領域的主要注意力模型提供一個簡明的概述，并指導研究者開發未來的方法，以推動進一步的改進。

隨著機器學習在各種應用領域的顯著成功，我們正目睹越來越多的人對機器學習在藥物發現和開發中的應用感興趣。

在本教程中，我們將介紹機器學習在過去幾年中取得的關鍵進展，并強調這些進展在藥物開發中帶來的根本性的新機遇。我們感興趣的是這些進步為什么以及如何幫助完成與藥品有關的任務。我們通過六個關鍵任務詳細闡述了機器學習在藥物開發中的應用:(a)合成預測和新藥設計，(b)分子性質預測，(c)虛擬藥物篩選和藥物靶標相互作用，(d)臨床試驗招募，(e)藥物再利用，(f)藥物不良反應和多用藥。

我們討論這些關鍵藥物相關任務的方法背后的理論基礎，闡明基于不同配方的各種方法，并總結代表性的應用。我們將涵蓋生成模型、強化學習以及深度表示學習和嵌入方面的最新進展。為此，我們提出了一個用于端到端藥物開發的人工智能算法工具箱。

藥物的發現和開發是一個漫長而昂貴的過程。它通常從分子和目標的實驗發現開始(即藥物從頭設計)，并在轉入臨床試驗之前通過細胞系、類器官和動物的體外實驗驗證發現。一種新藥從發現到監管機構批準的整個過程可能需要長達12年，成本高達28億美元。此外，每個藥物開發階段都存在巨大的不確定性(1:50 000的成功率)。

機器學習方法已成為解決這些挑戰和加速藥物開發的一種有前途的工具。本教程將介紹以下與藥物相關的主要任務:

• 合成預測和藥物從頭設計(即從頭設計一個全新的分子)的目的是生成化學上正確的結構，以協助復雜的分子合成。

• 分子特性預測的目的是通過預測分子特性，如效力、生物活性和毒性，從分子數據來確定分子的治療效果。

• 虛擬藥物篩選和藥物靶標識別的目的是預測藥物如何通過與靶標蛋白結合并影響其下游活性來影響人體。

• 臨床試驗招募的目的是找到合適的醫生幫助進行試驗，以及找到合格的患者參與試驗。

• 藥物再利用尋求通過藥物化學、目標和藥物與疾病之間的副作用相似性來發現已知藥物以及新分子的新用途。

• 藥物不良反應、多重用藥和藥物-食品相互作用預測的目的是預測藥物不良反應產生的機制，建議替代藥物成員的預期藥理作用沒有負面的健康影響，并預測食品成分對相互作用藥物的影響。

然后，我們將討論解決這些與毒品有關的任務的主要方法:

• 生成模型。我們重點研究了適用于新分子設計的變分自編碼器(VAE)和生成對抗網絡(GAN)。他們以已知治療性質的以直線或圖形為基礎的化合物表示為輸入，將化合物編碼為潛在空間，然后解碼為新的藥物樣品。

• 強化學習。我們主要討論策略梯度法，最先進的分子生成方法，可以結合特定領域的分子合成知識。

• 深度表示學習。我們提出主要的神經體系結構學習表示藥物相關的數據。這些方法是相關的，因為它們在與藥物有關的任務中達到了最先進的性能。例如，這些方法被用于自動學習藥物指紋，學習藥物蛋白結合親和力，并招募患者參加臨床試驗。此外，圖嵌入方法用于研究藥物組合，并預測藥物效應，因為藥物擴散到生物網絡中，超出了它們直接結合的分子。

目錄內容：

• 概述和介紹
• 罕見和新發疾病藥物再利用的虛擬藥物篩選、知識圖譜嵌入方法
• 學習藥物組合的建模
• 臨床試驗地點識別(醫生識別、covid - 19疫苗和抗體試驗地點識別)、患者招募
• 分子優化，分子圖生成，多模態圖到圖的翻譯
• 分子性質預測，預測分子相互作用的變換器
• 使用演示、實現細節、工具和技巧進行實踐練習
• 總結和問答環節

深度學習通常被描述為一個實驗驅動的領域，并不斷受到缺乏理論基礎的批評。這個問題已經部分地被大量的文獻解決了，這些文獻至今沒有被很好地組織起來。本文對深度學習理論的最新進展進行了綜述和整理。文獻可分為六類: (1)基于模型復雜度和容量的深度學習泛化; (2)用于建模隨機梯度下降及其變量的隨機微分方程及其動力學系統，其特征是深度學習的優化和泛化，部分受到貝葉斯推理啟發; (3)驅動動力系統軌跡的損失的幾何結構; (4)深度神經網絡的過參數化從積極和消極兩個方面的作用; (5)網絡架構中幾種特殊結構的理論基礎; (6)對倫理和安全及其與普遍性的關系的日益關注。

//arxiv.org/pdf/2012.10931.pdf

概述

深度學習可以廣義定義為使用人工神經網絡從經驗中發現知識以進行預測或決策的一系列算法[138]。經驗的規范形式可以是人類注解的電子記錄作為數據集，也可以是學習者或電子環境之間的交互作用，取決于場景[169]。在深度學習中，一般的人工神經網絡通常是把一個由非線性激活函數組成的序列的權值矩陣連接成一個網絡，這種網絡具有相當大的參數大小。

深度學習的術語是由Dechter[62]引入機器學習，然后由Aizenberg等人[5]引入腦啟發算法，其中幾個主要概念可以追溯到20世紀40年代早期。深度學習的研究在20世紀40 - 60年代[162,111,199]和80 - 90年代[201]經歷了兩次上升后下降。第三次和當前的浪潮開始于2006年[24,114,196]，一直持續到現在。最近的浪潮已經從本質上重塑了許多真實世界的應用領域，包括計算機視覺[110]、自然語言處理[63,184]、語音處理[64]、3D點云處理[98]、數據挖掘[232]、推薦系統[247]、自動駕駛汽車[152,215]、醫療診斷[135,209]和藥物發現[43]。

然而，到目前為止，深度學習的發展嚴重依賴實驗，缺乏堅實的理論基礎。深度學習機制的許多方面仍然是未知的。我們不斷地驚訝地發現啟發式方法可以在廣泛的領域實現出色的性能，盡管有時也相當不穩定。與此同時，直覺方法往往未被證實，甚至未被驗證。這種做法是可以容忍的，并且在深度學習研究中已經變得普遍。這種黑盒特性給深度學習應用帶來了未知的風險。這種不了解在很大程度上削弱了我們識別、管理和預防算法導致的災難的能力，并進一步嚴重損害了我們將最近的進展應用于許多工業部門的信心，特別是在安全關鍵領域，如自動駕駛汽車、醫療診斷和藥物發現。這也對深度學習算法設計的未來發展產生了沖擊。

理論基礎的一個主要部分是泛化，泛化是指通過深度學習算法對未見數據進行預測，在訓練數據上訓練好的模型的能力[224,169]。由于訓練數據不能覆蓋未來的所有情況，良好的泛化性保證了所學的模型能夠處理未知事件。在長尾事件經常出現并有可能造成致命災難的地方，這一點尤其重要。

統計學習理論建立了基于假設復雜度的泛化理論[224,169]。這些工具能解決深度學習理論中的問題嗎?答案是否定的。傳統工具通常根據假設復雜度構建泛化邊界，如vc維[28,223]、Rademacher復雜度[130,129,21]和覆蓋數[73,104]。在經典的結果中，這些復雜性很大程度上依賴于模型的大小。這就引入了奧卡姆剃刀原理:

如無必要，勿增實體

即，只要模型能夠擬合訓練樣本，就需要找到一個足夠小的模型來防止過擬合。然而，深度學習模型通常具有非常大的模型規模，這有時會使泛化界甚至大于損失函數的潛在最大值。此外，根據Occam 's razor原理，可泛化性與模型大小之間存在正相關關系，而這在深度學習中已經不存在了。相比之下，更深更廣的網絡往往具有優越的性能[38]。深度學習卓越的泛化能力與其極端的過參數化之間的矛盾，就像傳統復雜學習理論的一朵“云”。

早期的工作試圖建立深度學習的理論基礎[172,90,22,20,23,158,11]，但很大程度上由于深度學習研究的廣泛發展而停滯不前。

最近的研究始于Zhang等人在2017年的工作[244]。作者進行了系統的實驗來探索深度神經網絡的泛化能力。他們表明，即使訓練標簽是隨機的，神經網絡也能幾乎完美地擬合訓練數據。如何從理論上解釋深度神經網絡的成功，是學習理論界關注的一個重要話題。Kawaguchi等人[122]討論了許多關于深度神經網絡在容量大、復雜性、算法可能不穩定、非魯棒性和極小值尖銳的情況下仍具有出色泛化能力的開放問題。作者也提出了一些解決問題的見解。從那時起，深度學習理論的重要性得到了廣泛的認識。大量文獻的出現建立了深度學習的理論基礎。在本文中，我們回顧了相關文獻，并將其歸納為以下六類：

• **基于復雜度和容量的方法分析深度學習泛化性。**傳統的統計學習理論根據假設空間的復雜度，建立了一系列泛化誤差(泛化界)的上界，如vc維[28,223]，Rademacher復雜度[130,129,21]，覆蓋數[73,104]。通常，這些泛化范圍明確地依賴于模型的大小。他們認為，控制模型的大小可以幫助模型更好地泛化。然而，深度學習模型龐大的模型規模也使得泛化范圍顯得空洞。因此，如果我們能夠開發出大小無關的假設復雜度度量和泛化邊界是非常值得期待的。一種有前景的方法是刻畫深度學習中可以學習的“有效”假設空間的復雜性。有效假設空間可以明顯小于整個假設空間。因此，我們可以期望得到一個小得多的泛化保證。

• **隨機梯度下降(SGD)及其變體模型的隨機偏微分方程(SDE)在深度學習優化算法中占主導地位。**這些SDEs的動態系統決定了訓練神經網絡中權值的軌跡，其穩定分布代表了學習網絡。通過SDEs及其動力學，許多工作為深度學習的優化和泛化提供了保障。“有效”假設空間正是“SGD能找到的”假設空間。因此，通過SGD研究深度學習的普遍性將是直接的。此外，這一系列的方法部分受到貝葉斯推斷的啟發。這與前面的變異推斷相似，后者以優化的方式解決了貝葉斯推斷，以解決縮放問題。這種隨機梯度方法和貝葉斯推斷之間的相互作用將有助于這兩個領域的發展。

• **高度復雜的經驗風險曲面的幾何結構驅動動態系統的軌跡。**損失曲面觀的幾何形狀在驅動SDEs的軌跡方面起著重要作用:(1)損失的導數是SDEs的組成部分;(2)損失作為SDEs的邊界條件。因此，理解損失面是建立深度學習理論基礎的關鍵一步。通常，“正則化”問題的可學習性和優化能力是有保證的。1“正則化”可以用許多術語來描述，包括凸性、李普希茨連續性和可微性。然而，在深度學習中，這些因素不再得到保障，至少不是很明顯。神經網絡通常由大量的非線性激活組成。激活過程中的非線性使得損失曲面極其不光滑和非凸。所建立的凸優化保證失效。損失曲面令人望而卻步的復雜性，使社區長時間難以接觸到損失曲面的幾何形狀，甚至深度學習理論。然而，損失面復雜的幾何形狀恰恰表征了深度學習的行為。通過損失曲面是理解深度學習的“捷徑”。

• 深度神經網絡的過參數化作用。 過度參數化通常被認為是通過基于復雜性的方法為深度學習開發有意義的泛化邊界的主要障礙。然而，最近的研究表明，過度參數化將對塑造深度學習的損失曲面做出主要貢獻——使損失曲面更加光滑，甚至“類似”凸。此外，許多研究也證明了神經網絡在極端過參數化情況下與一些更簡單的模型(如高斯核)等效。

• **網絡架構中幾種特殊結構的理論基礎。**在前面的綜述中，我們主要關注的結果一般代表所有的神經網絡。同時，深度神經網絡的設計涉及到許多特殊的技術。這些結構也對深度學習的卓越性能做出了重要貢獻。我們回顧了卷積神經網絡、遞歸神經網絡和置換不變/等變函數網絡的理論成果。

• **深入關注倫理和安全以及它們與深度學習理論的關系。**深度學習已經被部署在越來越廣泛的應用領域。其中一些涉及高度隱私的個人數據，如手機上的圖像和視頻、健康數據和最終記錄。其他一些場景可能需要深度學習來提供高度敏感的決策，比如抵押貸款審批、大學入學和信用評估。此外，研究表明，深度學習模型容易受到對抗性例子的攻擊。如何保護深度學習系統免受隱私保護、公平保護和對抗攻擊等方面的破壞是非常重要的。

本文結構

本文綜述了深度學習理論基礎研究的最新進展。我們承認有一些論文回顧了深度學習理論。Alom等人[9]對深度學習中使用的技術進行了調查。Sun[214]綜述了深度學習中的優化理論。E等人[81]總結了深度學習中最優化的近似和ademacher復雜性、損失面以及收斂和隱式正則化相關的結果和挑戰。我們的調查是最全面的。我們以獨特的視角組織文獻，并為未來的作品提供新的見解。

深度學習的極好的泛化性就像傳統復雜學習理論的“云”:深度學習的過度參數化使得幾乎所有現有的工具都變得空洞。現有的工作試圖通過三個主要途徑來解決這一問題: (1)開發大小無關的復雜性測度，它可以表征可學習的“有效”假設空間的復雜性，而不是整個假設空間。第二節討論了相關工作; (2) 基于隨機微分函數和相關損失函數的幾何性質，利用深度學習中占主導地位的優化器隨機梯度方法對所學假設進行建模。有關的工作在第3及4節檢討; (3) 過度參數化出人意料地為損失函數帶來了許多良好的性質，進一步保證了優化和泛化性能。相關工作在第5節中給出。與此同時，第6節回顧了網絡體系結構特殊結構的理論基礎。

機器學習的另一個重要方面是對道德和安全問題的日益關注，包括隱私保護、對抗魯棒性和公平保護。具體地說，隱私保護和對抗魯棒性與可泛化性密切相關:泛化性好通常意味著隱私保護能力強;更穩健的算法可能會有。本文還討論了在深度學習場景中，如何理解這些問題之間的相互作用。相關工作將在第7節討論。

深度學習在藥物發現方面很有前景，包括高級圖像分析、分子結構和功能的預測，以及具有定制屬性的創新化學實體的自動生成。盡管有越來越多的成功的應用前景，但基本的數學模型仍然很難被人類的思維所解釋。有一種“可解釋的”深度學習方法的需求，以解決對分子科學機器語言新敘述的需求。這篇綜述總結了可解釋人工智能的最突出的算法概念，并預測了未來的機會，潛在的應用以及一些仍然存在的挑戰。我們還希望它鼓勵進一步努力發展和接受可解釋的人工智能技術。

//www.nature.com/articles/s42256-020-00236-4

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在連續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。****