近年來，計算機的巨大進展引領著神經網絡的革命，影響了從自然語言處理到計算機視覺等各領域。同時，深度學習也影響著藥物研發的許多領域，包括細胞圖像分析，有機分子合成路線的設計和分子生成(新化學分子的設計)等。 本文獻關注深度學習影響分子設計的兩個關鍵領域:分子性質預測和分子生成。

介紹

基于藥物相關數據進行分子的生成與評估是新藥設計的關鍵任務。在藥物設計早期，藥物研發通常依靠藥物化學家的經驗進行藥物分子的設計與驗證。藥物化學家會合成一組化合物并對其進行生物活性測試，查看測試產生的數據，并利用對基礎學科的理解來決定下一步要合成哪些分子。他們將以上步驟進行迭代，最終得到所需的目標分子。 20世紀30年代，定量結構-活性關系(Quantitative Structure-Activity Relationship，QSAR)的發展，為化學結構與各種理化性質之間建立了一個數學模型。這些用于性質預測的QSAR模型奠定了許多虛擬篩選策略的基礎。虛擬篩選使用大量候選分子數據集得到更小的數據集用于后續的合成或者購買。 之后許多研究團隊產生了新的想法。他們編寫了計算機程序來進行從頭分子設計進而生成新分子。這些程序通常在蛋白質結合位點上添加原子或官能團來“生長”現有的分子，然后使用各種打分函數來評估這些分子，并將更優分子用于合成。雖然這些全新的設計方法取得了一些成功，但它們并沒有被廣泛采用。 在近幾年深度學習發展的推動下，分子生成和分子性質預測領域開始復蘇。深度學習應用于分子性質預測，包括預測生物活性、ADME(Absorption, Distribution, Metabolism, and Excretion)和與毒性靶標(eg: hERG——thehumanEther-à-go-go-RelatedGene)的相互作用等。其不依賴于專家定義的分子特征集，而是使用可調整到特定任務的學習特征。相關性質預測模型的性能優于更傳統的QSAR方法。當應用于分子生成領域時，深度學習并不是隨機擴展現有的分子，也不是使用一套規則來連接現有的分子片段，而是從現有的分子訓練集中學習規則生成分子。通過將這些生成方法與預測模型相結合，研究人員能夠設計出滿足特定生物活性的分子。

分子性質預測

分子性質預測方法應用于虛擬篩選領域可以減少實驗篩選相關的時間和費用，同時拓寬可探索的化學空間。虛擬篩選可在短時間內評估數十億分子，相比實驗篩選方法快速很多。研究相關分子性質預測算法可以加速藥物發現。

1．用于分子性質預測的神經網絡

神經網絡模型的關鍵在于如何在機器學習算法中以較合理的方式表示分子。早期的模型使用專家構建的特征(如指紋與描述符)來表示分子。機器學習算法的作用是學習如何權衡這些特征，以提供準確的性質預測。這類模型的預測準確性很大程度上取決于所選特征的質量。而神經網絡直接從數據中自行學習合適的特征表示。輸入分子集與性質數據集進行網絡的訓練后，向網絡輸入新分子，我們可以得到該分子的性質預測值(如圖1)。

圖1 分子性質預測模型[1]****

作者列舉了一些深度學習應用于分子性質預測領域的研究。其中包括預測實驗毒性的回溯性研究——Tox21挑戰(Tox21 Challenge)；以及前瞻性研究——發現新藥(新抗生素)。 Tox21挑戰中，研究小組使用了各種機器學習方法來預測實驗毒性分析的結果。Hochreiter團隊使用的深度學習模型贏得了15項挑戰中的9項。Feinberg研究團隊建立在各種藥物數據集上的模型的R2(相關系數)平均增加0.16。Yang團隊建立的模型在19個公共基準中的11個基準上表現較基線模型要好。 前瞻性研究中簡要描述了Stokes團隊應用性質預測進行虛擬篩選進而發現強效抗生素這一過程(見圖2)。該團隊選用了2335種已上市的藥物和天然產物，確定它們抑制大腸桿菌生長的能力；之后創建深度學習模型，在含1.07億商業化合物的數據庫中篩選預測分子，進而對所得分子進行后續生物測試。

圖2 Stokes應用性質預測發現了一種新型抗生素過程[1]**********

2．分子性質預測準確性的數據要求******

預測模型的準確性在很大程度上也取決于能否獲得合適的數據。 給定了大量的參數，神經網絡模型需要足夠多的訓練數據來學習最佳的分子表示，并最終預測任務本身。性質預測這一任務所需的數據量可達數萬以上。對于藥物研究來說，獲取大樣本很困難。典型先導化合物優化生成的分子量通常不足以提供給神經網絡進行模型訓練。然而，大量數據集也不一定能成功擴展新化學空間。預測分子與原始訓練集的散度不能太大。分子與訓練集的散度越大，模型就越難正確地預測分子屬性。此外，現有的置信度估計方法也不能充分評估模型預測的正確性。

3．分子性質預測中不確定性的度量******

當使用機器學習模型來預測一個分子的生物活性或物理性質時，了解該預測中性質預測值的不確定性很重要。然而該領域學者對評估不確定性的方法并未達成共識。在機器學習模型中量化分子的相似性和評估不確定性則更困難。 Hirschfeld等人使用了5個基準數據集來評估神經網絡模型中的幾種量化不確定性的方法。其中包括： ①集成方法：改變網絡參數創建集成模型，整個集成模型的方差用于不確定性的度量。 ②均值-方差評估方法：訓練其中一個網絡用于預測特定分子預測值的均值與方差。 ③基于分子指紋或基于距離表示潛在空間的度量方法。 ④聯合方法：即利用神經網絡與潛在空間表示相結合的方法輸出分子性質預測的不確定性值。 而作者認為這些方法可靠性均較低，需要進行進一步研究。

4．數據增強策略

在神經網絡中可使用數據增強的方法緩解大數據量的這一需要。例如在分析圖像時，可以通過旋轉或模糊圖像來創建更大的數據集，并將這些修改后的圖像作為附加示例插入到數據集中。而在分子性質預測數據集中，一般數據增強策略有兩種：一個是利用其他相關性質預測(例如相關蛋白質靶標的活性)的數據進行增強進而訓練網絡；另一個是對現有分子結構進行增強得到更大的數據庫進行網絡訓練，進而學習到較好特征進行分子性質預測。然而這兩種方法并沒有很成功，還需進一步研究。分子從頭設計與生成模型

分子生成模型從2017年開始出現，之后一直是一個比較熱門的研究領域。這些生成模型方法受到了來自計算機視覺和自然語言處理等領域的啟發，產生了許多神經網絡架構，網絡性能也在進一步提高。1．****分子生成模型的種類第一種可行的分子生成技術采用了被稱為自動編碼器(AutoEncoder, AE)(如圖3)的神經網絡。AE由編碼器和解碼器組成。編碼器以連續編碼的方式編碼分子，促進分子屬性的預測和優化，解碼器學習將一個優化的連續表示映射回具有改進屬性的分子圖，進而生成新分子。

圖3 生成模型的自動編碼器(AE)架構示意圖**[1]******

第二種方法稱為循環神經網絡(Recurrent Neural Network, RNN)。RNN被設計用來學習序列數據，如文本語音等，也可用來生成分子。RNN在一個已知分子的數據庫上訓練時，網絡可以學習到分子的哪些部分會被連接。經過訓練后，網絡將得到原子或官能團被連接的概率，不同分子集得到的概率不同。

第三種方法稱為強化學習(ReinforcementLearning, RL)。該技術使用的網絡用于描述智能體(Agent)在與環境的交互過程中，通過學習策略達到回報最大化或實現特定目標的問題。RL應用于分子生成時，定義一系列“move”。這些“move”通過添加和修飾原子及原子鍵使分子生長或改變。目標通常被定義為基于預測模型的屬性值。之后網絡使用各種策略來實現目標。使用RL可生成滿足多個目標的分子，這些生成的分子與目標分子具有高相似性以及高類藥性等性質。

第四種生成方法文獻作者在此篇綜述中并沒有提及，筆者在此進行補充，該方法稱為生成對抗網絡(Generative Adversarial Networks , GAN)。GAN網絡由一個生成器(Generator)與一個判別器(Discriminator)組成。生成器生成類似于訓練集的數據, 判別器判斷數據的真假(是否來源于生成器)。生成器與判別器相互博弈，最終生成器生成的分子可以達到真假難辨的地步。

**2．**分子生成模型的分子表示方法

生成模型分子結構的文本表示首次應用的是SMILES(Simplified Molecular Input Line Entry System)字符串，進而將SMILES轉換成連續向量，然后根據所需要的性質進一步優化。優化后的新向量再被解碼成一個代表輸出分子的SMILES字符串。 在SMILES表征的基礎上，研究人員又開發了能夠有效處理分子圖的編碼和解碼算法，這種方法可明確地捕獲官能團及其空間排列，以及分子整體骨架等信息。 最近的研究進一步增加了分子的三維信息表示方式，探索了尋找優化分子的替代算法。其中一種方法是用給定的起始分子及改進性質后的對應分子作為配對進行訓練。這種方法可以被看作是匹配分子對分析(Matched MolecularPairs Analysis, MMPA)的神經網絡版本，其中模型在隱藏空間中學習軌跡，即使隱藏空間不平滑，也具有魯棒性，并支持生成不同的輸出(如圖4)。

圖4 使用編碼器解碼器生成分子的連續表示****[1]********

3．分子生成模型的相關研究

文獻作者列舉了分子生成相關應用研究，評估方法及未來發展前景。 分子生成的應用包括Merk設計的類視黃酮X受體(Retinoid X Receptors, RXRs)或過氧化物酶體增殖物激活受體(Peroxisome Proliferator-Activated Receptors, PPARs)的激動劑，Zhavoronkov設計生成的盤狀蛋白結構域受體1(Discoidin Domain Receptor 1, DDR1)抑制劑。而學者Walters和Murcko對生成模型提出質疑，因為生成的DDR1抑制劑與之前發表的上市藥物高度相關(見圖5)。于是，文獻作者引出生成模型的評估方法。

**圖5 模型生成化合物1與上市藥物ponatinib的比較

[1]**

生成模型評估方法有GuacaMol算法、分子枚舉比較方法以及Molecular Sets(MOSES)方法 (MOSES方法綜述作者沒有提及，筆者對其進行補充)。GuacaMol算法通過一系列的測試來評估算法生成分子的有效性、唯一性和多樣性以及評估生成模型探索化學空間的能力。分子枚舉比較方法使用生成的分子與化學空間(Zhang使用了GDB-13數據庫)詳盡枚舉的分子進行比較。 MOSES設計了一個分子生成基準平臺，該平臺提供了分子結構數據集、基準模型的實現方法以及它們的評估指標。其中評價指標與GuacaMol較為類似，主要有分子數據集分布指標與單個分子性質指標這兩類。 未來可能針對分子合成性開發基于可用試劑的分子生成模型，并生成具有目標性質(包括所需的分子相互作用，ADME性質等)的分子。

********總結與展望

雖然藥物發現領域由于人工智能的推動得到了加速發展，但它是一個復雜的過程，還有很多問題有待解決。 首先，藥物研發需要優化多個參數，包括靶點有效性，脫靶副作用，藥代動力學等。現有的研究只解決了其中部分問題。其次，研究人員需要用于正確構建研究模型的訓練數據，現有的數據有時會存在許多問題。未來研究人員可能會創建更加智能的方法來識別并排除可能包含錯誤的數據，構建模型的研究人員也會與實驗人員合作，確保數據適用于模型訓練。 我們不應該完全否定人工智能，但也不應該認為它是一種“萬能藥”。隨著人工智能繼續被用于藥物發現，它將成為藥物研發過程中廣泛使用的一種工具。

**參考文獻 *[1] W.Patrick Walters and Regina Barzilay. Applications of Deep Learning in MoleculeGeneration and Molecular Property Prediction. Accounts of Chemical Research. 2021, 54: 263-270.

供稿：胡楓

AlphaFold是DeepMind開發的一個人工智能系統，可以根據蛋白質的氨基酸序列預測蛋白質的3D結構。AlphaFold軟件和“AlphaFold蛋白質結構數據庫”(AlphaFold Protein Structure Database)向公眾開放已經一年了，用戶可以探索和研究他們感興趣的蛋白質。

機器學習模型有潛力成為生物學的核心工具，正如最近在蛋白質結構預測方面的進展所表明的那樣。在這次網絡研討會中，我將概述AlphaFold:該系統如何工作，如何獲得蛋白質結構預測，以及如何分析它們。然后，我將回顧構建系統的一些方法，并將討論如何為新應用程序評估AlphaFold。

近年來，蛋白質結構的計算模型的能力和準確性顯著提高，結構生物學的一些領域沒有受到影響。這些變化已經在當前版本的AlphaFold中實現，RoseTTAFold也不遠了。實驗結構生物學仍然需要解決預測結構中的歧異，并驗證細節，但高質量模型的可用性正在消除實驗中的許多瓶頸。即使沒有實驗結構，新的模型也足以產生有趣的假設，可以通過實驗來驗證，比如評估與遺傳疾病相關的變異是如何導致疾病的。通過在當前算法中使用的模式識別中添加明確的物理和化學，以及積極利用有限的實驗觀察，可以解決模型的局限性。我將討論AlphaFold對結構生物信息學的影響，通過強調一些大規模的努力和開發的結構搜索工具來描述AlphaFold模型。

探索AlphaFold的應用程序

討論目前AlphaFold在結構生物學中的優勢和局限性

識別結構預測對結構、計算生物學研究的影響

本次文獻匯報分享一篇2021年3月哈佛大學的研究人員發表于《EXPERT OPINION ONDRUG DISCOVERY》的文章[1]。

前言

簡介：近年來，人工智能（Artificialintelligence，AI）在計算機視覺、自然語言處理和游戲等領域取得了巨大進展。在藥物發現領域，盡管已經有一些人工智能模型成功應用于ADME/T和活性預測，但仍然存在一個關鍵的挑戰：這些預測模型是否具有可泛化性？

涵蓋的領域：作者總結了藥物早期發現階段用于ADMET性質預測的人工智能模型的相關概念，進一步討論了人工智能部署的適用性領域和數據集構建問題。進一步回顧了多任務、遷移和元學習的作用，這些學習框架利用輔助數據來克服泛化問題。

專家意見：作者的結論是，將可靠和信息豐富的人工智能模型集成到藥物發現流程中，最有前途的方向是將學習特征表示、深度學習和新穎的學習框架結合起來。這樣的方案能很好地解決藥物發現相關的數據集稀疏和不完整的問題。

介紹

人工智能技術和深度學習（deeplearning，DL）技術已經在計算機視覺、自然語言處理、圍棋游戲等多種領域產生了令人難以置信的結果。人工智能的廣泛應用給藥物的發現和重新利用帶來了很大的希望，具有里程碑意義的案例包括新抗生素halicin的發現，以及AlphaFold2從序列到蛋白質結構的成功預測。盡管歷年來大型人工智能模型的訓練成本和資源消耗都很高，但計算機技術的創新已經打破了這些障礙。 從人工智能中受益的藥物發現的關鍵領域之一是ADME/T性質預測，通過定量結構活性關系（quantitative structure–activity relationship，QSAR）模型來預測多種性質，從簡單的物理化學性質到復雜的藥代動力學（pharmacokinetic，PK）、藥效學和毒理學特性。重要的PK端點包括清除率、通透性和穩定性；重要的藥效學端點包括藥物靶標特異性和選擇性；重要的毒理學端點包括細胞色素P450誘導和hERG抑制。

預測模型的可用性是非常重要的，決定了化學家和生物學家是否能在臨床中選擇最有可能成功的候選藥物。這些計算工具可以降低候選藥物的流失率和研究成本，從而降低新藥的價格，減輕病人的負擔。 有許多的研究評估了新興的人工智能模型與傳統的機器學習和化學信息學模型。默克公司舉辦了一個Kaggle競賽，挑戰參賽者為15個不同的QSAR數據集建立模型。獲勝的項目使用的是深度神經網絡（deep neural network，DNN）。2015年，Ma等分析了這些結果，發現深度神經網絡的簡單應用通常優于隨機森林(random forests，RFs)。2018年，Mayr等使用ChEMBL數據庫對機器學習模型進行了詳細的藥物靶點預測比較，類似地發現DNN優于RFs，以及支持向量機(support vector machines，SVMs)、k-最近鄰(K-nearest-neighbors，KNN)、樸素貝葉斯（Na?veBayes，NB）和相似集成方法(a similarity ensemble approach，SEA)。

未來的挑戰在于提高人工智能的泛化能力，即從很少的數據推廣到更廣泛的化學空間。在某種程度上，這是一個固有的、棘手的問題；畢竟，人工智能模型只能基于現有數據進行預測。而且，藥物發現的數據非常稀疏，在廣闊的可能性化學空間中只有很少的實驗數據點，而且根據分析的準確性和靈敏度，常常是帶有噪聲的，但這一挑戰并非不可克服。

目前有很多工具和案例研究可以成功地對數據稀缺的環境建模。因此，開發用于性質預測的人工智能模型仍有很大的潛力。

人工智能分子性質預測正在迅速發展。盡管新模型多種多樣，但每一種模型都有相同的兩部分結構：（1）分子表征方法，它以計算機可讀的格式對化合物進行編碼；（2）人工智能算法，它基于分子表示法進行預測。這些是決定人工智能模型的準確性和可泛化性的決定性因素。

分子表征

在QSAR建模的早期歷史中，分子描述符是人工定制的，用于非常小的數據集的特定模型框架。如果研究人員知道一個特定的性質依賴于一個特定的描述符，那么他們就可以使用那個描述符。然而，在大多數情況下，其中的關系更加復雜，包含了多種因素的組合。因此，當研究人員開始處理更大、更多樣化的數據集時，對通用描述符的需求變得非常明顯。多年來，研究人員開發和測試了許多類型的描述符。

描述符的選擇應該遵守一下規定：首先，描述符應謹慎選擇和刪減，以避免過擬合。第二，描述符應該盡可能具有多樣性。不同的描述符集合涵蓋了物理化學空間的不同部分，必須確保一組描述符為特定的性質而建立，并且描述符能夠擴展和泛化狹窄的訓練集。第三，描述符在描述符空間中應該盡可能地相互正交。這使得模型具有更強的可解釋性，同時也避免了將冗余的信息合并到模型中。

選擇正確的描述符的困難很大程度上在于第一點和第二點之間的沖突。特別是在預測具有未知的或定義不清的數據框架的小型數據集時，很難找到一組合理的避免模型過擬合的描述符，同時仍包含模型作出準確預測所需的所有信息。

選擇合適的分子描述符是一個特征工程問題。近來，某些模型試圖通過直接從化合物的結構中學習特征表示來克服特征選擇的缺點，通常表示為分子圖、圖理論矩陣或SMILES。使用學習得到的特征而不是設計的特征已經成為近來人工智能的一個基本主題。例如，在計算機視覺領域的重大突破ImageNet，它使用DL和大量的卷積層，而不是手工設計的特征。同樣，在DeepMind的AlphaGo中，人工智能也沒有使用任何預先設定好的動作序列。

然而，學習后的特征表示方法仍然面臨困難。一個關鍵的限制是，一個模型需要大量的數據才能學習特征并且不過度擬合。

表1 小分子最常用和最有用的分子表示（表格翻譯自原文）

人工智能算法

類似于分子表示，人工智能算法可以大致分為使用特征工程或特征學習。SVM、KNN、RF、線性回歸和MLP模型屬于特征工程；CNN、RNN和MPNN以及Transformers屬于特征學習。這種劃分并不完全明確，許多已學習特征的模型也將分子描述符作為輸入。 在特征工程模型之外，MLP已被證明至少與支持SVM、KNN、RFs和線性回歸模型相匹配，甚至經常在溶解度、細胞生長抑制、logD和CLINT等數據集上優于SVM、KNN、RFs和線性回歸模型。雖然Ma等和Korotcov 等研究都同意MLPs優于所有其他模型，但Korotcov等發現，在hERG端點上，DNNs的表現更差，而Ma等發現DNNs的表現明顯更好。盡管它們的模型架構略有不同，但這些差異只會帶來適度的改變，不會對性能產生顯著的變化。事實上，主要的區別在于Korotcov等人在他們的訓練集中使用了大約500種化合物，而Ma等人使用了大約50000種化合物。也就是說，在大型復雜數據集上，特征學習模型比特征工程模型表現得更好。

表2 預測分子性質最常用和最有用的機器學習算法（表格翻譯自原文）

數據質量和適用性領域****************

1.適用領域****************

模型的適用領域（The applicability domn，AD）指模型可以合理應用于預測的響應空間和描述符空間。藥物發現空間正在擴展到小分子以外，面向的是更具有挑戰性的、新的靶標。Hanser等人將AD的概念擴展到如圖1所示的模型的決策域（decision domain，DD）。圖1是一個層級結構，定義了一個空間，在這個空間中，模型可以在三個方面做出預測：（1）適用性，（2）可靠性，（3）可判定性。適用性衡量模型所要求的預測是否符合預期。可靠性衡量模型在其訓練集中是否被給予足夠的信息來做出明智的預測。可判定性衡量的是一個決策的實際有用程度。雖然沒有明確說明，但大多數AD方法都可應用這個框架，這為分析模型的泛化性提供了一個有用的方法。

**圖1 三級決策域層級結構及限制其泛化的因素（圖片來自原文）**2.數據質量

對于實際的模型構建，數據是最基本的限制。在藥物發現過程中的數據集生成較為困難，每個實驗數據點都必須由生物學家和化學家來測量，這需要時間和資源。高通量初級試驗的數據較多，而資源密集型的PK/PD和毒性端點所包含的數據較少，這些端點在候選藥物選擇的后期階段更為重要。 藥物發現中的數據量與人工智能的其他領域進行對比：在計算機視覺中，ImageNet擁有120萬個數據點用于圖像識別；在GPT3的自然語言處理中，研究人員使用了5000億個文本數據標記。這種數量的數據對于任何端點來說都是難以獲得的，PubChem的所有生物活性數據量也只有大約2.7億個。盡管數據增強是一項強大的技術，即通過創建額外的樣本以供模型學習，例如，通過采樣不同的SMILES或同一化合物的不同構象，然而這并不能改變化合物的實驗數據有限這一事實，因此無法表示新穎的化學物質。 還有一些更具體的、影響泛化性的因素。數據集可能會有很大的誤差，或者偏向于特定的結構或端點值。另外，噪聲數據集的問題降低了每個數據點的可靠性，從而降低了整個模型的可靠性。同時，模型不能比它所訓練的實驗數據更準確。因此，對于任何試驗數據源，必須與領域專家一起仔細評估試驗的穩健性和可靠性，以確定如何在模型構建中使用它。

3.數據集構建

近年來，無論是在工業領域還是公共領域，藥物發現相關的數據量都有了很大的增長。在PubChem、ChEMBL和ZINC等數據庫中存在的數據集，可供大眾使用。制藥公司有自己的內部專有數據庫。為了創建更大、更全面的數據庫，以構建更精確的模型，人們一直在努力將這些專有數據庫集中在一起。其中規模最大的是MELLODDY，這是一個由10家制藥公司組成的聯盟，它使用聯邦學習（federated learning，FL）來訓練人工智能模型。 然而，許多數據集往往是異構的，因此不能直接應用模型。在篩選過程中，必須非常小心，如果匯總數據，則必須聘請領域專家。此外，數據歸一化過程必須統一應用到整個數據集。在執行數據管理之后，數據分割的選擇，創建訓練、測試和驗證集，對于生成可泛化模型也至關重要。

********學習框架

為了克服這些數據問題，研發人員提出了遷移學習、多任務學習和元學習框架。這些框架都建立在分子性質預測任務彼此相似這一假設的基礎上，這些模型的基礎思想是，通過給人工智能模型提供其他任務的額外信息，可以讓它在某些特定任務中表現得更好。此類任務基于的假設是，所有的分子性質預測任務都植根于某些物理、化學和生物系統。

1.遷移學習

通過遷移學習，模型將知識從一個任務推廣到另一個任務，以提高模型的適用性和可判定性。這種方法已經在一定程度上被用于調整全局模型以創建局部模型的實踐中，兩種最常見的遷移學習方法是：一、基于功能，其中一個模型學習一些分子表示，然后用于其他模型，二、基于參數，一個模型在一個任務上訓練，然后它的權重作為近似解，微調至不同的任務。

2.多任務學習

多任務學習是一個單一的人工智能模型在同一時間預測一個化合物的許多不同的屬性。這個框架背后的核心概念是，人工智能模型將在它所預測的每個屬性之間共享信息。在適用性領域方面，假設我們有一種化合物，我們想要預測它的某些性質，而該化合物沒有類似的化合物與實驗數據。如果我們訓練一個單任務模型，它就會脫離適用性領域。但對于多任務學習，假設可能存在不同性質的類似化合物的實驗數據，人工智能模型可以利用這些信息做出明智的預測。

3.元學習

在元學習框架中，創建了一個二階模型，二階模型接收任務的數據，然后輸出另一個人工智能模型的規范，然后在任務上進行訓練。這些規范可以是模型的類型、要使用的超參數或權值初始化。  **圖2 以下部分的圖形表示：(a)遷移學習模型；(b)多任務學習模型；(c)元學習模型（表格來自原文）

**總結

關鍵ADME/Tox端點和活性預測的人工智能模型對早期藥物發現過程具有很高的應用價值，因為它們將加速臨床選擇更安全、更有效的藥物，最終降低經濟成本。仍然存在的關鍵挑戰是數據的可用性和依賴于數據的模型的泛化性。 必須仔細評估數據的偏差或噪聲，仔細地進行一致化處理，以構建穩健的數據集。在構建數據集之后，必須開發模型，以便從數據中最好地歸納并做出適當的預測。雖然目前選擇使用哪些組件來創建模型還沒有明確的答案，但總體趨勢是向學習特征表示和深度學習模型發展，并且被集成在一些元學習、遷移學習或多任務學習框架下。

**參考文獻 **[1] HUANG D Z, BABER J C, BAHMANYAR S S. The challenges of generalizability in artificial intelligence for ADME/Tox endpointand activity prediction. Expert Opinion on Drug Discovery, 2021, 16(9):1045-1056.

供稿：張滿湛

**校稿：張夢婷/馮紫燕編輯：毛麗韞華東理工大學/上海市新藥設計重點實驗室/李洪林教授課題組

人工智能已應用于藥物設計的各種方面，如藥物-蛋白質相互作用預測、藥物療效的發現、確保安全性生物標志物。本綜述提供了在藥物開發的各個階段通過ML工具和技術發現藥物的可行文獻，以加速研究過程，降低臨床試驗的風險和支出。機器學習技術改進了在不同應用中的藥物數據決策，如QSAR分析、hit發現、從頭藥物架構檢索準確的結果。在本綜述中，靶點驗證、預后生物標志物、數字病理學都被認為是存在問題的。ML挑戰必須適用于可解釋性結果不足的主要原因，這可能會限制藥物發現中的應用。在臨床試驗中，必須生成絕對數據和方法學數據，以解決在驗證ML技術、改進決策、提高ML方法的意識以及推斷藥物發現中的風險失敗方面的許多難題。 //pubmed.ncbi.nlm.nih.gov/34393317/

隨著機器學習在各種應用領域的顯著成功，我們正目睹越來越多的人對機器學習在藥物發現和開發中的應用感興趣。

在本教程中，我們將介紹機器學習在過去幾年中取得的關鍵進展，并強調這些進展在藥物開發中帶來的根本性的新機遇。我們感興趣的是這些進步為什么以及如何幫助完成與藥品有關的任務。我們通過六個關鍵任務詳細闡述了機器學習在藥物開發中的應用:(a)合成預測和新藥設計，(b)分子性質預測，(c)虛擬藥物篩選和藥物靶標相互作用，(d)臨床試驗招募，(e)藥物再利用，(f)藥物不良反應和多用藥。

我們討論這些關鍵藥物相關任務的方法背后的理論基礎，闡明基于不同配方的各種方法，并總結代表性的應用。我們將涵蓋生成模型、強化學習以及深度表示學習和嵌入方面的最新進展。為此，我們提出了一個用于端到端藥物開發的人工智能算法工具箱。

藥物的發現和開發是一個漫長而昂貴的過程。它通常從分子和目標的實驗發現開始(即藥物從頭設計)，并在轉入臨床試驗之前通過細胞系、類器官和動物的體外實驗驗證發現。一種新藥從發現到監管機構批準的整個過程可能需要長達12年，成本高達28億美元。此外，每個藥物開發階段都存在巨大的不確定性(1:50 000的成功率)。

機器學習方法已成為解決這些挑戰和加速藥物開發的一種有前途的工具。本教程將介紹以下與藥物相關的主要任務:

• 合成預測和藥物從頭設計(即從頭設計一個全新的分子)的目的是生成化學上正確的結構，以協助復雜的分子合成。

• 分子特性預測的目的是通過預測分子特性，如效力、生物活性和毒性，從分子數據來確定分子的治療效果。

• 虛擬藥物篩選和藥物靶標識別的目的是預測藥物如何通過與靶標蛋白結合并影響其下游活性來影響人體。

• 臨床試驗招募的目的是找到合適的醫生幫助進行試驗，以及找到合格的患者參與試驗。

• 藥物再利用尋求通過藥物化學、目標和藥物與疾病之間的副作用相似性來發現已知藥物以及新分子的新用途。

• 藥物不良反應、多重用藥和藥物-食品相互作用預測的目的是預測藥物不良反應產生的機制，建議替代藥物成員的預期藥理作用沒有負面的健康影響，并預測食品成分對相互作用藥物的影響。

然后，我們將討論解決這些與毒品有關的任務的主要方法:

• 生成模型。我們重點研究了適用于新分子設計的變分自編碼器(VAE)和生成對抗網絡(GAN)。他們以已知治療性質的以直線或圖形為基礎的化合物表示為輸入，將化合物編碼為潛在空間，然后解碼為新的藥物樣品。

• 強化學習。我們主要討論策略梯度法，最先進的分子生成方法，可以結合特定領域的分子合成知識。

• 深度表示學習。我們提出主要的神經體系結構學習表示藥物相關的數據。這些方法是相關的，因為它們在與藥物有關的任務中達到了最先進的性能。例如，這些方法被用于自動學習藥物指紋，學習藥物蛋白結合親和力，并招募患者參加臨床試驗。此外，圖嵌入方法用于研究藥物組合，并預測藥物效應，因為藥物擴散到生物網絡中，超出了它們直接結合的分子。

目錄內容：

• 概述和介紹
• 罕見和新發疾病藥物再利用的虛擬藥物篩選、知識圖譜嵌入方法
• 學習藥物組合的建模
• 臨床試驗地點識別(醫生識別、covid - 19疫苗和抗體試驗地點識別)、患者招募
• 分子優化，分子圖生成，多模態圖到圖的翻譯
• 分子性質預測，預測分子相互作用的變換器
• 使用演示、實現細節、工具和技巧進行實踐練習
• 總結和問答環節

【導讀】最新的一期《Science》機器人雜志刊登了關于XAI—Explainable artificial intelligence專刊，涵蓋可解釋人工智能的簡述論文，論述了XAI對于改善用戶理解、信任與管理AI系統的重要性。并包括5篇專刊論文，值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解釋性對于用戶有效地理解、信任和管理強大的人工智能應用程序是至關重要的。

//robotics.sciencemag.org/content/4/37/eaay7120

最近在機器學習(ML)方面的成功引發了人工智能(AI)應用的新浪潮，為各種領域提供了廣泛的益處。然而，許多這些系統中不能向人類用戶解釋它們的自主決策和行為。對某些人工智能應用來說，解釋可能不是必要的，一些人工智能研究人員認為，強調解釋是錯誤的，太難實現，而且可能是不必要的。然而，對于國防、醫學、金融和法律的許多關鍵應用，解釋對于用戶理解、信任和有效地管理這些新的人工智能合作伙伴是必不可少的(參見最近的評論(1-3))。

最近人工智能的成功很大程度上歸功于在其內部表示中構造模型的新ML技術。其中包括支持向量機(SVMs)、隨機森林、概率圖形模型、強化學習(RL)和深度學習(DL)神經網絡。盡管這些模型表現出了高性能，但它們在可解釋性方面是不透明的。ML性能(例如，預測準確性)和可解釋性之間可能存在固有的沖突。通常，性能最好的方法(如DL)是最不可解釋的，而最可解釋的方法(如決策樹)是最不準確的。圖1用一些ML技術的性能可解釋性權衡的概念圖說明了這一點。

圖1 ML技術的性能與可解釋性權衡。

(A)學習技巧和解釋能力。(B)可解釋模型:學習更結構化、可解釋或因果模型的ML技術。早期的例子包括貝葉斯規則列表、貝葉斯程序學習、因果關系的學習模型，以及使用隨機語法學習更多可解釋的結構。深度學習:一些設計選擇可能產生更多可解釋的表示(例如，訓練數據選擇、架構層、損失函數、正則化、優化技術和訓練序列)。模型不可知論者:對任意給定的ML模型(如黑箱)進行試驗以推斷出一個近似可解釋的模型的技術。

什么是XAI?

一個可解釋的人工智能(XAI)系統的目的是通過提供解釋使其行為更容易被人類理解。有一些通用原則可以幫助創建有效的、更人性化的人工智能系統:XAI系統應該能夠解釋它的能力和理解;解釋它已經做了什么，現在正在做什么，接下來會發生什么; 披露其所依據的重要信息(4)。

然而，每一個解釋都是根據AI系統用戶的任務、能力和期望而設置的。因此，可解釋性和可解釋性的定義是與域相關的，并且可能不是與域獨立定義的。解釋可以是全面的，也可以是片面的。完全可解釋的模型給出了完整和完全透明的解釋。部分可解釋的模型揭示了其推理過程的重要部分。可解釋模型服從根據域定義的“可解釋性約束”(例如，某些變量和相關變量的單調性服從特定關系)，而黑箱或無約束模型不一定服從這些約束。部分解釋可能包括變量重要性度量、局部模型(在特定點近似全局模型)和顯著性圖。

來自用戶的期望

XAI假設向最終用戶提供一個解釋，該用戶依賴于AI系統所產生的決策、建議或操作，然而可能有許多不同類型的用戶，通常在系統開發和使用的不同時間點(5)。例如，一種類型的用戶可能是智能分析師、法官或操作員。但是，需要對系統進行解釋的其他用戶可能是開發人員或測試操作員，他們需要了解哪里可能有改進的地方。然而，另一個用戶可能是政策制定者，他們試圖評估系統的公平性。每個用戶組可能有一個首選的解釋類型，能夠以最有效的方式交流信息。有效的解釋將考慮到系統的目標用戶組，他們的背景知識可能不同，需要解釋什么。

可操作性——評估和測量

一些方法提出了一些評價和衡量解釋有效性的方法;然而，目前還沒有通用的方法來衡量XAI系統是否比非XAI系統更容易被用戶理解。其中一些度量是用戶角度的主觀度量，例如用戶滿意度，可以通過對解釋的清晰度和實用性的主觀評級來度量。解釋有效性的更客觀的衡量標準可能是任務績效; 即，這樣的解釋是否提高了用戶的決策能力?可靠和一致的測量解釋的影響仍然是一個開放的研究問題。XAI系統的評價和測量包括評價框架、共同點[不同的思維和相互理解(6)]、常識和論證[為什么(7)]。

XAI -問題和挑戰

在ML和解釋的交集處仍然存在許多活躍的問題和挑戰。

1. 從電腦開始還是從人開始(8). XAI系統應該針對特定的用戶進行解釋嗎?他們應該考慮用戶缺乏的知識嗎?我們如何利用解釋來幫助交互式和人在循環的學習，包括讓用戶與解釋交互以提供反饋和指導學習?

2. 準確性與可解釋性。XAI解釋研究的一條主線是探索解釋的技術和局限性。可解釋性需要考慮準確性和保真度之間的權衡，并在準確性、可解釋性和可處理性之間取得平衡。

3. 使用抽象來簡化解釋。高級模式是在大步驟中描述大計劃的基礎。對抽象的自動發現一直是一個挑戰，而理解學習和解釋中抽象的發現和共享是當前XAI研究的前沿。

4. 解釋能力與解釋決策。有資格的專家精通的一個標志是他們能夠對新情況進行反思。有必要幫助終端用戶了解人工智能系統的能力，包括一個特定的人工智能系統有哪些能力，如何衡量這些能力，以及人工智能系統是否存在盲點;也就是說，有沒有一類解是永遠找不到的?

從以人為本的研究視角來看，對能力和知識的研究可以使XAI超越解釋特定XAI系統和幫助用戶確定適當信任的角色。未來，XAIs可能最終會扮演重要的社會角色。這些角色不僅包括向個人學習和解釋，而且還包括與其他代理進行協調以連接知識、發展跨學科見解和共同點、合作教授人員和其他代理，以及利用以前發現的知識來加速知識的進一步發現和應用。從這樣一個知識理解和生成的社會視角來看，XAI的未來才剛剛開始。

本期刊論文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我們會相信機器人嗎?科幻小說說沒有，但可解釋的機器人可能會找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最適合促進信任的解釋方法不一定對應于那些有助于最佳任務性能的組件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的強化學習方法能從形式化的語言中獲得回報，并保證了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

參考文獻：

1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

2. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Gü?lütürk, U. Gü?lü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

3. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

4. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

5. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

6. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

7. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

?

8. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

9. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.