亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**論文題目:**DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps **收錄會議:**NeurIPS 2022 Oral **論文鏈接:**//arxiv.org/abs/2206.00927 代碼鏈接:

在線demo: AI 領域今年影響力最大的進展,爆火的 AI 作圖絕對是其中之一。設計者只需要輸入對圖片的文字描述,就可以由 AI 生成一張質量極高的高分辨率圖片。目前,使用范圍最廣的當屬 StabilityAI 的開源模型 Stable Diffusion,模型一經開源就在社區引起了廣泛的討論。然而,擴散模型在使用上最大的問題就是其極慢的采樣速度。模型采樣需要從純噪聲圖片出發,一步一步不斷地去噪,最終得到清晰的圖片。在這個過程中,模型必須串行地計算至少 50 到 100 步才可以獲得較高質量的圖片,這導致生成一張圖片需要的時間是其它深度生成模型的 50 到 100 倍,極大地限制了模型的部署和落地。為了加速擴散模型的采樣,許多研究者從硬件優化的角度出發,例如 Google 使用 JAX 語言將模型編譯運行在 TPU 上,OneFlow 團隊 [1] 使用自研編譯器將 Stable Diffusion 做到了“一秒出圖”。這些方法都基于 50 步的采樣算法 PNDM [2],該算法在步數減少時采樣效果會急劇下降。就在幾天前,這一紀錄又被刷新了!Stable Diffusion 的官方 Demo [3] 更新顯示,采樣 8 張圖片的時間從原來的 8 秒鐘直接被縮短至了 4 秒鐘!快了整整一倍!

付費5元查看完整內容

相關內容

——介紹——

目前的分子動力學模擬技術(MD)仍難以滿足研究人員對重大微觀事件深入探究的要求。即使發展了一系列的增強采樣方法,但似乎仍難以解決MD的時間尺度限制問題,甚至可能導致不可避免的精度折損問題。來自西湖大學的李子青團隊發展了基于分數的模型ScoreMD來嘗試利用深度學習模型,在保持精度的同時,從技術層面突破目前MD的時間尺度瓶頸。 ——背景——

基于深度學習的MD(DLMD)為揭示大分子體系重要微觀事件提供了新的思路。這類模型之所以受歡迎,來源于其準確性可由基于物理偏執約束以及神經網絡擬合大數據的能力所保證,以及當前AI硬件的并行加速。盡管這類模型取得了一定的成功,但是目前的DLMD模型主要有以下三個問題: 1. 大多數DLMD模型依賴于中間變量,并以多階段方式生成生物分子構象。這大大增加了計算開銷,而且阻礙了推理的效率,因為逆Hessian標度與原子數呈三次方復雜度; 2. 現有的DLMD是預測原子屬性的黑箱模型,大多數是針對靜態結構設計的,而不適用于動態體系。如何預測速度,加速度和力等物理量,使得模型顯式地滿足牛頓運動方程還需要不斷的摸索。 ——方法——

大多數的DLMD模型依賴于勢能,以獲取原子的作用力和位置的更新,因此需要額外的反向傳播計算,顯著增加了計算開銷。即使最近有模型拋棄這類雙階段范式,直接預測原子作用力,但還是不可避免地使用了額外的積分器來更新原子的位置。而該工作試圖開發馬爾可夫狀態模型,利用前一幀直接預測微觀體系的三維坐標,無需額外的積分器。 1.Score-based model

ScoreMD的架構如下圖1所示。作者使用去噪分數匹配技術(Denoising score matching, DSM)訓練分數模型。DSM (或者稱擴散模型) 算法(圖2)詳情可以參考[2]快速了解,在此不進行贅述。作者認為,從直覺上而言,去噪擴散模型與目前的增強采樣方法存在相似性。模型嵌入時間信息后,在有限的時間步數內迭代地加入先驗噪音,進行前向擴散,從而緩慢地破壞分布中的結構。而在逆向去噪階段,模型需要盡可能地最小化體系總能量。

圖1. ScoreMD的總體架構 作者意識到直接將圖像生成領域的擴散模型應用到MD中,直接做深度學習技術應用的擴展是不合適的。顯然,對于MD軌跡生成這類問題,我們期待擴散模型采樣的最終軌跡至少在結構上是合理的,并且是依賴于前一幀軌跡的。ScoreMD采取的方案是在擴散時,噪聲規劃方案不是標準的,而是自適應地依賴于前一幀的加速度來獲得當前幀的噪聲強度 (Conditional noise),然后按照規劃進行擴散,從而能夠采樣得到下一幀的原子位置更新,注入MD軌跡前后幀RMSD相差不大的偏執,保證一定的結構相關性。因此,簡單來說,ScoreMD是,在基于分數的模型的基礎上,使用前一幀軌跡加速度作為先驗的條件生成模型。具體到每一幀,還是需要按照一般的擴散模型去做采樣。

圖2. 前向和逆向擴散示意圖與原始的DSM模型的噪音規劃方案相比,ScoreMD下一幀的原子位置更新的SDE方程參考了GaMD的boost potential,修訂的方程如下所示:

其中是諧加速度常數,表示加速度閾值。一旦系統具有緩慢的運動變化趨勢(即系統能量較低),系統將被提供大量噪聲。因此,噪音與前一幀的加速度成反比,繼承了增強采樣的優點。由此,由于每一幀的目標擴散分布并不是標準的高斯分布,SDE的transition kernel需要重現表述為如下公式2:

2.Equivariant geometric transformer (EGT)

作者還提出了EGT架構,在保持E(3)-equivariance的同時,利用任意兩個成鍵原子的速度與共價鍵形成的兩個夾角和二面角來考慮成對原子的相互作用以及未來的位置。另外,為了整合所有的幾何信息,在網絡輸入的初始階段會計算spherical Fourier-Bessel bases,并整合到特征當中,具體的計算公式請見文章。 ——模型比較——

為了檢驗模型的性能,作者在兩個任務上進行了評價: 1) 短程到長程 (Short-term-to-long-term, S2L) 軌跡生成。在這個任務中模型以每一個的分子的短程軌跡作為訓練集,期望模型能夠在長時間尺度下生成的軌跡的多樣性更高; 2) 一到多 (One-to-others, O2O) 軌跡生成。在這個任務中,以部分分子的軌跡作為訓練集,期望模型能夠針對訓練集未出現的分子產生合理的軌跡。兩個任務的評價指標均為累積均方根誤差 (ARMSE),僅衡量生成的軌跡的構象變異程度。表1. 在MD17數據集上以ARMSE為指標的評價結果

表2. 在MD17數據集上以ARMSE為指標的評價結果

從上述的兩個任務以及相應的數據集上不難發現,ScoreMD達到了SOTA的水平。 ——總結——

在這篇工作中,作者提出ScoreMD模型,將擴散模型與幾何等變網絡相結合,并利用原子間距離之外的其他矢量信息來加入物理偏執。在不同數據集上對S2L和O2O任務進行的大量實驗表明,ScoreMD是目前的SOTA模型。這項研究可能有助于加速新藥和材料的發現。當然,這篇工作目前只掛在arxiv上,可能仍有一些工作未完成: 1.與傳統的MD相比,采樣速度在這篇文章中未得到評價。擴散模型要求前向的迭代步數一般在1000以上,將擴散模型直接應用到MD中以突破時間尺度限制甚至可能會導致此類DLMD模型比傳統MD的速度還慢。盡管目前擴散模型采樣速度低的不足已經得到關注及解決,但試想一下,用目前最好的逆向擴散采樣方法 (粗略的按照10步估計),如果我們希望采樣1000條軌跡,那么我們需要花額外的9000步模型計算量 (如果是按照1000-2000步,那采樣效率可能更低),更何況目前的采樣方法在結構生成上的表現仍是未知的; 2.ARMSE只意味著采樣的軌跡的構象差異,但是作者并未評價結構的合理性。去噪過程中只有最后一幀可能是有用的,而中間軌跡可能幾乎是不可利用的。如何保證去噪過程的每一個結構都是潛在有用的,或至少保證結構是合理的,是擴散模型應用到這個領域的一個核心問題; 3.相較于其他的模型,也許ScoreMD真的實現了讓分子"動起來",但是作者并未進一步分析構象的勢能面,并未真正回答到背景部分試圖說明的模型意義,ScoreMD的采樣效率還有待探究; 即使在本篇文章中作者僅將模型應用到小分子數據集上,但筆者認為ScoreMD也為應用在生物大分子體系的DLMD模型提供了新的思路,特別是基于深度學習做增強采樣問題。 參考文獻:

1.Fang Wu, et al. A score-based geometric model for molecular dynamics simulations. arXiv:2204.08672. 2.//yang-song.net/blog/2021/score/

點擊左下角的"閱讀原文"即可查看原文章。


作者:幻 幻 審稿:顧仲暉 編輯:黃志賢

GoDesign ID:Molecular_Design_Lab ( 掃描下方二維碼可以訂閱哦!)

本文為GoDesign原創編譯,如需轉載,請在公眾號后臺留言。

付費5元查看完整內容
北京阿比特科技有限公司