亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

　神經網絡作為一種強大的信息處理工具在計算機視覺, 生物醫學, 油氣工程領域得到廣泛應用, 引發多 領域技術變革. 深度學習網絡具有非常強的學習能力, 不僅能發現物理規律, 還能求解偏微分方程. 近年來基于 深度學習的偏微分方程求解已是研究新熱點. 遵循于傳統偏微分方程解析解、偏微分方程數值解術語, 本文稱 用神經網絡進行偏微分方程求解的方法為偏微分方程智能求解方法或偏微分方程神經網絡求解方法. 本文首 先簡要介紹偏微分方程智能求解發展歷程, 然后從反演未知偏微分方程與求解已知偏微分方程兩個角度展開 討論, 重點討論已知偏微分方程的求解方法. 根據神經網絡中損失函數的構建方式, 將偏微分方程求解方法分 為 3 大類: 第 1 類是數據驅動, 主要從數據中學習偏微分方程, 可以應用于恢復方程、參數反演等; 第 2 類是物 理約束, 即在數據驅動的基礎上, 輔以物理約束, 在損失函數中加入控制方程等物理規律, 減少網絡對標簽數據 的依賴, 大幅提高泛化能力與應用價值; 第 3 類物理驅動 (純物理約束), 完全不使用標簽數據, 僅通過物理規律 求解偏微分方程, 目前僅適用于簡單偏微分方程. 本文從這 3 個方面介紹偏微分方程智能求解的研究進展, 涉 及全連接神經網絡、卷積神經網絡、循環神經網絡等多種網絡結構. 最后總結偏微分方程智能求解的研究進 展, 給出相應的應用場景以及未來研究展望.

1. 引言

人工智能引發多領域技術變革, 廣泛應用于計 算機視覺, 生物醫學, 油氣工程開發等領域. 深度學 習 (deep learning) 在工程技術, 流體力學, 計算力學 等領域的研究具有重要的理論指導意義與工程應用 價值. 近年來, 基于油藏動、靜態數據, 人工智能有 望實現油藏精細描述與精準開發, 提高采收率. 將測 井、壓裂施工、生產數據等進行智能融合, 大幅提 升壓裂改造效果, 降低開發成本. 大數據與智能優化 方法相結合, 將變革油田數據分析方法、油田開發 控制與優化方法[1] . 非常規油氣開發難題與人工智 能相結合, 有望解決非常規復雜油氣物理規律建立、 偏微分方程求解等難題. 人工智能與大數據將“實現 石油勘探開發主體技術更新換代的宏偉目標, 從技 術層面上促進石油勘探開發行業整體轉型升級” [2] .

人工智能方法因其處理高度復雜問題的突出能 力, 已引起油田領域的特別關注[3-6]. 傳統人工神經 網絡已在石油工程領域得到廣泛應用, 例如預測未 知年份的測井數據[3]、預測油品壓力?體積?溫度屬 性[4]、預測注產剖面[5]、估算孔隙度[6]、井底流動壓 力[7]、選擇頁巖氣藏完井方法[8]、試井解釋[9-13] 等. 深度學習是機器學習的一個新領域. 深度學習 的本質是構建含有多個隱藏層的網絡模型, 通過學 習大規模的數據, 獲得更具代表性的特征, 從而提高 預測和分類的精度. Tian 和 Horne[14] 利用遞歸神經 網絡學習永久井下壓力計 (PDG) 數據, 用于識別油 藏模型及生產預測. Sudakov 等[15] 將深度學習用于 滲透率預測. Mosser 等[16] 利用深度學習進行三維多 孔介質重構. 張東曉等[17] 利用循環神經網絡研究測 井曲線的生成與修補. 近兩年, 深度學習在試井參數 自動反演得到了很好的應用[18-20] . 同時, 在解決參數反演、數字巖心、測井曲 線、試井解釋等問題上, 深度學習作為人工智能發 展引擎有著優秀的表現[21-25] . 以深度學習為核心的 人工智能正在油氣開發領域掀起新的研究熱潮, 其 中最具前瞻性、顛覆性的研究當屬基于深度學習的 偏微分方程求解. 該方法一旦突破, 物理規律建立、 參數反演和數值模擬方法都將發生變革, 我國也將 在以偏微分方程 (偏微分方程) 求解為核心的工業計 算軟件中迎來巨大機遇. 自 2017 年來, 深度學習在 物理規律發現、油藏參數反演和偏微分方程求解中 發揮了令人驚訝的作用[26-30] .

在實際開發現場或其他應用場景中, 只能獲取 相關測量數據, 而數據背后所潛在的物理規律需要 進一步分析得到, 偏微分方程模型是刻畫其特性的 重要工具. 目前, 解決基于大量數據尋找物理規律的 主要思路有: 在有一定的先驗知識下, 列出偏微分方 程所描述的物理過程的備選項, 利用稀疏回歸技術 或其他方法進行特征選擇和參數估計[31-35] ; 其二用 神經網絡作為逼近器的功能, 使用不同的神經網絡 結構表征偏微分方程系統, 通過學習網絡結構達到 發現物理規律的目的[1,36] .

現有的偏微分方程求解方法要進行網格劃分、 非線性方程組求解, 計算成本高, 技術突破難度大. 基于深度學習的偏微分方程求解方法不僅能快速 正演、快速反演[37-38] , 而且能很好解決非線性問 題[39-42] , 能對更復雜、更高維的偏微分方程[27,30,43] 進行求解, 有望顛覆傳統偏微分方程數值求解技術, 引發數值模擬技術的巨大變革。

雖然技術路線存在差異, 但深度學習在物理模 型建立、偏微分方程求解和參數反演中的應用, 其 核心仍是如何用深度學習表征偏微分方程. 當前的 研究多集中在無源匯的偏微分方程, 多是數據驅動 (data driven)、物理約束 (physics informed), 少量為 物理驅動 (physical based, physical constraint, theory based or without labeleddata).由于當前處于研究初始階段,很多學者都提出了自己的術語,導致當前術語復雜,然而不同術語往往表示同一含義.為此,本文約定:數據驅動(datadriven)為僅用標簽數據約束的方法,物理驅動(physicsdriven)為不含任何標簽數據約束的方法.物理約束(physicsinformed)介于二者之間,即標簽數據約束、偏微分方程約束共存的方法.因而,若僅用偏微分方程約束,物理約束方法就是物理驅動方法.另外,遵循于傳統偏微分方程 解析解、偏微分方程數值解術語, 這里稱用深度學 習進行偏微分方程求解的方法為偏微分方程智能求 解方法或偏微分方程神經網絡求解方法.

本文將深度學習表征偏微分方程分為兩個場 景: 構建未知偏微分方程與求解已知偏微分方程. 對 于構建未知偏微分方程, 本文簡要介紹了網絡結構 與偏微分方程、微分算子或演化算子等的內在聯 系, 概述神經網絡逼近未知偏微分方程的表示方法, 并給出其中有待解決的問題與難點. 對于求解已知 偏微分方程, 本文從數據驅動、物理約束和物理驅 動 3 個角度介紹神經網絡求解已知偏微分方程方 法, 主要包括神經網絡求解偏微分方程原理, 網絡框 架構建, 損失函數構造等, 結合國內外研究現狀, 系 統梳理該領域的研究脈絡, 分析神經網絡求解偏微 分方程中存在的關鍵問題和解決方案, 并對可行的 未來研究方向和內容進行討論和展望. 此外, 雖然深 度學習在近年來得到了迅猛發展, 但其在求解偏微 分方程等力學問題上的研究仍然有限, 在實際應用 中的表現仍有待考驗. 因此, 本文主要側重研究方法 上的進展.

1. 基于神經網絡的偏微分方程求解方法探索研究

1943年McCulloch和Pitts[44]建立了神經網絡及其數學模型, 開創了人工神經網絡研究的新時代. 20世紀80年代中期, 首次提出的反向傳播算法算法及其發展[45]引起了人工神經網絡領域研究的第二次熱潮. 一直以來, 人們希望找到無須網格劃分、無須非線性方程求解的偏微分方程數值求解新方法. 其探索之一就是基于人工神經網絡的求解方法. 自動微分(automatic differentiation) 能使用鏈式法則精確計算導數[46-48], 可以根據神經網絡的輸入坐標和網絡參數對整個神經網絡模型進行微分, 從而代替偏微分方程中復雜的梯度計算, 為基于人工神經網絡的偏微分方程求解奠定了基礎.

在20世紀90年代, 便有學者開始研究使用神經網絡求解微分方程的數學基礎與方法. 1990年Wornik等[49]證明了多層神經網絡能夠逼近任意函數及其導數. 這為微分方程的神經網絡求解奠定了理論基礎. 隨后, Li[50]證明了一個隱藏層的神經網絡可逼近多元多項式函數及其導數. Lagaris等[51]將微分方程中的初值與邊界條件獨立表征, 提出頗為新穎的偏微分方程求解方法. 隨后, 不少學者進行了探索研究, 例如, Aarts和Van[52]將表征不同階微分算子的單隱層前饋網絡聯合起來, 共同訓練來求解偏微分方程; 又如, Ramuhalli等[53]將有限元模型嵌入到神經網絡中, 提出了有限元神經網絡. 由于早期多層前饋神經網絡模型的局限性, 早期方法只能求解簡單的偏微分方程, 基于神經網絡的偏微分方程求解方法沒引起足夠的重視.

早期方法主要基于數據驅動, 即事先獲得偏微分方程的輸入及精確解(常稱為“標簽數據”), 然后用神經網絡逼近標簽數據, 從而獲得能夠表征偏微分方程的神經網絡模型, 如圖1(a)所示. 網絡的輸入可以是參數或空間、時間等, 可根據需要選擇.

隨著深度學習算法在多個領域的成功應用[54-55], 國內外學者重新開啟了基于神經網絡的偏微分方程求解方法研究, 取得了系列突破, 提出了新方法, 如純物理驅動的偏微分方程求解方法. 該方法用控制方程進行約束, 無需標簽數據, 如圖1(b)所示.

根據不同的應用場景, 本文將從深度學習反演構建未知偏微分方程和求解已知偏微分方程兩個方面展開介紹. 下節主要介紹如何通過神經網絡逼近線性或非線性算子, 從數據中找出隱藏的偏微分方程模型.

2. 基于深度學習反演未知偏微分方程

利用深度學習方法從數據中反演未知的偏微分方程是當前的研究熱點之一. 對于未知的偏微分方程, 主要的研究目標是通過深度學習找出數據背后蘊藏的偏微分方程模型, 從數據中反演未知的偏微分方程 (例如方程的右端項、方程的積分形式或方程的演化算子等), 進一步構建模型用于求解.

恢復方程的傳統思路是構建簡單函數和偏導數的備選字典. 這些函數和偏導數很可能出現在未知的控制方程中. 根據已知偏微分方程的非線性響應的形式構建模型, 然后利用稀疏回歸類方法來學習這些未知參數, 選擇最準確代表數據的項. 這種傳統的恢復方式要求假設非線性響應形式已知或確定微分算子的有限差分逼近的方法, 而深度學習大大降低了對偏微分方程先驗知識的要求, 只需要簡單的先驗知識, 如方程最大可能的階. 此外稀疏回歸方法需要事先確定字典中空間差分的數值近似, 限制了字典的表達能力和預測能力且需要建立一個足夠大的字典, 這可能會導致高的內存負載和計算成本, 特別是當模型變量的數量很大的時候. 深度學習方法采用可學習的卷積近似微分算子或近似演化算子, 從根本上提高從噪聲數據中識別動力學的能力, 從而使模型具有更強的表達能力和和預測準確性. 如果沒有足夠的數據知識, 也有可能通過調整多項式的微分來獲得更好的表征效果, 神經網絡在偏微分方程求解和恢復問題中都大有可為. 近幾年, 國內外學者致力于探究網絡結構與偏微分方程、各項微分算子或方程的演化算子等的內在聯系, 從理論上支撐用深度學習來表征偏微分方程. 2018年Long等[56-57]提出一種基于數據驅動的前饋神經網絡(PDE-Net), 其核心思想是: 時間導數項做歐拉離散, 受約束卷積核近似微分算子, 進而使用神經網絡或其他機器學習方法近似方程右端項, 構建網絡來逼近偏微分方程系統, 并對其解進行長期預測. 此外結合Symnet (symbolic neural network) [58-59], 使用可學習濾波器PDE-Net2.0[56-57]更加靈活, 能夠在少量先驗知識的情況下揭示方程的解析形式, 尤其對于非線性問題有更好的結果, 并能夠更強大地逼近未知動態和更長的時間預測.

González-García等[62]基于人工神經網絡體系結構提出物理模型建立方法, 其本質是在一定的先驗知識下, 列出描述物理過程的偏微分方程所有的備選項, 利用人工神經網絡進行自動選擇和參數估計, 從而發現數據后隱藏的物理規律.

Wu等[63-64]首次基于殘差網絡(ResNet)構建了從數據中學習未知微分方程的新框架. 該框架以微分方程內在的積分形式為基礎, 以逼近方程的流譜(flow map, 針對常微分方程)和演化算子(evolution operator, 針對偏微分方程)為目標, 從根本上避免了傳統框架(以逼近方程的右端項為目標)所依賴的數值微分. 文獻[63-64]提出了兩種多步的ResNet神經網絡結構, 從精確演化算子的角度, 首次在理論上建立了ResNet與精確演化算子的內在數學關系、由此給出了該深度學習方法的數學解釋. 不同于Wu和Xiu[64]在模態/傅里葉空間學習方程, Chen等[65]在物理空間進行學習和建模, 利用DNN學習測量數據, 從而學習未知偏微分方程. Chen等[66]提出一種無梯度的符號遺傳算法(SGA-PDE), 使用符號數學靈活表示任意給定偏微分方程, 優化其表示形式, 從數據中發現開放形式的偏微分方程. Xu和Zhang[67]在PINN的基礎上提出一種更具魯棒性的深度學習遺傳算法(R-DLGA), 將深度學習?遺傳算法提供的潛在項的初步結果作為物理約束加入損失函數, 提升了在高階導數等影響下導數的計算精度, 從而在高噪聲稀疏數據中獲得偏微分方程.

迄今為止, 該領域提出的許多方法都存在一些局限性. 特別是, 目前的方法通常研究ut=N(u,x,t)ut=N(u,x,t) 形式的方程, 但許多物理方程不在此類. 此外, 如果測量一個具有參數依賴性的系統, 如何消除演化動力學及其參數依賴性之間的歧義是有待解決的問題. 盡管神經網絡表現出強大的數據學習能力, 但對于有噪聲數據的學習, 尤其在非線性、多耦合的復雜物理系統中, 網絡模型的精確性以及穩定性有待提升.

而對于已知的給定的偏微分方程, 神經網絡可用于逼近偏微分方程的解或表征方程, 本文下節將從數據驅動、物理約束和物理驅動3個方面對神經網絡求解偏微分方程展開介紹, 并簡述所用的神經網絡, 如全連接神經網絡, 卷積神經網絡(CNN)、殘差網絡(ResNet)、DenseNet、自編碼網絡(autoencoder)、長短期記憶(LSTM)網絡等, 總結現有研究的重要進展, 并探討下一步的發展趨勢, 對未來偏微分方程智能求解的研究提出建議.

3. 基于深度學習的偏微分方程求解方法

**3.1 偏微分方程神經網絡求解方法概述

深度神經網絡的基本結構是前饋全連接深度神經網絡[68], 以此為例介紹已知偏微分方程的神經網絡求解方法. 以d維行向量x∈Rdx∈Rd為網絡輸入, 一個單隱層神經網絡的k維輸出形式為

數值實驗表明, 3D-PDE-Net求解精度L∞L∞誤差比求解比數值格式Douglas-Gunn ADI降低20倍[73]; 所加入分層的自適應激活函數可10倍提高訓練速度, 且局部誤差得到改善. 但此時3D-PDE-Net不是顯式可解釋的.3.2.2 基于其他網絡的偏微分方程求解方法

Liu等[26]探討了全連接神經網絡在函數逼近中的應用, 并提出了一個通用的基礎微分方程求解器, 主要利用自動微分對方程的初值問題和邊值問題進行求解. E等[30]與Han等[27]用深度學習逼近梯度算子, 基于偏微分方程的離散格式, 對高維偏微分方程給出深度學習求解新方法. 對有H個隱藏層、N個時間間隔的半線性拋物型偏微分方程的網絡結構如圖3所示, 整個網絡共有(H+1)(N?1)(H+1)(N?1)層, 通過損失函數共同優化所有的網絡參數. t=t1,t2,?,tN?1t=t1,t2,?,tN?1中的每一列對應一個tt時間步的子網絡, h1n ,h2n ,?,hHnhn 1,hn 2,?,hnH是每一個子網絡中的中間神經元. 基于標簽數據, 用多層前饋神經網絡逼近梯度算子, 從而可得到高于100維的偏微分方程解, 并給出了多種類型高維偏微分方程方程的求解結果.

**3.3 物理約束下的偏微分方程神經網絡求解方法

由于數據驅動存在泛化能力弱等缺點, 物理驅動可提高泛化能力, 減少標簽數據. 物理驅動與數據驅動相融合, 即物理約束的方法, 受到廣泛的關注.

在近幾年的研究中[74-76], 已經看到利用結構化先驗信息構建基于數據和物理信息的機器學習算法的研究前景. Sirignano等[77]給出了類似于LSTM人工神經網絡的deep Galerkin method (DGM)網絡, 提出了基于Galerkin方法的二階微分算子計算方法, 同時給出了物理約束下的神經網絡逼近定理.3.3.1 PINN Raissi等[39-40]利用偏微分方程的控制方程以及邊界條件等恒等式構造殘差, 利用各項殘差之和構造損失函數, 并將此方法拓展到解決非線性問題, 提出了物理約束下的神經網絡(physics informed neural network, PINN). PINN將數據驅動與物理約束相結合, 從而提出了偏微分方程建立與求解的新思路, 即, 對偏微分方程

3.3.2 基于PINN的改進方法

基于PINN算法, Toshiyuki等[78]使用由3個DNNs組成的PINN框架對Richardson-Richards方程進行參數反演, 并估算保水曲線和水力傳導函數. Han等[79]介紹了一種基于深度學習的一般高維拋物型偏微分方程的求解方法. 先對偏微分方程進行重新構造, 再利用神經網絡逼近未知解的梯度, 在非線性方程計算中得到了滿意的數值結果. Meng等[80]提出了一種改進的PINN方法, 稱為PPINN, 將一個長時間的問題分解為多個獨立的短時間問題, 以加速偏微分方程的求解. Michoski等[81]研究了激波偏微分方程神經網絡求解方法, 神經網絡方法與傳統方法結果對比表明, 基于神經網絡的求解方法有優勢, 標簽數據可有效提升求解精度. Kani和Elsheikh[82]將物理約束求解偏微分方程方法與正交分解(POD)和離散經驗插值方法(DEIM)相結合, 提供了一個高精度的非線性動力系統降階模型, 降低了高保真數值模擬的計算復雜度. Jagtap等[83-84]提出自適應激活函數, 有效地提高了PINN逼近非線性函數和偏微分方程的效率、魯棒性和準確性, 自適應激活函數如下, 圖4為各自適應激活函數的圖像

然而, 含標簽數據的偏微分方程神經網絡求解方法, 存在很大的局限性. 對很多問題, 其精確解是未知的. 若需要偏微分方程的精確解才能構造損失函數, 這大大限制了其應用范圍. 例如, 在油田開發過程中, 儀器只能測量井底的壓力、井口的產量, 而不能獲得其他地區的壓力. 這意味著基于標簽數據的偏微分方程求解方法無效. 從而, 基于純物理約束(即物理驅動)的求解方法具有更廣闊的應用前景, 有著與傳統求解方法一樣的便利性(無須任何標簽數據). 這一旦突破, 將引發偏微分方程求解技術的真正變革.3.3.3 可測量標簽數據下的偏微分方程神經網絡求解方法

上述數據驅動下的偏微分方程求解方法往往需要未知量的分布數據 例如需要知道壓力空間分布數據. 這往往在實驗條件下才能獲得. 例如, 可在實驗中布置多個壓力傳感器, 才能獲得壓力的空間時變數據. 但對實際工程問題, 這部分數據是不可測量的. 例如, 在油藏開發中, 只能測量井中的壓力, 其他的壓力數據無法獲知. 因而, 上述數據驅動下的偏微分方程智能求解方法難以有真正應用.

實際工程中, 存在一部分可測量的數據, 若能使用少量的可測量數據作為標簽, 就能對偏微分方程進行求解, 將具有重要的理論意義與應用價值. 部分學者對此進行了積極的探索研究.

Wang等[85-86]將實際工程中的專家經驗、物理規律和稀疏觀測數據等整合為理論指導神經網絡(theory-guided neural network,TgNN), 如圖5所示, 利用TgNN解決地下流動建模, 不確定性量化等問題.

Li等[87]使用深度神經網絡解決單相滲流問題, 加入部分可測量的井底流壓數據作為標簽, 有效提高非穩態、具有源匯的偏微分方程問題的求解精度. 該方法的最大特點是, 除將可觀測的井底壓力數據作為標簽外, 不再需要任何其他的標簽數據, 而是用偏微分方程約束代替壓力分布的標簽數據, 從而大大提高該方法實際應用可行性. 此外, 利用源匯項引起的梯度特征構造梯度模型, 作為“路標”加入神經網絡, 通過添加固定神經元的方式幫助網絡提高優化能力, 同時提出了預訓練獲得“路標”的解決思路. 圖6為智能求解所獲得的壓力分布、井底壓力(BHP)圖.

Chen等[88]提出一種基于協方差矩陣優化的無梯度神經網絡, 有效提升學習小數據樣本的魯棒性, 適合實際工程應用. 在后續研究中, Chen等[89]提出一種硬約束投影(hard constraint projection, HCP)的方法提升機器學習方法對小樣本數據的學習能力.

**3.4 物理驅動下的偏微分方程神經網絡求解方法

相較于傳統數值求解, 偏微分方程智能求解仍受標簽數據的約束, 在實際應用中, 往往會面臨數據獲取困難的情況. 對此, 無需標簽數據的物理驅動方法成為重要的研究方向, 是最終的解決方案.3.4.1 全連接神經網絡(FC-NN)求解偏微分方程

Nabian等[90]使用無監督的前饋深度殘差神經網絡近似高維偏微分方程, 利用隨機梯度下降(SGD)算法優化神經網絡參數. Cai等[91]研究了基于無監督深度學習的一維二階橢圓偏微分方程數值求解方法, 并利用一階系統最小二乘(FOSLS)作為損失函數來優化神經網絡的參數. Sun等[92]提出了基于“硬邊界約束”的神經網絡求解方法, 將偏微分方程的控制方程和邊界條件作為損失函數來約束神經網絡, 通過構造“硬編碼”的結構化深度神經網絡來加強初始條件和Dirichlet邊界條件, 有效增強物理約束下的偏微分方程智能求解, 如圖7所示. 對于下述不可壓縮Navier-Stokes方程[92]

然而, 對于具有Neumann邊界條件的偏微分方程問題, 仍將Neumann邊界條件以懲罰項的形式加入損失函數, 在求解精度上仍有所欠缺. 綜上所述, Sun等[92]為一部分具有Dirichlet邊界的穩態問題的物理約束求解提供了很好的解決方法, 但由于需要解析解構造邊界平滑函數, 對非穩態, 具有Neumann邊界的問題存在一定的局限性.3.4.2 CNN求解偏微分方程

在人臉識別、AlphaGo等大顯身手的CNN在偏微分方程求解中也受到廣泛關注. 偏微分方程的屬性空間(如滲流方程中的滲透率)與解空間的對應關系, 非常適合用卷積算子進行表征. 基于這一特性, 卷積神經網絡求解偏微分方程會有很大的優勢. 然而, 多數偏微分方程求解網絡都基于FC-NN的“點態”(基于時空域中離散的分布點)方式進行訓練, 這意味著FC-NN訓練樣本分布自由度很大. 而CNN則需要輸入相對完整的樣本分布, 是以“點陣”圖像的形式進行訓練. 這就帶來了諸多新挑戰, 如不規則域、卷積網絡損失函數構造等. 對于不規則域, Gao等[93]通過對CNN網絡輸入的物理量約束, 得到偏微分方程求解神經網絡模型, 再通過保形變換, 實現對不規則區域下的偏微分方程求解.

對于卷積網絡的損失函數, Zhu和Zabaras[94]提出了貝葉斯損失函數約束下的新偏微分方程求解網絡. 該網絡模型將CNN與編解碼器網絡相融合, 吸取了DenseNet特征重用的優點, 使得在參數和計算成本更少的情形下實現比ResNet更優的性能[95]. 如圖8所示.

隨后, Zhu等[96]研究了數據驅動、物理驅動等損失約束下的偏微分方程求解方法, 并提出物理約束的稠密卷積編解碼器網絡(如圖9所示), 提高求解精度以及泛化能力, 并使用Sobel算子計算CNN框架下的導數. 與FC-NN不同, CNN以卷積的形式提取圖像特征, 其本質就是對圖像的像素求導數, Sobel算子是以濾波算子的形式計算一階導數, 從而可利用卷積函數快速計算.

然而, 目前研究的物理驅動方法(無標簽數據)尚不能有效解決非穩態與源匯的問題. 物理驅動的研究仍在起步階段, 離實際需求還很遠.

總體上, 基于深度學習的偏微分方程建立、求解與參數反演研究還處于初始階段, 主要存在以下問題: (1)很多方法只能應用于簡單的偏微分方程, 例如, 偏微分方程中沒有時間導數項, 或沒有源匯項. 這說明求解方法還有待深入研究. (2)多數方法都是基于數據驅動的: 數據驅動下, 神經網絡受到了強有力的約束, 從而更容易收斂, 但其場景有限. (3)物理驅動方法亟待突破: 一旦物理驅動下的偏微分方程求解方法獲得突破, 偏微分方程求解方法將獲得顛覆性的變革, 基于深度學習的偏微分方程重建、參數反演方法都將隨之變革. 然而, 少了標簽數據的約束, 深度學習收斂將十分困難, 大量的科學技術問題亟待解決.

4. 研究前景與展望

國內外研究進展表明, 當前的應用場景主要有3種. (1)基于神經網絡的偏微分方程建立: 在大量實測數據的基礎上, 可以利用深度學習網絡在大量備選的偏微分算子中, 尋找合適的算子來“擬合”實測數據, 從而“人工智能”地建立偏微分方程. 相關研究很多, Raissi和Karniadakis[42]認為, 深度學習有能力在少量的數據中就可發現其背后的物理規律; 對高噪聲稀疏數據, Xu和Zhang[67]將深度學習和遺傳算法相融合來提算法高魯棒性.

(2)參數反演: 參數反演是眾多工程問題的難點之一. 利用神經網絡的逼近能力, 可以進行快速反演. 該方法一般是基于標簽數據的. 數據驅動下的參數反演可無須考慮物理過程, 例如試井參數自動反演就可從數據到數據[18-19]. 然而, 將數據驅動與物理信息相結合, 可能會有更好的反演效果[86,97]. 從另一個角度, 將物理信息(如控制方程)加入預測模型, 能夠根據容易獲得的數據預測更難獲得的數據[89,98-99]. 為此, 將物理驅動與數據驅動相結合, 將大幅降低標簽數據的數據量, 相關研究將給工業應用帶來很大的便利.

(3) 偏微分方程智能求解: 基于深度網絡的偏微分方程求解, 無須網格劃分、線性方程組求解、沒有維度災難. 然而, 由于約束少, 純物理約束下的求解方法挑戰仍很大. 這也是偏微分方程深度學習求解必須攻克的難題.

另一求解偏微分方程的思路是利用神經網絡對非線性方程組的逼近能力, 進行偏微分方程求解. 神經網絡的權值修正方法可以用來逼近與求解非線性方程組, 且能證明, 通過對權值的限制, 該方法一定是收斂的[100]. 由于偏微分方程方程離散后仍是非線性的, 從而可用此方法進行求解. 按此思路, Ebadi等[101]用自適應神經網絡代替傳統的牛頓迭代法, 提出了一種技術路線與上完全不同的偏微分方程求解方法, 并利用該方法對一維的單項與兩相流動進行了求解.

另一研究思路是, 將偏微分方程與深度學習混合使用, 相互學習、相互支撐. 存在這樣的情形, 數據中隱藏的物理規律部分已知, 部分未知. 未知部分用深度學習表征, 已知部分用偏微分方程表征, 從而整個損失函數將包含這兩部分內容. 這樣, 在神經網絡訓練時, 二者能相互約束、相互修正, 既能防止過擬合, 也能彌補數據丟失等引起的誤差[102], 使精度更高, 效果更好.

除傳統數值計算具備的應用前景外, 基于深度網絡的偏微分方程求解還將大幅提升強非線性偏微分方程求解能力, 借助深度學習的并行能力, 提升數值模擬速度. 再借助物理約束與深度學習本身認知能力, 在歷史擬合中, 有望自我完善偏微分方程, 從而極大豐富與增強建模途徑與能力, 流動模型建立與數值模擬能力都將發生巨大變化.

5. 結語

從反演未知偏微分方程與求解已知偏微分方程兩個角度, 本文總結了偏微分方程智能求解方法的發展歷程, 從數據驅動、物理約束和物理驅動3個方面, 重點介紹了已知偏微分方程的智能求解方法, 簡要介紹了應用場景和未來研究方向. 數學界更注重一般偏微分方程方程智能求解方法研究, 結合具體領域的應用研究研究正受到重視. 若能突破物理驅動求解方法瓶頸, 有望顛覆傳統偏微分方程數值求解技術, 引發數值模擬技術的巨大變革.

偏微分方程深度學習求解具有深厚的科學內涵, 需要將深度學習理論、數值模擬技術、偏微分方程數學本質、偏微分方程物理意義和工程背景等有機融合, 深度交叉, 方能得到物理意義明確、數學基礎堅實、能解決工程問題的偏微分方程求解新方法, 將推動數學、力學、人工智能和油藏工程等學科融合與學科發展.