亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡憑借其處理非歐氏空間數據及其復雜特征方面的優越性受到了大量的關注, 并且被廣泛應用于推薦系統、 知識圖譜、交通道路分析等場景中. 面對大規模數據, 圖結構的不規則性、節點特征的復雜性以及訓練樣本之間的依賴性對圖 神經網絡模型的計算效率、內存管理以及分布式系統中的通信開銷造成了巨大的壓力. 為應對和緩解以上問題, 研究者從應用 場景、算法模型、編程框架和硬件結構等多個層面對其進行了優化. 本文主要回顧和總結了算法模型及編程框架方面的優化, 為讀者了解面向大規模數據的圖神經網絡采樣算法以及框架優化相關工作提供幫助, 為未來算法-框架協同優化奠定基礎. 具 體來說, 本文首先簡要介紹圖神經網絡模型中的消息傳遞機制, 分類介紹常見的圖神經網絡模型, 并分析其在大規模數據訓練 中面臨的困難和挑戰；然后對面向大規模數據的圖神經網絡算法模型進行分類總結和分析, 包括基于節點、邊和子圖的采樣算 法；接著介紹圖神經網絡編程框架加速的相關進展, 主要包括主流框架的介紹以及優化技術的分類總結和分析；最后對未來面 向大規模數據的圖神經網絡研究進行展 望.

1 引言

圖結構能夠有效表征自然界和社會生活中廣泛 存在的復雜關系, 如基因結構[1-2]、通信網絡[3]、交 通路線[4]、社交網絡[5-6]等. 針對相互關聯的圖數 據, 圖計算能夠有效挖掘其結構信息, 但是不具備對 其節點特征 (比如, 社交網絡中用戶興趣、年齡等附 加信息) 的學習能力. 另一方面, 神經網絡模型通過 海量參數訓練能夠靈活表示數據的復雜特征, 在圖片、視頻、文本等基于歐氏空間的數據上表現出優越 的性能[7-9] , 但其無法直接應用于非歐氏空間的圖 數據. 綜合圖計算和神經網絡的優勢, 圖神經網絡 (Graph Neural Network, GNN)[10-11]憑借其在處理 非歐氏空間數據及其復雜特征方面的優越性受到了 大量的關注, 并被廣泛應用于網絡鏈接預測[12]、推 薦系統[13-14]、交通道路分析[15]等場景中。

實際應用場景中通常需要處理海量數據. 2019 年, 阿里巴巴研究團隊在其工作[16]中提到常見的電 商平臺往往存在百億級節點、千億級邊, 其存儲開 銷超過 10TB. 在面向大規模數據的圖神經網絡中, 圖數據的不規則性、特征復雜性以及訓練過程中樣 本間的依賴性對模型計算效率、內存管理、以及分 布式系統中的通信開銷造成了巨大的壓力. 下面我 們將圖神經網絡模型在大規模數據應用中面臨的挑 戰按照來源分為圖數據結構、圖神經網絡模型、數 據規模和硬件平臺四類, 分別介紹. (1) 圖數據結構. 圖結構數據的不規則性、稀疏 性、動態性、節點鄰居數量呈冪律分布以及樣本間 的相互依賴, 對高效的訪存造成了一定的壓力, 尤其 對面向大規模數據場景的分布式計算系統提出了更 大的挑戰. (2) 圖神經網絡模型. 節點的高緯表示是圖神經網絡模型區別與傳統圖算法的典型特征, 在增強 了模型表示能力的同時, 也造成了更大的計算和內 存開銷, 尤其是在大規模數據的應用中面臨更大的 挑戰. 其迭代更新的機制設計使得深層的圖神經網 絡模型面臨鄰居節點爆炸的問題. (3) 數據規模. 典型的圖神經網絡模型采用整 批訓練的模式, 這在大規模數據的應用中存在內存 限制的問題. 在基于分批訓練模式的圖神經網絡模 型中, 數據大規模性增大了數據劃分和迭代更新的 難度. (4) 硬件結構. 圖神經網絡模型在圖數據結構 和復雜特征方面的建模需求使得模型既需要靈活的 不規則數據讀取, 又需要高效的密集計算. 目前 CPU 在靈活讀取方面表現較好, GPU 支持高效的 密集計算, 但二者都不能同時滿足這兩點需求. 圖 神經網絡的需求和硬件結構的不匹配增加了大規模 圖神經網絡模型加速的難度.

為應對和緩解上述困難和挑戰, 研究者通過優 化硬件結構、編程框架、算法模型以及應用模型 (如 圖 1所示), 來提高圖神經網絡模型的可拓展性、加速模型運行過程以及減小內存開銷[17-18] . 在應用模型方面, 針對自然語言處理、交通道 路預測、推薦系統等不同的應用場景提出具體的處 理策略[4,13,19] , 以提高圖神經網絡模型在具體任務 上的處理效率. 在算法模型方面, 典型的圖神經網絡模型采用 整批訓練的方式, 要求將完整的圖數據載入內存, 在面向大規模數據訓練 (尤其是基于 GPU 進行訓 練) 時往往面臨內存不足的問題. 針對這一問題, 一些研究工作提出通過采樣算法實現圖神經網絡模 型的分批訓練, 比如 GraphSage[20] , FastGCN[21] , Cluster-GCN[22]等. 在編程框架方面, 圖神經網絡迭代更新的 表示機制導致訓練樣本之間相互依賴, 使得 TensorFlow、Pytorch 等典型的神經網絡框架無法 有效地實現模型分批訓練及其高效運行. 計算過 程中的特征復雜性對原有圖計算框架提出了更大的內存和計算需求. 結合傳統神經網絡和圖計算框架 的特點, Deep Graph Library(DGL)[23]、PyTorch Geometric(PyG)[24]等面向圖神經網絡的編程框架 被提出來緩解這一問題.

在硬件結構方面, 一些研究者結合 CPU、GPU、 FPGA 等硬件的結構特征, 在計算、訪存等方面提 出了對應的優化策略[25-27] . 或者針對圖神經網絡的 特征設計了專用的硬件加速結構, 比如 HyGCN[28] . 基于以上大量的研究工作, 目前已有綜述從應 用模型、算法模型、編程框架以及硬件結構四個方 面總結和分析圖神經網絡相關的進展, 表 1列出了 本文相關的 5 篇綜述. 綜述[29]總結了圖神經網絡在算法和應用方面 的主要進展, 將 GNN 算法分為循環 GNN、圖卷積 神經網絡 (Graph Convolutional Network, GCN)、 圖自編碼器和時空 GNN 四類進行介紹, 并總結了 開源的數據集、已有方法的實現和應用場景. 綜 述[30]將圖神經網絡模型的設計過程總結為消息傳 播模式、采樣方法和池化操作三個子模塊的設計, 并 總結了不同的圖神經網絡模型和應用場景. 除了 分類介紹 GNN 算法模型和應用場景, 綜述[31]還 總結了已有的典型框架: 消息傳播網絡 (Message Passing Neural Network, MPNN)、非局部神經網 絡 (Non-Local Neural Network, NLNN)、圖網絡 (Graph Network, GN) 和混合網絡模型 (Mixture Model Networks, MoNet). 綜述[32]主要從算法模型 和應用場景兩方面總結了圖卷積神經網絡 (GCN) 的提出、發展和應用. 綜述[33]主要總結了 GNN 在 算法、軟硬件加速器方面的進展, 首先從計算過程的 角度介紹了 GNN 的基礎操作和算法分類, 然后從 軟件 (編程框架) 和硬件兩個方面總結了 GNN 加 速器相關的工作, 最后展望了今后加速器設計可能 的方向: 軟硬件結合、圖感知和以通信為中心. 綜 述[34]總結了現有圖神經網絡編程框架的設計和實 現方案, 分類分析了其中的優化技術, 并對開源的 圖神經網絡編程框架進行了試驗評估. 綜述[35]首先 概述了 GNN 基礎知識、典型算法、應用場景和主流編程框架, 然后介紹了 GNN 加速結構的整體設 計, 并從 GNN 加速面臨的挑戰出發詳細介紹了計 算、片內訪存、片外訪存方面的關鍵技術。 總的來說, 綜述[29-32]側重于總結和分析采用整 圖 (full-batch) 訓練模式的圖神經網絡模型及其相 關應用場景. 然而, 當圖中的節點或邊的數量達到 百萬甚至十億級時, 訓練過程往往會超出單塊 GPU 的內存限制. 針對這一問題, 一些方法的提出促 進了圖神經網絡模型從全圖訓練方式到分批 (minibatch) 訓練方式的轉變。其中, 采樣算法為圖神經 網絡模型的分批訓練提供支持, 為其在大規模數據 中的應用奠定了基礎. 面向圖神經網絡的編程框架 結合了深度學習框架和圖結構的具體特征, 提高了 存儲利用率和計算效率, 促進了圖神經網絡模型在 大規模數據中的應用. 相關綜述[33-34]主要總結了圖 神經網絡編程框架方面的進展. 綜述[36-38]主要針 對分布式平臺, 總結和分析了分布式 GNN 在算法 模型、軟件框架和硬件平臺等方面的相關進展. 與現有綜述相比, 本文主要針對大規模圖神經 網絡, 從算法模型和框架優化兩個方面對現有研究 進行了調研、總結和分析. 本文首先對 GNN 的基 礎知識和典型算法進行介紹和總結; 總結分析了基 于不同粒度采樣策略的圖神經網絡模型; 總結分析 了主流的加速框架及其相關技術. 為后續圖神經網 絡模型在大規模數據數據應用中框架-算法的協同 優化提供更多的思路.

本文的內容安排如圖 2所示. 第 2 部分簡要介 紹圖神經網絡, 包括消息傳遞機制、常見的圖神經 網絡模型及其在針對大規模數據訓練時面臨的困難 和挑戰. 第 3 部分分類總結和分析圖神經網絡模型 針對大規模數據的優化工作, 主要包含對不同粒度 的采樣算法的介紹. 第 4 部分介紹和總結圖神經網 絡編程框架加速方面的進展, 包括對主流框架的介 紹和相關加速技術的分類總結. 第 5 部分對全文進 行總結并對面向大規模數據的圖神經網絡在算法模 型和編程框架方面的未來研究進行展望.

2 圖神經網絡

圖神經網絡 (Graph Neural Network, GNN) 是 面向圖結構數據的神經網絡模型[10-11] , 主要用于對 圖數據中的節點進行向量表示及其相關任務[39-40] , 融合了圖計算和神經網絡模型的優勢, 能夠在捕捉 圖結構的同時抽象出節點包含的復雜特征[41] . 其 中, 圖計算模型能夠很好地捕捉圖的拓撲結構特征, 但無法處理節點的高維特征. 典型神經網絡模型通 常用于處理歐氏空間數據, 比如, 卷積神經網絡適用 于處理網格類數據[42] , 循環神經網絡在捕捉序列信 息方面表現較好[43] . 綜上, 針對非歐氏空間的復雜 圖數據, 圖結構本身不規則并且節點包含復雜特征, 其建模過程需要一種新的處理機制. 目前比較受歡 迎的消息傳播模式通過獲取高階鄰居信息來提升節 點的表達能力, 主要包括鄰居聚合和節點更新兩個 步驟[44] . 本節將從消息傳遞機制出發. 首先簡要介紹基 于此的圖神經網絡模型中的兩個主要操作, 聚合和 更新操作. 然后分類介紹常見的圖神經網絡模型: 圖卷積神經網絡、圖注意力網絡、循環圖神經網絡以及基于自編碼器的圖神經網絡. 并針對每一類圖 神經網絡模型, 分析其在大規模數據訓練過程中存 在的挑戰. 最后對圖神經網絡模型在面向大規模數 據訓練過程中存在的挑戰進行總結.

3 圖神經網絡采樣算法

針對圖神經網絡在大規模數據訓練中面臨的挑 戰, 一些研究工作在算法模型方面進行了對應的優 化. 大部分工作集中在針對數據的優化方面, 主要 通過不同粒度的采樣算法實現分批訓練以應對數據大規模性在計算效率和內存開銷方面帶來的挑戰. 根據采樣粒度，已有的采樣算法可以分為基于節點 的采樣算法、基于層的采樣算法以及基于子圖的采 樣算法. 下文將分別介紹和分析三類采樣算法及其 涉及的具體模型.

4 圖神經網絡框架加速

圖神經網絡中計算過程包含圖結構數據的不規 則訪存 (集中于聚合階段) 和復雜特征的大量計算 (集中于更新階段). 然而, 傳統神經網絡編程框架只 擅長加速規則數據的計算效率, 在不規則訪存方面 性能較差. 圖計算框架在圖遍歷等不規則訪存任務 上表現較好, 但并不適用于節點復雜特征的訪存和 計算. 針對以上問題, 不少研究者提出了面向圖神 經網絡模型的編程框架并進行了相關優化技術的探 索, 為面向大規模數據的圖神經網絡模型運行以及 優化奠定了基礎. 本節將分別對編程框架和相關優 化技術進行分析和總結.

5 總結與展望

數據大規模性是圖神經網絡模型在應用中面臨 的主要挑戰之一, 大量的研究工作從不同的角度進 行了性能優化和加速. 針對現有綜述在這一方面的 空白, 本文分析總結了現有圖神經網絡模型存在的 具體挑戰, 并從算法模型和編程框架兩個方面介紹 了圖神經網絡在大規模數據應用中的相關進展. 下 文將對面向大規模數據的圖神經網絡模型中存在的 挑戰進行總結, 并總結本文在算法模型和編程框架 方面的綜述工作. 然后對未來相關工作進行展望.

　神經網絡作為一種強大的信息處理工具在計算機視覺, 生物醫學, 油氣工程領域得到廣泛應用, 引發多 領域技術變革. 深度學習網絡具有非常強的學習能力, 不僅能發現物理規律, 還能求解偏微分方程. 近年來基于 深度學習的偏微分方程求解已是研究新熱點. 遵循于傳統偏微分方程解析解、偏微分方程數值解術語, 本文稱 用神經網絡進行偏微分方程求解的方法為偏微分方程智能求解方法或偏微分方程神經網絡求解方法. 本文首 先簡要介紹偏微分方程智能求解發展歷程, 然后從反演未知偏微分方程與求解已知偏微分方程兩個角度展開 討論, 重點討論已知偏微分方程的求解方法. 根據神經網絡中損失函數的構建方式, 將偏微分方程求解方法分 為 3 大類: 第 1 類是數據驅動, 主要從數據中學習偏微分方程, 可以應用于恢復方程、參數反演等; 第 2 類是物 理約束, 即在數據驅動的基礎上, 輔以物理約束, 在損失函數中加入控制方程等物理規律, 減少網絡對標簽數據 的依賴, 大幅提高泛化能力與應用價值; 第 3 類物理驅動 (純物理約束), 完全不使用標簽數據, 僅通過物理規律 求解偏微分方程, 目前僅適用于簡單偏微分方程. 本文從這 3 個方面介紹偏微分方程智能求解的研究進展, 涉 及全連接神經網絡、卷積神經網絡、循環神經網絡等多種網絡結構. 最后總結偏微分方程智能求解的研究進 展, 給出相應的應用場景以及未來研究展望.

1. 引言

人工智能引發多領域技術變革, 廣泛應用于計 算機視覺, 生物醫學, 油氣工程開發等領域. 深度學 習 (deep learning) 在工程技術, 流體力學, 計算力學 等領域的研究具有重要的理論指導意義與工程應用 價值. 近年來, 基于油藏動、靜態數據, 人工智能有 望實現油藏精細描述與精準開發, 提高采收率. 將測 井、壓裂施工、生產數據等進行智能融合, 大幅提 升壓裂改造效果, 降低開發成本. 大數據與智能優化 方法相結合, 將變革油田數據分析方法、油田開發 控制與優化方法[1] . 非常規油氣開發難題與人工智 能相結合, 有望解決非常規復雜油氣物理規律建立、 偏微分方程求解等難題. 人工智能與大數據將“實現 石油勘探開發主體技術更新換代的宏偉目標, 從技 術層面上促進石油勘探開發行業整體轉型升級” [2] .

人工智能方法因其處理高度復雜問題的突出能 力, 已引起油田領域的特別關注[3-6]. 傳統人工神經 網絡已在石油工程領域得到廣泛應用, 例如預測未 知年份的測井數據[3]、預測油品壓力?體積?溫度屬 性[4]、預測注產剖面[5]、估算孔隙度[6]、井底流動壓 力[7]、選擇頁巖氣藏完井方法[8]、試井解釋[9-13] 等. 深度學習是機器學習的一個新領域. 深度學習 的本質是構建含有多個隱藏層的網絡模型, 通過學 習大規模的數據, 獲得更具代表性的特征, 從而提高 預測和分類的精度. Tian 和 Horne[14] 利用遞歸神經 網絡學習永久井下壓力計 (PDG) 數據, 用于識別油 藏模型及生產預測. Sudakov 等[15] 將深度學習用于 滲透率預測. Mosser 等[16] 利用深度學習進行三維多 孔介質重構. 張東曉等[17] 利用循環神經網絡研究測 井曲線的生成與修補. 近兩年, 深度學習在試井參數 自動反演得到了很好的應用[18-20] . 同時, 在解決參數反演、數字巖心、測井曲 線、試井解釋等問題上, 深度學習作為人工智能發 展引擎有著優秀的表現[21-25] . 以深度學習為核心的 人工智能正在油氣開發領域掀起新的研究熱潮, 其 中最具前瞻性、顛覆性的研究當屬基于深度學習的 偏微分方程求解. 該方法一旦突破, 物理規律建立、 參數反演和數值模擬方法都將發生變革, 我國也將 在以偏微分方程 (偏微分方程) 求解為核心的工業計 算軟件中迎來巨大機遇. 自 2017 年來, 深度學習在 物理規律發現、油藏參數反演和偏微分方程求解中 發揮了令人驚訝的作用[26-30] .

在實際開發現場或其他應用場景中, 只能獲取 相關測量數據, 而數據背后所潛在的物理規律需要 進一步分析得到, 偏微分方程模型是刻畫其特性的 重要工具. 目前, 解決基于大量數據尋找物理規律的 主要思路有: 在有一定的先驗知識下, 列出偏微分方 程所描述的物理過程的備選項, 利用稀疏回歸技術 或其他方法進行特征選擇和參數估計[31-35] ; 其二用 神經網絡作為逼近器的功能, 使用不同的神經網絡 結構表征偏微分方程系統, 通過學習網絡結構達到 發現物理規律的目的[1,36] .

現有的偏微分方程求解方法要進行網格劃分、 非線性方程組求解, 計算成本高, 技術突破難度大. 基于深度學習的偏微分方程求解方法不僅能快速 正演、快速反演[37-38] , 而且能很好解決非線性問 題[39-42] , 能對更復雜、更高維的偏微分方程[27,30,43] 進行求解, 有望顛覆傳統偏微分方程數值求解技術, 引發數值模擬技術的巨大變革。

雖然技術路線存在差異, 但深度學習在物理模 型建立、偏微分方程求解和參數反演中的應用, 其 核心仍是如何用深度學習表征偏微分方程. 當前的 研究多集中在無源匯的偏微分方程, 多是數據驅動 (data driven)、物理約束 (physics informed), 少量為 物理驅動 (physical based, physical constraint, theory based or without labeleddata).由于當前處于研究初始階段,很多學者都提出了自己的術語,導致當前術語復雜,然而不同術語往往表示同一含義.為此,本文約定:數據驅動(datadriven)為僅用標簽數據約束的方法,物理驅動(physicsdriven)為不含任何標簽數據約束的方法.物理約束(physicsinformed)介于二者之間,即標簽數據約束、偏微分方程約束共存的方法.因而,若僅用偏微分方程約束,物理約束方法就是物理驅動方法.另外,遵循于傳統偏微分方程 解析解、偏微分方程數值解術語, 這里稱用深度學 習進行偏微分方程求解的方法為偏微分方程智能求 解方法或偏微分方程神經網絡求解方法.

本文將深度學習表征偏微分方程分為兩個場 景: 構建未知偏微分方程與求解已知偏微分方程. 對 于構建未知偏微分方程, 本文簡要介紹了網絡結構 與偏微分方程、微分算子或演化算子等的內在聯 系, 概述神經網絡逼近未知偏微分方程的表示方法, 并給出其中有待解決的問題與難點. 對于求解已知 偏微分方程, 本文從數據驅動、物理約束和物理驅 動 3 個角度介紹神經網絡求解已知偏微分方程方 法, 主要包括神經網絡求解偏微分方程原理, 網絡框 架構建, 損失函數構造等, 結合國內外研究現狀, 系 統梳理該領域的研究脈絡, 分析神經網絡求解偏微 分方程中存在的關鍵問題和解決方案, 并對可行的 未來研究方向和內容進行討論和展望. 此外, 雖然深 度學習在近年來得到了迅猛發展, 但其在求解偏微 分方程等力學問題上的研究仍然有限, 在實際應用 中的表現仍有待考驗. 因此, 本文主要側重研究方法 上的進展.

1. 基于神經網絡的偏微分方程求解方法探索研究

1943年McCulloch和Pitts[44]建立了神經網絡及其數學模型, 開創了人工神經網絡研究的新時代. 20世紀80年代中期, 首次提出的反向傳播算法算法及其發展[45]引起了人工神經網絡領域研究的第二次熱潮. 一直以來, 人們希望找到無須網格劃分、無須非線性方程求解的偏微分方程數值求解新方法. 其探索之一就是基于人工神經網絡的求解方法. 自動微分(automatic differentiation) 能使用鏈式法則精確計算導數[46-48], 可以根據神經網絡的輸入坐標和網絡參數對整個神經網絡模型進行微分, 從而代替偏微分方程中復雜的梯度計算, 為基于人工神經網絡的偏微分方程求解奠定了基礎.

在20世紀90年代, 便有學者開始研究使用神經網絡求解微分方程的數學基礎與方法. 1990年Wornik等[49]證明了多層神經網絡能夠逼近任意函數及其導數. 這為微分方程的神經網絡求解奠定了理論基礎. 隨后, Li[50]證明了一個隱藏層的神經網絡可逼近多元多項式函數及其導數. Lagaris等[51]將微分方程中的初值與邊界條件獨立表征, 提出頗為新穎的偏微分方程求解方法. 隨后, 不少學者進行了探索研究, 例如, Aarts和Van[52]將表征不同階微分算子的單隱層前饋網絡聯合起來, 共同訓練來求解偏微分方程; 又如, Ramuhalli等[53]將有限元模型嵌入到神經網絡中, 提出了有限元神經網絡. 由于早期多層前饋神經網絡模型的局限性, 早期方法只能求解簡單的偏微分方程, 基于神經網絡的偏微分方程求解方法沒引起足夠的重視.

早期方法主要基于數據驅動, 即事先獲得偏微分方程的輸入及精確解(常稱為“標簽數據”), 然后用神經網絡逼近標簽數據, 從而獲得能夠表征偏微分方程的神經網絡模型, 如圖1(a)所示. 網絡的輸入可以是參數或空間、時間等, 可根據需要選擇.

隨著深度學習算法在多個領域的成功應用[54-55], 國內外學者重新開啟了基于神經網絡的偏微分方程求解方法研究, 取得了系列突破, 提出了新方法, 如純物理驅動的偏微分方程求解方法. 該方法用控制方程進行約束, 無需標簽數據, 如圖1(b)所示.

根據不同的應用場景, 本文將從深度學習反演構建未知偏微分方程和求解已知偏微分方程兩個方面展開介紹. 下節主要介紹如何通過神經網絡逼近線性或非線性算子, 從數據中找出隱藏的偏微分方程模型.

2. 基于深度學習反演未知偏微分方程

利用深度學習方法從數據中反演未知的偏微分方程是當前的研究熱點之一. 對于未知的偏微分方程, 主要的研究目標是通過深度學習找出數據背后蘊藏的偏微分方程模型, 從數據中反演未知的偏微分方程 (例如方程的右端項、方程的積分形式或方程的演化算子等), 進一步構建模型用于求解.

恢復方程的傳統思路是構建簡單函數和偏導數的備選字典. 這些函數和偏導數很可能出現在未知的控制方程中. 根據已知偏微分方程的非線性響應的形式構建模型, 然后利用稀疏回歸類方法來學習這些未知參數, 選擇最準確代表數據的項. 這種傳統的恢復方式要求假設非線性響應形式已知或確定微分算子的有限差分逼近的方法, 而深度學習大大降低了對偏微分方程先驗知識的要求, 只需要簡單的先驗知識, 如方程最大可能的階. 此外稀疏回歸方法需要事先確定字典中空間差分的數值近似, 限制了字典的表達能力和預測能力且需要建立一個足夠大的字典, 這可能會導致高的內存負載和計算成本, 特別是當模型變量的數量很大的時候. 深度學習方法采用可學習的卷積近似微分算子或近似演化算子, 從根本上提高從噪聲數據中識別動力學的能力, 從而使模型具有更強的表達能力和和預測準確性. 如果沒有足夠的數據知識, 也有可能通過調整多項式的微分來獲得更好的表征效果, 神經網絡在偏微分方程求解和恢復問題中都大有可為. 近幾年, 國內外學者致力于探究網絡結構與偏微分方程、各項微分算子或方程的演化算子等的內在聯系, 從理論上支撐用深度學習來表征偏微分方程. 2018年Long等[56-57]提出一種基于數據驅動的前饋神經網絡(PDE-Net), 其核心思想是: 時間導數項做歐拉離散, 受約束卷積核近似微分算子, 進而使用神經網絡或其他機器學習方法近似方程右端項, 構建網絡來逼近偏微分方程系統, 并對其解進行長期預測. 此外結合Symnet (symbolic neural network) [58-59], 使用可學習濾波器PDE-Net2.0[56-57]更加靈活, 能夠在少量先驗知識的情況下揭示方程的解析形式, 尤其對于非線性問題有更好的結果, 并能夠更強大地逼近未知動態和更長的時間預測.

González-García等[62]基于人工神經網絡體系結構提出物理模型建立方法, 其本質是在一定的先驗知識下, 列出描述物理過程的偏微分方程所有的備選項, 利用人工神經網絡進行自動選擇和參數估計, 從而發現數據后隱藏的物理規律.

Wu等[63-64]首次基于殘差網絡(ResNet)構建了從數據中學習未知微分方程的新框架. 該框架以微分方程內在的積分形式為基礎, 以逼近方程的流譜(flow map, 針對常微分方程)和演化算子(evolution operator, 針對偏微分方程)為目標, 從根本上避免了傳統框架(以逼近方程的右端項為目標)所依賴的數值微分. 文獻[63-64]提出了兩種多步的ResNet神經網絡結構, 從精確演化算子的角度, 首次在理論上建立了ResNet與精確演化算子的內在數學關系、由此給出了該深度學習方法的數學解釋. 不同于Wu和Xiu[64]在模態/傅里葉空間學習方程, Chen等[65]在物理空間進行學習和建模, 利用DNN學習測量數據, 從而學習未知偏微分方程. Chen等[66]提出一種無梯度的符號遺傳算法(SGA-PDE), 使用符號數學靈活表示任意給定偏微分方程, 優化其表示形式, 從數據中發現開放形式的偏微分方程. Xu和Zhang[67]在PINN的基礎上提出一種更具魯棒性的深度學習遺傳算法(R-DLGA), 將深度學習?遺傳算法提供的潛在項的初步結果作為物理約束加入損失函數, 提升了在高階導數等影響下導數的計算精度, 從而在高噪聲稀疏數據中獲得偏微分方程.

迄今為止, 該領域提出的許多方法都存在一些局限性. 特別是, 目前的方法通常研究ut=N(u,x,t)ut=N(u,x,t) 形式的方程, 但許多物理方程不在此類. 此外, 如果測量一個具有參數依賴性的系統, 如何消除演化動力學及其參數依賴性之間的歧義是有待解決的問題. 盡管神經網絡表現出強大的數據學習能力, 但對于有噪聲數據的學習, 尤其在非線性、多耦合的復雜物理系統中, 網絡模型的精確性以及穩定性有待提升.

而對于已知的給定的偏微分方程, 神經網絡可用于逼近偏微分方程的解或表征方程, 本文下節將從數據驅動、物理約束和物理驅動3個方面對神經網絡求解偏微分方程展開介紹, 并簡述所用的神經網絡, 如全連接神經網絡, 卷積神經網絡(CNN)、殘差網絡(ResNet)、DenseNet、自編碼網絡(autoencoder)、長短期記憶(LSTM)網絡等, 總結現有研究的重要進展, 并探討下一步的發展趨勢, 對未來偏微分方程智能求解的研究提出建議.

3. 基于深度學習的偏微分方程求解方法

**3.1 偏微分方程神經網絡求解方法概述

深度神經網絡的基本結構是前饋全連接深度神經網絡[68], 以此為例介紹已知偏微分方程的神經網絡求解方法. 以d維行向量x∈Rdx∈Rd為網絡輸入, 一個單隱層神經網絡的k維輸出形式為

數值實驗表明, 3D-PDE-Net求解精度L∞L∞誤差比求解比數值格式Douglas-Gunn ADI降低20倍[73]; 所加入分層的自適應激活函數可10倍提高訓練速度, 且局部誤差得到改善. 但此時3D-PDE-Net不是顯式可解釋的.3.2.2 基于其他網絡的偏微分方程求解方法

Liu等[26]探討了全連接神經網絡在函數逼近中的應用, 并提出了一個通用的基礎微分方程求解器, 主要利用自動微分對方程的初值問題和邊值問題進行求解. E等[30]與Han等[27]用深度學習逼近梯度算子, 基于偏微分方程的離散格式, 對高維偏微分方程給出深度學習求解新方法. 對有H個隱藏層、N個時間間隔的半線性拋物型偏微分方程的網絡結構如圖3所示, 整個網絡共有(H+1)(N?1)(H+1)(N?1)層, 通過損失函數共同優化所有的網絡參數. t=t1,t2,?,tN?1t=t1,t2,?,tN?1中的每一列對應一個tt時間步的子網絡, h1n ,h2n ,?,hHnhn 1,hn 2,?,hnH是每一個子網絡中的中間神經元. 基于標簽數據, 用多層前饋神經網絡逼近梯度算子, 從而可得到高于100維的偏微分方程解, 并給出了多種類型高維偏微分方程方程的求解結果.

**3.3 物理約束下的偏微分方程神經網絡求解方法

由于數據驅動存在泛化能力弱等缺點, 物理驅動可提高泛化能力, 減少標簽數據. 物理驅動與數據驅動相融合, 即物理約束的方法, 受到廣泛的關注.

在近幾年的研究中[74-76], 已經看到利用結構化先驗信息構建基于數據和物理信息的機器學習算法的研究前景. Sirignano等[77]給出了類似于LSTM人工神經網絡的deep Galerkin method (DGM)網絡, 提出了基于Galerkin方法的二階微分算子計算方法, 同時給出了物理約束下的神經網絡逼近定理.3.3.1 PINN Raissi等[39-40]利用偏微分方程的控制方程以及邊界條件等恒等式構造殘差, 利用各項殘差之和構造損失函數, 并將此方法拓展到解決非線性問題, 提出了物理約束下的神經網絡(physics informed neural network, PINN). PINN將數據驅動與物理約束相結合, 從而提出了偏微分方程建立與求解的新思路, 即, 對偏微分方程

3.3.2 基于PINN的改進方法

基于PINN算法, Toshiyuki等[78]使用由3個DNNs組成的PINN框架對Richardson-Richards方程進行參數反演, 并估算保水曲線和水力傳導函數. Han等[79]介紹了一種基于深度學習的一般高維拋物型偏微分方程的求解方法. 先對偏微分方程進行重新構造, 再利用神經網絡逼近未知解的梯度, 在非線性方程計算中得到了滿意的數值結果. Meng等[80]提出了一種改進的PINN方法, 稱為PPINN, 將一個長時間的問題分解為多個獨立的短時間問題, 以加速偏微分方程的求解. Michoski等[81]研究了激波偏微分方程神經網絡求解方法, 神經網絡方法與傳統方法結果對比表明, 基于神經網絡的求解方法有優勢, 標簽數據可有效提升求解精度. Kani和Elsheikh[82]將物理約束求解偏微分方程方法與正交分解(POD)和離散經驗插值方法(DEIM)相結合, 提供了一個高精度的非線性動力系統降階模型, 降低了高保真數值模擬的計算復雜度. Jagtap等[83-84]提出自適應激活函數, 有效地提高了PINN逼近非線性函數和偏微分方程的效率、魯棒性和準確性, 自適應激活函數如下, 圖4為各自適應激活函數的圖像

然而, 含標簽數據的偏微分方程神經網絡求解方法, 存在很大的局限性. 對很多問題, 其精確解是未知的. 若需要偏微分方程的精確解才能構造損失函數, 這大大限制了其應用范圍. 例如, 在油田開發過程中, 儀器只能測量井底的壓力、井口的產量, 而不能獲得其他地區的壓力. 這意味著基于標簽數據的偏微分方程求解方法無效. 從而, 基于純物理約束(即物理驅動)的求解方法具有更廣闊的應用前景, 有著與傳統求解方法一樣的便利性(無須任何標簽數據). 這一旦突破, 將引發偏微分方程求解技術的真正變革.3.3.3 可測量標簽數據下的偏微分方程神經網絡求解方法

上述數據驅動下的偏微分方程求解方法往往需要未知量的分布數據 例如需要知道壓力空間分布數據. 這往往在實驗條件下才能獲得. 例如, 可在實驗中布置多個壓力傳感器, 才能獲得壓力的空間時變數據. 但對實際工程問題, 這部分數據是不可測量的. 例如, 在油藏開發中, 只能測量井中的壓力, 其他的壓力數據無法獲知. 因而, 上述數據驅動下的偏微分方程智能求解方法難以有真正應用.

實際工程中, 存在一部分可測量的數據, 若能使用少量的可測量數據作為標簽, 就能對偏微分方程進行求解, 將具有重要的理論意義與應用價值. 部分學者對此進行了積極的探索研究.

Wang等[85-86]將實際工程中的專家經驗、物理規律和稀疏觀測數據等整合為理論指導神經網絡(theory-guided neural network,TgNN), 如圖5所示, 利用TgNN解決地下流動建模, 不確定性量化等問題.

Li等[87]使用深度神經網絡解決單相滲流問題, 加入部分可測量的井底流壓數據作為標簽, 有效提高非穩態、具有源匯的偏微分方程問題的求解精度. 該方法的最大特點是, 除將可觀測的井底壓力數據作為標簽外, 不再需要任何其他的標簽數據, 而是用偏微分方程約束代替壓力分布的標簽數據, 從而大大提高該方法實際應用可行性. 此外, 利用源匯項引起的梯度特征構造梯度模型, 作為“路標”加入神經網絡, 通過添加固定神經元的方式幫助網絡提高優化能力, 同時提出了預訓練獲得“路標”的解決思路. 圖6為智能求解所獲得的壓力分布、井底壓力(BHP)圖.

Chen等[88]提出一種基于協方差矩陣優化的無梯度神經網絡, 有效提升學習小數據樣本的魯棒性, 適合實際工程應用. 在后續研究中, Chen等[89]提出一種硬約束投影(hard constraint projection, HCP)的方法提升機器學習方法對小樣本數據的學習能力.

**3.4 物理驅動下的偏微分方程神經網絡求解方法

相較于傳統數值求解, 偏微分方程智能求解仍受標簽數據的約束, 在實際應用中, 往往會面臨數據獲取困難的情況. 對此, 無需標簽數據的物理驅動方法成為重要的研究方向, 是最終的解決方案.3.4.1 全連接神經網絡(FC-NN)求解偏微分方程

Nabian等[90]使用無監督的前饋深度殘差神經網絡近似高維偏微分方程, 利用隨機梯度下降(SGD)算法優化神經網絡參數. Cai等[91]研究了基于無監督深度學習的一維二階橢圓偏微分方程數值求解方法, 并利用一階系統最小二乘(FOSLS)作為損失函數來優化神經網絡的參數. Sun等[92]提出了基于“硬邊界約束”的神經網絡求解方法, 將偏微分方程的控制方程和邊界條件作為損失函數來約束神經網絡, 通過構造“硬編碼”的結構化深度神經網絡來加強初始條件和Dirichlet邊界條件, 有效增強物理約束下的偏微分方程智能求解, 如圖7所示. 對于下述不可壓縮Navier-Stokes方程[92]

然而, 對于具有Neumann邊界條件的偏微分方程問題, 仍將Neumann邊界條件以懲罰項的形式加入損失函數, 在求解精度上仍有所欠缺. 綜上所述, Sun等[92]為一部分具有Dirichlet邊界的穩態問題的物理約束求解提供了很好的解決方法, 但由于需要解析解構造邊界平滑函數, 對非穩態, 具有Neumann邊界的問題存在一定的局限性.3.4.2 CNN求解偏微分方程

在人臉識別、AlphaGo等大顯身手的CNN在偏微分方程求解中也受到廣泛關注. 偏微分方程的屬性空間(如滲流方程中的滲透率)與解空間的對應關系, 非常適合用卷積算子進行表征. 基于這一特性, 卷積神經網絡求解偏微分方程會有很大的優勢. 然而, 多數偏微分方程求解網絡都基于FC-NN的“點態”(基于時空域中離散的分布點)方式進行訓練, 這意味著FC-NN訓練樣本分布自由度很大. 而CNN則需要輸入相對完整的樣本分布, 是以“點陣”圖像的形式進行訓練. 這就帶來了諸多新挑戰, 如不規則域、卷積網絡損失函數構造等. 對于不規則域, Gao等[93]通過對CNN網絡輸入的物理量約束, 得到偏微分方程求解神經網絡模型, 再通過保形變換, 實現對不規則區域下的偏微分方程求解.

對于卷積網絡的損失函數, Zhu和Zabaras[94]提出了貝葉斯損失函數約束下的新偏微分方程求解網絡. 該網絡模型將CNN與編解碼器網絡相融合, 吸取了DenseNet特征重用的優點, 使得在參數和計算成本更少的情形下實現比ResNet更優的性能[95]. 如圖8所示.

隨后, Zhu等[96]研究了數據驅動、物理驅動等損失約束下的偏微分方程求解方法, 并提出物理約束的稠密卷積編解碼器網絡(如圖9所示), 提高求解精度以及泛化能力, 并使用Sobel算子計算CNN框架下的導數. 與FC-NN不同, CNN以卷積的形式提取圖像特征, 其本質就是對圖像的像素求導數, Sobel算子是以濾波算子的形式計算一階導數, 從而可利用卷積函數快速計算.

然而, 目前研究的物理驅動方法(無標簽數據)尚不能有效解決非穩態與源匯的問題. 物理驅動的研究仍在起步階段, 離實際需求還很遠.

總體上, 基于深度學習的偏微分方程建立、求解與參數反演研究還處于初始階段, 主要存在以下問題: (1)很多方法只能應用于簡單的偏微分方程, 例如, 偏微分方程中沒有時間導數項, 或沒有源匯項. 這說明求解方法還有待深入研究. (2)多數方法都是基于數據驅動的: 數據驅動下, 神經網絡受到了強有力的約束, 從而更容易收斂, 但其場景有限. (3)物理驅動方法亟待突破: 一旦物理驅動下的偏微分方程求解方法獲得突破, 偏微分方程求解方法將獲得顛覆性的變革, 基于深度學習的偏微分方程重建、參數反演方法都將隨之變革. 然而, 少了標簽數據的約束, 深度學習收斂將十分困難, 大量的科學技術問題亟待解決.

4. 研究前景與展望

國內外研究進展表明, 當前的應用場景主要有3種. (1)基于神經網絡的偏微分方程建立: 在大量實測數據的基礎上, 可以利用深度學習網絡在大量備選的偏微分算子中, 尋找合適的算子來“擬合”實測數據, 從而“人工智能”地建立偏微分方程. 相關研究很多, Raissi和Karniadakis[42]認為, 深度學習有能力在少量的數據中就可發現其背后的物理規律; 對高噪聲稀疏數據, Xu和Zhang[67]將深度學習和遺傳算法相融合來提算法高魯棒性.

(2)參數反演: 參數反演是眾多工程問題的難點之一. 利用神經網絡的逼近能力, 可以進行快速反演. 該方法一般是基于標簽數據的. 數據驅動下的參數反演可無須考慮物理過程, 例如試井參數自動反演就可從數據到數據[18-19]. 然而, 將數據驅動與物理信息相結合, 可能會有更好的反演效果[86,97]. 從另一個角度, 將物理信息(如控制方程)加入預測模型, 能夠根據容易獲得的數據預測更難獲得的數據[89,98-99]. 為此, 將物理驅動與數據驅動相結合, 將大幅降低標簽數據的數據量, 相關研究將給工業應用帶來很大的便利.

(3) 偏微分方程智能求解: 基于深度網絡的偏微分方程求解, 無須網格劃分、線性方程組求解、沒有維度災難. 然而, 由于約束少, 純物理約束下的求解方法挑戰仍很大. 這也是偏微分方程深度學習求解必須攻克的難題.

另一求解偏微分方程的思路是利用神經網絡對非線性方程組的逼近能力, 進行偏微分方程求解. 神經網絡的權值修正方法可以用來逼近與求解非線性方程組, 且能證明, 通過對權值的限制, 該方法一定是收斂的[100]. 由于偏微分方程方程離散后仍是非線性的, 從而可用此方法進行求解. 按此思路, Ebadi等[101]用自適應神經網絡代替傳統的牛頓迭代法, 提出了一種技術路線與上完全不同的偏微分方程求解方法, 并利用該方法對一維的單項與兩相流動進行了求解.

另一研究思路是, 將偏微分方程與深度學習混合使用, 相互學習、相互支撐. 存在這樣的情形, 數據中隱藏的物理規律部分已知, 部分未知. 未知部分用深度學習表征, 已知部分用偏微分方程表征, 從而整個損失函數將包含這兩部分內容. 這樣, 在神經網絡訓練時, 二者能相互約束、相互修正, 既能防止過擬合, 也能彌補數據丟失等引起的誤差[102], 使精度更高, 效果更好.

除傳統數值計算具備的應用前景外, 基于深度網絡的偏微分方程求解還將大幅提升強非線性偏微分方程求解能力, 借助深度學習的并行能力, 提升數值模擬速度. 再借助物理約束與深度學習本身認知能力, 在歷史擬合中, 有望自我完善偏微分方程, 從而極大豐富與增強建模途徑與能力, 流動模型建立與數值模擬能力都將發生巨大變化.

5. 結語

從反演未知偏微分方程與求解已知偏微分方程兩個角度, 本文總結了偏微分方程智能求解方法的發展歷程, 從數據驅動、物理約束和物理驅動3個方面, 重點介紹了已知偏微分方程的智能求解方法, 簡要介紹了應用場景和未來研究方向. 數學界更注重一般偏微分方程方程智能求解方法研究, 結合具體領域的應用研究研究正受到重視. 若能突破物理驅動求解方法瓶頸, 有望顛覆傳統偏微分方程數值求解技術, 引發數值模擬技術的巨大變革.

偏微分方程深度學習求解具有深厚的科學內涵, 需要將深度學習理論、數值模擬技術、偏微分方程數學本質、偏微分方程物理意義和工程背景等有機融合, 深度交叉, 方能得到物理意義明確、數學基礎堅實、能解決工程問題的偏微分方程求解新方法, 將推動數學、力學、人工智能和油藏工程等學科融合與學科發展.

流場可視化是科學計算可視化中一個重要的分支,主要對計算流體動力學的模擬計算結果進行可視化,給研究人員提 供視覺上直觀可見的圖形圖像,方便研究人員進行分析.流場可視化的已知技術包括基于幾何的方法(如流線和粒子追蹤法) 以及基于紋理的方法(如 LIC、噪聲點、IBFV 等).流線可視化是流場可視化的一個重要且常用的幾何可視化手段.在流線可 視化的研究中,流線的放置是整個流線可視化的重點,流線的數目和位置影響了整個可視化效果.當流線放置過多時,會造成 視覺的雜亂;而流線放置過少會使流場信息表達不完整,無法傳遞完整的信息給領域專家.為了實現對科學數據的精確顯示, 流線可視化產生了兩個重要的研究方向:種子點的放置和流線的約減.文中介紹了種子點放置方法和流線的約減方法的相關 研究,總結了在２D和３D流場上出現的一些問題和采取的解決方案,并針對日益增長的科學數據,提出流線可視化下一步需要 解決的問題。

//www.jsjkx.com/CN/10.11896/jsjkx.201200108

目標檢測是計算機視覺領域中最基礎且最重要的任務之一，是行為識別與人機交互等高層視覺任務的基礎.隨著深度學習技術的發展，目標檢測模型的準確率和效率得到了大幅提升.與傳統的目標檢測算法相比，深度學習利用強大的分層特征提取和學習能力使得目標檢測算法性能取得了突破性進展.與此同時，大規模數據集的出現及顯卡計算能力的極大提高也促成了這一領域的蓬勃發展.本文對基于深度學習的目標檢測現有研究成果進行了詳細綜述.首先回顧傳統目標檢測算法及其存在的問題，其次總結深度學習下區域提案和單階段基準檢測模型.之后從特征圖、上下文模型、邊框優化、區域提案、類別不平衡處理、訓練策略、弱監督學習和無監督學習這八個角度分類總結當前主流的目標檢測模型，最后對目標檢測算法中待解決的問題和未來研究方向做出展望.

目標檢測是計算機視覺領域中最基礎且最具挑戰性的任務之一，其包含物體分類和定位［1］.與此同時，目標檢測作為圖像理解和計算機視覺的基石，它為實例分割、圖像捕獲、視頻跟蹤等任務提供了強有力的特征分類基礎，因此探索高效實時的目標檢測模型是近年來研究的熱點.

傳統的目標檢測方法包括預處理、區域提案、特征提取、特征選擇、特征分類和后處理六個階段.大多數檢測模型關注于物體特征的提取和區域分類算法的選擇，在PASCAL VOC數據集［2］上的檢測準確率以較小步幅增長.Deformable Part?based Model（DPM）［3］ 算法三次在PASCAL VOC目標檢測競賽上獲得冠軍，是傳統目標檢測方法的巔峰之作.然而在2008年至2012年期間，目標檢測模型在PASCAL VOC數據集上的檢測準確率逐漸達到瓶頸.傳統方法的弊端也展現出來，主要包括：（1）算法在區域提案生成階段產生大量冗余的候選框且正負樣本失衡；（2）特征提取器如HOG［4］、SIFT［5］等未能充分捕捉圖像的高級語義特征和上下文內容；（3）傳統檢測算法分階段進行，整體缺乏一種全局優化策略.

最近，深度學習經歷了一段前所未有的發展熱浪，AlexNet［6］在圖像分類任務中的優異表現讓人們重新燃起研究卷積神經網絡的興趣.相比于傳統算法，深度學習利用自動學習數據中的特征表達和學習能力加速了目標檢測的發展，在檢測速度和準確率方面均有顯著提升.正是由于目標檢測技術的快速發展，如今其已廣泛應用于智能視頻監控、機器人視覺、基于內容的圖像檢索、自動駕駛［7，8］等領域.

本文首先介紹目標檢測數據集及其評估指標，之后總結基于深度學習的目標檢測基準模型，再從特征圖、上下文模型、邊框優化、區域提案、類別不平衡處理、訓練策略、弱監督學習和無監督學習這八個方面歸納總結當前主流的目標檢測模型，最后討論目標檢測技術的未來發展趨勢與總結全文.

目標檢測一直以來都是計算機視覺領域的研究熱點之一,其任務是返回給定圖像中的單個或多個特定目 標的類別與矩形包圍框坐標.隨著神經網絡研究的飛速進展,R-CNN 檢測器的誕生標志著目標檢測正式進入深度學習時代,速度和精度相較于傳統算法均有了極大的提升.但是,目標檢測的尺度問題對于深度學習算法而言也始終是 一個難題,即檢測器對于尺度極大或極小目標的檢測精度會顯著下降,因此,近年來有不少學者在研究如何才能更好 地實現多尺度目標檢測.雖然已有一系列的綜述文章從算法流程、網絡結構、訓練方式和數據集等方面對基于深度 學習的目標檢測算法進行了總結與分析,但對多尺度目標檢測的歸納和整理卻鮮有人涉足.因此,首先對基于深度學 習的目標檢測的兩個主要算法流派的奠基過程進行了回顧,包括以 R-CNN 系列為代表的兩階段算法和以 YOLO、 SSD 為代表的一階段算法;然后,以多尺度目標檢測的實現為核心,重點詮釋了圖像金字塔、構建網絡內的特征金字 塔等典型策略;最后,對多尺度目標檢測的現狀進行總結,并針對未來的研究方向進行展望。

//www.jos.org.cn/jos/ch/reader/create_pdf.aspx?file_no=6166&journal_id=jos

生成對抗網絡（GAN）是無監督學習領域最近幾年快速發展的一個研究方向，其主要特點是能夠以一種間接的方 式對一個未知分布進行建模。在計算機視覺研究領域中，生成對抗網絡有著廣泛的應用，特別是在圖像生成方面，與其他的 生成模型相比，生成對抗網絡不僅可以避免復雜的計算，而且生成的圖像質量也更好。因此，本文將對生成對抗網絡及其在 圖像生成中的研究進展做一個小結和分析；本文首先從模型的架構、目標函數的設計、生成對抗網絡在訓練中存在的問題， 以及如何處理模式崩潰問題等角度對生成對抗網絡進行一個詳細的總結和歸納；其次介紹生成對抗網絡在圖像生成中的兩 種方法；隨后對一些典型的、用來評估生成圖像質量和多樣性的方法進行小結；并且對基于圖像生成的應用進行詳細分析；最后對生成對抗網絡和圖像生成進行總結，同時對其發展趨勢進行一個展望。

復雜網絡在現實場景中無處不在，高效的復雜網絡分析技術具有廣泛的應用價值，比如社區檢測、鏈路預測等.然而直接對大規模的復雜網絡鄰接矩陣進行分析需要較高的時間、空間復雜度，網絡表征學習是一種解決此問題的有效方法.該類方法將高維稀疏的網絡信息轉化為低維稠密的實值向量，可以作為機器學習算法的輸入，便于后續應用的高效計算.傳統的網絡表征學習方法將實體對象嵌入到低維歐氏向量空間中，但復雜網絡是一類具有近似樹狀層次結構、冪率度分布、強聚類特性的網絡，該結構更適合用具有負曲率的雙曲空間來描述. 本文將針對復雜網絡的雙曲空間表征學習方法進行系統性的介紹和總結.

//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6092&flag=1

知識圖譜是人工智能的重要基石，因其包含豐富的圖結構和屬性信息而受到廣泛關注.知識圖譜可以精確語義描述 現實世界中的各種實體及其聯系，其中頂點表示實體，邊表示實體間的聯系.知識圖譜劃分是大規模知識圖譜分布式處理的 首要工作，對知識圖譜分布式存儲、查詢、推理和挖掘起基礎支撐作用.隨著知識圖譜數據規模及分布式處理需求的不斷增 長，如何對其進行劃分已成為目前知識圖譜研究熱點問題.從知識圖譜和圖劃分的定義出發，系統性地介紹當前知識圖譜數 據劃分的各類算法，包括基本、多級、流式、分布式和其他類型圖劃分算法.首先，介紹 4 種基本圖劃分算法：譜劃分算法、 幾何劃分算法、分支定界算法、KL 及其衍生算法，這類算法通常用于小規模圖數據或作為其他劃分算法的一部分；然后， 介紹多級圖劃分算法，這類算法對圖粗糙化后進行劃分再投射回原始圖，根據粗糙化過程分為基于匹配的算法和基于聚合的 算法；其次，描述 3 種流式圖劃分算法，這類算法將頂點或邊加載為序列后進行劃分，包括哈希算法、貪心算法、Fennel 算法，以及這 3 種算法的衍生算法；再次，介紹以 KaPPa、JA-BE-JA 和輕量級重劃分為代表的分布式圖劃分算法及它們的 衍生算法；同時，在其他類型圖劃分算法中，介紹近年來新興的 2 種圖劃分算法：標簽傳播算法和基于查詢負載的算法。通 過在合成與真實知識圖譜數據集上的豐富實驗，比較了 5 類知識圖譜代表性劃分算法在劃分效果、查詢處理與圖數據挖掘方 面的性能差異，分析實驗結果并推廣到推理層面，獲得了基于實驗的知識圖譜劃分算法性能評價結論。最后，在對已有方法 分析和比較的基礎上，總結目前知識圖譜數據劃分面臨的主要挑戰，提出相應的研究問題，并展望未來的研究方向.