亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來,國內外在新一代知識圖譜的關鍵技術和理論方面取得了一定進展,以知識圖譜為載體 的典型應用也逐漸走進各個行業領域,包括智能問答、推薦系統、個人助手等．然而,在大數據環境和新 基建背景下,數據對象和交互方式的日益豐富和變化, 對新一代知識圖譜在基礎理論、體系架構、關鍵技 術等方面提出新的需求,帶來新的挑戰．將綜述國內外新一代知識圖譜的關鍵技術研究發展現狀,重點 從非結構化多模態數據組織與理解、大規模動態圖譜表示學習與預訓練模型、神經符號結合的知識更新 與推理３方面對國內外研究的最新進展進行歸納、比較和分析．最后,就未來的技術挑戰和研究方向進 行展望。

伴隨著過去１０年浪潮,人工智能發展方興未 艾,正處于由感知智能到認知智能轉變的關鍵時期． 知識圖譜作為大數據時代的知識工程集大成者,是 符號主義與連接主義相結合的產物,是實現認知智 能的基石．知識圖譜以其強大的語義表達能力、存儲 能力和推理能力,為互聯網時代的數據知識化組織 和智能應用提供了有效的解決方案．因此,新一代知 識圖譜的關鍵技術研究逐漸受到來自工業界和學術 界的廣泛關注．

知識 圖 譜 最 早 于 ２０１２ 年 由 Google 正 式 提 出[１],其初衷是為了改善搜索,提升用戶搜索體驗． 知識圖譜至今沒有統一的定義,在維基百科中的定 義為:“Google知識圖譜(Googleknowledgegraph) 是 Google的一個知識庫,其使用語義檢索從多種來 源收集信息,以提高 Google搜索的質量．”從當前知 識圖譜的發展看來,此定義顯然是不夠全面的,當前 知識圖譜的應用儼然遠超其最初始的搜索場景,已 經廣泛應用于搜索、問答、推薦等場景中．比較普遍 被接受的一種定義為“知識圖譜本質上是一種語義 網絡(semanticnetwork),網絡中的結點代表實體 (entity)或者概念(concept),邊代表實體∕概念之間 的各種語義關系”．一種更為寬泛的定義為“使用圖 (graph)作為媒介來組織與利用不同類型的大規模 數據,并表達明確的通用或領域知識”．從覆蓋的領 域來看,知識圖譜可以分為通用知識圖譜和行業知 識圖譜;前者面向開放領域,而后者則面向特定的行 業．隨著知識圖譜在各行業的應用落地,知識圖譜技 術的相關研究得到了大量研究者的關注．以知識圖 譜為基礎的典型應用也逐漸走進各個行業領域,包 括智能問答、推薦系統、個人助手、戰場指揮系統等．

傳統的知識圖譜研究領域主要圍繞傳統的數據 存儲、知識獲取、本體融合、邏輯推理以及知識圖譜 應用等方面．文獻[２]詳細綜合和分析了知識圖譜存 儲管理最新的研究進展．文獻[３]從知識表示學習、 知識獲取與知識補全、時態知識圖譜和知識圖譜應 用等方面進行了全面的綜述．文獻[４]則重點對面向 知識圖譜的知識推理相關研究進行了綜述．

然而,在大數據環境和新基建背景下,數據對象 和交互方式的日益豐富和變化,對新一代知識圖譜 在基礎理論和關鍵技術等方面提出新的需求,也帶 來新的挑戰．和已有的知識圖譜研究綜述相比,本文 將從眾多最新的知識圖譜研究方法中,對３方面的 新一代知識圖譜關鍵技術和理論做分析:１)非結構化多模態數據組織與理解; ２)大規模動態圖譜表示學習與預訓練模型; ３)神經符號結合的知識更新與推理． 本文將綜述國內外新一代知識圖譜關鍵技術研 究發展現狀,對國內外研究的最新進展進行歸納、比 較和分析,就未來的技術挑戰和研究方向進行展望．

1. 非結構化多模態數據組織與理解

1.1 非結構化多模態數據組織

“模態”的定義較多,可以直觀地理解為不同類 型的多媒體數據,也可以作為一個更加細粒度的概 念,區分模態的關鍵點可以理解為數據是否具有異 構性．例如,對于某個歌手,互聯網上可以找到他的 照片和歌曲視頻,同時也有相關的文本信息(百科、 新聞等)以及具體的歌曲音頻．圖片、視頻、文本、語 音這４種數據,可以被理解為該對象的多模態數據．目前主要的非結構化多模態知識圖譜如表１所示:

DBpedia [５]作為近１０年來知識圖譜研究領域的 核心數據集,其豐富的語義信息中也包含了大量的 非結 構 化 數 據,如 文 本 描 述 和 實 體 圖 片．目 前 DBpedia包含了超過２６０萬個實體,且每個實體具 有唯一的全局標識符．以此為基礎,越來越多的數據 發布者 將 自 己 的 數 據 通 過 SameAs 關 系 鏈 接 到 DBpedia資源,使 DBpedia一定程度上成為多類型 數據組織的中心．目前,圍繞 DBpedia的互聯網數據 源網絡提供了約４７億條信息,涵蓋地理信息、人、基 因、藥物、圖書、科技出版社等多個領域．

Wikidata [６]中也存在大量的多模態數據資源, 它是維基媒體基金會(WikimediaFoundation)推出 的知識圖譜,也是維基媒體數據組織和管理的核心 項目．Wikidata充分利用了知識圖譜的圖數據模型, 綜合了 Wikivoyage,Wiktionary,Wikisource等各類 結構化和非結構化數據,其目標是通過創造維基百 科全球管理數據的新方法來克服多類數據的不一致 性,已經成為維基媒體最活躍的項目之一,越來越多 的網站都從 Wikidata獲取內容以嵌入提供的頁面 瀏覽服務． IMGPedia [７]是多模態知識圖譜的早期嘗試．相 較于 DBpedia和 Wikidata,其更關注在已有的知識 圖譜中補充非結構化的圖片信息．

IMGPedia的核心 思路是首先提取 WikimediaCommons中的多媒體 資源(主要是圖片),然后基于多媒體內容生成特征 用于視覺相似性的計算,最后通過定義相似關系的 方式將圖片內容信息引入到知識圖譜中,此外其還 鏈接了 DBpedia和 DBpediaCommons來提供上下 文和元數據．IMGPedia的優勢在于開創性地定義了 知識圖譜中圖像 內 容 的“描 述 符”,也 就 是 視 覺 實 體屬性(諸如灰 度 等),同 時 根 據 這 些 描 述 符 去 計算圖片相似度,方便人們進行相似圖片的查找．但 IMGPedia中定義的“描述符”種類較少,且圖片之 間的關系單一．

MMKG [８]項目旨在對不同知識圖譜(Freebase, YAGO,DBpedia)的實體和圖片資源進行對齊．其通 過對３個知識圖譜(Freebase１５k,YAGO１５k,DB１５k, 均為從原始的知識圖譜中獲得的知識圖譜子集)進 行實體對齊,以及數值、圖片資源與實體的綁定,構 建了一個包含３個知識圖譜子集的多模態數據集 合．MMKG 包含的３個知識圖譜既有諸多對齊的實 體,又有各自不同的拓撲結構．值得一提的是,MMKG 的目標并非是提供一個多模態知識圖譜,而是定義 一個包含多模態信息的評估知識圖譜實體對齊技術 的基準數據集．但是其本質上還是以傳統的知識圖 譜為主,規模很小同時也沒有充分收集和挖掘互聯 網上多種類型的多模態數據,在將圖像分發給相關 文本實體時也未曾考慮圖像的多樣性．

KgBench [９]和 MMKG 類似,在 RDF 編碼的知 識圖譜上引入了一組新的實體分類基準多模態數據 集．對于多個知識圖譜基準實體分類任務,提供至少 １０００個實例的測試和驗證集,有些實例超過１００００ 個,每個實例包含了多種模態的數據描述和特征．每 個任務都能夠以知識圖譜結構特征進行評估,或者 使用多模態信息來實驗．所有數據集都以 CSV 格式 打包,并提供 RDF格式的源數據和源代碼． 東南大學的 Wang等人[１０]提出的多模態圖譜 Richpedia,是目前國內在多模態知識圖譜領域的代 表工作．其核心思路延續了知識圖譜的基本數據模 型,在 RDF框架下對現有的知識圖譜進行擴充(主 要是包含視覺信息的圖片實體),使其變為多模態知 識圖譜．相較之前的多模態知識圖譜,該工作的最大 貢獻在于收集與實體相關圖片的同時,利用圖片的 配文來識 別 圖 片 中 所 包 含 的 其 他 實 體,進 而 在 跨 模態實體之間的語義關系發現方面取得了顯著效果 提升．

西安交通大學的鄭慶華等人[１１Ｇ１２]提出了知識森 林的概念,旨在針對智慧教育領域的多模態數據,實 現基于知識森林數據模型的組織與個性化導學．知 識森林的特點在于針對教育領域的垂域特點,用自 然語言處理、圖像識別等人工智能技術突破了教育 領域給定課程科目的知識森林自動構建,研制了知 識森林 AR 交互系統,緩解學習過程中人機可視化 交互難題．知識森林的多模態類型不再局限于文本 和圖像的范疇,增加了與視頻數據交互的能力．

百度知識圖譜近年來也逐漸向多模態知識圖譜演變．基于海量互聯網資源,百度構建了超大規模的 通用知識圖譜,并隨著文本、語音、視覺等智能技術 的不斷深入,以及行業智能化訴求的提升,百度近年 來一直致力于知識圖譜在復雜知識表示、多模態語 義理解、行業圖譜構建和應用,其挖掘的多模態知識 在圖文視頻的基礎上,加入了更多語音數據來豐富 多模態知識圖譜的內容．

1.2 多模態數據理解

多模態數據理解旨在實現處理和理解不同模態 信息之間共同表達語義的能力．整體上,和知識圖譜 相關的多模態數據的理解主要分為基于本體的多模 態語義理解和基于機器學習的多模態語義理解．基 于本體的多模態語義理解是比較早期的工作,均和 知識圖譜相關,其主要活躍于深度學習的浪潮興起 之前,代表性的工作為 LSCOM(largeＧscaleconcept ontologyformultimedia)[１３]和COMM(coreontology formultimedia)[１４]． LSCOM [１３]是 一 個 由 IBM、卡 內 基 梅 隆 大 學 (CarnegieMellonUniversity,CMU)和哥倫比亞大 學領導開發的多模態大規模概念本體協作編輯任 務．在這項工作中,CyC公司與很多學術研究和工業 團體均有參與．其整個過程包含了一系列學術研討 會,來自多個領域的專家聚集在一起,創建了描述廣 播新聞視頻的１０００個概念的分類．LSCOM 中對多 模態數據的實用性、覆蓋率、可行性和可觀察性制 定了 多 個 標 準．除 了 對 １０００ 個 概 念 進 行 分 類 外, LSCOM 還生成了一組用例和查詢,以及廣播新聞 視頻的大型注釋數據集． COMM [１４]是由德國、荷蘭以及葡萄牙的研究團 隊聯合推出的多模態本體,其誕生的主要動機在于 LSCOM 為多模態數據語義分析研究創建了一個統 一的框架,但并沒有一個高質量的多模態本體正式 描述,也缺乏與已有的語義 Web技術兼容．針對此 問題,COMM 定義了一個基于 MPEGＧ７的多模態 本體,由多模態數據模式組成,滿足了本體框架的基 本要求,并且在 OWLDL 中完全形式化．基于本體 的多模態語義理解要求高質量的本體編輯以及精細 粒度的數據描述,因此 COMM 和 LSCOM 并沒有 很好地發展起來．

基于機器學習的多模態語義理解[１５]是目前多 模態數據理解的主流方法,和知識圖譜的聯系主要 是利用多模態表示學習方法實現知識補全或應用到 下游任務中．多模態表示學習是指通過利用不同多 模態數據之間的互補性,剔除模態冗余性,從而將多 模態數據的語義表征為實值向量,該實值向量蘊含 了不同模態數據的共同語義和各自特有的特征,如 圖１所示．代表性的工作如 Srivastava等人[１６]通過 深度玻爾茲曼機實現圖像和文本的聯合空間生成, 在此基礎上實現多模態數據的統一表示．

多 模 態 知 識 圖 譜 表 示 學 習 的 代 表 性 工 作 是 MoussellyＧSergieh等人[１７]將視覺特征、文本特征和 知識圖譜的結構特征共同學習成統一的知識嵌入, 在此 過 程 中 使 用 SimpleConcatenation,DeViSE,Imagined這３種不同的方法來集成多模態信息,最 終實現了知識圖譜的多模態表示學習,生成了蘊含 多種模態特征的知識圖譜實體和關系實值向量,相 較于傳統的基于結構的知識圖譜表示學習,其在鏈 接預測和實體分類任務上的效果均有提升．

GAIA [１８]是最近提出的一個細粒度的多模態知 識抽取、理解和組織框架,旨在提取不同來源的異構 多媒體數據(包括多模態、多語言等),生成連續的結 構化知識,同時提供一個豐富的細粒度的多模態數 據描述本體．GAIA 整個系統主要有３個優勢:１)大 量使用計算機視覺和自然語言處理的深度學習框架 和其他知識圖譜算法作為其底層模塊,通過結合不 同領域的技術實現了特別是對于圖片資源的實體識 別和多模態實體鏈接,相較于之前的IMGPedia,這 樣的處理保證了對圖片內容細粒度識別的進一步深 入,而對于文本資源,也實現了實體識別和關系抽 取．２)相較于粗粒度的實體,細粒度可以保證內容查 詢的靈活性和更強的易用性,例如對場景的理解和 事件預測,故可以更廣泛地用于實際應用中．３)通過 將圖片和文本實體進行實體鏈接、關系抽取等處理, 實現了多模態知識融合和知識推理,充分利用了多 模態的優勢．GAIA 所提出的多模態知識圖譜提取 框架是當前比較全面的一種范式,有著較好的借鑒 意義．

北京大學的 Peng等人[１９]提出了跨媒體智能的 概念,該概念和多模態數據理解的思路類似,其借鑒 人腦跨越視覺、聽覺、語言等不同感官信息認知外部 世界的特性,重點研究了跨媒體分析推理技術中的任 務和目標,包括細粒度圖像分類、跨媒體檢索、文本 生成圖像、視頻描述生成等．其代表性的工作為 PKU FGＧXmedia [２０],是第１個包含４種媒體類型(圖像、 文本、視頻和音頻)的細粒度跨媒體檢索公開數據集 和評測基準,并且在此基礎上提出了能夠同時學習 ４種媒體統一表征的深度網絡模型 FGCrossNet．

中國科學院自動化研究所的張瑩瑩等人[２１]提 出了一個基于多模態知識感知注意力機制的問答模 型．該模型首先學習知識圖譜中實體的多模態表示; 然后從多模態知識圖譜中與問答對相關聯的實體的 路徑來推測出回答該問題時的邏輯,并刻畫問答對 之間的交互系．此外,該模型還提出了一種注意力 機制來判別連接問答對的不同路徑之間的重要性．

清華大學的 Liu等人[２２]最早在多模態知識圖 譜表示學習方面開展了研究,代表性的工作是IKRL, 其將視覺特征和知識圖譜的結構特征進行聯合表示 學習,進而通過不同模態信息之間的約束生成質量 更高的知識圖譜嵌入． 華南理工大學的 Cai等人[２３]提出一種結合圖 像信息和文本信息的神經網絡來對 Twitter等短文 本中的實體進行識別和消歧．其核心思想是將視覺 和文本信息通過表示學習生成的嵌入連接起來,并 且為細粒 度 的 信 息 交 互 引 入 了 共 同 關 注 機 制．在 Twitter數據集上的實驗結果表明,其方法優于單 純依賴文本信息的方法． 中國科學技術大學的 Xu等人[２４]在多模態信息 理解與關聯方面探索了如何有效聯合映射與建模跨 模態信息,進而從視頻概括性描述深入至實體間語 義關系,實現視覺元素多層次、多維度語義理解與關 聯,以形成對視頻等多模態內容更為全面的解析,有 效解讀其中的語義信息,進而為支撐面向多模態內 容的智能應用服務奠定重要基礎．其代表性的工作 為 MMEA [２４],針對多模態知識圖譜的實體對齊問 題,設計了一種多視圖知識嵌入方法,實現多模態知 識圖譜實體對齊效果的提升．

國防科技大學的 Zhao等人[２５]在多模態知識圖 譜的實體對齊任務上進一步進行了探索,其主要將 多模態實體對齊任務從歐氏空間拓展到了雙曲空間 進行建模表示,最終利用雙曲空間內的圖卷積網絡 和視覺特征抽取模型 DENSENET 實現了多個數據 集上的實體對齊效果．

２ 大規模動態圖譜表示學習與預訓練模型

2.1 大規模動態表示學習

知識圖譜的本質是一種語義網絡,亦是一種特 殊的圖．動態知識圖譜同樣是一種特殊的動態圖．但 是因為知識圖譜的特殊性,動態知識圖譜可以被分 為２類:一類是時序動態知識圖譜,其中蘊含著時間 特征,知識圖譜的結構、實體和關系都會隨著時間的 推移發生改變;另一類是非時序動態知識圖譜,這類 知識圖譜中沒有顯式的時間特征,但是知識圖譜會 發生更新,有新的實體和關系添加到原有的知識圖 譜中．一般情況來說,已存在知識圖譜中的實體和關 系不會發生改變．

１)時序的動態知識圖譜表示學習

時序知識圖譜是一種特殊的知識圖譜,其相比 傳統的靜態知識圖譜多了時間信息,知識圖譜中的知識不是靜態不變的,反而是因為時間的變化,知識 三元組發生改變．如表２中所總結,我們根據其對時 間信息處理方式的差異將所有算法模型分為三大 類:具有時間約束的歷時性時序知識圖譜表示模型、 基于時間序列編碼的時序知識圖譜表示模型和基于 路徑推理的時序知識圖譜表示模型．其中在各通用 數據上表現最佳的模型為２０２１年Zhu等人[２６]提出 的 CyGNet,其模型結構如圖２所示．

２) 非時序的動態知識圖譜表示學習

對于非時序動態知識圖譜,其在應用和更新過 程中,可以加入新的實體和關系,新實體與原有實體 構成的三元組只要在現實應用場景下為正確的,則可 將此三元組納入到原有的知識圖譜中．所以非時序動 態知識圖譜的規模是可以隨著現實情況不斷增大的, 被認為是一種動態變化的知識圖譜．針對非時序知識 圖譜,其中最初的模型是在原有的 DKRL模型[３４]上 進行簡單的更改,直接應用于開放世界知識圖譜上, 其效果相比其他靜態的算法有所提高,成為了這個任務的一個基準結果,其模型基礎框架如圖３所示． DKRL的優勢不僅在于提升了實體表示的區分能 力,而且更在于其對新實體的表示,當一個未在知識 圖譜中出現的新實體出現時,DKRL 將根據新實體 的簡短描述生成它的表示,用于知識圖譜補全．

Shi等人[３５]提出了一種以文本為中心的表示方 法 ConMask,其中頭實體、關系和尾實體基于文本 的向量表示是通過注意力模型在名稱和描述上得出 的,并且通過全卷積 神 經 網 絡 (fullyconvolutional neuralnetwork)得到三元組的評分,最后通過評分 完成實體與關系的預測． Shah等人[３６]提出了區別于 DKRL和 ConMask 這２種方法的新模型 OWE,其獨立地訓練知識圖 譜和文本向量,然后通過缺失實體的描述文本向量 模糊代替實體的表示,在知識圖譜中進行匹配,最終 得到實體與關系的預測結果．該模型可以調整和選 用不同的基礎知識圖譜表示模型得到不同的融合模 型,在不同環境任務中發揮更好的作用． Wang等人[３７]提出了一種基于膠囊網絡的新模 型 CapsＧOWKG,其在融合知識圖譜的結構信息和 描述信息后,采用膠囊網絡提取三元組的特征,得到 動態非時序知識圖譜三元組的表示．Gaur等人[３８]提 出了一個框架 HUKA,它使用起源多項式通過編碼 生成答案所涉及的邊來跟蹤知識圖譜上查詢結果的 推導． Das等人[３９]證明了基于案例的推理(caseＧbased reasoning,CBR)系統通過檢索與給定問題相似的 “案例”來解決一個新問題是可以實現動態知識庫 (KBs)．其通過收集知識庫中相似實體的推理路徑 來預測實體的屬性．概率模型估計路徑在回答關于 給定實體的查詢時有效的可能性． 在國內,最 初 的 模 型 是 在 Xie等 人[３４]提 出 的 DKRL模型上進行簡單的更改,直接應用于開放世 界知識圖譜上,其效果相比其他靜態的算法有所提 高,成為了這個任務的一個基準結果． 杜治娟等人[４０]提出一種表示學習方法 TransNS． 其選取相關的鄰居作為實體的屬性來推斷新實體, 并在學習階段利用實體之間的語義親和力選擇負例 三元組來增強語義交互能力．Xie等人[４１]提出了一種基于深度遞歸神經網絡 DKGCＧJSTD的動態知識圖譜補全模型．該模型學習 實體名稱及其部分文本描述的嵌入,將看不見的實 體連接到知識圖譜．為了建立文本描述信息與拓撲 信息之間的相關性,DKGCＧJSTD 采用深度記憶網 絡和關聯匹配機制,從實體文本描述中提取實體與 關系之間的相關語義特征信息．然后利用深度遞歸 神經網絡對拓撲結構與文本描述之間的依賴關系進 行建模． Zhou等人[４２]提出了一種聚合器,采用注意網 絡來獲取實體描述中單詞的權重．這樣既不打亂詞 嵌入中的信息,又使聚合的單詞嵌入更加高效． Niu等人[４３]使用多重交互注意(MIA)機制來 模擬頭部實體描述、頭部實體名稱、關系名稱和候選 尾部實體描述之間的交互,以形成豐富的表示．此 外,還利用頭部實體描述的額外文本特征來增強頭 部實體的表示,并在候選尾部實體之間應用注意機 制來增強它們的表示．

2.2 知識圖譜的預訓練模型

知識廣泛存在于文本、結構化及其他多種模態 的數據中．除了通過抽取技術將知識從原始數據中 萃取出來以支持搜索、問答、推理、分析等應用以外, 另外一種思路是利用數據中本身存在的基本信號對 隱藏的知識進行預訓練．預訓練的核心思想是“預訓 練和微調”,例如預訓練一般包含２個步驟:首先利 用大量的通用知識數據訓練一個知識模型,獲取文 本中包含的通用知識信息;然后在下游任務微調階 段,針對不同下游任務,設計相應的目標函數,基于 相對較少的監督數據進行微調,便可得到不錯的效 果．近２年對面向知識表示、面向自然語言、面向下 游任務和基于圖結構的預訓練模型這４類有所進 展,代表性模型如表３所示:

**１) 面向知識圖譜表示的預訓練模型 **

在詞向量表示中,預訓練模型分為２個部分,分 別是預訓練與微調,這樣的模式可以使詞向量表示 更適合于不同的應用環境．同樣地,在面向知識表示 的預訓練模型中,同樣先采用預訓練的向量表示,然 后再基于此進行進一步的深化挖掘．這類預訓練模 型,旨在通過引入新的處理方法對預訓練的知識表 示進行進一步的特征挖掘,以此可以得到原有表示 不具備的特征,如 ConvKB [４４],CapsE [４５]等．這類模 型不能最大化地提取三元組的特征,模型預訓練效 果依賴于基礎知識圖譜表示學習模型的選擇．

２) 面向自然語言問題的預訓練模型

知識圖譜在處理與自然語言相關的任務時,必 不可少地與語言模型相互聯系．這一類預訓練模型, 主要是將知識融合到一個詞向量模型中形成一個既 包含知識又具備上下文信息的預訓練詞向量．近幾年 的相關研究主要是將知識融合到BERT 中形成新的 預訓練模型．典型的模型有:CMU 和微軟聯合提出的 JAKET [４６]、清華大學和華為聯合提出的 ERNIE [４７]、 北京大學和騰訊聯合提出的模型 KＧBERT [４８]、復旦 大學和亞馬遜提出的 CoLAKE [４９]、清華大學和 Mila 實驗室提出的 KEPLER [５０]等．這類模型利用實體信 息增強了預訓練效果并減少了訓練時間,但不適用 于缺少實體相關描述的預訓練任務． ３) 面向下游任務的預訓練模型

知識圖譜預訓練模型還可以通過不同的特殊下 游任務來幫助向預訓練模型融入任務相關的知識． 主要方法是在對具體的下游任務進行微調時,可以 采用不同的適配器來針對性地加入特征,進而增強 其效果．代表性的工作有復旦大學和微軟提出的 KＧ ADAPTER [５１]和阿里巴巴實驗室提出的“預訓練＋ 知識向量服務”的模式 PKGM [５２],結構如圖４所示． 這類模型需要盡可能大且全量的知識圖譜數據集, 這樣才能發揮模型預訓練的優勢,因此模型對于圖 譜完成性差、稀疏度高的知識圖譜預訓練較差．

４) 基于圖譜中圖結構的預訓練模型

知識圖譜是一種特殊的信息圖,可以通過適用 于圖的方法 GNN 獲取知識圖譜的部分結構特征． 圖神經網絡(graphneuralnetworks,GNNs)已被 證明是建模圖結構數據的強大工具,然而,訓練 GNN 模型通常需要大量的特定任務的標記數據,而獲取這些數據往往非常昂貴．利用自監督 GNN 模型對 未標記數據進行預訓練是減少標記工作的一種有效 方法,預訓練學習到的模型可用在只有少量標簽圖 譜數 據 的 下 游 任 務 中．代 表 性 的 工 作 有:GPTＧ GNN [５３],GI [５４],GraphCL [５５],GCC [５６]等．這 類 方 法 不依賴于圖譜的節點與邊信息,僅利用圖結構進行 預訓練,避免復雜的特征工程,但缺陷是耗時巨大．

３ 神經符號結合的知識更新與推理

ACM 圖靈獎獲得者 YoshuaBengio在 NeuIPS ２０１９的特邀報告中明確提到,深度學習需要從系統１ 到系統２轉化．這里所說的系統１和系統２來源于 認知科學中的雙通道理論,其中系統１可以理解為 神經系統,它表示直覺的、快速的、無意識的系統;系 統２可以理解為符號系統,它表示慢的、有邏輯的、 有序的、可推理的系統．Bengio所提的系統２關于深 度學習的想法與“神經＋符號”的知識表示與推理目 標基本一致．神經系統優勢在于能夠輕松處理圖像 識別、文本分類等一類機器學習擅長的問題,模型能 夠允許數據噪音的存在,但缺點在于其端到端的過 程缺乏可解釋性,并且在模型求解答案過程中難以 嵌入已有的人類知識．相反地,符號系統可以完美地 定義各類專家經驗規則和知識,形成對結構化數據 的各類原子操作,在此基礎上通過搜索和約束進行 求解,整個過程的解釋性和可理解性也很強．但是, 符號系統的缺點在于難以處理很多擁有異常數據和 噪音的場景．然而,“神經＋符號”到底如何有機結合, 實現起來并不容易．知識圖譜從早期的知識庫、專家 系統,到谷歌２０１２年正式提出知識圖譜,其發展歷 程也體現了神經系統和符號系統的各自發展縮影, 整體上可分為神經助力符號和符號助力神經兩大類．

3.1 神經助力符號推理

神經助力符號推理方法的特點在于將神經的方 法應用在傳統符號系統的問題求解,通常主要是解 決淺層的推理問題,其核心在于如何將神經系統學 到的“淺層知識表示”(計算結構和連續型數值表示 的知識)更新到已有的符號知識體系中(離散的、顯 式的符號化知識)，敏捷邏輯(swiftlogic)是牛津大學 Gottlob等 人[５７]關于“神經＋符號”的嘗試,如圖５所示,該系 統既能夠執行復雜的推理任務(以 Datalog ± 語言為 理論基礎),同時在可接受的計算復雜度下,利用神 經網絡在大數據上實現高效和可擴展的推理．此外,敏捷邏輯還定義了與企業數據庫、網絡、機器學習和 分析軟件包的接口,以實現與數據庫和人工智能中 不斷出現的新技術相結合．敏捷邏輯的特點是不局 限于模型層面的結合,更關注從知識圖譜管理系統 框架層面來使用神經和符號多種技術．

3.2 符號助力神經計算

符號助力神經方法的特點在于將符號的方法應 用在神經網絡的訓練過程中．

3.3 神經符號結合的知識表示與推理

一個完美的“神經 ＋ 符號”系統的特點和優勢 為:１)能夠輕松處理目前主流機器學習擅長的問題; ２)對于數據噪音有較強的魯棒性;３)系統求解過程 和結果可以被人容易地進行理解、解釋和評價;４)可 以很好地進行各類符號的操作;５)可以無縫地利用 各種背景知識．從以上標準來看,實現神經符號知識 表示的充分結合還有很長一段路要走．國外目前最 具代表性的研究為 Cohen等人[９１]和 Lamb等人[９２] 的研究工作． Cohen [９１]作為人工智能領域的重要學者,近年 來發表了一系列的神經符號結合的研究工作,其中 典型工作 DrKIT 的整體框架如圖６所示．DrKIT 使 用語料庫作為虛擬的知識圖譜,進而實現復雜多跳 問題求解．DrKIT 采用傳統知識圖譜上的搜索策略 進行文本數據的遍歷,主要是遵循語料庫中包含文 本提及實體之間的關系路徑．在每個步驟中,DrKIT 使用稀疏矩陣 TF∕IDF 索引和最大內積搜索,并且 整個模塊是可微的,所以整個系統可使用基于梯度 的方法從自然語言輸入到輸出答案進行訓練．DrKIT 非常高效,每秒比現有的多跳問答系統快１０~１００ 倍,同時保持了很高的精度．

４ 研究進展比較

4.1 非結構化多模態數據組織與理解

在非結構化多模態數據組織方面,多模態知識 圖譜目前已經成為國內外學者對于多種類型數據組 織的共識,國內外的學者均有新的研究成果．對于國 外研究團隊而言,其核心思路依然是從維基百科中 抽取已有知識圖譜的多模態數據資源,而國內研究 團隊將范圍擴展到了通過全域的數據資源來補充已 有知識圖譜中的視覺和文本信息．可以看出,對于知 識圖譜而言,開放域的非結構化數據資源豐富,但是 如何同已有結構化的圖譜融合并建立不同模態數據 之間的語義關聯是關鍵．此外,國內研究團隊面向垂 直領域(智慧教育)提出了系統級的研究工作,這一 點要比國外的研究更具有落地思維,可以預見未來國 內在更多垂域會出現以多模態知識圖譜為基礎的系 統和應用．在多模態數據理解方面,受益于深度學習技術的持續發展,國內外在該領域都取得了最新的 研究成果．可以看出,國內研究人員已經可以從延續 他人工作轉變為開辟新的研究領域,這一點說明國 內在該領域走在世界學術前沿．值得一提的是,國內 學者在知識圖譜驅動的多模態數據理解方面同樣具 有較強的應用落地思維,分別面向推薦系統等垂直 場景進行了探索嘗試．

4.2 大規模動態知識圖譜表示學習與預訓練

在大規模動態表示學習方面,國內外均有新的 研究成果,在不同的方向有所突破．國外在序列模型 編碼方法上有更多模型被提出,對 GCN,GNN 等類 型的編碼器進行了改進,在動態表示方面取得了更 好的結果;而國內主要的工作集中在基于分解、基于 歷時性編碼和基于隨機游走改進３個方面,雖然與 國外的方法思路不同,但是在動態表示方面也有亮 點和突出表現．知識圖譜預訓練是近兩年的一個熱 點方向,國內外很多研究機構都針對此方面有所研 究并做出了突破．國外在圖譜表示的預訓練方面有 一些新的工作,并在基于知識圖譜圖結構的預訓練 方面有更多的進展．而國內,基于自然語言方面的知 識預訓練有更多的新模型產生,諸如北京大學、清華 大學等學校,百度等企業均在這方面有新的研究成 果產生．尤其是面向基于大規模知識下游任務的預 訓練模型,有了重大突破,對數以１０億計規模的知 識進行了預訓練,并應用于阿里電商平臺,為商品推 薦、語義搜索和智能問答等下游任務提供支持．

4.3 神經符號結合的知識表示與推理

在神經助力符號方面,國內外均有新的研究成 果．通過比較可以看出,國外研究團隊在知識圖譜表 示學習技術的初期走在該領域的前沿,提出了一系 列開創性的工作;國內的研究團隊主要針對各類模 型和數據特點進行改進,在后期逐漸提出了創新性 更高和實用性更強的工作,尤其是知識圖譜表示學 習技術在其他任務(如智能問答、近似搜索、推薦系 統、實體對齊、社交網絡等)中有效地使用,國內研究 團隊走在學術的前沿,可以看出國內學者更傾向于 應用層級的研究．除此之外,在邏輯推理等偏理論的 模型中如何引入神經網絡,國內研究工作還不多．在 符號助力神經方面,國內外都走在學術的前沿．在神 經符號結合方面,谷歌公司依然走在世界的最前沿, 提出了一系列開創性工作,國內這方面的工作還偏 少．不過整個神經符號的有機結合還屬于初期探索 領域,隨著越多的研究者開始關注,未來我國研究團 隊還有很大的提升空間．

總結

本文圍繞支撐新一代知識圖譜的關鍵技術研究 進展與趨勢展開系統性論述,內容包括:非結構化多模態圖譜組織與理解、大規模動態圖譜表示學習與預 訓練模型、神經符合結合的知識表示與推理．在此基 礎上,給出了國內與國際的當前研究進展,并對國內 外研究進展進行比較．最后對這些關鍵技術的發展趨 勢進行了展望．

近年來,隨著互聯網技術以及引用模式的快速發展,計算機世界的數據規模呈指數型增長,這些數據中蘊含著大量有 價值的信息,如何從中篩選出知識并將這些知識進行有效組織和表達引起了廣泛關注.知識圖譜由此而生,面向知識圖譜的知 識推理就是知識圖譜研究的熱點之一,已經在語義搜索、智能問答等領域取得了重大成就.然而,由于樣本數據存在各種缺陷, 例如樣本數據缺少頭尾實體、查詢路徑過長、樣本數據錯誤等,因此面對上述特點的零樣本、單樣本、少樣本和多樣本知識圖譜 推理更受矚目.文中將從知識圖譜的基本概念和基礎知識出發,介紹近年來知識圖譜推理方法的最新研究進展.具體而言,根 據樣本數據量大小的不同,將知識圖譜推理方法分為多樣本推理、少樣本推理和零與單樣本推理.模型使用超過５個實例數進 行推理的為多樣本推理,模型使用２~５實例數進行推理的為少樣本推理,模型使用零個或者一個實例數進行推理的為零與單 樣本推理.根據方法的不同,將多樣本知識圖譜推理細分為基于規則的推理、基于分布式的推理、基于神經網絡的推理以及基 于其他的推理,將少樣本知識圖譜推理細分為基于元學習的推理與基于相鄰實體信息的推理,具體分析總結這些方法.此外, 進一步講述了知識圖譜推理的典型應用,并探討了知識圖譜推理現存的問題、未來的研究方向和前景.

知識圖譜推理即面向知識圖譜的知識推理.知識圖譜有 很多種定義,是以圖的形式表示真實世界的實體與實體之間 關系的知識庫.知識圖譜的研究源于２０００年 XML 大會上 TimBernersLee提出的語義 Web的理念,最初的作用是為 Web網頁添加語義信息,提供信息代理、搜索代理、信息過濾 等語義信息服務.２００５年,美國 Metaweb公司成立,致力于 開發開放共享的世界知識庫.Metaweb基于維基百科、美國 證券交易委員會等公開的數據集,提取出現實世界中人或事 物(實體)及他們之間的關系,并且以圖的結構儲存在計算機 中.２０１０年,谷歌收購了 Metaweb公司,并在２０１２年提出了 知識圖譜[１]的概念. 具體來說,知識圖譜是通過將應用數學、圖形學、信息可 視化技術、信息科學等學科的理論、方法與計量學引文分析、 共現分析等方法結合,并利用可視化的圖譜形象地展示其核 心結構、發展歷史、前沿領域以及整體知識架構,達到多學科 融合目的的現代理論.它把復雜的知識領域通過數據挖掘、 信息處理、知識計量和圖形繪制顯示出來,揭示知識領域的動 態發展規律,為學科研究提供切實的、有價值的參考.迄今為 止,其實際應用已經逐步拓展并取得了較好的效果.

目前,已經涌現出一大批知識圖譜,其中具有代表性的有 DBpedia [２],Freebase [３],NELL [４],Probase [５]等.這些知識圖 譜從大量數據資 源 中 抽 取、組 織 和 管 理 知 識,希 望 為 用 戶 提供能夠讀懂用戶需求的智能服 務.例 如:理 解 搜 索 的 語 義,提供更精準的搜索答案.大批的 知 識 圖 譜 被 廣 泛 應 用 于知識圖譜補全與去噪的學術研 究 領 域.除 此 之 外,知 識 圖譜在問答系統、推 薦 系 統、機 器 翻 譯 等 領 域 也 發 揮 了 重 要作用,并已在醫學診斷、金融安全、軍用等 領 域 展 示 出 很 好的應用前景. 雖然現在已經存在一些知識圖譜綜述文獻,但是基于數 據樣本量的知識圖譜算法的分類歸納仍然缺乏.模型的樣本 量越多,推理難度越低,準確性也越高,但是現實世界的適用 率越低.為此,本文根據樣本數據量大小的不同,將知識圖譜 推理方法分為多樣本推理、少樣本推理和零與單樣本推理,并 對其最新進展進行詳細分類總結;最后提出知識圖譜推理未 來的潛在發展方向. 本文第２節總結知識圖譜推理的基礎知識;第３節分析 多樣本知識圖譜推理相關方法;第４節論述少樣本知識圖譜推理相關方法;第５節指出知識圖譜推理的未來研究趨勢;最 后總結全文.

摘要 知識圖譜以語義網絡的形式將客觀世界中概念、實體及其之間的關系進行結構化描述,提高了人類從數據中抽取信息、從信息中提煉知識的能力。該文形式化地描述了知識圖譜的基本概念,提出了知識圖譜的層次化體系架構,詳細分析了信息抽取、知識融合、知識架構、知識管理等核心層次的技術發展現狀,系統梳理了知識圖譜在軍事領域的應用,并對知識圖譜未來發展的挑戰和趨勢進行了總結展望。

摘要：數據和知識是新一代信息技術與智能制造深度融合的基礎。然而，當前產品設計、制造、裝配和服務等過程中，數據及知識的存儲大多以傳統關系型數據庫為基礎，這導致了數據及知識的冗余性和搜索及推理的低效性。近年來，知識圖譜技術飛速發展起來，它本質上是基于語義網絡的思想，可以實現對現實世界的事物及其相互關系的形式化描述。該技術為智能制造領域數據及知識的關聯性表達和相關性搜索推理問題的解決帶來了可能性，因此其在智能制造的實現過程中扮演著越來越重要的角色。為了給知識圖譜在智能制造領域的應用提供理論支撐，總結了知識圖譜領域的研究進展；同時探索了知識圖譜在智能制造領域的3大類應用方向，共15小類應用前景，分析了在各個應用前景上與傳統方法的不同之處，應用過程中所需要使用的知識圖譜相關技術以及實施過程中所待突破的關鍵技術，希望可以為進一步展開針對知識圖譜在智能制造領域的研究提供啟發，同時為相關企業針對知識圖譜的實際應用提供參考；最后以數控車床故障分析為案例，驗證了知識圖譜在智能制造領域應用的有效性。

物聯網、云計算、人工智能等新一代信息技術的迅猛發展，帶來了制造業的新一輪突破，推動著制造系統向智能化方向發展，驅動著未來制造模式的創新[1]。其中數據和知識是實現制造業與新一代信息技術融合的基礎，是實現智能制造的保障。一方面，產品在其生命周期的各個階段將會產生海量工業數據和知識[2]；另一方面，工業數據和知識是制造領域的信息化進程的必備資源，其中蘊含了大量有用的模式。然而，當前制造領域產品設計、制造、裝配、服務等生命周期過程中數據以及知識的存儲大多以傳統關系型數據庫為基礎，冗余性較高、分布分散、關聯性較弱且儲量相對較小，強調對數據以及知識的檢索卻較少從語義層面研究數據以及知識的關聯、認知、理解與推理。因此，如何從冗 余的數據與知識文本中抽取有用信息，如何有效表 達數據之間的內在關聯與知識之間的內在關聯，如 何有效利用數據的關聯性與知識的關聯性實現高效 的信息檢索與信息推理，是當前實現智能制造目標 的核心瓶頸之一。知識圖譜(Knowledge graph，KG)來源于谷歌下 一代智能語義搜索引擎技術。其本質上基于語義網 絡的思想，是一種有向圖結構的語義知識庫，用于 以符號形式描述物理世界中的概念及其相互關 系 [3]，其應用服務架構如圖 1 所示。在知識圖譜內 部，數據和知識的存儲結構為三元組，形如 s p o , ，其中 s 和 o 為知識圖譜中的節點，分別 代表了主語實體知識和賓語實體知識， p 為知識圖 譜中的邊，代表了從 s 指向 o 的關系知識(謂語)。

知識圖譜具有如下 3 種特點：① 數據及知識的 存儲結構為有向圖結構。有向圖結構允許知識圖譜 有效地存儲數據和知識之間的關聯關系；② 具備高 效的數據和知識檢索能力。知識圖譜可以通過圖匹 配算法，實現高效的數據和知識訪問；③ 具備智能 化的數據和知識推理能力。知識圖譜可以自動化、 智能化地從已有的知識中發現和推理多角度的隱含知識。

目前，知識圖譜技術已經在互聯網領域如搜索引擎、智能問答等發揮了重要作用，同時也已經在 多個領域進行初步應用，比如：金融、電商、醫療 等 [4]。許多國際著名企業也已經開始探索知識圖譜 的應用，比如谷歌、微軟、IBM、蘋果等。與此同 時，在智能制造領域，西門子于 2018 年提出了他們 在知識圖譜領域的規劃[5]；博世公司于 2019 年構建 了底盤系統控制相關數據的大型知識圖譜，以提供 有效地數據訪問[6]。然而國內的機械行業針對知識 圖譜的探索卻有些許不足。在研究過程中以及與多家機械相關企業的交流中發現，當前知識圖譜在智 能制造領域應用過程還存在以下不足。

(1) 缺乏對知識圖譜理論的深入認識。目前知 識圖譜相關理論與技術在迅速發展，但是智能制造 領域的專家大多對該技術缺乏深入的了解，無法有 效管理和應用知識圖譜中的數據及知識。

(2) 知識圖譜相關技術在智能制造領域的優勢 不明晰。目前知識圖譜在智能制造領域的應用處于 起步階段，針對產品設計、制造、裝配、服務等過 程所帶來的優勢不是很明確，且在知識圖譜應用于 智能制造領域過程中可能遇到的問題尚不明確。

(3) 知識圖譜相關技術在智能制造領域的應用 場景模糊。當前企業對知識圖譜在智能制造領域的 應用前景有所疑問，不確定知識圖譜技術在產品設 計、制造、裝配和服務等過程的切入點和切入方式。

(4) 知識圖譜在智能制造領域落地所需要的技 術不明確。目前在通用領域上的知識圖譜的研究角 度十分廣泛，但是針對智能制造領域各個應用場景， 所需要使用的知識圖譜相關技術類別卻還不是很明晰。

(5) 智能制造領域相關數據缺乏。目前基于深 度學習的知識圖譜相關技術需要構建一定量的有標 簽數據集，目前通用領域的相關數據集比較多，而 智能制造領域的相關數據卻比較缺乏。

針對以上問題，本文總結了可以應用于智能制 造領域的知識圖譜技術的研究進展。同時從應用出 發，探索了知識圖譜在智能制造領域的 3 大類應用 方向，共 15 小類應用前景，分析了在各個應用前景 上與傳統方法的不同之處，應用過程中所需要的知 識圖譜技術以及實施過程中所待突破的關鍵技術， 為后續知識圖譜在智能制造領域的進一步落地提供 理論支撐和方法參考。

摘要：知識圖譜由Google公司提出, 作為增強其搜索功能的知識庫, 在近幾年得到了迅速發展. 隨著知識圖譜價值不斷地被發掘, 各類領域知識圖譜也迅速建設起來. 本文通過領域知識圖譜和通用知識圖譜的對比來清晰化領域知識圖譜的定義, 介紹了領域知識圖譜的架構, 并以醫學知識圖譜為例講解了領域知識圖譜的構建技術. 最后, 本文介紹了當前熱門的領域知識圖譜的發展狀況和應用, 對當前領域知識圖譜狀況進行了較為全面的總結.