近年來,國內外在新一代知識圖譜的關鍵技術和理論方面取得了一定進展,以知識圖譜為載體 的典型應用也逐漸走進各個行業領域,包括智能問答、推薦系統、個人助手等．然而,在大數據環境和新 基建背景下,數據對象和交互方式的日益豐富和變化, 對新一代知識圖譜在基礎理論、體系架構、關鍵技 術等方面提出新的需求,帶來新的挑戰．將綜述國內外新一代知識圖譜的關鍵技術研究發展現狀,重點 從非結構化多模態數據組織與理解、大規模動態圖譜表示學習與預訓練模型、神經符號結合的知識更新 與推理３方面對國內外研究的最新進展進行歸納、比較和分析．最后,就未來的技術挑戰和研究方向進 行展望。
伴隨著過去１０年浪潮,人工智能發展方興未 艾,正處于由感知智能到認知智能轉變的關鍵時期． 知識圖譜作為大數據時代的知識工程集大成者,是 符號主義與連接主義相結合的產物,是實現認知智 能的基石．知識圖譜以其強大的語義表達能力、存儲 能力和推理能力,為互聯網時代的數據知識化組織 和智能應用提供了有效的解決方案．因此,新一代知 識圖譜的關鍵技術研究逐漸受到來自工業界和學術 界的廣泛關注．
知識 圖 譜 最 早 于 ２０１２ 年 由 Google 正 式 提 出[１],其初衷是為了改善搜索,提升用戶搜索體驗． 知識圖譜至今沒有統一的定義,在維基百科中的定 義為:“Google知識圖譜(Googleknowledgegraph) 是 Google的一個知識庫,其使用語義檢索從多種來 源收集信息,以提高 Google搜索的質量．”從當前知 識圖譜的發展看來,此定義顯然是不夠全面的,當前 知識圖譜的應用儼然遠超其最初始的搜索場景,已 經廣泛應用于搜索、問答、推薦等場景中．比較普遍 被接受的一種定義為“知識圖譜本質上是一種語義 網絡(semanticnetwork),網絡中的結點代表實體 (entity)或者概念(concept),邊代表實體∕概念之間 的各種語義關系”．一種更為寬泛的定義為“使用圖 (graph)作為媒介來組織與利用不同類型的大規模 數據,并表達明確的通用或領域知識”．從覆蓋的領 域來看,知識圖譜可以分為通用知識圖譜和行業知 識圖譜;前者面向開放領域,而后者則面向特定的行 業．隨著知識圖譜在各行業的應用落地,知識圖譜技 術的相關研究得到了大量研究者的關注．以知識圖 譜為基礎的典型應用也逐漸走進各個行業領域,包 括智能問答、推薦系統、個人助手、戰場指揮系統等．
傳統的知識圖譜研究領域主要圍繞傳統的數據 存儲、知識獲取、本體融合、邏輯推理以及知識圖譜 應用等方面．文獻[２]詳細綜合和分析了知識圖譜存 儲管理最新的研究進展．文獻[３]從知識表示學習、 知識獲取與知識補全、時態知識圖譜和知識圖譜應 用等方面進行了全面的綜述．文獻[４]則重點對面向 知識圖譜的知識推理相關研究進行了綜述．
然而,在大數據環境和新基建背景下,數據對象 和交互方式的日益豐富和變化,對新一代知識圖譜 在基礎理論和關鍵技術等方面提出新的需求,也帶 來新的挑戰．和已有的知識圖譜研究綜述相比,本文 將從眾多最新的知識圖譜研究方法中,對３方面的 新一代知識圖譜關鍵技術和理論做分析:１)非結構化多模態數據組織與理解; ２)大規模動態圖譜表示學習與預訓練模型; ３)神經符號結合的知識更新與推理． 本文將綜述國內外新一代知識圖譜關鍵技術研 究發展現狀,對國內外研究的最新進展進行歸納、比 較和分析,就未來的技術挑戰和研究方向進行展望．
1. 非結構化多模態數據組織與理解
1.1 非結構化多模態數據組織
“模態”的定義較多,可以直觀地理解為不同類 型的多媒體數據,也可以作為一個更加細粒度的概 念,區分模態的關鍵點可以理解為數據是否具有異 構性．例如,對于某個歌手,互聯網上可以找到他的 照片和歌曲視頻,同時也有相關的文本信息(百科、 新聞等)以及具體的歌曲音頻．圖片、視頻、文本、語 音這４種數據,可以被理解為該對象的多模態數據．目前主要的非結構化多模態知識圖譜如表１所示:
DBpedia [５]作為近１０年來知識圖譜研究領域的 核心數據集,其豐富的語義信息中也包含了大量的 非結 構 化 數 據,如 文 本 描 述 和 實 體 圖 片．目 前 DBpedia包含了超過２６０萬個實體,且每個實體具 有唯一的全局標識符．以此為基礎,越來越多的數據 發布者 將 自 己 的 數 據 通 過 SameAs 關 系 鏈 接 到 DBpedia資源,使 DBpedia一定程度上成為多類型 數據組織的中心．目前,圍繞 DBpedia的互聯網數據 源網絡提供了約４７億條信息,涵蓋地理信息、人、基 因、藥物、圖書、科技出版社等多個領域．
Wikidata [６]中也存在大量的多模態數據資源, 它是維基媒體基金會(WikimediaFoundation)推出 的知識圖譜,也是維基媒體數據組織和管理的核心 項目．Wikidata充分利用了知識圖譜的圖數據模型, 綜合了 Wikivoyage,Wiktionary,Wikisource等各類 結構化和非結構化數據,其目標是通過創造維基百 科全球管理數據的新方法來克服多類數據的不一致 性,已經成為維基媒體最活躍的項目之一,越來越多 的網站都從 Wikidata獲取內容以嵌入提供的頁面 瀏覽服務． IMGPedia [７]是多模態知識圖譜的早期嘗試．相 較于 DBpedia和 Wikidata,其更關注在已有的知識 圖譜中補充非結構化的圖片信息．
IMGPedia的核心 思路是首先提取 WikimediaCommons中的多媒體 資源(主要是圖片),然后基于多媒體內容生成特征 用于視覺相似性的計算,最后通過定義相似關系的 方式將圖片內容信息引入到知識圖譜中,此外其還 鏈接了 DBpedia和 DBpediaCommons來提供上下 文和元數據．IMGPedia的優勢在于開創性地定義了 知識圖譜中圖像 內 容 的“描 述 符”,也 就 是 視 覺 實 體屬性(諸如灰 度 等),同 時 根 據 這 些 描 述 符 去 計算圖片相似度,方便人們進行相似圖片的查找．但 IMGPedia中定義的“描述符”種類較少,且圖片之 間的關系單一．
MMKG [８]項目旨在對不同知識圖譜(Freebase, YAGO,DBpedia)的實體和圖片資源進行對齊．其通 過對３個知識圖譜(Freebase１５k,YAGO１５k,DB１５k, 均為從原始的知識圖譜中獲得的知識圖譜子集)進 行實體對齊,以及數值、圖片資源與實體的綁定,構 建了一個包含３個知識圖譜子集的多模態數據集 合．MMKG 包含的３個知識圖譜既有諸多對齊的實 體,又有各自不同的拓撲結構．值得一提的是,MMKG 的目標并非是提供一個多模態知識圖譜,而是定義 一個包含多模態信息的評估知識圖譜實體對齊技術 的基準數據集．但是其本質上還是以傳統的知識圖 譜為主,規模很小同時也沒有充分收集和挖掘互聯 網上多種類型的多模態數據,在將圖像分發給相關 文本實體時也未曾考慮圖像的多樣性．
KgBench [９]和 MMKG 類似,在 RDF 編碼的知 識圖譜上引入了一組新的實體分類基準多模態數據 集．對于多個知識圖譜基準實體分類任務,提供至少 １０００個實例的測試和驗證集,有些實例超過１００００ 個,每個實例包含了多種模態的數據描述和特征．每 個任務都能夠以知識圖譜結構特征進行評估,或者 使用多模態信息來實驗．所有數據集都以 CSV 格式 打包,并提供 RDF格式的源數據和源代碼． 東南大學的 Wang等人[１０]提出的多模態圖譜 Richpedia,是目前國內在多模態知識圖譜領域的代 表工作．其核心思路延續了知識圖譜的基本數據模 型,在 RDF框架下對現有的知識圖譜進行擴充(主 要是包含視覺信息的圖片實體),使其變為多模態知 識圖譜．相較之前的多模態知識圖譜,該工作的最大 貢獻在于收集與實體相關圖片的同時,利用圖片的 配文來識 別 圖 片 中 所 包 含 的 其 他 實 體,進 而 在 跨 模態實體之間的語義關系發現方面取得了顯著效果 提升．
西安交通大學的鄭慶華等人[１１Ｇ１２]提出了知識森 林的概念,旨在針對智慧教育領域的多模態數據,實 現基于知識森林數據模型的組織與個性化導學．知 識森林的特點在于針對教育領域的垂域特點,用自 然語言處理、圖像識別等人工智能技術突破了教育 領域給定課程科目的知識森林自動構建,研制了知 識森林 AR 交互系統,緩解學習過程中人機可視化 交互難題．知識森林的多模態類型不再局限于文本 和圖像的范疇,增加了與視頻數據交互的能力．
百度知識圖譜近年來也逐漸向多模態知識圖譜演變．基于海量互聯網資源,百度構建了超大規模的 通用知識圖譜,并隨著文本、語音、視覺等智能技術 的不斷深入,以及行業智能化訴求的提升,百度近年 來一直致力于知識圖譜在復雜知識表示、多模態語 義理解、行業圖譜構建和應用,其挖掘的多模態知識 在圖文視頻的基礎上,加入了更多語音數據來豐富 多模態知識圖譜的內容．
1.2 多模態數據理解
多模態數據理解旨在實現處理和理解不同模態 信息之間共同表達語義的能力．整體上,和知識圖譜 相關的多模態數據的理解主要分為基于本體的多模 態語義理解和基于機器學習的多模態語義理解．基 于本體的多模態語義理解是比較早期的工作,均和 知識圖譜相關,其主要活躍于深度學習的浪潮興起 之前,代表性的工作為 LSCOM(largeＧscaleconcept ontologyformultimedia)[１３]和COMM(coreontology formultimedia)[１４]． LSCOM [１３]是 一 個 由 IBM、卡 內 基 梅 隆 大 學 (CarnegieMellonUniversity,CMU)和哥倫比亞大 學領導開發的多模態大規模概念本體協作編輯任 務．在這項工作中,CyC公司與很多學術研究和工業 團體均有參與．其整個過程包含了一系列學術研討 會,來自多個領域的專家聚集在一起,創建了描述廣 播新聞視頻的１０００個概念的分類．LSCOM 中對多 模態數據的實用性、覆蓋率、可行性和可觀察性制 定了 多 個 標 準．除 了 對 １０００ 個 概 念 進 行 分 類 外, LSCOM 還生成了一組用例和查詢,以及廣播新聞 視頻的大型注釋數據集． COMM [１４]是由德國、荷蘭以及葡萄牙的研究團 隊聯合推出的多模態本體,其誕生的主要動機在于 LSCOM 為多模態數據語義分析研究創建了一個統 一的框架,但并沒有一個高質量的多模態本體正式 描述,也缺乏與已有的語義 Web技術兼容．針對此 問題,COMM 定義了一個基于 MPEGＧ７的多模態 本體,由多模態數據模式組成,滿足了本體框架的基 本要求,并且在 OWLDL 中完全形式化．基于本體 的多模態語義理解要求高質量的本體編輯以及精細 粒度的數據描述,因此 COMM 和 LSCOM 并沒有 很好地發展起來．
基于機器學習的多模態語義理解[１５]是目前多 模態數據理解的主流方法,和知識圖譜的聯系主要 是利用多模態表示學習方法實現知識補全或應用到 下游任務中．多模態表示學習是指通過利用不同多 模態數據之間的互補性,剔除模態冗余性,從而將多 模態數據的語義表征為實值向量,該實值向量蘊含 了不同模態數據的共同語義和各自特有的特征,如 圖１所示．代表性的工作如 Srivastava等人[１６]通過 深度玻爾茲曼機實現圖像和文本的聯合空間生成, 在此基礎上實現多模態數據的統一表示．
多 模 態 知 識 圖 譜 表 示 學 習 的 代 表 性 工 作 是 MoussellyＧSergieh等人[１７]將視覺特征、文本特征和 知識圖譜的結構特征共同學習成統一的知識嵌入, 在此 過 程 中 使 用 SimpleConcatenation,DeViSE,Imagined這３種不同的方法來集成多模態信息,最 終實現了知識圖譜的多模態表示學習,生成了蘊含 多種模態特征的知識圖譜實體和關系實值向量,相 較于傳統的基于結構的知識圖譜表示學習,其在鏈 接預測和實體分類任務上的效果均有提升．
GAIA [１８]是最近提出的一個細粒度的多模態知 識抽取、理解和組織框架,旨在提取不同來源的異構 多媒體數據(包括多模態、多語言等),生成連續的結 構化知識,同時提供一個豐富的細粒度的多模態數 據描述本體．GAIA 整個系統主要有３個優勢:１)大 量使用計算機視覺和自然語言處理的深度學習框架 和其他知識圖譜算法作為其底層模塊,通過結合不 同領域的技術實現了特別是對于圖片資源的實體識 別和多模態實體鏈接,相較于之前的IMGPedia,這 樣的處理保證了對圖片內容細粒度識別的進一步深 入,而對于文本資源,也實現了實體識別和關系抽 取．２)相較于粗粒度的實體,細粒度可以保證內容查 詢的靈活性和更強的易用性,例如對場景的理解和 事件預測,故可以更廣泛地用于實際應用中．３)通過 將圖片和文本實體進行實體鏈接、關系抽取等處理, 實現了多模態知識融合和知識推理,充分利用了多 模態的優勢．GAIA 所提出的多模態知識圖譜提取 框架是當前比較全面的一種范式,有著較好的借鑒 意義．
北京大學的 Peng等人[１９]提出了跨媒體智能的 概念,該概念和多模態數據理解的思路類似,其借鑒 人腦跨越視覺、聽覺、語言等不同感官信息認知外部 世界的特性,重點研究了跨媒體分析推理技術中的任 務和目標,包括細粒度圖像分類、跨媒體檢索、文本 生成圖像、視頻描述生成等．其代表性的工作為 PKU FGＧXmedia [２０],是第１個包含４種媒體類型(圖像、 文本、視頻和音頻)的細粒度跨媒體檢索公開數據集 和評測基準,并且在此基礎上提出了能夠同時學習 ４種媒體統一表征的深度網絡模型 FGCrossNet．
中國科學院自動化研究所的張瑩瑩等人[２１]提 出了一個基于多模態知識感知注意力機制的問答模 型．該模型首先學習知識圖譜中實體的多模態表示; 然后從多模態知識圖譜中與問答對相關聯的實體的 路徑來推測出回答該問題時的邏輯,并刻畫問答對 之間的交互系．此外,該模型還提出了一種注意力 機制來判別連接問答對的不同路徑之間的重要性．
清華大學的 Liu等人[２２]最早在多模態知識圖 譜表示學習方面開展了研究,代表性的工作是IKRL, 其將視覺特征和知識圖譜的結構特征進行聯合表示 學習,進而通過不同模態信息之間的約束生成質量 更高的知識圖譜嵌入． 華南理工大學的 Cai等人[２３]提出一種結合圖 像信息和文本信息的神經網絡來對 Twitter等短文 本中的實體進行識別和消歧．其核心思想是將視覺 和文本信息通過表示學習生成的嵌入連接起來,并 且為細粒 度 的 信 息 交 互 引 入 了 共 同 關 注 機 制．在 Twitter數據集上的實驗結果表明,其方法優于單 純依賴文本信息的方法． 中國科學技術大學的 Xu等人[２４]在多模態信息 理解與關聯方面探索了如何有效聯合映射與建模跨 模態信息,進而從視頻概括性描述深入至實體間語 義關系,實現視覺元素多層次、多維度語義理解與關 聯,以形成對視頻等多模態內容更為全面的解析,有 效解讀其中的語義信息,進而為支撐面向多模態內 容的智能應用服務奠定重要基礎．其代表性的工作 為 MMEA [２４],針對多模態知識圖譜的實體對齊問 題,設計了一種多視圖知識嵌入方法,實現多模態知 識圖譜實體對齊效果的提升．
國防科技大學的 Zhao等人[２５]在多模態知識圖 譜的實體對齊任務上進一步進行了探索,其主要將 多模態實體對齊任務從歐氏空間拓展到了雙曲空間 進行建模表示,最終利用雙曲空間內的圖卷積網絡 和視覺特征抽取模型 DENSENET 實現了多個數據 集上的實體對齊效果．
２ 大規模動態圖譜表示學習與預訓練模型
2.1 大規模動態表示學習
知識圖譜的本質是一種語義網絡,亦是一種特 殊的圖．動態知識圖譜同樣是一種特殊的動態圖．但 是因為知識圖譜的特殊性,動態知識圖譜可以被分 為２類:一類是時序動態知識圖譜,其中蘊含著時間 特征,知識圖譜的結構、實體和關系都會隨著時間的 推移發生改變;另一類是非時序動態知識圖譜,這類 知識圖譜中沒有顯式的時間特征,但是知識圖譜會 發生更新,有新的實體和關系添加到原有的知識圖 譜中．一般情況來說,已存在知識圖譜中的實體和關 系不會發生改變．
１)時序的動態知識圖譜表示學習
時序知識圖譜是一種特殊的知識圖譜,其相比 傳統的靜態知識圖譜多了時間信息,知識圖譜中的知識不是靜態不變的,反而是因為時間的變化,知識 三元組發生改變．如表２中所總結,我們根據其對時 間信息處理方式的差異將所有算法模型分為三大 類:具有時間約束的歷時性時序知識圖譜表示模型、 基于時間序列編碼的時序知識圖譜表示模型和基于 路徑推理的時序知識圖譜表示模型．其中在各通用 數據上表現最佳的模型為２０２１年Zhu等人[２６]提出 的 CyGNet,其模型結構如圖２所示．
２) 非時序的動態知識圖譜表示學習
對于非時序動態知識圖譜,其在應用和更新過 程中,可以加入新的實體和關系,新實體與原有實體 構成的三元組只要在現實應用場景下為正確的,則可 將此三元組納入到原有的知識圖譜中．所以非時序動 態知識圖譜的規模是可以隨著現實情況不斷增大的, 被認為是一種動態變化的知識圖譜．針對非時序知識 圖譜,其中最初的模型是在原有的 DKRL模型[３４]上 進行簡單的更改,直接應用于開放世界知識圖譜上, 其效果相比其他靜態的算法有所提高,成為了這個任務的一個基準結果,其模型基礎框架如圖３所示． DKRL的優勢不僅在于提升了實體表示的區分能 力,而且更在于其對新實體的表示,當一個未在知識 圖譜中出現的新實體出現時,DKRL 將根據新實體 的簡短描述生成它的表示,用于知識圖譜補全．
Shi等人[３５]提出了一種以文本為中心的表示方 法 ConMask,其中頭實體、關系和尾實體基于文本 的向量表示是通過注意力模型在名稱和描述上得出 的,并且通過全卷積 神 經 網 絡 (fullyconvolutional neuralnetwork)得到三元組的評分,最后通過評分 完成實體與關系的預測． Shah等人[３６]提出了區別于 DKRL和 ConMask 這２種方法的新模型 OWE,其獨立地訓練知識圖 譜和文本向量,然后通過缺失實體的描述文本向量 模糊代替實體的表示,在知識圖譜中進行匹配,最終 得到實體與關系的預測結果．該模型可以調整和選 用不同的基礎知識圖譜表示模型得到不同的融合模 型,在不同環境任務中發揮更好的作用． Wang等人[３７]提出了一種基于膠囊網絡的新模 型 CapsＧOWKG,其在融合知識圖譜的結構信息和 描述信息后,采用膠囊網絡提取三元組的特征,得到 動態非時序知識圖譜三元組的表示．Gaur等人[３８]提 出了一個框架 HUKA,它使用起源多項式通過編碼 生成答案所涉及的邊來跟蹤知識圖譜上查詢結果的 推導． Das等人[３９]證明了基于案例的推理(caseＧbased reasoning,CBR)系統通過檢索與給定問題相似的 “案例”來解決一個新問題是可以實現動態知識庫 (KBs)．其通過收集知識庫中相似實體的推理路徑 來預測實體的屬性．概率模型估計路徑在回答關于 給定實體的查詢時有效的可能性． 在國內,最 初 的 模 型 是 在 Xie等 人[３４]提 出 的 DKRL模型上進行簡單的更改,直接應用于開放世 界知識圖譜上,其效果相比其他靜態的算法有所提 高,成為了這個任務的一個基準結果． 杜治娟等人[４０]提出一種表示學習方法 TransNS． 其選取相關的鄰居作為實體的屬性來推斷新實體, 并在學習階段利用實體之間的語義親和力選擇負例 三元組來增強語義交互能力．Xie等人[４１]提出了一種基于深度遞歸神經網絡 DKGCＧJSTD的動態知識圖譜補全模型．該模型學習 實體名稱及其部分文本描述的嵌入,將看不見的實 體連接到知識圖譜．為了建立文本描述信息與拓撲 信息之間的相關性,DKGCＧJSTD 采用深度記憶網 絡和關聯匹配機制,從實體文本描述中提取實體與 關系之間的相關語義特征信息．然后利用深度遞歸 神經網絡對拓撲結構與文本描述之間的依賴關系進 行建模． Zhou等人[４２]提出了一種聚合器,采用注意網 絡來獲取實體描述中單詞的權重．這樣既不打亂詞 嵌入中的信息,又使聚合的單詞嵌入更加高效． Niu等人[４３]使用多重交互注意(MIA)機制來 模擬頭部實體描述、頭部實體名稱、關系名稱和候選 尾部實體描述之間的交互,以形成豐富的表示．此 外,還利用頭部實體描述的額外文本特征來增強頭 部實體的表示,并在候選尾部實體之間應用注意機 制來增強它們的表示．
2.2 知識圖譜的預訓練模型
知識廣泛存在于文本、結構化及其他多種模態 的數據中．除了通過抽取技術將知識從原始數據中 萃取出來以支持搜索、問答、推理、分析等應用以外, 另外一種思路是利用數據中本身存在的基本信號對 隱藏的知識進行預訓練．預訓練的核心思想是“預訓 練和微調”,例如預訓練一般包含２個步驟:首先利 用大量的通用知識數據訓練一個知識模型,獲取文 本中包含的通用知識信息;然后在下游任務微調階 段,針對不同下游任務,設計相應的目標函數,基于 相對較少的監督數據進行微調,便可得到不錯的效 果．近２年對面向知識表示、面向自然語言、面向下 游任務和基于圖結構的預訓練模型這４類有所進 展,代表性模型如表３所示:
**１) 面向知識圖譜表示的預訓練模型 **
在詞向量表示中,預訓練模型分為２個部分,分 別是預訓練與微調,這樣的模式可以使詞向量表示 更適合于不同的應用環境．同樣地,在面向知識表示 的預訓練模型中,同樣先采用預訓練的向量表示,然 后再基于此進行進一步的深化挖掘．這類預訓練模 型,旨在通過引入新的處理方法對預訓練的知識表 示進行進一步的特征挖掘,以此可以得到原有表示 不具備的特征,如 ConvKB [４４],CapsE [４５]等．這類模 型不能最大化地提取三元組的特征,模型預訓練效 果依賴于基礎知識圖譜表示學習模型的選擇．
２) 面向自然語言問題的預訓練模型
知識圖譜在處理與自然語言相關的任務時,必 不可少地與語言模型相互聯系．這一類預訓練模型, 主要是將知識融合到一個詞向量模型中形成一個既 包含知識又具備上下文信息的預訓練詞向量．近幾年 的相關研究主要是將知識融合到BERT 中形成新的 預訓練模型．典型的模型有:CMU 和微軟聯合提出的 JAKET [４６]、清華大學和華為聯合提出的 ERNIE [４７]、 北京大學和騰訊聯合提出的模型 KＧBERT [４８]、復旦 大學和亞馬遜提出的 CoLAKE [４９]、清華大學和 Mila 實驗室提出的 KEPLER [５０]等．這類模型利用實體信 息增強了預訓練效果并減少了訓練時間,但不適用 于缺少實體相關描述的預訓練任務． ３) 面向下游任務的預訓練模型
知識圖譜預訓練模型還可以通過不同的特殊下 游任務來幫助向預訓練模型融入任務相關的知識． 主要方法是在對具體的下游任務進行微調時,可以 采用不同的適配器來針對性地加入特征,進而增強 其效果．代表性的工作有復旦大學和微軟提出的 KＧ ADAPTER [５１]和阿里巴巴實驗室提出的“預訓練＋ 知識向量服務”的模式 PKGM [５２],結構如圖４所示． 這類模型需要盡可能大且全量的知識圖譜數據集, 這樣才能發揮模型預訓練的優勢,因此模型對于圖 譜完成性差、稀疏度高的知識圖譜預訓練較差．
４) 基于圖譜中圖結構的預訓練模型
知識圖譜是一種特殊的信息圖,可以通過適用 于圖的方法 GNN 獲取知識圖譜的部分結構特征． 圖神經網絡(graphneuralnetworks,GNNs)已被 證明是建模圖結構數據的強大工具,然而,訓練 GNN 模型通常需要大量的特定任務的標記數據,而獲取這些數據往往非常昂貴．利用自監督 GNN 模型對 未標記數據進行預訓練是減少標記工作的一種有效 方法,預訓練學習到的模型可用在只有少量標簽圖 譜數 據 的 下 游 任 務 中．代 表 性 的 工 作 有:GPTＧ GNN [５３],GI [５４],GraphCL [５５],GCC [５６]等．這 類 方 法 不依賴于圖譜的節點與邊信息,僅利用圖結構進行 預訓練,避免復雜的特征工程,但缺陷是耗時巨大．
３ 神經符號結合的知識更新與推理
ACM 圖靈獎獲得者 YoshuaBengio在 NeuIPS ２０１９的特邀報告中明確提到,深度學習需要從系統１ 到系統２轉化．這里所說的系統１和系統２來源于 認知科學中的雙通道理論,其中系統１可以理解為 神經系統,它表示直覺的、快速的、無意識的系統;系 統２可以理解為符號系統,它表示慢的、有邏輯的、 有序的、可推理的系統．Bengio所提的系統２關于深 度學習的想法與“神經＋符號”的知識表示與推理目 標基本一致．神經系統優勢在于能夠輕松處理圖像 識別、文本分類等一類機器學習擅長的問題,模型能 夠允許數據噪音的存在,但缺點在于其端到端的過 程缺乏可解釋性,并且在模型求解答案過程中難以 嵌入已有的人類知識．相反地,符號系統可以完美地 定義各類專家經驗規則和知識,形成對結構化數據 的各類原子操作,在此基礎上通過搜索和約束進行 求解,整個過程的解釋性和可理解性也很強．但是, 符號系統的缺點在于難以處理很多擁有異常數據和 噪音的場景．然而,“神經＋符號”到底如何有機結合, 實現起來并不容易．知識圖譜從早期的知識庫、專家 系統,到谷歌２０１２年正式提出知識圖譜,其發展歷 程也體現了神經系統和符號系統的各自發展縮影, 整體上可分為神經助力符號和符號助力神經兩大類．
3.1 神經助力符號推理
神經助力符號推理方法的特點在于將神經的方 法應用在傳統符號系統的問題求解,通常主要是解 決淺層的推理問題,其核心在于如何將神經系統學 到的“淺層知識表示”(計算結構和連續型數值表示 的知識)更新到已有的符號知識體系中(離散的、顯 式的符號化知識)，敏捷邏輯(swiftlogic)是牛津大學 Gottlob等 人[５７]關于“神經＋符號”的嘗試,如圖５所示,該系 統既能夠執行復雜的推理任務(以 Datalog ± 語言為 理論基礎),同時在可接受的計算復雜度下,利用神 經網絡在大數據上實現高效和可擴展的推理．此外,敏捷邏輯還定義了與企業數據庫、網絡、機器學習和 分析軟件包的接口,以實現與數據庫和人工智能中 不斷出現的新技術相結合．敏捷邏輯的特點是不局 限于模型層面的結合,更關注從知識圖譜管理系統 框架層面來使用神經和符號多種技術．
3.2 符號助力神經計算
符號助力神經方法的特點在于將符號的方法應 用在神經網絡的訓練過程中．
3.3 神經符號結合的知識表示與推理
一個完美的“神經 ＋ 符號”系統的特點和優勢 為:１)能夠輕松處理目前主流機器學習擅長的問題; ２)對于數據噪音有較強的魯棒性;３)系統求解過程 和結果可以被人容易地進行理解、解釋和評價;４)可 以很好地進行各類符號的操作;５)可以無縫地利用 各種背景知識．從以上標準來看,實現神經符號知識 表示的充分結合還有很長一段路要走．國外目前最 具代表性的研究為 Cohen等人[９１]和 Lamb等人[９２] 的研究工作． Cohen [９１]作為人工智能領域的重要學者,近年 來發表了一系列的神經符號結合的研究工作,其中 典型工作 DrKIT 的整體框架如圖６所示．DrKIT 使 用語料庫作為虛擬的知識圖譜,進而實現復雜多跳 問題求解．DrKIT 采用傳統知識圖譜上的搜索策略 進行文本數據的遍歷,主要是遵循語料庫中包含文 本提及實體之間的關系路徑．在每個步驟中,DrKIT 使用稀疏矩陣 TF∕IDF 索引和最大內積搜索,并且 整個模塊是可微的,所以整個系統可使用基于梯度 的方法從自然語言輸入到輸出答案進行訓練．DrKIT 非常高效,每秒比現有的多跳問答系統快１０~１００ 倍,同時保持了很高的精度．
４ 研究進展比較
4.1 非結構化多模態數據組織與理解
在非結構化多模態數據組織方面,多模態知識 圖譜目前已經成為國內外學者對于多種類型數據組 織的共識,國內外的學者均有新的研究成果．對于國 外研究團隊而言,其核心思路依然是從維基百科中 抽取已有知識圖譜的多模態數據資源,而國內研究 團隊將范圍擴展到了通過全域的數據資源來補充已 有知識圖譜中的視覺和文本信息．可以看出,對于知 識圖譜而言,開放域的非結構化數據資源豐富,但是 如何同已有結構化的圖譜融合并建立不同模態數據 之間的語義關聯是關鍵．此外,國內研究團隊面向垂 直領域(智慧教育)提出了系統級的研究工作,這一 點要比國外的研究更具有落地思維,可以預見未來國 內在更多垂域會出現以多模態知識圖譜為基礎的系 統和應用．在多模態數據理解方面,受益于深度學習技術的持續發展,國內外在該領域都取得了最新的 研究成果．可以看出,國內研究人員已經可以從延續 他人工作轉變為開辟新的研究領域,這一點說明國 內在該領域走在世界學術前沿．值得一提的是,國內 學者在知識圖譜驅動的多模態數據理解方面同樣具 有較強的應用落地思維,分別面向推薦系統等垂直 場景進行了探索嘗試．
4.2 大規模動態知識圖譜表示學習與預訓練
在大規模動態表示學習方面,國內外均有新的 研究成果,在不同的方向有所突破．國外在序列模型 編碼方法上有更多模型被提出,對 GCN,GNN 等類 型的編碼器進行了改進,在動態表示方面取得了更 好的結果;而國內主要的工作集中在基于分解、基于 歷時性編碼和基于隨機游走改進３個方面,雖然與 國外的方法思路不同,但是在動態表示方面也有亮 點和突出表現．知識圖譜預訓練是近兩年的一個熱 點方向,國內外很多研究機構都針對此方面有所研 究并做出了突破．國外在圖譜表示的預訓練方面有 一些新的工作,并在基于知識圖譜圖結構的預訓練 方面有更多的進展．而國內,基于自然語言方面的知 識預訓練有更多的新模型產生,諸如北京大學、清華 大學等學校,百度等企業均在這方面有新的研究成 果產生．尤其是面向基于大規模知識下游任務的預 訓練模型,有了重大突破,對數以１０億計規模的知 識進行了預訓練,并應用于阿里電商平臺,為商品推 薦、語義搜索和智能問答等下游任務提供支持．
4.3 神經符號結合的知識表示與推理
在神經助力符號方面,國內外均有新的研究成 果．通過比較可以看出,國外研究團隊在知識圖譜表 示學習技術的初期走在該領域的前沿,提出了一系 列開創性的工作;國內的研究團隊主要針對各類模 型和數據特點進行改進,在后期逐漸提出了創新性 更高和實用性更強的工作,尤其是知識圖譜表示學 習技術在其他任務(如智能問答、近似搜索、推薦系 統、實體對齊、社交網絡等)中有效地使用,國內研究 團隊走在學術的前沿,可以看出國內學者更傾向于 應用層級的研究．除此之外,在邏輯推理等偏理論的 模型中如何引入神經網絡,國內研究工作還不多．在 符號助力神經方面,國內外都走在學術的前沿．在神 經符號結合方面,谷歌公司依然走在世界的最前沿, 提出了一系列開創性工作,國內這方面的工作還偏 少．不過整個神經符號的有機結合還屬于初期探索 領域,隨著越多的研究者開始關注,未來我國研究團 隊還有很大的提升空間．
總結
本文圍繞支撐新一代知識圖譜的關鍵技術研究 進展與趨勢展開系統性論述,內容包括:非結構化多模態圖譜組織與理解、大規模動態圖譜表示學習與預 訓練模型、神經符合結合的知識表示與推理．在此基 礎上,給出了國內與國際的當前研究進展,并對國內 外研究進展進行比較．最后對這些關鍵技術的發展趨 勢進行了展望．
付費5元查看完整內容
相關內容
知識圖譜（Knowledge Graph），在圖書情報界稱為知識域可視化或知識領域映射地圖，是顯示知識發展進程與結構關系的一系列各種不同的圖形，用可視化技術描述知識資源及其載體，挖掘、分析、構建、繪制和顯示知識及它們之間的相互聯系。
知識圖譜是通過將應用數學、圖形學、信息可視化技術、信息科學等學科的理論與方法與計量學引文分析、共現分析等方法結合，并利用可視化的圖譜形象地展示學科的核心結構、發展歷史、前沿領域以及整體知識架構達到多學科融合目的的現代理論。它能為學科研究提供切實的、有價值的參考。
隨著人工智能研究領域的發展，知識圖譜(knowledge graphs, KGs)引起了學術界和工業界的廣泛關注。作為實體間語義關系的一種表示，知識圖譜在自然語言處理(natural language processing, NLP)中有著重要的意義，近年來得到了迅速的推廣和廣泛采用。鑒于這一領域的研究工作量不斷增加，自然語言處理研究界已經調研了幾種與KG相關的方法。然而，至今仍缺乏對既定主題進行分類和審查個別研究流成熟度的綜合研究。為了縮小這一差距，我們系統地分析了NLP中有關KGs的文獻中的507篇論文。我們的調研包括對任務、研究類型和貢獻的多方面。因此，我們提出了一個結構化的研究概況，提供了任務的分類，總結了我們的發現，并強調了未來工作的方向。
//www.zhuanzhi.ai/paper/d3a164b388877b723eec8789fd081c3d
知識的獲取和應用是自然語言固有的特性。人類使用語言作為交流事實、爭論決定或質疑信仰的手段。因此，計算語言學家早在20世紀50年代和60年代就開始研究如何將知識表示為語義網絡中概念之間的關系(Richens, 1956;Quillian, 1963;Collins和Quillian, 1969)。最近，知識圖譜(KGs)已成為一種以機器可讀的格式語義表示有關現實世界實體的知識的方法。它們起源于對語義網絡、領域特定本體以及鏈接數據的研究，因此并不是一個全新的概念(Hitzler, 2021)。盡管KG越來越受歡迎，但對于KG究竟是什么，適用于什么任務，人們仍然沒有一個普遍的理解。盡管之前的工作已經試圖定義kg (Pujara et al., 2013; Ehrlinger and W??, 2016; Paulheim, 2017; F?rber et al., 2018)，該術語尚未被研究人員統一使用。大多數研究都隱含地采用了廣義的KGs定義，將其理解為“旨在積累和傳遞現實世界知識的數據圖，其節點代表感興趣的實體，其邊緣代表這些實體之間的關系”(Hogan等人，2022)。
自2012年谷歌的KG引入以來(Singhal, 2012)， KG在學術界和產業界都吸引了大量的研究關注。特別是在自然語言處理(NLP)的研究中，使用KGs在過去5年里變得越來越流行，而且這一趨勢似乎正在加速。其基本范式是，結構化和非結構化知識的結合可以使各種NLP任務受益。例如，來自知識圖譜的結構化知識可以注入到語言模型中發現的上下文知識中，這可以提高下游任務的性能(Colon-Hernandez等人，2021)。此外，隨著知識庫的重要性日益增加，從非結構化文本中構建新知識庫的努力也在不斷擴大。
谷歌在2012年創造了知識圖譜這個術語，十年之后，學者們提出了大量新穎的方法。因此，重要的是收集見解，鞏固現有結果，并提供結構化的概述。然而，據我們所知，目前還沒有一項研究對自然語言處理領域中知識分子的整個研究格局進行了概述。為了縮小這一差距，我們進行了一項全面的調研，通過對已建立的主題進行分類，確定趨勢，并概述未來研究的領域，分析在該領域進行的所有研究。我們的三個主要貢獻如下:1. 我們系統地從507篇論文中提取信息，報告關于任務、研究類型和貢獻的見解。2. 本文提供了NLP中關于知識圖譜的文獻中的任務分類，如圖1所示。3.我們評估單個研究流的成熟度，確定趨勢，并強調未來工作的方向。本文綜述了NLP中知識圖譜的演變和目前的研究進展。盡管我們無法完全覆蓋該主題的所有相關論文，但我們的目標是提供一個具有代表性的概述，通過提供一個文獻起點，可以幫助NLP學者和實踐者。此外，多方面的分析可以指導研究界縮小現有差距，并找到如何將KGs與NLP結合的新方法。
KG研究綜述結果
**研究整體概況 (RQ1)**對于NLP中有關KGs的文獻，我們從研究數量作為研究興趣的指標開始分析。圖2說明了十年觀察期間的出版物分布情況。雖然第一批出版物出現在2013年，但年度出版物在2013年至2016年期間增長緩慢。從2017年起，出版物數量幾乎每年翻一番。由于這些年來研究興趣的顯著上升，所有納入的出版物中超過90%來自這五年。盡管增長趨勢似乎在2021年停止，但這可能是由于發生在2022年的第一周的數據導出，遺漏了2021年的許多研究，這些研究在2022年晚些時候被納入數據庫。盡管如此，圖2中的趨勢清楚地表明，KGs正受到NLP研究界越來越多的關注。如果考慮到507篇論文，會議論文(402篇)是期刊論文(105篇)的近4倍。
KG任務概況 (RQ2)
基于NLP中有關KGs的文獻中確定的任務，我們開發了如圖1所示的經驗分類法。這兩個頂級類別包括知識獲取和知識應用。知識獲取包含從非結構化文本構建知識基礎(知識圖構建)或對已經構建的知識基礎進行推理(知識圖推理)的NLP任務。知識庫構建任務進一步劃分為兩個子類:知識提取和知識集成，前者用于用實體、關系或屬性填充知識庫，后者用于更新知識庫。知識應用是第二大頂層概念，包含常見的NLP任務，通過知識庫中的結構化知識來增強這些任務。 正如預期的那樣，我們分類法中的任務在文獻中出現的頻率變化很大。表2概述了最流行的任務，圖5比較了它們隨時間的流行程度。圖4顯示了最突出的任務所檢測到的域的數量。它表明某些任務比其他任務更適用于領域特定的上下文。
研究類型及貢獻(RQ3)
表3顯示了根據附錄表4和表5定義的不同研究和貢獻類型的論文分布情況。它表明，大多數論文進行驗證研究，調查尚未在實踐中實施的新技術或方法。相當多的論文，雖然明顯較少，側重于解決方案的提出，通過一個小的例子或論證來證明它們的優點和適用性。然而，這些論文通常缺乏深刻的實證評價。
付費5元查看完整內容
東北大學《實體對齊》最新綜述論文
摘要
實體對齊(Entity Alignment)旨在發現不同知識圖譜(Knowledge Graph)中指代相同事物的實體，是知識圖譜融合的關 鍵技術，近年來受到了廣泛的關注。早期，研究者們使用字符串的各種特征來進行實體對齊工作。近年來，隨著知識表示學 習(Knowledge Representation Learning)技術的不斷發展，研究者們提出了許多基于知識表示學習的實體對齊方法，效果明顯 優于傳統方法。然而，實體對齊的研究仍然存在著許多亟待解決的問題與挑戰，比如數據質量、計算效率等。本文從實體對齊的定義、數據集和評價指標出發，詳細深入地綜述和比較了傳統實體對齊方法和基于知識表示學習的實體對齊方法。針對傳統方法，分類介紹了基于相似性計算和基于關系推理的實體對齊方法，并深入研究了每類方法對字符特 征、屬性特征、關系特征的利用，同時深入分析了不同方法之間的優勢與不足。針對基于知識表示學習的實體對齊方法，本文進行了重點討論、分析和對比。 首先，本文將該類實體對齊方法抽象為由三個模塊(即嵌入模塊、交互模塊和對齊模塊)組 成的統一框架，依據三個模塊對每個方法進行了詳細的綜述。進一步地，根據方法所利用的信息種類的不同，將已有方法劃 分為基于結構信息、屬性信息、實體名信息、實體描述信息和綜合信息等八類方法，對每一類方法進行了詳細的綜述。然后， 對基于知識表示學習的實體對齊方法進行了深入對比分析。最后，討論了實體對齊工作的主要挑戰，包括稀疏知識圖譜的處 理、標注數據的缺乏和噪聲問題、方法的效率問題等，并對該工作的未來進行了展望。
//cjc.ict.ac.cn/online/bfpub/zf-202237100856.pdf
1 引言
近幾年，互聯網的快速發展促使各領域建立了 越 來 越 多 包 含 互 補 信 息 的 大 規 模 知 識 圖 譜 (Knowledge Graph)。同時，隨著鏈接數據(Linked Data)1計劃的發展，網絡上語義數據的數量不斷增 加，而各應用領域面臨的主要挑戰之一就是集成越 來越多獨立設計且存在于不同知識圖譜中的實體， 使得大規模的知識圖譜之間可以高效協調。因此， 如何發現不同知識圖譜實例之間的鏈接成為各個 領域亟待解決的重要問題[1]。
尤其是，隨著近幾年知識圖譜的快速發展，涌 現出大量的知識圖譜[2]。然而，目前很多的知識圖 譜由不同機構和個人構建，這些知識圖譜的需求特 定，設計和構建并不統一，因此互相之間存在異構 和冗余問題。知識融合旨在將知識圖譜中的異構和 冗余等信息進行對齊和合并，形成全局統一的知識 標識和關聯[1]。實體對齊(Entity Alignment，EA) [3], [4] 是知識圖譜融合過程的關鍵技術，主要目的是發現 不同知識圖譜之間的等價實體。由于不同知識圖譜 的知識內容存在來源各異和人為理解不同，指代同 一個事物的文字表達會各有不同。這是不同知識圖 譜融合集成的顯著問題，影響共享數據的實現。因 此，針對基于知識圖譜的知識融合研究，對后續大 數據集成統一的技術探索和發展意義重大[5]。
實體對齊一般可以分為本體對齊和實例對齊， 本體對齊重點關注類、屬性和關系，而實例對齊則 更加注重真實世界中指代的具體事物[2]。早期的相 關工作主要集中在本體對齊方面，近幾年隨著機器 學習和深度學習的發展，也逐漸向實例對齊方向發 展。本體對齊相對于實例對齊而言更加籠統概括，主要針對包含相似實例的一類實體；而實例對齊對 信息的精細程度要求更多，也更加復雜。此外，實 體對齊任務與傳統的實體消歧(鏈接)任務存在差 異，傳統的實體消歧需要將文本內容中提及的實 體，鏈接到知識圖譜或知識圖譜中的實體。然而實 體對齊，是將兩個或者多個結構化的知識圖譜或知 識圖譜中的實體進行等價對齊[6]。
隨著實體對齊技術的發展，許多學者提出了不同種類的實體對齊方法，涌現出大量的實體對齊研 究文獻。早期，研究者們使用字符串的各種特征來 進行實體對齊工作。近些年，隨著知識表示學習 (Knowledge Representation Learning)技術的快速發 展，研究者們提出了許多基于知識表示學習的實體 對齊方法，這些方法取得了比傳統方法更好的效果。然而，截止目前仍然缺少有關實體對齊技術全 面而深入的方法綜述。已有的綜述文獻[7]主要概括 了傳統實體對齊方法；文獻[8]僅針對基于圖神經網 絡(Graph Neural Network，GNN)的實體對齊方法進 行了簡略介紹；文獻[5]和[9]從實驗的角度，對部分 實體對齊方法在數據集上的性能進行了深入比較 分析。與上述已有綜述不同，本文從方法和技術層 面，更加全面深入地綜述和比較了傳統實體對齊方 法和基于知識表示學習的實體對齊方法，對這些已 有方法進行了詳細的劃分與綜述。針對傳統方法， 本文深入分析研究了每類方法對字符特征、屬性特 征、關系特征的利用，進而對比了不同方法之間的 優勢與不足。針對主流的基于知識表示學習的實體 對齊方法，本文深入挖掘并研究了每種方法所利用 的知識圖譜信息，根據所利用信息種類的不同將已 有方法細分為八個類別，同時進行了詳細的綜述和 對比分析。
基于以上分析，本文將實體對齊方法分為兩大 類，一類是傳統的實體對齊方法，一類是基于知識表示學習的實體對齊方法。在給出實體對齊的問題 定義、數據集和評價指標的基礎上，進一步詳細深 入地綜述和比較了這兩大類方法。主要貢獻如下：
-
針對傳統方法，分類介紹了基于相似性計算和 基于關系推理的實體對齊方法，并深入研究了 每類方法對字符特征、屬性特征、關系特征的 利用，同時深入分析了不同方法之間的優勢與 不足。
-
針對基于知識表示學習的實體對齊方法，本文進行了重點討論、分析和對比：（i）本文將該 類實體對齊方法抽象為由三個模塊(即嵌入模 塊、交互模塊和對齊模塊)組成的統一框架，依 據三個模塊對每個方法進行了詳細的綜述；（ii）根據方法所利用的知識圖譜信息種類的 不同，將已有方法細分為基于結構信息、屬性 信息、實體名信息、實體描述信息和綜合信息 等八類方法，并對每類方法進行了詳細介紹和 分析；（iii）進一步對基于知識表示學習的實體 對齊方法進行了深入對比分析。分析結果表 明，科學有效的迭代方法和對多種信息的利用 都能夠提升方法的性能等。
-
討論了實體對齊工作的主要挑戰和未來方向， 包括稀疏知識圖譜的處理、標注數據的缺乏和 噪聲問題、方法的效率問題等。
本文后續章節安排如下：第 2 節給出實體對齊 的問題定義、數據集和評價指標；第 3 節介紹傳統 實體對齊方法；第 4 節綜述基于知識表示學習的實 體對齊方法；第 5 節概括實體對齊工作的主要挑戰 和未來方向；最后給出本文總結。
2 數據
3 傳統實體對齊方法
傳統的實體對齊方法大多數都集中在句法和 結構上，尤其是早期的實體對齊和映射技術主要側 重于計算實體之間標簽和字符的距離。傳統的實體 對齊方法主要從兩個角度解決實體對齊問題：一類 是基于相似度計算來比較實體的符號特征[11]，另一 類是基于關系推理[32]，最近的研究還使用統計機器 學習來提高準確性。本節將詳細綜述已有的傳統實 體對齊方法，同時深入研究每類方法對字符特征、 屬性特征、關系特征的利用，并進行對比分析。
4 基于知識表示學習的實體對齊方法
表 示 學 習 又 叫 做 表 征 學 習 (Representation Learning)，其目的是利用機器學習技術將描述對象 表示為低維稠密的向量，兩個向量之間的距離反映 的是兩個對象之間的語義關系。將表示學習應用于 知 識 表 示 中 ， 即 知 識 表 示 學 習 (Knowledge Representation Learning)，目的是實現知識圖譜中實 體和實體之間關系的向量表示，通過降低高維實體 和關系，得到低維向量的數值表示。基于知識表示學習技術能夠將實體和關系表 示為低維向量空間的能力，許多研究者們提出了基 于知識表示學習的實體對齊方法，該類方法也成為 目前解決實體對齊問題的主要技術。通過深入研究 這些方法，本文概括并抽象出一個統一的實體對齊 框架，如圖 4 所示。其基本思想就是首先通過知識 表示學習技術對知識圖譜進行嵌入，即嵌入模塊；之后根據已對齊的實體對將不同知識圖譜的嵌入空間映射到同一個向量空間中，即交互模塊；最后 根據向量空間中實體之間的距離或者相似度得到 實體對齊結果，即對齊模塊。此外，大多數方法還 引入了迭代機制，將實體對齊結果添加至已經對齊 的實體對中。本節接下來將對基于知識表示學習的實體對 齊方法進行重點介紹、對比分析和總結。首先，依 據圖 4 提到的三個模塊(即嵌入模塊、交互模塊和對 齊模塊)對每一種方法進行了詳細介紹。同時，本文 通過深入研究，對所有方法根據其利用的知識圖譜 信息的不同進行了詳細的分類(見 4.2 節)。然后進一 步對該類方法進行了詳細的對比，并對結果進行了 深入的分析(見 4.3 節)。下面 4.1 節首先簡單介紹現有的知識表示學習 技術，然后后續幾節重點綜述基于知識表示學習的 實體對齊方法，并進行深入的對比分析。
4.1 知識表示學習技術 目前主要的知識表示學習技術可以分為三類：翻譯模型、語義匹配模型、深度模型[38], [39]。
**4.2 基于知識表示學習的實體對齊方法 **
基于知識表示學習的實體對齊方法已經成為 目前解決實體對齊問題的主要技術，并取得了較好 的效果，其中絕大多數方法都使用翻譯模型或圖神 經網絡(Graph Neural Network, GNN) [59]進行知識表 示學習，因為它們有著較強的魯棒性和泛化能力。
5 展望
從上述已有方法可以看出，目前基于知識表示 學習的實體對齊方法主要包括三個模塊，分別是嵌 入模塊、交互模塊和對齊模塊。嵌入模塊目前主要 有三種方法，一種是利用 TransE 及其改進系列進行 關系結構信息嵌入；一種是使用 GNN 構建鄰接關 系圖進行嵌入；一種是使用 GNN 的改進模型 GCN 進行結構信息嵌入。嵌入模塊利用的信息主要有兩 種，即結構信息和屬性信息。交互模塊的作用主要 是將兩個不同的知識圖譜映射到同一向量空間，使 得向量的計算在同一空間。目前聯系兩個知識圖譜 的橋梁主要是預對齊的實體對，通過預對齊的實體 對在不同向量空間的轉換和校準，統一兩個知識圖 譜。對齊模塊的作用主要是根據已經嵌入的實體向 量來計算距離，此外，還能通過一些推理策略選擇 待對齊的實體。 值得注意的是，雖然基于知識表示學習的實體 對齊方法取得了較為不錯的效果，但是這并不意味 著傳統的實體對齊方法不具有研究價值。 正如文獻 [5]也指出這兩類方法是相輔相成的，結合起來考慮 會有可能取得更好的效果。 隨著知識圖譜的不斷完善，許多知識圖譜都變 得越來越復雜，規模也越來越大，原有的實體對齊 算法需要進一步考慮執行效率和準確率。 為了解決 這個問題，并行處理技術受到了越來越多地關注。目前研究工作將并行處理技術應用到實體對齊任 務中的是極少數[7]，有關大規模知識圖譜的實體對 齊問題仍然需要進行深入的研究和探索。
通過 4.3 節的對比分析，可以看到針對知識圖 譜結構信息的利用還有待于繼續研究探索，無論是 鄰接實體還是實體間的關系，均對知識圖譜的更準 確表示起著至關重要的作用。使用神經網絡嵌入知 識圖譜的結構信息時，如何緩解錯誤信息的傳播至 關重要。目前普遍使用高速門機制，使得錯誤傳播 的問題得到了一定程度的緩解，但是對于單跳和多 跳實體的計算和信息傳播仍需繼續研究。此外，在知識圖譜結構信息嵌入表示方面，大 多數實體對齊模型是以實體為中心，多方面信息輔 助嵌入，在以后的研究中可以提高關系信息的占 比，甚至可以以實體之間關系為中心研究嵌入表 示，進而更深入地挖掘知識圖譜的結構信息。除了 結構信息，加入原知識圖譜中的實體描述信息使得 實體對齊效果顯著提高，如 BERT-INT，甚至可以 忽略結構信息。但是在真實大型知識圖譜中，很多實體缺乏具體準確的描述信息，所以對結構信息以 及其他未挖掘的信息有待于進一步深入研究。再 者，在實體對齊任務中，大多數模型方法在通用數 據集 DBP15K 數據集上獲得了不錯的效果。然而在 實際大型真實知識圖譜的表現一般，因此如何進一 步提出不同種類的數據集也成為實體對齊領域的 重要研究問題。
付費5元查看完整內容
推薦系統旨在為用戶推薦個性化的在線商品或信息, 其廣泛應用于眾多Web場景之中, 來處理海量信息數據所導致的信息過載問題, 以此提升用戶體驗. 鑒于推薦系統強大的實用性, 自20世紀90年代中期以來, 研究者針對其方法與應用兩方面, 進行了大量廣泛的研究. 近年來, 很多工作發現知識圖譜中所蘊含的豐富信息可以有效地解決推薦系統中存在的一系列關鍵問題, 例如數據稀疏、冷啟動、推薦多樣性等. 因此, 本文 針對基于知識圖譜的推薦系統這一領域進行了全面的綜述. 具體地, 首先簡單介紹推薦系統與知識圖譜中的一些基本概念. 隨后, 詳細介紹現有方法如何挖掘知識圖譜不同種類的信息并應用于推薦系統. 此外, 總結了相關的一系列推薦應用場景. 最后, 提出了對基于知識圖譜的推薦系統前景的看法, 并展望了該領域未來的研究方向.
付費5元查看完整內容
知識圖譜以圖的方式承載著結構化的人類知識。作為將知識整合進入人工智能系統的媒介, 知識圖譜的研究日益流行。知識圖譜在眾多人工智能相關的應用上嶄露頭角, 例如問答系統、 信息檢索、 自然語言處理、 推薦系統等。然而, 傳統的深度學習不能很好地處理知識圖譜這類非歐式數據。隨著圖神經網絡的快速發展, 幾何深度學習成為建模非歐式數據的重要理論。 本文以幾何深度學習的視角, 以圖神經網絡為重點, 總結了近期基于圖神經網絡的知識圖譜關鍵技術研究進展。具體地, 本文總結了知識圖譜中知識獲取、 知識表示、 知識推理這三個較為核心的研究領域, 并展望了未來的研究方向和前景, 探討知識圖譜在航空航天軍事上的潛在應用。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191