地理信息的不斷泛化對經典的地理信息分析模式提出了巨大挑戰，網絡化的知識服務將逐漸成為地理信息應用的新模式，助力地理計算到社會計算的形態轉變。地理知識服務需要打通人、機構、自然環境、地理實體、地域單元、社會事件之間的關聯，促進知識輔助下的數據智能與計算智能。本文聚焦地理時空知識獲取與形式化表達及分析的迫切需求，首先分析了時空知識圖譜的基本概念與特征，認為時空知識圖譜是指具有地理時空分布或位置隱喻的知識構成的有向圖，即以時空分布特征為核心的知識圖譜；然后提出了時空知識圖譜的研究框架，該框架可實現時空大數據到時空知識服務應用的轉變，包括泛在時空大數據、時空知識獲取、時空知識管理、時空知識圖譜、軟件系統及行業應用等多個層次；接著從文本描述地理信息抽取、異構地理語義網對齊、時空知識表達與表示學習等方面，介紹了相關研究進展；結合應用實踐，介紹了面向行業的時空知識圖譜構建與應用途徑；最后，討論了時空知識圖譜研究目前面臨的關鍵科學問題與技術瓶頸，提出在大模型時代，構建顯式的時空知識圖譜，并針對行業需求開展知識推理，仍是時空知識服務的必由之路。
//www.dqxxkx.cn/article/2023/1560-8999/1560-8999-25-6-1091.shtml
1 引言
隨著地球觀測與導航及信息通訊技術的迅猛發展，各種顯式和隱式的時空數據爆發式增長，已經成為泛在地理時空大數據的重要組成部分。泛化的地理時空大數據處理技術，超越了傳統測繪/地理/數據庫技術范疇，使得地理信息科學與技術（GIS）向廣義化、社會化、知識驅動方向發展，地理空間智能（Geo-spatial Artificial Intelligence, GeoAI）成為研究熱點，推動了城市信息學、計算社會科學的涌現，并融入電子商務、文化傳媒、體育競技等行業。GIS的發展目標也從聚焦地理空間實體/過程的幾何形態過渡到側重語義關聯，從信息服務過渡到網絡化的知識服務，從地理計算過渡到社會計算。
GeoAI是地理空間科學與人工智能相結合的交叉研究方向，通過研究與開發機器的空間智能，提升對于地理現象和地球科學過程的動態感知、智能推理和知識發現能力，并尋求解決人類和地球環境系統相互作用中的重大科學和工程問題[1]。GeoAI針對影像分類、目標探測、場景分割、仿真與插值、鏈接預測、基于自然語言的地理信息抽取與問答、實時數據集成、地理語義充實等應用需求，利用數據處理技術與數據體制文化的進步，支持更智能的地理信息以及方法、系統與服務的創建[2]。面對不斷變化的復雜地理環境與社會系統，GeoAI需要打通人、機構、自然環境、地理實體、地域單元、社會事件之間的關聯，促進知識輔助下的數據智能與計算智能。當前流行的大數據工程化驅動的計算智能技術，能力的提升主要依賴于數據規模和計算速度的增長。而大數據“紅利”效應正在逐漸減弱。計算智能技術的單點突破也難以為大數據驅動的智能應用提供持續支撐[3]。脫離知識驅動的計算過程，智能化程度終究有限，需要從認知角度確立思維方式，實現知識匯聚與知識推理，才能充分發揮已有經驗知識的價值。
GeoAI的成功應用需要系統化、形式化、規范化的地理時空知識支撐。一方面，大量隱藏在結構化或非結構化的地理時空大數據中的新知識等待發現；另一方面，GeoAI需要與地理時空分布相關的可解釋、可復用、可推理的知識作為基礎設施，輔助人工智能理解地理空間規律。目前基礎地理服務普遍存在著“數據海量、信息爆炸、知識難求”現象，原因主要在于以往業界重點關注基礎地理數據的空間載體作用，雖然研發了元數據查詢、數據瀏覽下載、應需專題制圖、API調用等服務功能，但對基礎地理數據的知識存量挖掘不夠，提供的地理空間知識服務極少[4]。
在此背景下，時空知識圖譜應運而生。時空知識圖譜作為一種高效的時空知識組織和表示方式，可為上述問題提供解決方案。時空知識圖譜的構建過程，即如何自動化地探測地理實體間的時空關系與語義關系，實現地理信息的自動聚合過程[5]。時空知識圖譜是地理信息科學領域的前沿科學問題，也是提升時空大數據價值，促進地理信息服務能力和產業發展的必然要求。
2 時空知識圖譜概念與特征
2.1 知識的形成與傳承
知識這一概念源于人類不斷遞進的認知過程，一般遵從數據（Data）-信息（Information）- 知識（Knowledge）-智慧（Wisdom）的金字塔模型（DIKW）①(①)，如圖1所示。數據是使用約定俗成的關鍵詞，對客觀事物數量、屬性、位置及相互關系的抽象表示。信息是指具有時效性、有一定含義，有邏輯、經過加工處理、對決策有價值的數據流。知識是不斷凝練并與已有知識庫進行結構化整合的有價值的信息。智慧是基于已有知識，針對客觀世界運動過程中產生的問題，根據獲得的信息進行分析、對比、演繹，進而找出解決方案的能力。
更詳細地，知識可以定義為：在人類感知世界和實踐過程中，對已獲取信息進行提煉、歸納，并認為正確的、具有普適性的認識、觀點、經驗、方法、技能和流程等，是人類探索物質世界和精神世界逐漸累積形成的結果總和。知識包括事實、信息的描述或在教育和實踐中獲得的技能。知識分類方法很多，可參考圖書館學與知識工程相關文獻。從認知心理學角度，知識可分為描述型知識和操作型知識。描述型知識用來回答事物“是什么”、“怎么樣”的問題，與人們日常使用的知識概念內涵較一致，包括事實、概念和原理，可以通過語言傳授（如“珠穆朗瑪峰高程8 848.86 m”、“早高峰由于通勤交通流劇增造成主干道擁堵”等）。描述型知識通過符號系統傳播，包括語言、圖形、圖像、文字（竹簡、石碑、書籍、網絡文本等各種文字形式）、地圖（地表事物和現象分布情況）、數學公式、音視頻等，具有隱性、動態、時效性、主觀、可復制、可拓展、情境相關等基本特征。操作型知識是關于開展某項工作必需的知識和技能，一般須通過實踐才能獲得（如機動車駕駛技術等）。本文所述知識主要指描述型知識。
2.2 知識的形式化表達需求
知識表達形式多樣，但絕大多數知識表達是服務人類學習的需求，不是服務機器理解的需求。故而知識的數字化過程多限于存儲，以便人類用戶可以更便捷地檢索和學習知識。知識服務的內涵模糊，從圖書館到網絡百科、文獻共享，乃至基于已有知識的信息推薦，都可稱為知識服務。目前各種流行的知識服務系統，大多是從各種知識資源中提煉內容，建立知識網絡，為用戶提出的問題提供已有知識資源或解決方案的信息服務過程。這些知識服務過程本質上是已有信息匯聚與人機交互查詢過程。隨著科學研究范式發展到數據驅動型，即科學研究的第四范式，使得可以在不依靠模型和假設的情況下，直接通過數據分析，發現很多以往的研究方法無法發現的新模式和新規律。然而第四范式在揭示事物本質規律方面存在固有的局限性，單獨靠第四范式的數據驅動方法，不僅要消耗大量的計算資源，也難以真正預測未來的趨勢與變化。目前的計算智能在存儲、搜索、感知、確定性問題求解等方面性能表現優越，但在高級認知和復雜問題決策方面與人類智能相差很遠[3]。從方法論來看，知識發現過程所需的人工智能，終究需要形式化的、計算機可讀的知識體系支撐，實現深度學習與知識輔助的有機融合。因此，從早期的專家系統，到當前流行的知識圖譜，業界一直在努力推動知識的形式化表達，以便讓計算機能夠充分利用已有知識，實現知識的自動推理。
知識圖譜（Knowledge graph）概念由谷歌公司于2012年提出，旨在實現更智能的搜索引擎，并且于2013年以后開始在學術界和工業界普及。知識圖譜是通過有向圖的方式表達實體、概念及其相互之間語義關系的數據組織形式或產品，本質上是一種語義網絡（Semantic network）。知識圖譜中的“圖譜”（Graph）源自圖論，其中節點代表實體或者概念，邊代表實體/概念的屬性或者彼此之間的語義關系[5]。業界開發的通用知識圖譜產品包括YAGO、DBpedia、Freebase、NELL、Zhishi.me等。這些知識圖譜通過本體（Ontology）、資源描述框架（Resource Description Framework, RDF）等方法實現非結構化或半結構化知識的表達，將人類已有的知識系統中的海量知識點，存儲在數據庫中，并開發一系列搜索引擎實現訪問與查詢，輔助網絡搜索問答、客服機器人、智能推薦等。
嚴格意義上，“Knowledge Graph”一詞譯為“知識圖”更合適，因為一般而言“譜”多具有“序列”的內涵，如電磁波譜、基因圖譜等。雖然Knowledge Graph中實體或概念之間的邏輯關系結構也具有多尺度和可追溯性，但“序列”內涵較弱。然而，知識圖譜的譯稱已得到業界廣泛接受，在此不再進行嚴格界定。
2.3 時空知識圖譜
時空知識圖譜，顧名思義，是具有地理時空分布或位置隱喻的知識構成的有向圖，即以時空分布特征為核心的知識圖譜（Spatial-temporal Knowledge Graph，或Geo-related Knowledge Graph，以下簡稱GeoKG）。GeoKG旨在通過計算機規范化表達與存儲與地理時空分布相關的知識集合，進而支持地理時空分布或位置相關知識檢索與知識推理。其中的圖（譜）指地理時空分布或位置要素（概念、人類群體/個體、地理實體、事件、現象等）之間的語義聯系形成的網狀拓撲結構。
以往專業領域的關注點更多在于地理或地學專業知識，因此，常采用地理知識圖譜或地學知識圖譜的術語[5?-7]。在追求自然系統、社會系統統一綜合描述的背景下，涉及人類群體/個體、交通工具、建筑樓宇、興趣點（Point of Interests，POI）以及其他具有社會系統屬性與地理空間分布隱喻的概念和實體，無疑也是知識的巨大承載體，應用需求廣泛。因此，為了避免與專業化的地理知識或地學知識混淆，本文將時空知識更廣泛地定義為一切具有時空位置和動態變化特征的相關知識。時空知識是人類對地理空間上人、物、事件、現象分布、演變過程和相互作用規律的認知結果。除了傳統的地理/地學應用外，時空知識也是消費領域基于位置的服務（Location-based Services，LBS）、新型基礎設施建設和智慧城市管理的核心支撐。時空知識也可以參考地理知識或地學知識分類方法，分為事實型、規則及控制型、決策型知識3 種類型[6]，或者分為數據性、概念性和規律性知識3個層次[7]。業界已有諸多研究介紹了時空知識圖譜的基本構建流程[5-6,8-9]。
時空知識圖譜是地理信息分析向縱深拓展的關鍵技術。例如，在信息提取方面，傳統的遙感分類和信息提取算法思維，主要是基于數據特征，利用樣本學習獲取遙感信息的過程。這種算法思維導向的方法可擴展性欠佳，在大區域應用時需要不斷地補充新知識，或者使用海量樣本訓練學習來彌補地表異質性造成的特征差異[7]。業界已充分認識到，缺乏已有專業知識的支撐，很難在海量遙感大數據中獲取更新、更廣、更深層次的地學知識。在遙感大數據時代背景與深度學習不斷發展壯大的趨勢下，多源異質的大規模遙感知識圖譜構建以及基于圖神經網絡的知識圖譜學習與計算成為內在需求[10]。一方面，知識圖譜可以構建遙感知識模型與復雜遙感場景，為知識—數據驅動的數據挖掘提供知識基礎。另一方面，利用知識圖譜中豐富的語義關系，可以實現面向語義需求的智能檢索、增強智能遙感服務。耦合知識圖譜和深度學習的新一代遙感影像解譯范式，可以承載不同類型和層次的地學知識，使其具有查詢檢索、知識推理、動態更新、知識拓展等功能，為新時代地學知識驅動下的遙感大數據高精度智能解譯服務，有效提升遙感影像的解譯性能，并最終實現地學知識的自動化精準和積累[7,11]。在數據集成方面，數字孿生和智慧城市管理等需要實現自然環境/社會環境的多維度刻畫與實時更新，從不同維度感知人-地關系，這也是全息地圖思想的核心，即以全要素、全信息、全內容、全視角來開展地理空間對象的描述、表達、分析和服務，實現物理系統和社會系統要素在任何時間、任何地點的信息無縫鏈接與交互[12]。從數據集成的視角，本文認為全息地圖可以理解為時空場景測度+知識圖譜，即以位置和時空場景實體為載體的異構數據實時關聯與聚合平臺，強調物理環境變化（水土氣生、建筑環境、聲光電磁）、社會環境動態（Rich POI/人群流動、地理空間交互、社交關系）和移動對象軌跡/語義的綜合集成。場景要素間的動態聯系是全息地圖的精髓，有助于將地圖轉化為地理或位置相關知識的表達工具。在數據服務方面，由于各種可獲取數據異構性極強，需要在統一時空本體的支撐下，基于地理空間數據的多維度特征，建立地理時空大數據之間的高精度關聯，以及面向計算模型的地理空間數據的自動推薦和匹配[13?-15]。在數據分析方面，隨著機器學習技術不斷成熟，其中的深度學習模型，依靠海量的訓練數據和強大的算力，在人臉識別、機器翻譯、網絡問答等任務上性能已經超過人類。然而，深度模型均為面向具體任務的隱性模型，難以遷移，也較難解釋。而知識圖譜作為顯性模型，目前在知識儲備量上已經超過人類個體，可廣泛適用于不同任務，且采用類似人類的思考方式，具有很好的可解釋性。作為人工智能技術的兩大驅動力，深度學習和知識圖譜需要深度融合②(②王仲遠. 美團大腦智享生活. (訪問時間2023.01.26)。)，才能滿足城市智能計算等諸多場景需求，即實現城市多源時空數據的實時學習與時空知識的自動化積累。這也是城市建設與運維體現智慧的核心所在。
需要說明的是，時空知識圖譜和地學信息圖譜（Geo-information Tupu）是截然不同的2個概念。地學信息圖譜是《地球信息科學學報》創刊人陳述彭院士提出的重要學術思想，源于中國歷史早已有之的圖譜概念。圖譜是一種運用圖形語言來進行表達與分析的方式。地學圖譜是應用于地學分析的系列多維圖解。其中圖指地圖，描述區域、現象的空間范圍和分布格局，反映各地理要素的空間配置和相互作用；譜指可從時間上追根溯源的動態系列表達，描述對象的發展方向與演化過程，大都以樹狀結構圖表描述。圖譜合一，則是空間與時間動態變化的統一表述。隨著GIS技術的發展，地學圖譜自然演化為由征兆圖、診斷圖和實施圖組成的地學信息圖譜[16?-18]。地學信息圖譜是認知、方法和動態地圖三者的綜合與統一。認知是人類對地學對象在圖形思維上的觀察能力；方法是信息的獲取和分析的手段；地圖是信息的交互表達形式，它反映的是地學對象的規律[19]。
地學信息圖譜源于地理學與地圖學，強調基于專業知識圖形化描述的形象思維。而時空知識圖譜源于計算機科學，強調基于知識表達形式化描述的邏輯思維。時空知識圖譜的目標是輔助發現與利用新的與地理位置相關的知識。從這一點上看，就地學分析而言，時空知識圖譜和地學信息圖譜的目標是一致的。站在今天大數據、人工智能以及高分遙感等新技術的發展背景下，地學信息圖譜就是通過信息圖譜、知識圖譜等方法，實現從數據到信息再到知識的跨越，進而發現和表達地學規律[19]。
3 時空知識圖譜研究框架
從國家戰略和行業需求的角度來看，自然資源規劃利用、生態環境監管、智慧城市建設、公共健康監測等部門，正在全面推進行業治理體系和治理能力現代化，提升智能化管理能力和智慧化服務水平。然而，行業部門普遍存在數據資源整合集成、業務統籌協同難等問題。作為地理空間智能的基石，時空知識圖譜是組織和利用大規模時空知識的有效手段。然而，現有的時空知識圖譜主要依靠領域專家人工構建，存在行業領域知識不全面、不系統、不精準、更新困難等問題，迫切需要基于泛在時空大數據，在時空知識獲取與管理技術支撐下，研發時空知識圖譜管理和知識服務的基礎軟件，形成大規模、高質量的時空知識圖譜，進而支撐行業領域時空知識服務應用。時空知識圖譜總體研究框架如圖2所示。
如何建立符合時空知識特點的時空認知與知識圖譜表達方法，形成多維度的時空知識分類體系和統一的時空本體，發展顧及復雜時空特征及關系的時空知識圖譜自適應表達模型，是時空知識組織管理、更新與計算推理、時空知識表示學習的理論基礎。
時空知識蘊含在不同模態和類型的時空數據中，具有多粒度、異構、高維低密度、樣本稀疏等特征，蘊含的時空知識內容、豐富程度和時效性各不相同，質量參差不齊。自動獲取這些多模態、多類型的泛在時空數據，統一評估這些數據源所蘊含時空信息的質量，并在時空信息多維度特征和多層次關系綜合認知指導下，實現基于統一時空本體的時空信息抽取與融合，為時空知識圖譜構建與更新提供可靠語料，是時空知識圖譜構建的數據基礎。
現有時空知識圖譜構建方法自動化程度極為有限，且存在時空知識本體與實例脫節、時空信息利用不充分問題，基于知識圖譜的時空知識計算與推理研究更為罕見。亟需發展人工智能支持下群智協同的時空本體構建、基于海量開放語料和深度學習的時空知識圖譜自動構建、“本體-實例”迭代融合的時空知識元組補全、時空知識表示學習與鏈接預測等技術，為大規模時空知識圖譜更新與知識推薦提供技術支撐。
4 時空知識圖譜研究進展
文本是知識沉淀和傳播的載體。各種形式的文本是目前構建時空知識圖譜的主要數據源。當前的知識圖譜研究也主要是圍繞自然語言文本開展工作，以得到地理時空知識元組的規范化顯式表達。其他形態的地理信息，如各種格式的專業空間數據、物聯感知數據、移動軌跡數據等，在當前的知識圖譜研究中，其知識發現結果也基本轉化提煉為顯式的文本（字符串）形式三元組，才可納入知識圖譜的知識計算過程。
近年來，在國家自然科學基金、國家重點研發計劃等項目支持下，業界圍繞自然語言文本蘊含地理信息抽取、異構地理語義網對齊、時空知識圖譜構建、時空知識圖譜領域應用等主題，開展了系統性研究工作。
4.1 地理信息標注語料庫構建
地理信息標注語料庫是開展文本蘊含地理信息提取與理解的重要基礎，旨在為文本信息的時空語義理解提供標準化的訓練和測試數據。長期以來，標注語料庫的匱乏一直是阻礙文本蘊含地理信息解析的關鍵因素。針對這一問題，業界設計了文本蘊含地理信息的標注規范，提出了地理實體及關系語料庫自動構建方法[20-21]，彌補了人工定義標注體系缺乏可擴展性的不足，為語料庫快速擴充和開放式地理信息抽取提供了新思路。
（1）地理實體標注語料庫迭代式構建
在文本蘊含地理實體識別與語義消歧基礎上，可設計人機交互式標注平臺，對文本進行地理實體標注和校正[20]。當標注的文本語料達到閾值時，將初始訓練語料與標注語料進行融合，輸入到地理實體識別模型中再次訓練，優化模型參數，提升識別效果，同時將新增語料加入標注語料庫；迭代上述步驟直至所構建語料庫滿足要求。結果顯示，在基于相同的語料庫情況下，這一方法較傳統的基于條件隨機場（Conditional Random Field，CRF）的地理實體標注方法，準確率、召回率、綜合值均有提高。
（2）地理實體關系語料庫自動構建
領域專家構建的地理實體關系標注規范通常要求標注者深入理解上下文語義，且涉及復雜空間關系的標注。如果缺乏人工參與，計算機將無法理解標注規范，不能完成自動標注。此外，同一地理實體的不同表達形式在語料標注的多個環節均可能存在歧義，影響地理實體關系語料庫質量。據此，業界提出了基于回標技術的地理實體關系語料庫自動構建方法[21]，首先利用詞嵌入模型對網絡百科中的地理實體標簽類別進行語義聚類，通過地理實體詞條的百度信息框屬性名稱和屬性值篩選出地理實體關系，形成地理實體關系分類體系；其次，如果地理實體詞條信息框的屬性值也為地理實體，則把記錄轉化為地理實體關系種子三元組。在實體消歧后，對句子集合和種子三元組集合進行主客體匹配和關系匹配，實現種子三元組映射到句子的定量化評價，篩選出最優匹配項作為地理實體關系回標結果。這種基于百科信息框的回標方法，充分利用百科平臺中數據龐大且關系類型豐富的地理實體詞條作為構建地理實體關系語料庫的數據源，且構建的地理實體關系標注體系涵蓋了語義關系和空間關系。
4.2 文本蘊含地理實體識別與語義消歧
文本蘊含地理實體識別與語義消歧是將文本中涉及的地理實體名稱進行切分并予以標記的過程，旨在識別出文本中表示地理實體名稱的符號，消除“同名異體”或“異名同體”的地理實體歧義現象，獲取地理實體對應的位置或空間分布信息[22-23]。文本蘊含地理實體識別與語義消歧可通過實體共現與主題建模方法實現[24]，也可通過基于規則的地名詞典間地理實體匹配方法實現[25]。以往多采用隱馬爾科夫模型、支持向量機、最大熵、條件隨機場等機器學習方法開展地理實體識別[26]。近年來，深度學習方法被引入地理實體識別領域，以減少人工方式的地理實體描述語言特征歸納過程，或突破字符串相似性度量指標難以處理由于語言和文化差異形成的地名字符變更問題，例如基于深度神經網絡（Deep Neural Network, DNN）的方法[27]、基于深度信念網絡（Deep Belief Network，DBN）的方法[28]。DNN方法采用循環節點來表達與待匹配字符串對應的字節序列，并將其與前饋節點相結合，從而決定地名對是否匹配。方法顯著優于單一相似度匹配指標及基于監督機器學習的多重指標組合方法[27]。DBN方法通過DBN模型的深層次網絡結構，從輸入數據中解析更易分類的高維度語言特征，計算每個字符屬于地理實體名稱組成部分的概率，并采用相鄰字符組合方法，得到輸入數據中描述地理實體信息的字符串。研究結果顯示DBN模型與條件隨機場模型的地理實體識別結果具有顯著互補性，將二者進行融合有望大幅度提升地理實體識別性能[28]。文本中地理實體描述具有歧義現象，同一地理實體可能對應多個地理位置，同一位置也可能有多個地理實體描述。此外，文本中的地理實體描述還存在顯著的離散化和稀疏性特征。針對這一問題，可基于已有的開放型百科知識平臺（如維基百科、百度百科等）和自然語言詞向量方法，進行地理實體語義消歧[29]。
4.3 文本描述地理實體空間關系抽取
地理實體之間具有密切的空間關系。文本中的地理實體空間關系描述是對地理實體間精確空間關系的抽象化。自然語言理解領域中的關系抽取研究，以往主要集中于語義關系、因果關系、時態關系抽取等，針對空間關系抽取的研究較少[30]。然而，文本蘊含地理實體空間關系抽取對地理位置相關應用至關重要，包括空間查詢[31]、空間參考[32]、數據預測[33]等。
已有的空間關系抽取方法可分為傳統機器學習方法[34-35]和神經網絡方法[36-37]。前者高度依賴人工特征或明確的句法結構，后者基于神經網絡，通過依存句法分析產生候選關系，并利用雙向長短時記憶網絡模型（Bi-directional Long Short-Term Memory，BiLSTM）進行分類，或者利用預訓練自然語言模型BERT和CRF模型抽取空間關系。這些方法本質上均屬于分類任務，對非空角色關系抽取表現優異，但由于信息缺失的限制，難以勝任空角色（null-role）關系抽取，即難以處理空間位置關系三元組中元組要素缺失的情況。因此，業界提出將生成模型和分類模型相結合，利用分類模型抽取非空角色關系，利用生成模型引入先驗知識捕獲空角色關系語義，并使得結果具有更好的可解釋性[30]。但這種方法在非地理實體之間動態空間關系抽取方面可能有效，對于地理實體之間靜態空間關系抽取的有效性尚需驗證。此外，也有研究提出融合地理語義的文本描述地理實體空間關系抽取模型[38]，將地理實體類型與空間關系特征詞兩項地理語義與深度學習模型融合，以提高空間關系抽取結果的準確率與召回率，并提升模型對拓撲、方向、距離等空間關系分類的泛化能力。
隨著網絡文本爆發式增長，預定義的關系類型難以全面覆蓋不斷變化的地理實體間新型關系，限制了地理語義理解和空間推理。無監督學習方法具有捕獲文本的動態變化特征并發現新增關系類型的能力，對動態擴展時空知識圖譜中知識三元組類型極具潛力。例如，有學者提出了語境增強的無監督地理實體關系抽取方法[39]，首先進行地理實體識別，借助分類知識庫確定實體類別，然后基于預訓練BERT詞向量知識庫合并上下文中語義相似的詞匯，增強相同類別的地理實體對的上下文語境，最后利用給定的句法特征排序增強語料中各詞語的重要性，確定給定地理實體對的關系關鍵詞。結果顯示，相較于Domain Frequency和Entropy詞頻統計的抽取方法，語境增強的無監督地理實體關系抽取方法的關鍵詞提取準確率大幅提升。同時，該方法具有識別新增關鍵詞的能力，可有效擴展地理知識三元組的關系種類。業界進一步利用Stanford OpenIE工具實現了網絡文本蘊含地理實體開放關系的實時抽取[40]，基于通用知識庫的地理實體開放關系過濾方法，從OpenIE抽取的地理實體開放關系中篩選出高質量結果。相比OpenIE的原始抽取結果，該方法大幅度濾除了開放關系抽取結果中的噪聲，并最大程度召回正確的地理關系三元組。
4.4 文本描述地理事件信息抽取
不同類型地理事件在文本描述中差異顯著，而且地理事件往往涉及多個地理實體及空間位置。針對這一問題，有學者將地理實體關系識別引入事件抽取過程，采用CRF模型和支撐向量機（Support Vector Machine, SVM）模型進行角色和語義關系標注，并以交通為例，通過正則表達式匹配識別事件的時間要素，實現了社交媒體文本中涉及多個地理實體描述的交通事件位置信息抽取[41]。此外，文本中存在大量多種類型地理事件表達共存的現象。基于觸發詞的方法容易將描述近似但類型不同的地理事件錯誤分類，而使用傳統的文本全局特征向量作為監督分類方法的輸入，模型學習的特征大多數與事件主題無關，導致訓練分類器對事件分類檢測失效。針對這一問題，有研究以環境污染事件為例，提出了基于聯合主題特征的文本蘊含地理事件檢測方法[42]，首先計算文本中主題詞頻來構建主題分布特征向量，利用事件語料和維基百科語料訓練的Word2Vec詞向量對初始主題詞庫進行同義詞擴展，然后基于TF-IDF向量表示文本的全局特征向量，計算詞匯在各種事件主題類型的詞頻分布作為文本的主題分布特征向量，最后構建聯合主題特征向量，進而采用邏輯回歸模型與SVM分類模型提取了地理事件信息。這一方法兼顧文本的全局特征和主題分布特征，使用同義詞林和知網改善了多類型地理事件信息檢測分類效果。
地理事件具有時空動態變化特征。現有的模式匹配和機器學習算法很難遷移適用。針對這一問題，可在事件抽取過程中結合事件特征和語境特征[43]，考慮詞匯的事件特征和上下文信息，采用句法分析快速標注事件語料，基于BiLSTM-CRF模型，從文本中抽取出事件的時空屬性信息，進而支撐地理事件知識庫構建。
4.5 文本描述地理空間范圍計算
空間位置與幾何形態共同刻畫出地理實體、地理事件占據的空間范圍。文本描述的空間范圍具有顯著模糊性。基于文本描述計算地理實體、事件的空間范圍，需要明確地理空間位置的認知機制與描述方式，界定地理實體空間位置與幾何形態的關系，將文本上下文中特定地理實體的空間關系描述，簡化為二元空間關系的組合描述，實現地理實體、事件空間范圍描述的近似計算。
針對不同語境中位置描述模糊性差異顯著而難以定位的問題，有學者提出了基于超賦值語義的定位方法[44]，從多個層次分析位置描述中模糊性的來源，以及在各要素表達形式上的體現，然后從空間對象、距離關系和方向關系3個方面構建定位模型。通過對多個位置描述上下文進行超賦值，從上下文語義中獲得觀察值閾值，進而實現位置描述的精確化定位。
量化模糊空間邊界有助于通過空間計算理解人類活動與地理空間的交互特征。業界提出了基于上下文空間關系的模糊地名空間建模方法[45]、基于核密度分析的地名模糊空間建模方法[46]、基于網絡文本地理實體共現關系特征的認知范圍方法[47]等。上述方法充分利用了文本中的空間關系詞匯信息，但是忽略了不同類型地理實體的特征差異。因此，也可以考慮采用地理時空知識圖譜和上下文相結合的方法，利用知識圖譜中相關地理實體的時空特征、屬性和關系，擴大相關文本數據源，同時提升文本中相關信息獲取性能，從而提高地理實體、事件空間范圍計算精度。
4.6 異構地理語義網對齊
互聯網上有著大量開放的地理語義網（地理知識庫）資源，可以作為構建時空知識圖譜的重要基礎。然而，這些地理語義網產品中不同類型的實體存在詞法、結構和空間等方面的異質性，導致不同語義網中知識間的鏈接關系不可見，冗余數據難識別等問題。為此，業界開展了地理實體對齊形式化表達研究，針對不同應用場景提出了基于詞嵌入增強的機器學習和基于空間映射變換的地理實體及類別對齊方法[48??-51]，可以在地理實體缺乏空間參考或者信息不完整的情況下有效完成實體和類別對齊，并構建了異構地理語義網對齊框架，充分利用多維信息度量地理實體相似性，并集成不同類型的地理實體對齊任務，一次完成地理實體從概念、屬性到實例的完整對齊。
（1）詞嵌入增強的地理實體對齊
現有文本蘊含地理實體對齊方法嚴重依賴地理實體的字符距離相似度，無法準確捕捉地理實體的深層次語義相關性，使得對齊性能難以提高。為此，業界提出了基于詞嵌入增強的地理實體對齊方法[48]，借助大規模文本中豐富的詞匯間上下文關系，通過訓練和學習，基于詞嵌入模型，將文本中的詞匯表示為低維實數向量。該向量隱含了從文本中學習到的語義信息以及詞匯間的深層次語義相關性。相比于基于字符距離的地理實體相似度，由于詞向量隱含了語義信息，可以更準確地捕捉語義相關性，度量其相似程度。
（2）基于空間映射變換的地理實體對齊
現有地理實體對齊方法通常計算實體名稱相似度，利用絕對空間坐標來計算空間距離，并利用計算得到的實體名稱相似度和空間距離來實現對齊。然而，矢量型地理實體可能存在缺乏空間參考或者信息不完整的情況，嚴重影響對齊效果。據此，業界提出了基于空間映射變換的地理實體對齊方法[49]，通過橡皮頁空間映射方式校正待對齊的兩個數據集的相對坐標，使得數據集可以實現空間疊置，疊置后的數據集相對坐標可用于計算空間距離等，實現實體對齊。其中，空間映射通過基于控制點的橡皮頁變換實現。控制點可通過數據集中部分地理實體對齊和對齊的實體計算得到。
（3）基于詞嵌入的地理實體類別對齊
針對已有的地理實體類別對齊主要基于字符或結構相似度方法進行，難以利用深層語義信息的問題，業界提出了地理語義增強的詞嵌入地理實體類別對齊方法[50]。首先構建語料庫，輸入詞嵌入模型進行訓練，生成能夠充分表達地理實體類別語義信息的詞向量，然后根據生成的詞向量，獲得來自不同地理知識庫的實體類別的相似度，根據相似度計算結果生成地理實體類別的對齊結果。這種方法可以有效度量類別間的相關性。需要注意的是，詞向量維度提升雖然增強了向量對語義相關性的表示精度，提升了對齊結果，但過大的維度卻可能導致查全率的降低。需要根據查準率和查全率的均衡確定合適的詞向量維度。
（4）異構地理語義網整體對齊框架
目前業界已有大量公開的地理語義網資源，如GeoNames Ontology、OSM Semantic Network Network、 GeoWordNet、LinkedGeoData等。然而不同組織發布的地理語義網標準不同，存在一詞多義和同形異義的現象，整體上分散獨立。如何整合這些異構分散的知識資源成為亟待解決的難題。通用對齊系統大多缺乏實例對齊功能，需要建立集成框架以支持各種類型的對象對齊。此外，許多地理空間數據使用扁平式存儲，缺乏明確的層級結構，和通用鏈接數據存在本質差異。獨立研究各種類型的地理實體對齊方法，不但增加了計算資源，還缺乏相似性度量指標的自動整合機制，限制了對齊方法的可擴展性。鑒于此，業界構建了地理空間數據的整體對齊框架，充分利用了多維信息度量地理實體相似性，集成了不同類型的地理實體對齊任務，可一次完成概念、屬性到實例的匹配[51]。其中相似性計算考慮了地理實體的空間相似性、詞法相似性、結構相似性和擴展信息相似性；采用初始匹配和增強匹配的兩階段匹配策略。相較于著名的集成對齊系統PARIS，這一集成框架不僅利用了更多類型的信息來協同增強對齊的效果，而且聚合多種相似性度量方法時避免了人工調參，降低了方法對指定信息的依賴，適用于信息分布失衡的數據對齊。
4.7 時空知識表達與表示學習
綜合考慮時間和空間2種要素的獨特性，業界提出了“以地理實體為核心”的時空知識表示模型，發展了基于描述邏輯語言的時空知識形式化描述方法，建立了時空知識圖譜的統一表達框架，解決了“如何將時空知識表示為計算機可接受的符號和可存儲數據結構”的問題[6,52]，并以網頁文本為數據源，探索了基于機器學習模型的時空知識圖譜自動生成方法[53]。針對現有知識圖譜中地理實體間鏈接稀疏，無法為已有知識嵌入表示的學習過程提供充足訓練數據，導致地理知識嵌入表示效果不佳的問題，提出了顧及地理距離特征的時空知識圖譜嵌入表示方法[54]，結合時空知識圖譜具有空間隱喻的獨特性，將隱含的地理實體和地理關系間的空間距離模式引入知識嵌入表示學習過程，優化地理實體和關系在低維向量空間的表示效果，以更好地表達地理實體間稀疏鏈接的知識圖譜三元組，服務時空知識圖譜補全等應用場景。
4.8 時空知識圖譜應用案例
通用知識圖譜作為現代搜索引擎的底層資源，已成為互聯網信息服務的核心支撐。與地理位置相關的城市設施與人類個體/群體知識資源，如POI畫像與消費者行為軌跡模式等，也已在智慧城市管理、城市電商和零售領域取得了廣泛應用。針對行業需求的其他時空知識資源，尚處于應用起步階段。 例如，針對臺風災害應急管理決策需求，業界提出了臺風災害知識圖譜構建方法[55]，通過梳理臺風災害知識來源，建立了臺風災害事件知識體系，提出了臺風災害事件知識表達模型，實現了基于“事件-對象-狀態-屬性”的臺風災害事件知識融合，構建了臺風災害知識圖譜，分析了知識圖譜在臺風災害對象查詢、災情應對措施推理等場景中的應用途徑；針對大氣污染事件追溯和執法需求，提出了以事件為核心的大氣污染執法知識本體模型，建立了大氣污染發現、現場檢測、處罰決定、整改監督4個階段的事件本體，確定了本體涉及的對象要素的核心屬性及其相互關系[56]；采用BERT和 CRF模型組合，實現了大氣污染事件分類及其文本中事件對象要素等的自動化精準抽取[57]，構建了大氣污染執法事件知識圖譜，開展了大氣污染事件關聯性、發展態勢、執法量裁準確度分析等；針對鐵路隧道智能化施工管理需求，提出了鐵路隧道鉆爆法施工安全質量進度知識圖譜構建方法[58]，根據鐵路隧道施工建設過程中與安全質量進度關聯的人機料法環5類關鍵要素的概念與語義關系，設計了模式層自上而下和數據層自下而上雙向協同的構建方式，抽取了實體及關系并進行融合，構建了模式-數據關聯的知識圖譜，精細刻畫了影響安全、質量和進度的關鍵要素屬性、要素間語義關聯關系以及互饋作用關系等，為鐵路隧道施工安全質量進度管理提供了支撐；針對國土資源不同數據產品難以有效管理與快速應用的問題，利用圖數據庫對公開土地覆蓋數據集進行語義層面的結構化存儲，建立了可動態更新的中國國土資源知識圖譜[59]，提出了基于知識圖譜的感興趣圖節點快速檢索算法，充分利用多源土地覆蓋數據產品間的信息，縮短了數據預處理時間，并發現了覆蓋全國的縣級行政單元的產品數據一致性誤差。針對旅游管理與市場分析需求，基于旅游信息門戶的用戶生成內容（User Generated Contents, UGC），通過專家知識本體與預訓練語言模型ERNIE的遷移學習，實現了旅游相關知識抽取，并集成多源信息構建了全方位的旅游知識圖譜，支持游客行為模式和出游偏好分析[60]，并基于知識圖譜，利用旅游評論文本訓練Word2Vec詞嵌入模型，實現文本語義增強，捕捉旅游知識圖譜中蘊含的關系語義，度量旅游景點的相似性[61]；通過構建知識圖譜，解決了當前推薦系統面臨的推薦精度低和推薦結果缺乏可解釋性問題[62-63]。
5 發展趨勢與展望
時空知識圖譜方興未艾。針對時空知識圖譜所涉及的時空信息抽取、空間計算、語義網對齊、知識形式化表達與表示學習等主題，業界已經開展了大量研究，取得了諸多研究成果，為時空知識圖譜的深度應用奠定了基礎。然而，時空知識服務所需的知識獲取、推理計算與主動推薦過程，依然存在一些關鍵科學問題與技術瓶頸需要突破，包括：
（1）多模態時空知識獲取
知識圖譜中的形式化知識元組，當前主要基于各種形態的文本數據源處理得到。然而，除文本外，各種對地觀測、傳感器網絡與社會感知手段獲取的圖像、視頻、移動對象軌跡與傳感網監測數據中同樣蘊含豐富的時空知識。基于不同模態數據獲取的時空知識在系統性、完整性上存在較大差異。需要探索基于多模態數據的時空知識獲取與融合方法，彌補單一數據來源的不足，為時空知識圖譜提供多源異構信息支持。
（2）復雜時空知識表達
知識圖譜通常采用RDF模型進行知識點表達，強調對象間的語義關系。RDF模型本質上是一種“二元一階謂詞邏輯”的知識表示形式，雖然能夠表示大部分簡單事件或實體屬性，然而在表示復雜時空知識時卻束手無策。面對客觀世界中普遍存在的各類復雜時空知識，RDF模型難以保證知識的準確性與完備性。如何突破RDF模型的缺陷，發展可充分反映多維度時空特征及關系，兼容不同時空對象、尺度和粒度的復雜時空知識自適應表示模型，及對應的數據庫實現方法，需要進一步研究。 （3）面向時空知識圖譜的知識推理
面向知識圖譜的知識推理旨在基于已有知識圖譜中的事實，推理出新的事實或識別錯誤的知識，一方面維護知識圖譜的完整性與有效性，另一方面，利用知識推理過程的可追溯性，增強推理結果的可解釋性。可以說，知識推理貫穿知識圖譜從構建到應用的全過程。面向知識圖譜維護的知識推理包括知識圖譜補全和知識圖譜去噪兩個主要任務。知識圖譜補全通過對已有事實的歸納演繹，基于邏輯、規則和上下文，填補存在缺失的知識三元組要素，或者對知識元組進行新的擴充，增加知識存量，包括連接預測、實體預測、關系預測、屬性預測等任務。知識圖譜去噪通過對已有知識元組進行一致性檢驗，或者根據新獲取的知識，識別已有知識圖譜中知識元組的誤差甚至錯誤，對知識元組進行修訂更新[64]。
面向通用知識圖譜的知識推理已在垂直搜索、智能問答等應用領域發揮了重要作用。而時空知識推理目前還處于萌芽狀態。時空知識推理是實現時空數據智能向時空知識智能躍遷的技術瓶頸，直接決定了時空知識圖譜的應用廣度與深度。如何構建時空知識高效計算與推理機制，并提升時空知識推理結果的可解釋性，需要深度借鑒面向通用知識圖譜的知識推理技術，結合時空知識表示學習、實體空間位置語義與空間關系表達，采用地理實體多尺度層次關系推理機制與關系傳遞概率圖模型等，進行深入研究。
（4）行業時空相關知識抽取與工程應用
知識圖譜的核心資源是高質量的知識。對于應用領域而言，行業的深層知識屬于知識中最具含金量的內容，其表現形式都是非結構化、隱性的。目前仍然缺乏有效的行業知識抽取手段。實際應用中多依賴人工/半人工的方式進行，效率和準確性有待提升。
此外，時空知識在空間格局解析、問題診斷、演變模式識別、趨勢預測等不同應用中的作用不盡相同。現有的時空知識服務主要實現了相關數據、文獻及工具的整合，提供跨類型資源語義檢索及簡單的知識導航等。時空知識的行業應用，需要基于時空知識圖譜自適應表達模型，在前述關鍵技術方法基礎上，研發時空知識圖譜管理系統和時空知識應用服務支撐平臺，并與自然資源、生態環境、應急管理、城鄉規劃與建設等行業領域業務深度融合，發展適應不同應用場景的多層次時空知識服務工程化應用技術，支撐相關行業對時空知識服務的迫切需求。
目前各大互聯網企業競相推出基于大規模語料和機器學習大模型的問答系統，如OpenAI ChatGPT、Google Bard、百度文心一言等，成為全球關注熱點。這些產品利用自然語言模型在大規模語料上訓練巨大的神經網絡模型，能夠通過理解和學習人類語言來進行互動[65]。基于海量語料和機器學習大模型的知識提取與產生能力，讓很多以往依賴人工完成的基礎性、模式化工作變得無關緊要。雖然這些產品被詬病不具備實時搜索功能，無法學習新知識并更新知識儲備，但是可以預見，這些問題將很快得到解決。我們認為，在科學探索方面，碳基生命的個性化特征也將不斷被硅基生命的普適化特征所取代。除非這些個性化特征具有強烈的創新內涵，在當時的科技背景下，人工智能難以表達與復現。
然而，這些系統從大規模語料庫中學習到的很多知識，據推測是存儲在分布式表示的難以解釋的黑盒模型中，并非知識圖譜要求的形式化表達的顯式知識元組。這與人類直接認識世界內在機理的樸素需求是相悖的。并且，訓練一個大型語言模型費時費力，成本巨大，這種解決方案是否適合行業領域的應用需求，值得商榷。行業領域知識異構性極強，如何把行業領域知識融入到大模型中極具挑戰。此外，這些系統并不構建顯式的知識圖譜，而是通過大規模文本語料的學習過程，建立隱式的知識圖譜，然后根據這個隱式知識圖譜回答問題。換句話說，它們并不是真正理解了人類的知識傳承，進而也難以實現很多需要因果關系而不是相關關系的知識推理過程。因此，我們認為，在很長一段時間內，構建顯式的時空知識圖譜，并與深度學習技術有機融合，針對行業領域業務需求進行知識組織和計算推理，仍將是時空知識服務的必由之路。
付費5元查看完整內容
相關內容
情感在感知、決策、邏輯推理和社交等一系列智能活動中起到核心作用,是實現人機交互和機器智能的 重要元素。 近年來,隨著多媒體數據爆發式增長及人工智能的快速發展,情感計算與理解引發了廣泛關注。 情感 計算與理解旨在賦予計算機系統識別、理解、表達和適應人的情感的能力來建立和諧人機環境,并使計算機具有更 高、更全面的智能。 根據輸入信號的不同,情感計算與理解包含不同的研究方向。 本文全面回顧了多模態情感識 別、孤獨癥情感識別、情感圖像內容分析以及面部表情識別等不同情感計算與理解方向在過去幾十年的研究進展 并對未來的發展趨勢進行展望。 對于每個研究方向,首先介紹了研究背景、問題定義和研究意義;其次從不同角度 分別介紹了國際和國內研究現狀,包括情感數據標注、特征提取、學習算法、部分代表性方法的性能比較和分析以 及代表性研究團隊等;然后對國內外研究進行了系統比較,分析了國內研究的優勢和不足;最后討論了目前研究存 在的問題及未來的發展趨勢與展望,例如考慮個體情感表達差異問題和用戶隱私問題等。
情感(emotion) 一詞源于希臘文“pathos”,最早 用來表達人們對悲劇的感傷之情。 情感在感知、決 策、邏輯推理和社交等一系列智能活動中起到核心 作用,甚至有研究顯示“人類交流中 80% 的信息都 是情感性的信息”。 由于情感在人類信息溝通中的 重大意義,情感計算是實現人機交互過程必不可少 的部分,也是讓機器具有智能的重要突破口。 情感 計算的概念由美國麻省理工學院媒體實驗室 Picard 教授提出, 并于 1997 年正式出版書籍 《 Affective Computing(情感計算)》。 在書中,Picard 教授指出 “情感計算是與情感相關,來源于情感或能夠對情 感施加影響的計算”,開辟了情感計算研究的先河。 情感計算與理解旨在賦予計算機系統識別、理解、表 達和適應人的情感的能力來建立和諧人機環境,并 使計算機具有更高、更全面的智能。 根據輸入信號的不同,情感計算與理解包含不同的研究方向。 更好的并行計算效率和更好的建模遠距離特征優 勢。 多模態情感識別的研究可以進一步提升人們 的生活質量。 在輿情分析方面,可以分析用戶對 新冠疫情等事件的情感傾向;在商業智能方面,可 以分析用戶對于商品的滿意度,設計引起用戶積 極情感的廣告;在健康方面,可以分析駕車、上課 等狀態下的情感程度,針對性地給出警示,提高工 作效率。
- 2 孤獨癥情感識別
孤獨 癥 譜 系 障 礙 ( autism spectrum disorder, ASD),又稱自閉癥,是兒童時期最常見的神經發育 障礙疾病之一,其臨床表現主要為社交溝通障礙、刻 板行為和興趣狹隘(Centers for Disease Control and Prevention,2016)。 根據美國疾病控制與預防中心 (Centers for Disease Control and Prevention, CDC) 2021 年的調查報告,孤獨癥兒童患病率從 2005 年 的 1 / 166 增長到了目前的 1 / 44,且呈現逐年增加的 趨勢。 《中國自閉癥教育康復行業發展狀況報告 Ⅲ》指出,中國孤獨癥發病率約有 1% ,目前已約有 超 1 000 萬孤獨癥譜系障礙人群,其中 12 歲以下的 兒童達 200 多萬,而且孤獨癥兒童的數量每年以接 近 20 萬的數字遞增。 孤獨癥會嚴重影響患兒的日 常生活,并給家庭和社會帶來巨大的花銷,據美國報 道,孤獨癥兒童終身花銷大約為 200 萬美元到 240 萬美元。 目前,孤獨癥尚無特效治療方法,主要以早 期診斷、干預為主。 然而,目前孤獨癥早期行為干預 大多依賴于臨床醫師和專業人員通過行為學觀察并 制定相應的干預方案,這種診療模式以臨床醫師和 臨床專業人員為主導,其耗時較長,非常不利于該病 的治療。 美國早在 1943 年就對孤獨癥有了第 1 次 確診,但在中國,直到 1982 年陶國泰教授才確診了 我國第 1 例孤獨癥,經過幾十年的發展,我國孤獨癥 臨床和基礎研究取得了一定的進步。 但迄今為止, 我國孤獨癥診療仍面臨諸多困難:專業診療隊伍缺 乏、無基于國情行業標準和診療指南等。 社交溝通 障礙是自閉癥的核心癥狀之一,主要體現在社交情 境中患兒情感功能失調。 根據《國際功能、殘疾和 健康分類(兒童和青少年版) 》 ,孤獨癥患兒的社交 情感功能可以界定為兩大方面:情感識別與理解 以及情感調節與表達。 孤獨癥社交情感分析可為 孤獨癥臨床康復提供新的技術手段和科學方法, 也為揭示孤獨癥病理機制奠定了基礎。
- 3 情感圖像內容分析
Minsky(1970 年圖靈獎獲得者) 曾指出,“問題 不在于智能機器是否會有情感,而是沒有情感的機 器能否智能” (Minsky,1986)。 情感在機器和人工 智能領域起到至關重要的作用,能夠影響人們的判 斷與決策。 隨著移動相機和社交平臺的廣泛普及, 人們習慣于用圖像、視頻和文字等多媒體數據在線 分享和表達自己的觀點(Zhao 等,2020b)。 識別這 些數據中的情感內容,可以幫助理解用戶的行為和 情感。 “一圖勝千言”,圖像可以傳遞豐富的語義信 息。 情感圖像內容分析(affection image content analysis,AICA)的目標是理解認知層次的語義信息,識 別圖像對特定觀看者或大多數人會誘發的情感 (Zhao 等,2021)。 使用 AICA 自動地推斷人們的情 感狀態,可以幫助檢測他們的心理健康、發現情感異 常,阻止他們對自己、甚至對整個社會進行的極端行 為(Zhao 等,2021)。 情感圖像內容分析(AICA)在心理學和行為學 的研究基礎上出現,例如基于 IAPS(International Affective Picture System)數據集研究視覺刺激與情感 之間的關聯(Lang 等,1997;Mikels 等,2005)。 早期 情感圖像內容分析的方法多是基于手工設計的特 征,例如低層次的全局 Wiccest 和 Gabor 特征(Yanulevskaya 等, 2008 )、 藝術元素 ( Machajdik 和 Hanbury,2010)、中層次的藝術原理( Zhao 等,2014) 和 高層次的形容詞名詞對(Borth 等,2013)。 2014 年, 研究者將大規模數據集上預訓練的卷積網絡參數遷 移到 AICA 領域(Xu 等,2014)。 為了解決情感感知 的主觀性問題,研究者們提出了個性化情感預測 (Xu 等,2014;Yang 等,2013;Zhao 等,2016;Rui 等, 2017 ) 和 情 感 分 布 學 習 ( Zhao 等, 2015, 2017c, 2020a;Peng 等,2015) 策略。 近幾年,領域自適應 (Zhao 等,2018b,2019b;Lin 等,2020)和零樣本學習 (Zhan 等,2019) 也應用到 AICA 領域,來解決情感 標簽缺失問題。
1. 4 面部表情識別
面部表情(facial expression)作為人類視覺最杰 出的能力之一,是非語言交流的一種重要形式(Ekman,1965)。 人臉表情分析( facial expression analysis, FEA) (Tian 等,2011) 則屬于計算機識別和解 釋人類情感狀態的多學科研究領域———即情感計算 的一部分,并建立在計算機視覺技術的基礎之上,通過分析不同來源數據(如靜態圖像和視頻) 中的人 臉表情,來直觀地揭示人物情緒狀態。 在醫療健康、 刑偵檢測、廣告娛樂和在線教育等系列場景中均有 著廣泛的應用。 早在 19 世紀,關于人臉表情的研究就已經展 開,早期主要集中在心理學和生物學方面。 1862 年,神經學家杜興通過其著名的面部電流刺激實驗, 論證了面部肌肉是如何產生表情的 ( Emery 等, 2015)。 緊接著,1872 年,達爾文從進化論的角度出 發,在其著作《人類和動物的情感表達》 中指出,人 和動物擁有與生俱來的情緒和共同的情感生物起源 (Darwin,2015)。 該研究對心理學家埃克曼產生了 巨大的影響。 他在 20 世紀 60 年代開展的首批跨文 化實地研究中支持了達爾文的假說,即表情具有普 適性(Ekman 和 Friesen,1971)。 基于該研究,艾克 曼定義了 6 種人類普遍表達的基本離散表情,即悲 傷、恐 懼、 憤 怒、 開 心、 驚 訝 和 厭 惡 ( Ekman 等, 1987)。 此外,還有一種基于局部外觀的客觀描述 形式,即面部動作編碼系統( facial action coding system,FACS)(Ekman 和 Friesen,1978)。 該系統根據 人臉解剖學的特點,將面部肌肉劃分成若干動作單 元(action unit,AU),來描述人臉表情的組成和變 化。 目前觀察到的動作單元 AU 組合已經達到 7 000 余種。
**1. 5 面部微表情識別 **
與普通面部表情,即宏表情(macro-expression) 不同,微表情(micro-expression) 是一種轉瞬即逝的 自發人類臉部表情(Haggard 和 Isaacs,1966)。 當人 們在高風險高壓力的環境下希望隱藏其真實情感 時,往往容易在臉部區域產生微表情 ( Ekman 和 Friesen,1969)。 這就意味著,一方面在受到有效刺 激的時候,人類最初的反應絕大多數都是不受思維 控制的,因此能夠映射其心理真實的變化和狀態;另 一方面,這些反應會很快被控制和修正,因此持續時 間非常簡短(通常在 1 / 25 1 / 2 s 內) 且動作幅度 很小。 心理學研究表明,沒有受過專門訓練的人進 行微 表 情 識 別, 僅 僅 略 好 于 隨 機 猜 測 ( Ekman, 2003)。 由于微表情這種特殊性,研究這類自發反 應就顯得特別重要且難以替代。 雖然在心理學上已有長達半個多世紀的研究, 但是在計算機視覺、人工智能領域卻只有短短 10 余 年的發展(Zhao 和 Li,2019)。 2011 年,芬蘭 Oulu 大學團隊提出了一種基于幀插值和多核學習(multiple kernel learning, MKL)的微表情識別方法,并建立了 首個自發微表情識別數據集( Pfister 等,2011)。 自 此以后,越來越多的學者嘗試用計算機視覺的方法 研究自動微表情分析。
付費5元查看完整內容
隨著互聯網技術的不斷迭代更新，對海量數據的語義理解變得越來越重要。知識圖譜是一種揭示實體之間關系的語義網絡，醫學是知識圖譜應用較廣的垂直領域之一，醫學知識圖譜的構建也是目前國內外人工智能領域研究的熱點。從醫學知識圖譜本體構建出發，依次對命名實體識別、實體關系抽取、實體對齊、實體鏈接、知識圖譜存儲、知識圖譜應用進行綜述，詳細介紹了近年來醫學知識圖譜構建過程中涉及的難點、現有技術、挑戰及未來研究方向，并介紹了醫學知識圖譜應用，最后對未來發展方向進行了展望。
關鍵詞： 醫學知識圖譜; 構建; 關鍵技術 研究進展
圖片
1 引言
人工智能的發展已經進入快車道，作為新一輪科技革命和產業變革的重要驅動力量，人工智能技術正在深入各行各業，悄無聲息地改變著人們日常生活的方方面面。知識圖譜是由谷歌（Google）公司在2012年提出的一個概念，本質上是語義網的知識庫。知識圖譜由節點和邊組成，節點表示實體，邊表示實體與實體之間的關系，這是最直觀、最易于理解的知識表示和實現知識推理的框架，奠定了第三代人工智能研究的基礎。
目前，醫學是知識圖譜應用較廣的垂直領域之一，也是目前國內外人工智能領域研究的熱點。醫學知識圖譜在臨床診斷、治療、預后等方面均可發揮較大的作用。高效地將知識圖譜應用于醫學領域將給人類的醫療衛生帶來革命性的變化。由于醫學領域數據的特殊性，醫學知識圖譜的構建也面臨不少機遇與挑戰。 本文對醫學知識圖譜構建的關鍵技術及應用進行了全面的梳理，對各類公共數據集、處理醫學問題的特異性難點及現有解決辦法進行了綜述。通過閱讀本文，可以了解醫學知識圖譜的發展現狀、未來發展方向以及面臨的挑戰，便于醫學知識圖譜研究者參照對比，加快醫學知識圖譜領域的研究及臨床落地應用。 本文主要按照醫學知識圖譜構建的流程來闡述，主要框架如圖1所示。
圖1 醫學知識圖譜構建框架
2 醫學本體構建
網絡上文本數據的爆炸式增長，以及對本體需求的增加，促進了語義網絡的發展，使得基于文本的本體自動構建成為一個非常有前途的研究領域。文本本體學習是一種以機器可讀形式（半）自動地從文本中提取和表示知識的過程。本體被認為是在語義網絡上以更有意義的方式表示知識的主要基石之一。
2.1 本體構建定義及任務
萬維網聯盟（World Wide Web Consortium，W3C）將本體論定義為用于描述和表示知識領域的術語。本體是一個數據模型，它表示一組概念以及一個域中這些概念之間的關系。 本體構建可以定義為從頭創建本體或重用現有本體以豐富或填充現有本體的迭代過程。構建本體的過程包括以下6個任務： ● 指定一個域以創建定義良好的術語和概念； ● 識別域中的關鍵術語、概念及其關系； ● 建立或推斷描述域結構屬性的規則和公理； ● 使用支持本體的表示語言（如資源描述框架（resource description framework，RDF）、資源描述框架模式（resource description framework schema，RDFS）或網絡本體語言（Web ontology language，OWL））對構建的本體進行編碼（表示）； ● 將構建的本體與現有本體結合（如果現有本體可用）； ● 通過使用通用和特定的評估度量來評估構建的本體。
2.2 醫學本體構建難點及現有技術
隨著對許多醫學本體構建研究的深入，目前醫學本體庫的構建主要存在以下難點。 首先應該盡可能減少在本體構建過程中的人為干預。目前實現本體構建過程的完全自動化是不現實的，怎樣減少人為干預是目前醫學本體構建的一個難點和熱點。2018年，Mazen A等人提出了一種新的本體自動生成框架，即鏈接開放數據項目授權的生物醫學本體自動生成（linked open data approach for automatic biomedical ontology generation，LOD-ABOG）方法。與現有框架相比，參考文獻[3]的評估結果顯示，大多數本體生成任務的結果有所改善。該參考文獻提出的LOD-ABOG框架表明，現有的LOD源和技術是一個很有前途的解決方案，可以在更大程度上實現生物醫學本體生成和關系提取過程的自動化。另外，與現有的框架在本體開發過程中需要領域專家的參與不同，該參考文獻提出的方法只要求領域專家在本體構建周期結束時參與到本體的改進中。
2019年，Lytvyn V等人提出了從自然文本中提取知識的方法和算法（包括一個基于本體引入的概念、關系、謂詞和規則的多層次過程），建立了一種基于本體的本體開發方法，該方法利用現有本體對文本文檔進行分析，構建了命名和本體術語體系。這使得本體開發過程自動化成為可能。 再者，由于醫學信息的特殊性，對醫學信息的匿名化處理在本體構建過程中也是一個難點。2017年，Polsley S等人提出一種可識別被映射到本體論術語的受保護健康信息（protected health information， PHI）的方法，臨床專家使用數百份醫學文獻對該方法進行了評價，F1分數達98.8%，在后續處理中保留語義信息具有一定的前景。但該方法仍有較大的局限性，需要不斷地進行優化。
2.3 醫學本體常用數據集
醫學本體較常用的數據集主要有以下幾種，見表1。
2.4 挑戰及未來研究方向
首先，由于醫學數據的多樣性，在設計醫學本體構建系統時，無論是來自小的靜態文本集合的數據，還是萬維網上的海量異構數據，都需要進行數據轉換。目前，針對此問題的文獻較少，有待后續研究的推進。 其次，醫學的臨床數據會不斷變化，如何根據患者的當前情況創建動態的最佳保護服務，為患者提供個性化的實時醫療護理也是醫學實體構建過程中的一大問題。
3 醫學命名實體識別
3.1 命名實體識別定義
命名實體識別（named entity recognition，NER）又稱專名識別，指識別文本中具有特定意義的實體（主要包括人名、地名、機構名、專有名詞等）。通常包括兩部分：一是識別實體邊界；二是確定實體類別（人名、地名、機構名或其他）。英語中的命名實體具有比較明顯的形式標志（即實體中的每個詞的第一個字母要大寫），因此識別實體邊界相對容易，任務的重點是確定實體的類別。和英語相比，漢語命名實體識別任務更加復雜，實體邊界的識別更加困難。
3.2 醫學命名實體識別難點及現有技術
與傳統的命名實體識別相比，醫學名詞實體一般比較長，長實體名詞常常包含多個名詞實體，造成醫學實體邊界識別的難度較大。此外，醫學名詞存在大量的同義詞替換、縮寫以及一詞多義現象，加大了確定實體類別的難度。
針對醫學實體中大量同義詞替換以及大量縮寫的問題，2020年Kato T等人提出了一種共享和學習標簽組件嵌入的方法，通過對英語和日語細粒度NER進行實驗，證明了該方法比標準序列標記模型性能更好，特別是在低頻標簽情況下。
為了解決醫學名詞實體較長、識別邊界困難的問題，2020年，Tan C Q等人提出了邊界感知的神經網絡模型來預測實體的類別信息。該模型可以先定位出實體的位置, 然后在對應的位置區間內進行實體類型的預測。在公開的嵌套NER數據集上，該模型取得了超越以往方法的效果，并在預測上取得了更快的速度。
另外，大多數NER系統只處理平面實體，忽略了內部嵌套實體，導致無法捕獲底層文本中的細粒度語義信息。為了解決這個問題，2018年Ju M Z等人提出了一種新的神經模型，通過動態疊加平面NER層來識別嵌套的實體。模型將長短時記憶（long short term memory，LSTM）層的輸出合并到當前的平面NER層中，為檢測到的實體構建新的表示，并將它們提供給下一個平面NER層。模型動態地堆加平面NER層，直到沒有提取任何外部實體。該模型針對特定數據集（具有多種類別和嵌套的實體）具有較好的實驗效果。
對于醫學實體中常見的一詞多義現象，2019年Pham T H等人在細粒度NER任務中進行了多任務學習和語境化單詞表征的有效性研究，并研究了多任務序列標記的不同參數共享方案、神經語言模型學習和不同單詞表示設置下的學習。最終得到的最佳模型不需要任何額外的人工操作來創建數據和設計特征，F1分數達到83.35%。Luo Y等人提出了一個增加了上下文表示層次的模型：句子級表示和文檔級表示。在句子級，考慮到單個句子中單詞的不同貢獻，通過標簽嵌入注意機制來增強從獨立的雙向長短時記憶（bidirectional long short term memory，BiLSTM）學習到的句子表征。在文檔級，采用鍵值存儲網絡記錄對上下文信息相似度敏感的單個單詞的文檔感知信息。在基準測試的實驗結果數據集（CoNLL-2003和Ontonnotes 5.0英語數據集，CoNLL-2002西班牙語數據集）上獲得了最先進的結果。
3.3 醫學命名實體識別常用數據集
醫學命名實體識別較常用的數據集主要有以下幾種，見表2。
3.4 挑戰及未來研究方向
（1）多類別實體在不同語境、不同詞性、不同類別下的應用 語言的博大精深、豐富多彩正是語言的魅力所在，但對于機器來說，豐富多彩的語言使語言的使用規則變得更加復雜，很難歸納和總結。將機器語言變得更加智能，理解多類別的實體在不同語境、不同詞性及不同類別下的應用是一個重要的研究方向。
（2）嵌套實體的研究 在醫學領域中，實體嵌套的現象非常常見，絕大部分醫學長實體中會存在實體嵌套，如何更有效地識別實體嵌套是醫學命名識別實體領域必須面對且具有重要意義的問題。
（3）實體識別與實體關系抽取的結合 輸入一個句子，通過實體識別和關系抽取聯合模型，直接得到有關系的實體三元組。這可以克服實體識別模塊的錯誤引起的錯誤傳播，重視兩個子任務之間存在的關系，使信息抽取任務完成得更加準確高效，但同時也可能會有更復雜的結構，因此如何用更簡單的結構實現實體識別和實體關系抽取的結合將是之后的研究重點。
4 醫學實體關系抽取
4.1 實體關系抽取定義
實體關系抽取是指從一個句子中抽取出關系三元組，主要目的是從文本中識別實體并抽取實體之間的語義關系。實體關系抽取解決了原始文本中目標實體之間的關系分類問題，它也是構建復雜知識庫系統的重要步驟，如文本摘要、自動問答、機器翻譯、搜索引擎、知識圖譜等。隨著近年來信息抽取的興起，實體關系抽取進一步得到廣泛的關注和深入的研究。
4.2 醫學實體關系抽取難點及現有技術
與一般的實體關系抽取相比，生物醫學領域語料庫的建設很復雜，且需要大量的人力、物力，對參與人員的專業背景要求高，因此使用僅有的醫學知識來自動構建大規模的語料庫對于醫學實體關系的抽取十分重要。此外，醫學實體之間普遍存在重疊關系，這給關系抽取的準確性帶來較大的干擾。現有的醫學關系抽取方法大多需要復雜的特征工程，越來越多的學者采用深度學習方法進行關系的抽取，但大多采用的是流水線的方法，沒有充分利用實體信息，且容易導致錯誤的傳遞。最后，醫學關系的跨度較大，句子級的抽取不能滿足要求。
為了自動構建大規模的語料庫，2019年Li Y等人提出了一種全新的輕量級神經網絡框架來解決遠程監督關系抽取問題，以彌補以往選擇的不足，使用《紐約時報》（New York Times，NYT）數據集進行實驗，結果表明該方法在AUC和Top-n精度指標方面都達到了較先進的性能。2020年He Z Q等人設計了一個新的狀態表示形式，它考慮了句子嵌入、關系嵌入以及所選的正向實例的嵌入，該方法解決了遠程監督方法中的錯誤標簽問題，同時提升了詞袋水平的關系提取效果。Chen D Y等人提出了通過多代理強化學習模型來重新標記噪聲訓練數據，并共同提取實體和關系的新方法。他們在兩個真實的數據集上對該方法進行了評估，結果證明，該方法可以顯著提高提取器的性能，并實現有效的學習。
針對醫學實體間普遍存在重疊關系這一問題，2019年Zeng D J等人重新研究了基于復制機制的關系抽取模型，提出了使用序列到序列（Seq2Seq）方法共同提取實體和關系的多任務學習復制模型（copy mechanism for multi-task learning，CopyMTL）。該模型利用多任務的學習框架來識別多詞實體，通過提高實體識別精度來提升關系抽取的效果，從而達到了較理想的效果。2020年Nayak T等人提出了使用編碼器-解碼器體系結構共同提取實體和關系的方法。該方法使用一種用于關系元組的表示方案，使解碼器能夠像機器翻譯模型那樣一次生成一個單詞，并且仍然可以找到句子中存在的所有元組，它們具有不同長度的完整實體名稱，并且具有重疊的實體。對NYT數據集進行的實驗表明，該方法明顯優于所有以前的模型。
為了減少深度學習方法關系抽取中錯誤的傳遞，2019年Eberts M等人提出了一種混合模型，包括基于轉換器的編碼層、LSTM實體檢測模塊、基于強化學習的關系分類模塊。實驗結果表明，與基線方法相比，該混合模型在關系和實體提取方面表現更好。2019年Bansal T等人提出了一個新的模型——同時神經實體-關系連接器（simultaneous neural entityrelation linker，SNERL）。首先使用自注意力機制來捕獲文本中每個實體提及的上下文表示；然后使用這些上下文表示來預測提及水平的實體分布和提及對水平的關系分布；最后針對每個提及對，將這些預測概率進行組合，并合并到文檔級別，以獲得預測關系三元組的最終概率。實驗結果表明，SNERL模型在CDT和CDR這兩個生物醫學數據集上的表現達到了最優的效果，并且可以大大改善系統的整體召回率，同時避免了級聯錯誤。
針對醫學關系跨度大的問題，2020年Nan G S等人提出潛在結構優化（latent structure refinement，LSR）模型，以端到端的方式構造一個文檔級圖譜來推理句間關系，通過迭代優化策略，模型能夠動態構建潛在結構，以改善整個文檔中的信息聚合。該模型在生物醫學領域的兩個文檔級關系抽取數據集上取得了較好的效果。
4.3 醫學實體關系抽取常用數據集
醫學實體關系抽取較常用的數據集主要有以下幾種，見表3。
4.4 挑戰及未來研究方向
（1）加強語料庫建設 相對于無監督學習方法，有監督學習方法有更好的準確性和穩定性，而構建良好的語料庫是有監督學習方法得以開展的關鍵前提。
（2）利用聯合學習方法更好地提取文本中的關系 現有的聯合學習方法大多存在不同的問題，例如不能很好地識別醫學文本中的重疊嵌套關系，但是聯合學習方法可以充分利用實體與關系之間的交互信息，且普遍證明比流水線方法更有效，因此應該著力提升聯合學習方法中識別重疊嵌套關系的能力，使聯合學習方法更有效。
（3）實現跨句子或文檔級關系抽取 醫學文本中的關系往往不在一個句子中，而是跨句子的，因此關系抽取模型不應該僅僅滿足于句子級的抽取，應該進行更廣范圍的關系抽取。
（4）解決遠程監督學習的問題，提升遠程監督的效果 醫學領域語料庫較小，遠程監督方可以有效地解決這個問題，但是遠程監督方法中存在錯誤標簽等問題，會影響模型效果。未來可以著重解決遠程監督中的錯誤標簽問題，使用遠程監督方法可以省去人工標注數據的工作。
5 實體對齊
5.1 實體對齊定義
實體對齊是判斷多源異構數據中的實體是否指向真實世界同一對象的過程。如果多個實體表征同一個對象，則在這些實體之間構建對齊關系，同時對實體包含的信息進行融合和聚集。由于目前將實體對齊應用于醫學領域的研究文章較少，因此本節主要介紹實體對齊，而不是醫學實體對齊。
5.2 實體對齊難點及現有技術
（1）綜合利用知識圖譜的多種信息，如關系三元組、屬性三元組、摘要等 傳統的實體對齊任務直接將實體進行對齊，由于沒有考慮到與實體相關的背景信息（如關系三元組、屬性三元組、摘要等），實體對齊任務準確率不高，容易出現較多的噪聲和錯誤數據，利用背景信息進行實體對齊是目前研究的一個難點。
2020年，E H H等人嘗試將關系和屬性三元組結合起來進行實體對齊。采用參數共享聯合方法和基于翻譯的知識嵌入方法將它們聯合嵌入。實驗結果表明，該方法對實體對齊任務有明顯的改進。Munne R F等人提出了一種基于嵌入的實體對齊方法。針對實體對齊任務，提出了一種匯總與屬性嵌入的聯合方法。當實體具有較少的屬性或關系結構，無法捕獲實體的有意義的表示時，實體摘要嵌入會很有用。他們在真實世界的數據集上進行了實驗，結果表明，所提方法顯著優于當時最先進的實體對齊模型。
（2）多語言知識圖譜的實體對齊
隨著信息全球化的進一步發展，一種語言的知識圖譜已經不能滿足信息的溝通與交流，因此多語言知識圖譜間的實體對齊方法是計算機研究的必然趨勢。
2020年，Chen M H等人提出了一種新的模型JEANS，在一個共享的嵌入方案中聯合表示多語種的知識圖譜和文本語料庫，并試圖通過文本附帶的監督信號來改善實體對齊效果。在基準數據集上的實驗結果表明，JEANS在伴隨監督的實體對齊方面有很好的改善，并且顯著地優于只提供知識圖譜內部信息的最新方法。KANG S Z等人利用本體提出了一種基于TransC的嵌入模型。該模型首先采用TransC和參數共享模型，將知識圖譜中的所有實體和關系映射到一個基于對齊實體集的共享低維語義空間，然后迭代地使用重新初始化和軟對齊策略來執行實體對齊。實驗結果表明，與基準算法相比，該模型能有效地融合本體信息，取得了較好的效果。
（3）數據異構實體對齊
醫學知識的表現方式復雜多樣，在數據異構的知識圖譜之間進行實體對齊也是當前研究的一個難點。 針對不同類型實體的對齊，2020年， Zhu Q等人提出了一個集合圖譜網絡——多類型實體對齊的集合圖神經網絡（collective graph neural network for multitype entity alignment，CG Mualign）。與以前的工作不同，CG Mualign聯合對齊不同類型的實體，集中利用鄰域信息并概括未標記的實體類型。在真實世界知識圖譜百萬計的實體實驗中，該方法的實體對齊效果超過了現有的方法。但是，該方法的運行效率沒有超過當前最先進的深度學習方法。
針對鄰域結構的非同構性，Sun Z Q等人提出了一種新的知識圖譜對齊網絡AliNet，旨在以端到端的方式減輕鄰域結構的非同構性。該方法采用一種注意機制來突出有用的遠距離鄰居，并減少噪聲，然后使用門控機制控制直接鄰域信息和遠程鄰域信息的聚合。他們進一步建議使用關系損失來重新定義實體表示，并對5個實體對準數據集進行了詳細的研究和分析，證明了AliNet的有效性。
針對知識圖譜之間的結構異構性，Wu Y T等人采用一種新的圖譜采樣策略來識別面向實體對齊的信息最豐富的鄰居，利用基于交叉圖譜注意力的匹配機制，聯合比較兩個實體的區分子圖，以實現穩健的實體對齊。在3個實體比對數據集上進行的大量實驗表明，該方法可以在更困難的情況下很好地估計鄰域相似度，顯著優于12種現有方法。
（4）大規模知識圖譜間的實體對齊
在信息化高速發展的今天，數據達到了空前規模，這對技術提出了更多的挑戰，大規模知識圖譜間的實體對齊也成為研究難點和重點。
2019年，Zhang F J等人將兩個有上億級別節點的網絡——AMiner和微軟學術進行了對齊，這項研究綜合利用了LSTM、灰色神經網絡（gray neural network，GNN）、哈希等技術，能夠高效處理多種類型的節點以及不同類型的信息，并且使對齊效果達到了可以應用的級別（總體F1分數為96.81%）。 2020年，Flamino J等人提出了一個可解決大規模對齊問題的多步驟通道。在這個通道中，引入了具有魯棒時間屬性的可伸縮特征提取，并使用了聚類算法，以便在圖上找到相似節點的分組。這些特征和它們的集群被輸入一個通用的對齊階段，在數百萬個可能的匹配中準確地識別伙伴節點。實驗結果表明，該管道可以處理大數據集，在內存限制下實現高效的運行。
5.3 實體對齊常用數據集
實體對齊較常用的數據集主要有以下幾種，見表4。
5.4 醫學實體對齊挑戰及未來研究方向
目前醫學實體對齊研究尚處于起步階段，根據醫學數據的特點，醫學實體對齊未來的研究方向主要包括以下方面。
● 醫學實體存在較多同義詞、縮略詞，導致實體對齊的精確性受到影響，但是醫療領域要求的精度非常高，使得在醫療領域實現實體對齊這項工作的開展和進行非常艱難，這將是之后醫療領域需要重點解決的問題。
● 數據質量良莠不齊，存在數據壁壘。由于不同醫療知識庫的構建目的和方式不同，數據質量不一，并且不同醫療機構的數據一般不能互相開放，如何打破數據壁壘，解決可能存在的相似重復數據、孤立數據、數據時間力度不一致等問題，是未來的一個重點研究方向。
● 醫療數據龐大復雜，標簽數據有限，且醫學數據精度要求高，需要領域專家手工對數據進行操作，這是一個耗費極大的工程。如何在較少的標簽數據中進行訓練，實現高效的實體對齊，也是后續研究要關注的問題。
6 醫學實體鏈接
6.1 實體鏈接定義
由于語言表達的多樣性、歧義性以及上下文關聯，語言理解面臨巨大的挑戰。語言理解主要包括語法解析、語義解析和特定的知識表示或其中的某個片段。而在知識圖譜中主要涉及的技術即實體理解或實體鏈接技術，將現實世界中的知識映射到現有知識圖譜中的實體，進而用現有知識圖譜進行表示，達到理解的目的。在實體鏈接任務中輸入的是實體的指代和上下文以及待鏈接的知識庫，輸出的是指代所對應的知識庫中的實體。
實體鏈接（或實體規范化、實體消歧）指將文本中的短語（提及范圍）映射到結構化源（如知識庫）中的概念。提及范圍通常是一個詞或短語，描述一個單一的、連貫的概念。
6.2 醫學實體鏈接的難點及現有技術
（1）聯合在命名實體識別和實體鏈接中建模
在知識庫構建中，實體識別是實體鏈接的前提，實體識別可為實體鏈接提供更多有效的信息。實體鏈接與實體識別聯合學習可減少工作量。實體識別與實體鏈接任務聯合解決既能提高命名實體識別的性能，也能提高實體鏈接的性能，是當前研究的重點和難點。
2017年，Lou Y X等人提出了一種基于轉換的聯合疾病實體識別與規范化模型，將輸出構造過程轉化為一個漸進的狀態轉換過程，允許使用非局部特征。實驗表明，與其他方法分開執行任務相比，聯合框架實現了更高的性能。與其他先進的方法相比，該方法更具優勢。
2019年，Zhao S D等人提出了一個新的具有顯式反饋策略的深層神經多任務學習框架，用于聯合實體識別和實體規范化建模。該方法利用多任務學習對兩個任務進行一般表示，在保持任務之間相互支持的同時，成功地將跨體系結構的任務轉換為并行的多任務設置。實驗結果表明，在兩個公開的醫學文獻數據集上，該方法比當時最先進的方法表現得更好。
2020年，Luo Z H等人開發了pyMeSHSim軟件包，這是一個用于生物醫學文本挖掘的集成、輕量級和數據豐富的Python包。作為第一個一站式醫學主題詞（medical subject heading，MeSH）工具包，它集成了生物NER、規范化和比較功能。pyMeSHSim嵌入了一個自制的數據集，其中包含主標題（main heading，MH）、補充概念記錄（supplementary concept record，SCR）及其在MeSH中的關系。基于該數據集，pyMeSHSim實現了4種基于信息內容的算法和一種基于圖譜的算法，可用于度量兩個網格術語之間的語義相似度。結果表明，使用pyMeSHSim識別的網絡術語和以前手工識別的網絡術語的語義相似度高達0.89～0.99。PyMeSHSim有望在生物信息學、計算生物學和生物醫學研究中作為一種強大的工具得到廣泛的應用。
（2）醫學實體語義模糊
基于研究和醫學文獻分析發現，相同疾病名可能以多種不同的形式出現，比如同義詞替換（如“腦中風”“腦卒中”）、疾病名稱前的簡短描述修飾語（如“大面積心臟病發作”），這些均會造成醫學實體語義的復雜多變。近年來針對這個問題的實體鏈接研究較多。
2017年，Cho H等人聯合解析同義詞和縮寫詞的領域特定詞典及基于神經網絡算法組合的大量未標注數據，該聯合方法的精確度顯著提高。
2018年，Gorrell G等人提出了一個新的系統Bio-YODIE。Bio-YODIE有兩個主要的組成部分，首先，資源準備步驟將運行時所需的UMLS和其他信息資源處理為高效的形式，盡可能多地提前完成工作，以盡量減少運行時的處理；其次，流程本身對文檔進行了注釋，這些文檔包括UMLS概念唯一標識符以及來自UMLS的其他相關信息。基于文本工程的通用結構（general architecture for text engineering，GATE），YODIE最初是一個通用的域系統，引用了DBpedia。BioYODIE是該系統的生物醫學版本，它繼承了一般領域的研究歷史。與MetaMapLite的不同之處在于， 消除歧義是Bio-YODIE中的優先事項。Bio-YODIE已被集成到CogStack中，并在大規模臨床應用中得到廣泛應用。
2019年，Wright D提出了一個深度連貫模型NormCo，它考慮了實體提及的語義，以及單個文檔中提及的主題連貫性。NormCo在兩個疾病標準化語料庫上的預測質量和效率方面優于當時最先進的基線方法，并且至少在準確性和標記文檔的F1分數方面表現同樣出色。
2019年，Mondal I等人提出了一種基于候選知識庫條目與疾病描述相似度的排序方法，探討了域內子詞級信息處理疾病規范化任務的能力。該方法利用由疾病描述m、陽性候選qp、陰性候選qni組成的三元組(qp, m, qni)進行候選排序，引入了一個穩健的、可移植的候選生成方案，該方案不使用手工編制的規則。在標準基準NCBI疾病數據集上的實驗結果表明，該系統在很大程度上優于先前的方法。
2020年，Zhu M等人提出了一種潛在類型實體鏈接模型LATTE，該模型通過對實體提及和實體的潛在細粒度類型信息進行建模來改進實體鏈接。與以前直接在實體提及和實體之間執行實體鏈接的方法不同，LATTE在沒有直接監督的情況下聯合執行實體對齊和潛在的細粒度類型學習。大量的實驗結果表明，該模型比幾種先進的技術具有顯著的性能改進。
（3）公開醫學數據集較小 在醫學領域，對數據進行標簽標注是一項費時費力的大工程。因此目前所有的實體鏈接公開數據集都是小規模的，如何在小規模數據集上進行高質量的實體鏈接是目前研究的一個難點。
2017年，Rajani N F等人提出使用精確聚焦的輔助特征來克服醫學領域的這些挑戰，這些輔助特征可以從少量數據中形成分類邊界。該模型優于多個基線水平，并在多個醫學數據集上更新了最優結果。
6.3 醫學實體鏈接常用數據集
醫學實體鏈接較常用的數據集主要有以下幾種，見表5。
6.4 未來展望
（1）別名實體候選生成問題 在醫學領域中相同的語義往往可以有多種不同的叫法，醫學實體的多詞同義現象十分普遍，在判斷別名實體時很難將所有對應實體的候選實體全部找出，導致實體鏈接的準確率下降，因此解決別名實體候選生成是未來的研究重點。
（2）不完整數據集的實體鏈接 在實體鏈接中，實體、實體的類別信息、關系信息以及上下文信息對實體對齊非常重要，醫學數據經常存在數據不完整的情況，使得實體鏈接效果不是很好，通過僅有的實體相關信息進行鏈接是醫學領域實體對齊面臨的又一大挑戰。
（3）基于多種語言的實體對齊 目前實體鏈接系統主要針對的是英文語料，中文或者其他語言的鏈接系統非常缺乏。中文以及其他語言與類似英語的語言不同，使得實體鏈接難度增加。對于中文和其他語言的實體鏈接系統，也需要重點研究。
7 醫學知識圖譜存儲
7.1 知識圖譜存儲方式
現有知識圖譜數據的存儲方式主要分為兩種：基于關系模型的存儲方式和基于圖模型的存儲方式。 基于關系模型的知識圖譜存儲方式包括三元組表、水平表、屬性表、垂直劃分、六重索引和DB2RDF。 目前，基于圖數據庫的知識圖譜存儲方法是學術界研究的主流。圖數據庫的優點在于其天然能表示知識圖譜結構，圖中的節點表示知識圖譜的對象，圖中的邊表示知識圖譜的對象關系。其最大的優點是可以用來處理復雜的關系問題，提供完善的圖查詢語言，支持各種圖挖掘算法。采用圖數據庫存儲知識圖譜，能有效利用圖數據庫中以關聯數據為中心的數據表達、存儲和查詢。基于圖模型的存儲方式見表6。
知識圖譜的存儲方式應考慮其后續的使用效率，應根據自己的應用場景、數據情況來具體設計。可參考表7選擇最適用的存儲方式。
基于醫學知識圖譜更側重于實體之間的關系（例如藥物-疾病、疾病-表征、藥物-藥物及藥物-表征）的特點，醫學知識圖譜的存儲基本采用圖數據庫，其中應用最廣泛的為Neo4j系統。曹明宇等人開發的基于知識圖譜的原發性肝癌知識問答系統、吳嘉敏構建的肺癌知識圖譜都將Neo4j作為知識圖譜的存儲系統。Deng W等人利用Neo4j圖形數據庫構建醫學圖譜，包含醫院科室、疾病和癥狀之間的關系，并基于圖譜提供醫學指導。
張崇宇提出了基于知識圖譜的醫療自動問答系統，考慮到知識庫問答應用中知識存儲與檢索的效率問題，采用三元組表示與圖數據庫存儲（Neo4j）以及JSON表示與鍵值對文檔型數據庫存儲（MongoDB）兩種形式的混合數據庫存儲的方式對構建的臨床醫療知識圖譜進行表示和存儲。同時，通過對醫療實體進行歸一化處理，將標準化后的實體作為節點存儲到知識圖譜中。
7.2 醫學知識圖譜存儲的難點及現有技術（以圖數據庫為例）
（1）復雜關系的可視化
在醫學知識中，實體之間的關系經常是錯綜復雜的，這使得將復雜關系能夠更好地可視化成為研究的一個難點。 當前，新的蛋白質和基因序列的數量呈爆炸式增長，這使得對其生物學特性的有效表征和分析變得越來越復雜。2019年， Hu G M等人提出了一個基于網絡的圖數據庫工具SeQuery，通過整合序列結構和功能信息，直觀地可視化蛋白質組/基因組網絡。用GPCR2841數據集進行的序列測試表明，SeQuery能正確識別查詢到的100個蛋白質序列中的99個。SeQuery非常適用于其他生物網絡，可以通過添加更多的生物數據庫來擴展SeQuery。
（2）用戶友好的查詢方式 知識圖譜的存儲是為了讓用戶更好地使用和查詢知識，讓用戶的查詢更簡單便捷一直是知識圖譜存儲的關鍵和難點。 結直腸癌（colorectal cancer，CRC）是常見的癌癥類型之一，它的發生與基因和細胞表觀遺傳機制的放松有關。2017年，Balaur I等人提出了圖數據庫EpiGeNet，用于存儲和查詢在結直腸癌發生的不同階段觀察到的分子事件（遺傳和表觀遺傳）之間的條件關系。EpiGeNet增強了探索與結直腸癌進展相關的研究方面的查詢能力，EpiGeNet框架提供了更好的管理和可視化數據的能力，特別是針對結直腸癌的發生和發展的分子事件。
基因組技術的最新進展使得從結核分枝桿菌分離物中產生大量成本效益高的“組學”數據成為可能，然后可以通過許多異構的公開可用的生物數據庫共享這些數據。盡管碎片化管理很有用，但它對研究人員聯合查詢利用數據的能力產生了負面影響。2020年，Lose T等人提出了抗結核病NeoDB（一個整合的結核分枝桿菌經濟學知識庫）。基于Neo4j，將標簽屬性圖模型綁定到合適的本體，從而創建抗結核病NeoDB。抗結核病NeoDB使研究人員能夠通過鏈接著名的生物數據庫和發表文獻中的結核分枝桿菌變體數據來執行復雜的聯合查詢。
（3）認證和加密形式的安全保障 隱私是醫院在發布涉及個人敏感信息的數據時應保留的一個重要因素。研究尋求在不侵犯個人信息保密性的情況下向公眾發布數據的解決方案。對數據進行處理，可以在維護基本信息的同時安全地發布數據。2020年，Saranya K等人提出了一種基于事務圖的自適應概率安全處理方法，用于醫療環境中的安全處理。該方法首先為每個用戶交互生成交互圖，并在此基礎上估計每個交互項的收斂性和偏差測度。基于這些值，該方法計算了一個概率矩陣，并在這個矩陣的基礎上生成本體。實驗結果表明，所提方法可以產生有效的安全處理和數據發布結果。
7.3 挑戰及未來研究方向
● 醫療數據類型種類繁多，現有圖數據庫系統支持過多數據組織的形式，但不清楚在一些情景中哪個是最好的。如何根據數據的不同選擇合適的系統和圖模型是未來一個很重要的問題。
● 醫療數據大多獨立分布在不同的醫療機構，數據的分布式存儲對醫療數據的存儲與分析至關重要。目前還沒有為圖數據庫開發拓撲感知或路徑感知的數據分布方案，特別是在最近提出的數據中心、高性能計算網絡拓撲和路徑體系結構的背景下。因此，未來數據的分布式處理將是一個亟待解決的問題。
● 很少有研究使用不同類型的硬件結構、加速器和硬件相關設計（如FPGA、與網絡接口卡相關的設計、硬件交互等），但這對于大規模醫療數據的存儲也是不可缺少的重要一環。
8 醫學知識圖譜應用
8.1 基于醫學知識圖譜的問答
醫學知識圖譜與問答系統的融合是目前極具挑戰性的研究方向，同時也是典型的應用場景。基于知識圖譜的醫療問答系統可以快速響應醫患用戶提出的問題，并給出準確、有效的解答。下面將從問答系統的實現方法、實際應用、關鍵挑戰3個方面進行闡述分析。
（1）實現方法 本文參考了近3年的研究進展，總結出醫療領域基于知識圖譜的問答系統主要有兩種實現方法：檢索式和生成式。其中，檢索式主要面向系統構建的知識圖譜，生成式主要面向系統收集的問答庫數據，表8列出了可用于構建基于知識圖譜的醫療問答系統的數據來源。
檢索式方法就是將用戶的問句轉化為知識庫的查詢語句，再將查詢的結果轉化成自然語言返回給用戶，其一般流程由語義提取、問題匹配以及答案查詢3個部分組成，如圖2所示。
語義提取指從用戶提出的問句中提取出涉及的醫學實體、關系等語義信息，主要包括實體識別和關系抽取兩部分，可以采用詞典匹配、傳統機器學習、神經網絡甚至平臺工具（如哈爾濱工業大學語言云平臺）等方法。參考文獻基于自定義詞典的Jieba分詞匹配獲得問句中的實體。
參考文獻中的DIK-QA系統使用BiLSTM-CRF神經網絡模型抽取問句中的醫療實體，并在該模型中引入注意力機制，以提高實體識別的準確度。參考文獻借助哈爾濱工業大學語言云平臺的LTPParser接口進行句法分析，將結果與詞庫內的實體進行比對，從而獲取比對成功的實體和關系。
問題匹配旨在識別問句的意圖，將問題進行分類，匹配預先制定的問題模板，一般采用匹配算法、TextCNN分類算法、SVM分類器等方法。Huang M X等人采用AC多模式匹配算法將問句匹配到不同的問題類型上。
參考文獻結合術語頻率-逆文檔頻率（term frequency–inverse document frequency，TFIDF）算法和word2vec詞向量生成句子向量，匹配最相似的問題模板，根據模板的語義及問題中的實體到知識圖譜中檢索答案。參考文獻均采用TextCNN分類算法實現問句類型的分類。謝剛等人利用支持向量機模型對問題進行主題分類和意圖識別。
圖2 檢索式方法的一般流程
答案查詢即根據問題模板將問題轉化成查詢語句，然后在知識圖譜中查詢問題的答案，主要通過查詢語句直接檢索答案或者通過推理規則得出答案。曹明宇等人使用Cypher語言在Neo4j圖形數據庫中查詢答案。參考文獻根據問題模板生成完整的SPARQL語言，并在甲狀腺知識圖譜內進行查詢。Bo L等人使用Elasticsearch查詢語言，配合簡單的輔助推理算法，給用戶匹配相關癥狀，搜索可能的疾病，并推薦適當的診斷方法。
而生成式方法則利用相關模型，根據輸入的問題生成答案或者直接檢索問答庫，其既需要醫療領域問答對語料數據，也需要知識圖譜的實體及關系數據，主要采用神經網絡進行模型訓練。參考文獻使用基于LSTM的Seq2Seq模型構建答案生成模型。參考文獻將記憶神經網絡作為智能問答的算法模型，將知識庫的知識存儲在模型中，可在網絡中直接調用。
（2）實際應用
雖然我國醫療問答系統起步較晚，但國內已有不少科技公司在市面上推出自主研發的醫療問答系統。如諾華制藥攜手騰訊合作推出的“護心小愛（AI）”，該平臺以微信小程序為載體，通過對話機器人為心衰患者提供針對常規醫療問題及日常生活問題的答疑解惑，以及科學的健康資訊。再如北京慧醫明智科技有限公司旗下的“慧醫大白”，其使用知識圖譜、語義理解和對話管理等技術手段，通過與用戶進行多輪問答，了解用戶的具體病癥，最終提供健康評估和健康行為建議。
而在問答系統起步較早的國外市場，最出名的面向醫學領域的智能問答系統是IBM的“沃森醫生（Dr.Watson）”，其學習了海量的醫療數據，包括領域內的頂尖文獻、診斷報告、電子病歷甚至醫學影像等醫療信息，利用自身龐大的知識庫為患者提出的醫學問題提供最佳的答案。
（3）關鍵挑戰
目前，國內醫療問答系統的研究發展仍然存在許多的挑戰，下面列舉了3個主要的關鍵挑戰。 一是針對非醫學專業人員的信息需求問題，由于他們的醫學專業知識不強，無法準確描述具體問題，在獲取答案時會存在一定程度的困難。
二是中文領域問答系統研究不足，主要體現在3個方面：①缺乏高質量醫學領域的語料資源；②國內醫學名詞術語標準化還存在整體規劃缺乏、權威術語標準數量不足以及更新不及時等問題；③構建中文領域的醫學智能問答系統的工具和方法不成熟。
三是醫療問答準確性問題，提高問答系統的準確性仍然是研究的熱門方向。
8.2 醫療用藥推薦系統
（1）簡介 醫學上的用藥推薦與一般的推薦算法不同，一般的推薦算法是根據用戶的歷史記錄，利用數學算法推測出用戶可能的需求，已被廣泛應用于電商等互聯網場景。而用藥推薦則是基于循證醫學的原則，結合患者的具體患病情況以及醫學專業知識，推薦適合的用藥方案。一般的推薦算法的推薦結果對準確率的容忍度較高，即使部分推薦結果與用戶需求不符，也能夠接受。但用藥推薦在實際應用中要求達到百分之百的準確率，即藥品一定能夠起到作用，且不能產生不良反應或藥品間的相互作用。 知識圖譜能夠更加清晰準確地表達疾病與藥品之間的適應關系以及藥品間的相互作用，基于知識圖譜的用藥推薦與其他人工智能方法相比，能夠取得更好的效果。目前基于知識圖譜的用藥推薦研究進展與其他基線水平相比有所提升，但還無法達到實際應用的要求。
（2）方法 目前醫療用藥推薦系統使用的方法主要有以下兩種。 第一種是圖卷積網絡的方法，即在圖上使用卷積神經網絡。2018年Shang J Y等人通過一個存儲模塊將藥物相互作用（drug-drug interaction，DDI）的知識圖譜集成為一個圖形卷積網絡，并將縱向患者向量建模作為查詢，該方法在所有有效性度量方面都優于所有基線方法，并且在現有電子健康記錄（electronic health record，EHR）數據中實現了3.60%的DDI率降低（即推薦藥品之間有相互作用的概率降低3.6%）。2019年，Wang S S等人提出了一種針對藥物組合預測（medicine combination prediction，MCP）的圖卷積強化學習模型。其將MCP任務轉換為無序馬爾可夫決策過程（Markov decision process，MDP）問題，并設計了一個深度強化學習機制來學習藥物之間的相關性和不良相互作用。相比于GAMENet，CompNet在Jaccard和F1分數標準上分別提高了3.74％、6.64％。2020年，Kwak H等人構造了一個藥物疾病圖譜，使用圖神經網絡學習節點表示，根據學習到的節點表示來預測藥物節點和疾病節點是否具有藥物不良反應（adverse drug reaction，ADR）關系。與其他算法相比，該模型的接受者工作特征曲線下的面積（area under curve of receiver operating characteristic，AUROC）和精度召回率曲線下的面積（area under curve of precision recall curve，AUPRC）性能分別提高到0.795和0.775。
第二種是知識圖譜嵌入的方法，包括將實體和關系轉化為連續的向量空間，從而簡化操作，同時保留知識圖譜的原有的結構。2017年Wang M等人構建了患者疾病-藥品圖譜，將其嵌入低維空間后，進行用藥推薦。首先構建疾病和藥品圖譜，通過EHR分別連接疾病和藥品圖譜，形成兩個二分圖，通過患者數據將兩個二分圖連接起來，并構建了一個高質量的異構圖，該方法的預測準確度（即Jaccard系數）、藥物相互作用發生率、冷啟動（即沒有患者數據時的使用）、臨床專家評分均高于基線水平。2019年Wang X Y等人構建了疾病-藥品圖譜，將其嵌入低維空間后，進行用藥推薦，并提出一種基于知識圖譜嵌入增強主題模型（knowledge graph enhanced topic model，KGETM）的中藥推薦模型。在中藥基準數據集上的實驗結果表明，該方法優于當時最新的方法，中藥知識圖嵌入在中藥推薦中有很好的應用前景。
（3）研究方向
醫學知識圖譜在用藥推薦系統應用領域的未來研究方向主要有以下幾方面。 ① 構建完整的醫學知識圖譜。人類對疾病與藥品的認識是動態變化的，結合疾病、癥狀、藥品、藥品間的相互作用及患者的臨床數據、患病的時間序列信息等，構建一個完整的醫學動態知識圖譜，確保知識的完整性、準確性和時效性。 ② 知識圖譜嵌入學習是將實體和關系映射到低維連續向量空間的表示方法，在保留知識圖譜結構信息的同時，還能夠改善數據稀疏問題，提高計算效率，因此在進行后續用藥推薦任務之前，先對知識圖譜進行表示學習是很有必要的。 ③ 考慮到構建動態醫學知識圖譜的必要性，而目前大多數知識嵌入表示研究建立在靜態的知識圖譜上，如何對動態知識圖譜進行有效的知識表示是一個待解決的問題。將圖時空網絡與動態知識圖譜相結合的知識嵌入表示用于用藥推薦是一個頗具價值的研究方向。 9 醫學知識圖譜未來展望 構建醫療領域的知識圖譜，可以從海量數據中提煉出醫療知識，并合理高效地對其進行管理、共享及應用，這對當今的醫療行業具有重要意義，也是很多企業和研究機構的研究熱點。本文對醫學知識圖譜構建過程中的研究熱點、現有技術、挑戰及未來發展方向進行了綜述，具體見表9。醫學知識圖譜將知識圖譜與醫學知識結合，定會推進醫學數據的自動化與智能化處理，為醫療行業帶來新的發展契機。醫學知識圖譜未來總的發展方向應該體現以下幾個方面。
（1）多語言醫學知識圖譜 國內外醫學知識的相互融合促進更有利于醫學領域的發展，而實現不同國界醫學知識的相互溝通和交流，多語言醫學知識圖譜技術是關鍵，這會成為未來醫學知識圖譜發展的一個重要趨勢。
（2）大規模多模態多源醫學知識庫 受到多方面因素的影響，現有的醫學知識圖譜規模大多有局限，表現方式也較為單一，大多以文本和圖數據的形式呈現，但聲音、影像、圖片等也蘊含大量的醫學信息，在醫學臨床中也存在大量的醫療影像、X光等多模態信息，醫學知識的來源也可以來自書本、文獻、網頁、視頻等。因此未來醫學知識圖譜研究的一個熱點是構建大規模多模態多源的醫學知識庫。
（3）基于時空特性的知識演化和多粒度知識推理 研究基于深度學習與邏輯推理相互約束的大規模多粒度知識推理模型與方法，研制基于本體、規則與深度學習相結合的大規模知識推理系統，使其能夠對包含10億級RDF三元組的知識庫和萬級規則進行推理，平均響應時間在秒級，并具有良好的可伸縮性。在此基礎上，研究基于時空特性的知識演化模型與預測方法，研制知識演化系統，使其能夠實時地對知識庫進行更新，平均響應時間為秒級。
付費5元查看完整內容
個性化推薦系統能夠根據用戶的個性化偏好和需要，自動、快速、精準地為用戶提供其所需的互聯網資源，已成為當今大數據時代應用最廣泛的信息檢索系統，具有巨大的商業應用價值。近年來，隨著互聯網海量數據的激增，人工智能技術的快速發展與普及，以知識圖譜為代表的大數據知識工程日益受到學界和業界的高度關注，也有力地推動推薦系統和個性化推薦技術也邁入到知識驅動與賦能的發展階段。將知識圖譜中蘊含的豐富知識作為有用的輔助信息引入推薦系統，不僅能夠有效應對數據稀疏、語義失配等傳統推薦系統難以避免的問題，還能幫助推薦系統產生多樣化、可解釋的推薦結果，并更好地完成跨領域推薦、序列化推薦等具有挑戰性的推薦任務，從而提升各類實際推薦場景中的用戶滿意度。本文將現有融入知識圖譜的各種推薦模型按其采用的推薦算法與面向的推薦場景不同進行分類，構建科學、合理的分類體系。其中，按照推薦方法的不同，劃分出基于特征表示的和基于圖結構的兩大類推薦模型；按推薦場景劃分，特別關注多樣化推薦、可解釋推薦、序列化推薦與跨領域推薦。然后，我們在各類推薦模型中分別選取代表性的研究工作進行介紹，還簡要對比了各個模型的特點與優劣。此外，本文還結合當下人工智能技術和應用的發展趨勢，展望了認知智能推薦系統的發展前景，具體包括融合多模態知識的推薦系統，具有常識理解能力的推薦系統，以及解說式、勸說式、抗辯式推薦系統。本文的綜述內容和展望可作為推薦系統未來研究方向的有益參考。
//jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20210503&flag=1
付費5元查看完整內容
機器視覺
·
機器視覺是建立在計算機視覺理論工程化基礎上的一門學科，涉及到光學成像、視覺信息處理、人工智能以及機電一體化等相關技術。隨著我國制造業的轉型升級與相關研究的不斷深入，機器視覺技術憑借其精度高、實時性強、自動化與智能化程度高等優點，成為了提升機器人智能化的重要驅動力之一，并被廣泛應用于工業生產、農業以及軍事等各個領域。在廣泛查閱相關文獻之后，針對近十多年來機器視覺相關技術的發展與應用進行分析與總結，旨在為研究學者與工程應用人員提供參考。首先，總結了機器視覺技術的發展歷程、國內外的機器視覺發展現狀；其次，重點分析了機器視覺系統的核心組成部件、常用視覺處理算法以及當前主流的機器視覺工業軟件；然后，介紹了機器視覺技術在產品瑕疵檢測、智能視頻監控分析、自動駕駛與輔助駕駛與醫療影像診斷等四個典型領域的應用；最后分析了當前機器視覺技術所面臨的挑戰，并對其未來的發展趨勢進行了展望。希望為機器視覺技術的發展和應用推廣發揮積極作用。
付費5元查看完整內容
知識圖譜以圖的方式承載著結構化的人類知識。作為將知識整合進入人工智能系統的媒介, 知識圖譜的研究日益流行。知識圖譜在眾多人工智能相關的應用上嶄露頭角, 例如問答系統、 信息檢索、 自然語言處理、 推薦系統等。然而, 傳統的深度學習不能很好地處理知識圖譜這類非歐式數據。隨著圖神經網絡的快速發展, 幾何深度學習成為建模非歐式數據的重要理論。 本文以幾何深度學習的視角, 以圖神經網絡為重點, 總結了近期基于圖神經網絡的知識圖譜關鍵技術研究進展。具體地, 本文總結了知識圖譜中知識獲取、 知識表示、 知識推理這三個較為核心的研究領域, 并展望了未來的研究方向和前景, 探討知識圖譜在航空航天軍事上的潛在應用。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191