亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

時間序列數據的研究對于理解隨時間變化的趨勢和異常至關重要，使得在各個領域內能夠實現預測性洞察。另一方面，時空數據對于分析空間和時間中的現象至關重要，為復雜系統交互提供動態視角。近期，擴散模型在時間序列和時空數據挖掘中得到了廣泛應用。這些模型不僅增強了序列和時間數據的生成和推理能力，而且還擴展到其他下游任務。在本綜述中，我們全面而深入地回顧了擴散模型在時間序列和時空數據中的使用，按模型類別、任務類型、數據形態和實際應用領域進行分類。具體而言，我們將擴散模型分為無條件和有條件兩種類型，并分別討論時間序列數據和時空數據。無條件模型，即無監督運行的模型，被進一步細分為基于概率和基于分數的模型，服務于預測和生成任務，如預測、異常檢測、分類和填補。有條件模型則利用額外信息以增強性能，同樣也針對預測和生成任務進行劃分。我們的綜述廣泛涵蓋了它們在包括醫療保健、推薦系統、氣候、能源、音頻和交通等多個領域的應用，為這些模型如何分析和生成數據提供了基礎理解。通過這一結構化概覽，我們旨在為研究人員和實踐者提供關于時間序列和時空數據分析中擴散模型的全面理解，旨在通過解決傳統挑戰和探索擴散模型框架內的創新解決方案，引導未來的創新和應用。 //www.zhuanzhi.ai/paper/38a12a5bf6945d011c3aa4827f0df55a

擴散模型代表了一類概率生成模型，這些模型通過一個包括在一組訓練樣本中注入噪聲及其后續移除的兩步過程進行優化。這個過程包括一個前向階段，稱為擴散，以及一個反向階段，稱為去噪。通過訓練模型去除在擴散過程中加入的噪聲，模型在推斷過程中學會生成與訓練數據分布緊密對齊的有效數據樣本。 近年來，擴散模型在各個領域中獲得了顯著的關注并產生了重大影響，包括計算機視覺（CV）、自然語言處理（NLP）和一般的多模態學習。這挑戰了生成對抗網絡（GANs）長期的主導地位。在這些領域中，擴散模型在如文本到圖像轉換、實例分割、3D形狀生成、分子設計和音頻生成等應用中展示了卓越的能力。值得注意的是，擴散模型也作為一種非自回歸的替代方案，開始在傳統由自回歸方法主導的任務中獲得人氣。最近，OpenAI Sora的推出標志著擴散模型在模擬嵌入時空連續體的物理世界中的新進展，突顯了它們的關鍵重要性。

時間數據主要包括時間序列和時空數據，封裝了絕大多數現實世界系統的動態。這些時間數據形式已被廣泛研究，并被認為對眾多應用至關重要。然而，從各種數據形態中導出物理世界的普適動態法則仍然是該領域內的一個重大挑戰。最近，時間序列和時空建模領域經歷了從感知智能向通用智能的顯著轉變。這一轉變由具有廣泛時間數據分析能力的統一基礎模型（FMs）的出現所特征化，挑戰了特定領域模型的優勢。擴散模型在許多模態上實現了最先進的成果，包括圖像、語音和視頻。由于這些領域中廣泛且多樣的可用數據，擴散模型常作為生成型基礎模型與大型語言模型（LLMs）或其他基礎模型一同促進了這些領域的快速發展。 近年來，也出現了越來越多專為模擬時間序列和時空數據而設計的擴散模型。同時，我們也注意到越來越多的嘗試使用擴散模型進行時間建模。觀察擴散模型的成功，引發了一個引人入勝的問題：時間序列/時空數據分析與擴散模型的交叉會擦出什么樣的火花？

時間序列和時空數據分析基本上依賴于對它們固有的時間動態的深刻理解，其主要任務主要集中在骨干模型的生成能力上，例如預測、填補和生成。這些分析聚焦于為特定目的生成時間數據樣本，無論是有條件的還是無條件的。目睹了時間序列和時空基礎模型的最近發展，無論是基于LLMs構建還是從零開始訓練，它們的成功可以歸功于估計訓練樣本分布的能力，從中可以提取有效的數據表示。在這方面，擴散模型作為一個強大的生成框架出現，使得（1）模擬時間數據中的復雜模式成為可能，以及（2）支持廣泛的下游任務。為特定任務生成有效的數據樣本時，時間序列和時空擴散模型通常以無條件方式操作，無需監督信號。鑒于實際應用的部分觀察性質，有條件的擴散模型已經出現。它們利用數據標簽（例如指令、元數據或外來變量）來調控生成過程，從而使得有效的跨模態提示成為可能，導致更定制化和改進的結果。

我們在圖3中提出了一個發展路線圖。通過在大規模時間數據上訓練，擴散模型有效地填補了時間序列/時空數據生成的空白，并展示了在解決下一代以LLM為中心的時間數據代理的難題中的重大潛力。

盡管擴散模型在處理時間序列和時空數據方面展示了充滿希望的前景和迅速的進步，現有文獻中對這一模型家族的系統分析卻明顯不足。本文旨在通過提供一份前瞻性的綜述來彌補這一差距，闡明擴散模型適用于這些數據形態的原因（“為什么”）以及它們如何提供優勢的機制（“如何”）。在這份綜述中，我們提供了細的分類，進行了徹底的評審，并識別了這一迅速發展領域內的新興趨勢。我們的主要貢獻總結如下：

全面且最新的綜述。我們呈現了一個全面、最新且前瞻性的擴散模型在時間序列和時空數據應用的綜述。我們的調查強調了擴散模型適用于這些數據形態的適宜性，并討論了它們提供的益處。通過覆蓋領域的廣泛譜系和各個方法的細節，我們為讀者提供了對這一主題領域的深入洞見。

統一和結構化的分類。我們引入了一個清晰且有組織的框架，用于將現有文獻分類為兩種主要類型：無條件和有條件的擴散模型，重點關注時間序列和時空數據，這些數據涵蓋了預測性和生成性任務。這種分類為讀者提供了從多個角度對該主題的連貫路線圖。

洞察新興進展。我們討論了無條件和有條件擴散模型中的前沿技術，關注時間序列和時空數據。我們的覆蓋范圍包括最新技術和新興趨勢，如多模態有條件生成。

挑戰和未來方向的總結。我們確定了當前研究環境中面臨的關鍵挑戰，并突出了幾個未來探索的有希望方向。

本文的其余部分結構如下：第2節提供了關于擴散模型的全面背景，詳細介紹了它們的發展、理論基礎和各種實現。第3節呈現了對時間序列和時空數據應用擴散模型的結構化概覽和分類，為在第4節中更深入探討模型視角奠定了基礎，該節將討論標準和先進的擴散模型。第5節關注于任務視角，檢查擴散模型如何處理預測、生成、填補、異常檢測等任務。第6節討論數據視角，強調針對時間序列和時空數據的特定挑戰和解決方案。第7節探索擴散模型在各種領域的應用，如醫療、交通和能源，展示了它們的廣泛實用性。最后，第8節以對未來機會的展望和總結性評論結束本文。

本節提供了針對時間序列和時空數據分析挑戰的擴散模型的概述和分類。我們的調查沿四個主要維度組織討論：擴散模型的類別、任務類型、數據形態和實際應用。圖7中展示了相關工作的全面總結。現有文獻被分類為兩個主要組別：無條件和有條件的擴散模型，重點關注時間序列和時空數據。

在無條件類別中，擴散模型以無監督方式操作，生成數據樣本無需監督信號。這一設置代表了分析時間序列和時空數據的基礎方法。在此類別中，文獻可以進一步分為基于概率的和基于評分的擴散模型。例如，去噪擴散概率模型（DDPMs）[2]和基于評分的隨機微分方程（Score SDEs）[4]，[6]，如第2節所介紹。這一類別的研究廣泛地組織為兩個任務組：預測任務和生成任務。預測任務通常涉及預測和異常檢測，利用歷史數據和模式來預測當前和/或未來事件。相反，生成任務則專注于識別大型數據集中的模式以生成新內容，如時間序列的插值和增強。這些方法被開發用于兩種主要數據形態：時間序列和時空數據，以滿足包括醫療保健、能源、氣候、交通等多個領域的廣泛應用。

在有條件類別中，擴散模型被定制用于時間序列和時空數據的條件分析。實證研究表明，使用數據標簽的條件生成模型比它們的無條件對應物更易于訓練且性能更優[75]。在這一上下文中，標簽（也稱為條件）通常來自各種來源，例如提取的短期趨勢[34]和城市流量圖[35]，以增強模型推斷。這一類別采用基于概率和基于評分的擴散模型來應對預測和生成任務，提供了在特定約束下利用擴散模型應對時間序列和時空數據分析實際挑戰的新視角。

在對模型類別、任務類型、數據形態和應用領域的基礎理解的基礎上，我們更深入地探索了時間序列和時空數據分析中的擴散模型。每個部分都旨在解開擴散模型應用中固有的復雜性和細微差別，從多個視角提供全面概述。在第4節中，我們探討擴散模型的景觀，突出無條件和有條件方法之間的區別及其含義。第5節從預測和生成的視角分析任務，詳細說明了預測、生成、異常檢測和數據插值等具體功能。第6節檢查數據形態，區分時間序列和時空數據，概述模型挑戰和適用性。最后，第7節將討論擴展到應用領域，展示擴散模型在醫療、交通、序列推薦、氣候、能源和音頻等領域的廣泛實用性。這種結構化的探索旨在裝備讀者深入理解擴散模型處理復雜時間序列和時空數據挑戰的潛力和當前狀態。

可視圖是將時間序列轉換成復雜網絡的重要方法之一，也是連接非線性信號分析和復雜網絡之間的全新視角，在經濟金融、生物醫學、工業工程等領域均應用廣泛.可視圖的拓撲結構繼承了原始時間序列的重要性質，穩定且易于實現，通過可視圖網絡的相關統計特性，可區分特定時間序列數據下的特定行為.首先本文介紹了可視圖方法在時間序列復雜網絡分析中的相關研究，并通過必要性與可行性分析，充分說明可視圖方法的優勢所在.然后本文闡述了經典可視圖和水平可視圖方法的具體步驟及主要性質，從算法的過程改進、效率提升和可視圖應用幾個方面對現階段可視圖相關研究進行綜述，介紹了眾多可視圖方法的基本過程，分析了可視圖算法的識別抗噪能力和建網效率，并歸納整理了這些可視圖方法的主要特性與適用范圍.另外，本文復現了目前幾種主流可視圖算法，并公開相關的算法代碼以供參考使用.通過對可視圖相關研究的綜述分析，可了解現階段可視圖的主要研究方向，為未來相關研究提供思路，并為時間序列復雜網絡分析奠定基礎.

深度強化學習是一種兼具深度學習特征提取能力和強化學習序列決策能力的智能體建模方法，能夠彌補傳統對手建模方法存在的非平穩性適應差、特征選取復雜、狀態空間表示能力不足等問題。將基于深度強化學習的對手建模方法分為顯式建模和隱式建模兩類，按照類別梳理相應的理論、模型、算法，以及適用場景；介紹基于深度強化學習的對手建模技術在不同領域的應用情況；總結亟需解決的關鍵問題以及發展方向，為基于深度強化學習的對手建模方法提供較全面的研究綜述。

如何在合作、競爭的復雜任務場景中自主決策是當前人工智能領域所要解決的關鍵問題。在游戲人工智能、軍事仿真、自動駕駛、機器人集群控制等應用場景的多智能體系統中，智能體具有感知、記憶、規劃、決策、交流、行動等許多能力，其中對其他智能體行為、意圖、信念等的推理十分重要。在此過程中，智能體往往需要通過觀察其他智能體，建立除自身以外的其他智能體抽象模型，推理其行為、意圖、信念等要素，并用于輔助自身決策，此過程涉及到的方法被稱為對手建模(opponent modeling, OM)。對手建模不僅關注競爭場景下的敵方智能體建模，而且還考慮合作場景下的友方建模，因此，有些文獻又稱其為建模其他智能體。從理論上講，完全理性的智能體能夠做出當前條件下的最優策略，實現收益的最大化。然而，現實情況下的智能體通常只具有有限程度理性[1]，決策受到情緒、偏好等影響，往往以“滿意”作為收益標準。此外，基于規則的智能體，如產生式規則、啟發式算法等[2-4]，遵循預置規則機制，行為模式僵硬、易于預測、理性程度不足，對手建模技術使智能體能夠快速適應對手的行為方式并且在對抗中利用其弱點獲取更高收益，或在合作中使團隊獲得更大回報。現有的對手建模方法如策略重構、類型推理、意圖識別、遞歸推理等方法[5]，具有模型可解釋、認知推理層次深的特性。然而，要進一步應用于貼近現實的問題場景仍然存在動態環境適應性弱、特征選取復雜、狀態空間表示能力不足、方法在規模上的可擴展性不強等諸多缺陷。針對以上不足，研究者們將以深度Q網絡(deep Q network, DQN)[6]為代表的深度強化學習算法(deep reinforcement learning, DRL)引入到對手建模領域。其中，強化學習是智能體學習如何與環境交互，達到最大化價值和最優策略的自主決策算法。深度學習則能夠從高維感知數據中提取抽象特征，對復雜的價值函數和策略函數具有很強的擬合能力。DRL有機地結合了深度學習與強化學習，前者能夠增強感知與表達能力，后者提供最優決策能力，使基于DRL的對手建模(DRL-OM)技術對復雜環境中其他智能體具有更好的認知能力，目前已在德州撲克[7-8]、星際爭霸II[9]等多智能體問題場景取得優異的表現。DRL-OM是DRL方法在對手建模應用中的研究分支，涉及人工智能、神經科學、認知心理學、博弈論等眾多領域。有別于以往的對手建模方法[10]，DRL-OM研究涉及更復雜的應用場景、更多元的領域交叉，在問題特性、建模方式、應用場景上和傳統方法具有較大差異。雖然許多現有文獻[11-12]將對手建模領域的已有研究進行了匯總分類，但目前尚沒有將基于DRL方法的對手建模進行系統研究的綜述文章。此外，有關多智能體強化學習的綜述研究[13-14]也闡述了對手建模的應用，然而它們的內容普遍較少涉及對手建模原理，也沒有系統地分類和總結對手建模方法。隨著DRL越來越廣泛地應用在對手建模中，領域內涌現出許多嶄新的理論和方法，遠超現有文獻總結的涵蓋范圍。因此，本文將DRL算法作為研究出發點，基于對手的理性程度和建模機理提出不同于現有文獻[11-12]的對手建模分類標準。此外，對手建模技術的更新迭代為現實應用提供了機遇和挑戰，為此，本文匯總歸納了DRL-OM方法在應用領域的相關研究工作。

近年來，憑借大規模數據集和龐大的計算資源，使得以深度學習為代表的人工智能算法在諸多領域取得成功。其中計算機視覺領域的圖像分類技術蓬勃發展，并涌現出許多成熟的視覺任務分類任務模型。這些模型均需要利用大量的標注樣本進行訓練，但在實際場景中因諸多限制導致數據量稀少，往往很難獲得相應規模的高質量標注樣本。因此如何使用少量樣本進行學習已經逐漸成為當前的研究熱點。小樣本學習旨在通過少量樣本實現對新類別樣本的高效識別與處理。針對分類任務系統梳理了當前小樣本圖像分類的相關工作，小樣本學習主要采用元學習、度量學習和數據增強等深度學習方法。從有監督、半監督和無監督等層次歸納總結了小樣本圖像分類的研究進展和典型技術模型，以及這些模型方法在若干公共數據集上的表現，并從機制、優勢、局限性等方法進行對比分析。最后討論了當前小樣本圖像分類面臨的技術難點以及未來的發展趨勢。大規模標注數據集是深度學習成功的必要條 件之一[1-4]。在現實世界的真實場景中，許多領域并 不具有獲得大規模數據集的條件，這對于工作開展 十分不便；也有一些領域，涉及到隱私、成本、道 德等問題也很難獲得高質量數據。例如，在醫療診 斷領域，醫學圖像的來源是病例，而病例會因為隱 私等問題獲取難度較大；在半導體芯片缺陷檢測領 域，會面臨半導體芯片的型號不同和缺陷數據較少 等問題。為了解決諸多領域中數據有限和獲取難度較 大的問題，小樣本學習（Few-shot Learning，FSL） [5-8]方法被提出。小樣本學習是指訓練類別樣本較少 的情況下，進行相關的學習任務。機器通過學習大 量的基類(Base class)后，僅僅需要少量樣本就能快 速學習到新類(New class)。通常情況下，小樣本學 習能夠利用類別中的少量樣本，即一個或者幾個樣 本進行學習。例如，一個小朋友去動物園并沒有見 過‘黃鶯’這個動物，但是閱讀過有關動物書籍，書 籍上有‘黃鶯’的信息，通過學習書上的內容，小朋 友就知道動物園中那個動物是‘黃鶯’。這是因為人 們可以高效的利用以往的先驗知識，對現在的任務 快速理解。人們這種快速理解新事物的能力，也是 當前深度學習難以具備的。本文針對小樣本圖像分 類問題介紹小樣本學習的相關技術，主要介紹小樣 本圖像分類，小樣本圖像分類的最終目的是達到人 類的水平[9]。小樣本圖像分類問題建模如圖 1 所示。在圖示 中，將任務劃分為兩部分，訓練集(Training data)也 叫做支持集(Support data),其中分為 N 個數據類別, 每 N 個數據類別包括 K 個樣本，簡稱為 N-way K-shot 問題[10]。測試集(Test data)也叫做查詢集 (Query data)。查詢集的類別屬于支持集中的類別。解決 N-way K-shot 小樣本圖像分類問題，首先從輔 助的數據集學習先驗知識，再在標注有限的目標數 據集上利用已經學習的先驗知識進行圖像分類和 預測。

目前已經有一些關于小樣本學習各方面的綜述，趙凱琳等[11]對小樣本學習進行了綜述介紹，從基于模型微調、數據增強和遷移學習的三個方向來介紹小樣本學習的方法，并且進行了歸納總結；劉春磊等[12]將小樣本學習方法歸納為基于遷移學習的范式和基于元學習的范式，再按照改進策略的不同進行小樣本目標檢測綜述介紹；張振偉等[13]從基于度量學習、數據增強、模型結構、元學習等六個方面對小樣本目標檢測方法進行了總結分析。綜合近些年小樣本學習發展，元學習、度量學習和數據增強等深度學習方法已經逐漸成為解決小樣本圖像處理的主流方法。近些年來，隨著無監督[14]、半監督學習[15]和主動學習[16]的興起和發展，很多研究者也將其應用到小樣本圖像分類問題中。與這些不同綜述[11-13]不同，本文首先將這些方法在有監督、半監督和無監督三種范式下，如圖2 所示，再按照各種情況的不同方法，從度量學習、元學習、偽標注、對比學習等角度進行歸納總結，對比分析了這些方法的性能表現。并總結了各自的核心思想以及使用領域。文章的第一節介紹小樣本圖像分類框架及其數據集；第二、三、四節分別介紹在有監督、半監督和無監督情況下的小樣本圖像分類研究進展，以及在各種監督技術下的小樣本圖像分類方法總結和對比，第五、第六節對小樣本圖像分類方法核心思想、適用領域和優缺點進行對比分析，并提 出小樣本圖像分類的挑戰和未來發展方向。

推薦系統是一種通過理解用戶的興趣和偏好幫助用戶過濾大量無效信息并獲取感興趣的信息或者物品的信息過濾系統.目前主流的推薦系統主要基于離線的、歷史的用戶數據，不斷訓練和優化線下模型，繼而為在線的用戶推薦物品，這類訓練方式主要存在三個問題：基于稀疏且具有噪聲的歷史數據估計用戶偏好的不可靠估計、對影響用戶行為的在線上下文環境因素的忽略和默認用戶清楚自身偏好的不可靠假設.由于對話系統關注于用戶的實時反饋數據，獲取用戶當前交互的意圖，因此"對話推薦"通過結合對話形式與推薦任務成為解決傳統推薦問題的有效手段.對話推薦將對話系統實時交互的數據獲取方式應用到推薦系統中，采用了與傳統推薦系統不同的推薦思路，通過利用在線交互信息，引導和捕捉用戶當前的偏好興趣，并及時進行反饋和更新.在過去的幾年里，越來越多的研究者開始關注對話推薦系統，這一方面歸功于自然語言處理領域中語音助手以及聊天機器人技術的廣泛使用，另一方面受益于強化學習、知識圖譜等技術在推薦策略中的成熟應用.本文將對話推薦系統的整體框架進行梳理，將對話推薦算法研究所使用的數據集進行分類，同時對評價對話推薦效果的相關指標進行討論，重點關注于對話推薦系統中的后臺對話策略與推薦邏輯，對近年來的對話推薦算法進行綜述，最后對對話推薦領域的未來發展方向進行展望. //www.jos.org.cn/jos/article/abstract/6521

知識圖譜(KG)是一種用圖模型來描述知識和建模事物之間關聯關系的技術. 知識圖譜嵌入(KGE)作為一 種被廣泛采用的知識表示方法,其主要思想是將知識圖譜中的實體和關系嵌入到連續的向量空間中,用來簡化操作, 同時保留 KG 的固有結構.它可以使得多種下游任務受益,例如 KG 補全和關系提取等. 本文首先對現有的知識圖譜嵌入技術進行全面回顧,不僅包括使用 KG 中觀察到的事實進行嵌入的技術,還包括添加時間維度的動態 KG 嵌入方法, 以及融合多源信息的 KG 嵌入技術.對相關模型從實體嵌入、關系嵌入、評分函數等方面進行分析、對比與總結. 然后簡要介紹 KG 嵌入技術在下游任務中的典型應用,包括問答系統、推薦系統和關系提取等.最后闡述知識圖譜 嵌入面臨的挑戰,對未來的研究方向進行展望.

引言

知識圖譜(Knowledge Graph,KG)作為人工智能的一個分支,引起了學術界和工業界的廣泛關注,其構建與應用也得到了迅速發展.例如 Freebase[1] ,DBpedia[2] ,YAGO[3] ,NELL[4] ,Wikidata[5]等知識圖譜已經被成功創建并 應用于許多現實世界應用,從語義分析[6,7]、命名實體消歧[8,9] ,到信息提取[10,11]和問答系統[12,13]等.知識圖譜是以 現實世界的實體為節點,實體之間的關系為邊的有向圖.在這個圖中,每個有向邊連同其頭實體與尾實體構成了 一個三元組,即(頭實體,關系,尾實體),表示頭實體與尾實體通過關系進行連接.盡管知識圖譜在表示結構化數據 方面非常有效,但這種三元組的基本符號性質使 KG 難以操作[14] .

為了解決這個問題,近年來提出了一個新的研究方向,稱為知識圖譜嵌入(Knowledge Graph Embedding, KGE)或知識表示學習(Knowledge Representation Learning, KRL),旨在將 KG 的組成部分(包括實體和關系)嵌入 到連續的向量空間中,以在簡化操作的同時保留 KG 的固有結構.與傳統的表示方法相比,KGE 為 KG 中的實體 和關系提供了更加密集的表示,降低了其應用中的計算復雜度.此外,KGE 可以通過度量實體和關系低維嵌入的 相似性來顯式地捕獲實體和關系之間的相似性.

盡管研究者已提出多種模型來學習 KG 中的實體和關系表示,但是目前大多數可用的技術仍然僅根據知識 圖譜中觀察到的事實來執行嵌入任務.具體地說,給定一個 KG,首先在低維向量空間中表示實體和關系,并為每 個三元組定義一個評分函數以衡量其在該空間中的合理性.然后通過最大化觀察到的三元組的總合理性來學 習實體和關系的嵌入.這些學習的嵌入還可以進一步用于實現各種任務,例如 KG 補全[15,16] ,關系提取[10,17] ,實體 分類[18,19] ,實體解析[18,20]等.由于在整個過程中僅要求學習的嵌入在每個單獨的事實中兼容,因此對下游任務可 能沒有足夠的預測性[21,22] .近年來,越來越多的研究者開始進一步考慮利用其他類型的信息,例如實體類型 [23,24] ,文本描述[25-28] ,關系路徑[29-31] ,甚至邏輯規則[32,33]來學習更多的預測嵌入.

本文內容結構組織如下:第 1 節介紹相關工作調查與基本符號定義;第 2 節對僅使用 KG 中觀察到的事實進 行嵌入的技術進行全面回顧,具體介紹基于距離的模型,語義匹配模型以及最新的 KGE 技術;第 3 節主要討論了 融合時間信息的動態知識圖譜嵌入技術,詳細介紹 t-TransE、Know-Evolve、HyTE、TDG2E 等代表性的動態 KGE 方法;第 4 節歸納了除 KG 中觀察到的事實以外的結合附加信息的 KGE 技術,例如實體類別、文本描述、 關系路徑等.第 5 節介紹 KGE 技術在下游任務中的典型應用.第 6 節對 KGE 技術面臨的挑戰與未來研究方向 進行討論.最后,第 7 節對全文工作進行總結.

1 符號定義

知識圖譜嵌入旨在將 KG 中的實體和關系嵌入到一個低維連續的語義空間中.為了便于說明,本小節定義 幾種基本符號.首先,定義知識圖譜為 G=（E,R,S）.

2. 使用事實進行知識圖譜嵌入

本節對僅使用事實進行知識圖譜嵌入的方法采用評分函數進行劃分.評分函數用于衡量事實的合理性,在 基于能量的學習框架中也被稱為能量函數.典型類型的評分函數分為兩種:基于距離的評分函數(如圖 1(a))與基 于相似性的評分函數(如圖 1(b)).

2.1 基于距離的模型

基于距離的模型使用基于距離的評分函數,即通過計算實體之間的距離來衡量事實的合理性,在這種情況 下,翻譯原理 h+r=t, 被廣泛使用.也就是說,基于距離的模型通常由關系執行翻譯后,根據兩個實體之間的距離 來度量一個事實的合理性.本小節將基于距離的模型進一步細分為基本距離模型,翻譯模型和復雜關系建模.

基于距離的模型總結

2.2 語義匹配模型

語義匹配模型利用基于相似性的評分函數,即通過語義匹配來衡量事實的合理性.語義匹配通常采用乘法 公式圖片來變換表示空間中的頭實體,使其與尾實體相近.本節根據實體和關系編碼的不同模型結構來 介紹代表性的語義匹配模型.

語義匹配模型總結

2.3 最新的知識圖譜嵌入模型

大多數翻譯模型和雙線性模型是 2016 年之前提出的方法,而最近幾年研究 KGE 的方法眾多.本小節簡要 介紹其中的主流方法,具體劃分為卷積神經網絡模型,旋轉模型,雙曲幾何模型和其他模型.

最新的知識圖譜嵌入模型總結

第 2 節主要介紹了 3 大類知識圖譜嵌入方法,即:基于距離的模型,語義匹配模型與最新的 KGE 模型,并結 合已有的研究成果對其進行了分析.根據上述分析結果,表 5 從類別,方法,提出年份及優缺點四方面對這幾類知 識圖譜嵌入方法的部分代表模型進行對比.

3 動態知識圖譜嵌入

當前 KGE 的研究主要集中于靜態知識圖譜,其中事實不會隨時間發生變化,例如:TransE,TransH,TransR, RESCAL 等等.但是,在實際應用中,知識圖譜通常是動態的,例如 Twitter 中的社交知識圖,DBLP 中的引文知識 圖等,其中事實隨時間演變,僅在特定時間段內有效.以往的靜態 KGE 方法完全忽略了時間信息,這使得靜態 KGE 方法無法在這些實際場景中工作.因此,有必要設計一種用于動態知識圖譜嵌入的方法.

4 融合多源信息的知識圖譜嵌入

多源信息提供了知識圖譜中三元組事實以外的信息,能夠幫助構建更加精準的知識表示,僅使用事實進行 知識圖譜嵌入的方法忽略了蘊含在多源信息中的豐富知識,例如:實體類別信息、文本描述信息、關系路徑等. 充分利用這些多源信息對于降低實體與關系之間的模糊程度,進而提高推理預測的準確度至關重要.

5 知識圖譜嵌入的應用

近年來,知識驅動的應用在信息檢索和問答等領域取得了巨大成功,這些應用有望幫助準確深入地了解用 戶需求,并給出適當響應.知識圖譜嵌入方法的核心思想是將每個實體、關系表示為一個低維向量,而學習到的 實體、關系嵌入可以受益于多種下游任務.在本節中,我們將介紹 KGE 的典型應用.

5.1 基于知識圖譜嵌入的問答

隨著大規模知識圖譜的興起,基于知識圖譜的問答(QA)成為重要的研究方向,引起了人們的廣泛關注.現實 世界的領域中通常包含數百萬到數十億個事實,其龐大的數據量和復雜的數據結構使得用戶很難訪問其中有 價值的知識.為了緩解這個問題,提出了基于知識圖譜的問答(QA-KG). QA-KG 旨在利用知識圖譜中的事實來回答自然語言問題.可以幫助普通用戶在不知道 KG 數據結構的情 況下,高效地訪問 KG 中對自己有價值的知識.然而,由于涉及到語義分析[114]和實體鏈接[115,116]等多個具有挑戰 性的子問題,QA-KG 的問題還遠未得到解決.近年來,隨著 KGE 在不同的實際應用中表現出的有效性,人們開始 探索其在解決 QA-KG 問題中的一些潛在作用. Bordes 等人[117]基于訓練問題和問題釋義學習單詞,關系和實體的低維表示,以便將新問題和候選事實投影 到同一空間中進行比較.Yang 等人[118,119]利用問題和潛在事實的邏輯性質,將問題和候選答案投影到統一的低 維度空間中.還有一些基于深度學習的模型[120-124]通過將問題中的單詞輸入神經網絡來實現這種投影.

值得注意的是,最近,Huang 等人[125]提出了一個簡單有效的基于知識圖譜嵌入的問答框架(KEQA),旨在解 決簡單問題,即 QA-KG 中最常見的問題類型.KEQA 不是直接推斷問題的頭實體和謂詞,而是在 KGE 空間中聯 合恢復自然語言問題的頭實體,關系和尾實體表示來回答問題.最后,基于知識圖譜子集(FB2M、FB5M[125] )和問 答數據集 SimpleQuestions[117]進行實驗,通過與七個??最新提出的 QA-KG 算法進行對比,KEQA憑借在簡單問題 上獲得 20.3%的準確性改進獲得了優于所有基線的性能. 此外,為了驗證在使用不同的 KGE 算法時 KEQA 的 通用性,分別使用 TransE [15]、TransH [16]、TransR [43]執行知識圖譜嵌入,實驗結果表明 KGE算法顯著提高了 KEQA 的性能,與 KEQA_noEmbed??相比,KEQA 基于 TransE 時實現了 3.1%的改進,并且 KEQA 在使用不同的 KGE 算 法時性能相近,證明了 KEQA 的通用性,此外,即使不使用 KGE,KEQA 仍然可以獲得與最先進的 QA-KG 方法相 當的性能,驗證了 KEQA 的健壯性。

5.2 推薦系統

在過去的幾年中,利用知識圖譜的推薦系統已被證明與最先進的協作過濾系統具有競爭力,能有效地解決 新項目和數據稀疏性等問題[126-130] .最近,KGE 的流行促進了利用 KGE 捕獲實體語義進行推薦這一研究熱點, 使用 KGE 已被證明對推薦系統有效. Zhang 等人提出使用 TransR[43]的協作知識圖嵌入(collaborative knowledge base embedding,CKE)[131] ,以學 習結合視覺和文本嵌入的項目結構表示.深度知識感知網絡(deep knowledge-aware network,DKN) [132]利用 TransD[44]學習實體嵌入,并通過將它們與詞嵌入相結合來設計 CNN 框架,用于新聞推薦.但是,由于需要提前學 習實體嵌入,DKN 不能以端到端的方式進行訓練.為了實現端到端的訓練,MKR(multi-task feature learning approach for knowledge graph)[133]通過共享潛在特征和建模高階項-實體交互,將多任務知識圖譜表示和推薦關 聯起來.Ai 等人[134]通過 TransE[15]方法學習用戶和項目嵌入,并基于投影空間中的用戶-項目相似度評分進行推 薦.文獻[135]為優惠推薦任務提出了一個神經分解(neural factorization,NF)模型,以 KG 的形式對可用數據進行 建模,并使用 TransE 學習實體和關系的嵌入. 最近,Sha 等人提出了一種新穎的注意力知識圖譜嵌入(attentive knowledge graph embedding,AKGE)框架 [136] ,以更好地利用 KG 進行有效推薦.該框架以交互特定的方式充分利用了 KG 的語義和拓撲,為推薦結果提供 了可解釋性.此外,Ni 等人描述了一種用于 Wikipedia 的基于嵌入的實體推薦框架[137] ,該框架將 Wikipedia 組織 成一系列彼此重疊的圖,從它們的拓撲結構和內容中學習互補的實體表示,并將其與輕量級的學習方法相結合, 以推薦 Wikipedia 上的相關實體.通過使用 Wikipedia 作為框架的輸入,兩個實體推薦數據集??作為基礎事實,進 行離線和在線評估,證明了所產生的嵌入和推薦在質量和用戶參與度方面表現良好.

5.3 關系提取 關系提取(relation extraction,RE)是信息提取中的一項重要任務,旨在根據兩個給定實體的上下文來提取它 們之間的關系.由于 RE 具有提取文本信息的能力,并使許多自然語言處理應用受益(例如:信息檢索,對話生成, 問答等),因此受到很多研究者的青睞. 常規的監督模型已經在關系提取任務中得到深入研究,但是,它們的性能在很大程度上依賴于訓練數據的 規模和質量.為了構建大規模數據,Mintz 等人[138]提出了一種新穎的遠程監督(distant supervision,DS)機制,通過 將現有知識圖譜與文本對齊來自動標記訓練實例.DS 使 RE 模型能夠在大規模的訓練語料庫上工作,因此遠程 監督的 RE 模型[139-141]已經成為從純文本中提取新事實的主流方法.但是,這些方法僅在知識獲取中使用純文本 中的信息,而忽略了 KG 結構所包含的豐富信息.

受 KG 豐富的知識啟發,很多研究工作在 KG 的指導下擴展了 DS 模型.Weston 等人[142]提出將 TransE 與現 有的遠程監督的 RE 模型相結合以提取新的事實,并且獲得了較大改進.此外,Han 等人[143]提出了一種針對 KRL和 RE 的聯合表示學習框架,文獻[37]證實了現有的 KRL 模型可以有效增強遠程監督的 RE 模型.最近,Han 等人 [144]提出了一個通用的聯合表示學習框架,用于知識圖譜補全(knowledge graph completion,KGC)和從文本中提 取關系(relation extraction,RE)兩個任務,該框架適用于非嚴格對齊的數據.此外,Lei 等人[145]提出了一種具有雙 向知識提煉的神經關系提取框架,以協同使用不同的信息源,減輕了遠程監督關系提取中的噪聲標簽問題.但 是,這些工作忽略了關系之間的豐富關聯.Zhang 等人[146]提出 KG 中的關系符合三層層次關系結構(hierarchical relation structure,HRS),并擴展了現有的 KGE 模型:TransE,TransH 和 DistMult,以利用 HRS 的信息學習知識表 示.Zhang 等人在 FB15k[15]、FB15k237[147]、FB13 [78]、WN18[15]和 WN11[78]數據集上進行了鏈接預測和三元組 分類任務的實驗評估,結果表明,相比于原始模型以及其他基線模型 TransE、TransH、DistMult,擴展模型 (TransE-HRS、TransH-HRS、DistMult-HRS)始終獲得最佳性能,驗證了模型的有效性,同時也證明了考慮關系結 構對于 KG 補全非常有效.

6 挑戰與展望

目前,KGE 作為處理大型知識圖譜的一種方便有效的工具,被廣泛探索并應用于多種知識驅動型任務,極大 地提高了任務的性能,同時也存在許多可能的有待探索的領域.在本小節中,我們將討論 KGE 面臨的挑戰及其 未來研究方向.

6.1 面臨的挑戰 6.1.1 探索 KG 的內部和外部信息 KG 中的實體和關系具有復雜的特性和豐富的信息,而這些信息尚未得到充分考慮.本小節將討論為增強 KGE 方法的性能而需要進一步探索的內部和外部信息.

知識類型:不同的 KGE 方法在處理 1-1,1-N,N-1 和 N-N 關系時具有不同的性能,這表明針對不同類型的知 識或關系需要設計不同的 KGE 框架.然而,現有的 KGE 方法簡單地將所有關系分為 1-1,1-N,N-1 和 N-N 關系, 不能有效地描述知識的特征.根據知識的認知和計算特性,現有知識可分為以下幾種類型:(1)表示實體之間從屬 關系(如 has part).(2)表示實體屬性信息(如 nationality).(3)表示實體之間的相互關系(如 friend of).這些不同類型 的關系應該采用不同的方式建模.

多語言嵌入:文獻[40]觀察到不同語言的向量空間之間對應概念的幾何排列具有很強的相似性,并提出兩個 向量空間之間的跨語言映射在技術上是可行的.多語言 KG 對于知識共享具有重要意義,并且在跨語言信息檢 索,機器翻譯,問答等領域發揮著重要作用.然而,現有的關于多語言 KG 嵌入的研究很少,因此多語言 KGE 的研 究是一項有待解決的有意義但又具有挑戰性的工作.

多源信息學習:隨著網絡技術的快速發展,如今的互聯網不僅包含頁面和超鏈接,音頻、圖片和視頻等多源 信息也越來越多地出現在網絡上.因此,如何高效地利用從文本到視頻的多源信息已成為 KGE 中的一個關鍵且 具有挑戰性的問題.現有的利用多源信息的方法尚處于初步階段,諸如社交網絡之類的其他形式的多源信息仍 然獨立于知識圖譜表示的構建,因此還有待進一步研究.

One-shot/Zero-shot 學習:近年來,One-shot/Zero-shot 學習在單詞表示,情感分類,機器翻譯等各個領域中蓬 勃發展.One-shot/Zero-shot 學習的目的是從一個只有少量實例的類或一個從未見過的類的實例中學習,在知識 圖譜表示中,一個實際的問題是低頻實體和關系的學習比高頻實體和關系的學習更差.然而,借助實體和關系的 多語言和多模態表示,低頻實體和關系的表示可以在一定程度上得到改善.此外,有必要設計新的 KGE 框架,使 其更適合于低頻實體和關系的表示學習.

6.1.2 知識應用的復雜性

KG 在各種應用中發揮著重要的作用,例如 Web 搜索,知識推理和問答.但是,由于現實世界中知識應用的復 雜性,難以高效地利用 KG.在本小節中,將討論在實際應用中使用 KG 時遇到的問題. KG 質量低:知識應用的主要挑戰之一是大型 KG 本身的質量問題.Freebase,DBpedia,Yago,Wikidata 等典型 的 KG 通常是從互聯網上的大量純文本中自動獲取知識來獲取事實三元組.由于缺乏人工標注,這些 KG 遭受噪 音和矛盾的問題.當涉及到實際應用時,這些噪音和矛盾將導致錯誤傳播.因此,如何自動檢測現有 KG 中的矛盾 或錯誤已成為將 KG 的信息納入實際應用中的重要問題. KG 體積過大:現有的 KG 過于繁瑣,無法有效地部署在實際應用中.此外,由于 KG 的體積過大,現有的一些 方法由于計算復雜度的問題也并不實用.因此,有必要在現有的方法上進行改進. KG 不斷變化:隨著時間推移,不斷有新的知識產生.現有的 KGE 方法由于其優化目標與 KG 中的所有事實 三元組相關,因此每次 KG 發生變化時都需要從頭開始重新學習模型.如果在實際應用中使用 KG,那么它既費時 又不實用.因此,設計一種可以進行在線學習并逐步更新模型參數的 KGE 框架對 KG 的應用至關重要.

6.2 未來方向 6.2.1 統一框架 一些知識圖譜表明學習模型已經被證明是等價的.例如,文獻[68]證明 HolE 和 ComplEx 在數學上等價于具 有某些約束的鏈接預測.ANALOGY[69]提供了包括 DistMult,ComplEx 和 HolE 在內的幾種代表性模型的統一視 圖.Wang 等人[62]探討了幾種雙線性模型之間的聯系.Chandrahas 等人[159]探索了加法和乘法 KGE 模型的幾何理 解.大多數工作使用不同的模型來描述知識獲取和關系提取.然而,以類似于圖網絡統一框架的方式進行的統一 研究[158]是彌合研究差距的一種有價值的方法.

6.2.2 可解釋性 知識表示的可解釋性是知識獲取和實際應用中的關鍵問題.現有方法已為可解釋性作出了初步努力. ITransF[51]采用稀疏向量進行知識遷移,通過注意力可視化進行解釋.CrossE[92]利用基于嵌入的路徑搜索生成對 鏈接預測的解釋,探索了知識圖譜的解釋方案.然而,這些神經模型在透明度和可解釋性方面受到了限制,一些 方法結合邏輯規則來提高互操作性,從而將黑盒神經模型與符號推理相結合.因此,應該進一步研究可解釋性并 提高預測知識的可靠性.

6.2.3 可擴展性 在大規模知識圖譜中,可擴展性非常重要.幾種嵌入方法利用簡化來降低計算代價,例如,通過循環相關運 算簡化張量積[66] .但是,這些方法仍然難以擴展到數以百萬計的實體和關系中.最近的神經邏輯模型[161]中的規 則是由簡單的蠻力搜索產生的,這使得它們在大規模知識圖上表現不足.ExpressGNN[162]試圖使用 NeuralLP [163] 進行有效的規則歸納.但是,要處理繁瑣的深層架構和不斷增長的知識圖還需要進一步完善. 6.2.4 自動構建 當前的 KG 高度依賴于人工構建,這是勞動密集且昂貴的.知識圖譜在不同認知智能領域的廣泛應用需要 從大規模的非結構化內容中自動構建知識圖譜.最近的研究主要是在現有知識圖的監督下進行半自動構建.面 對多模態,異構性和大規模應用,自動構建仍然是未來亟待解決的重要問題.

7 總結

知識圖譜作為一種語義網絡擁有極強的表達能力和建模靈活性,可以對現實世界中的實體、概念、屬性以 及它們之間的關系進行建模.隨著最近出現的知識表示學習、知識獲取方法和各種知識圖譜應用,知識圖譜引 起了越來越多的研究關注.知識圖譜嵌入旨在將實體和關系嵌入到連續向量空間中,在各種面向實體的任務中得到了重要應用.本文圍繞知識圖譜嵌入技術的研究現狀,通過回顧僅使用事實進行知識圖譜嵌入的方法、添 加時間維度的動態 KGE 方法以及融合多源信息的 KG E 技術介紹了現有的知識圖譜嵌入技術.并簡要討論了 KGE 技術在下游任務中的實際應用.最后總結了知識圖譜嵌入領域所面臨的挑戰,并對其未來的方向做出展望. 我們進行這項調查的目的是對當前 KGE 的代表性研究工作進行總結,并且希望這一探索可以為 KGE 的未來研 究提供幫助.

面向知識圖譜的知識推理旨在通過已有的知識圖譜事實，去推斷新的事實，進而實現知識庫的補全。近年來，盡管基于分布式表示學習的方法在推理任務上取得了巨大的成功，但是他們的黑盒屬性使得模型無法為預測出的事實做出解釋。所以，如何設計用戶可理解、可信賴的推理模型成為了人們關注的問題。本文從可解釋性的基本概念出發，系統梳理了面向知識圖譜的可解釋知識推理的相關工作，具體介紹了事前可解釋推理模型和事后可解釋推理模型的研究進展；根據可解釋范圍的大小，本文將事前可解釋推理模型進一步細分為全局可解釋的推理和局部可解釋的推理；在事后解釋模型中，本文回顧了推理模型的代表方法，并詳細介紹提供事后解釋的兩類解釋方法。此外，本文還總結了可解釋知識推理在醫療、金融領域的應用。隨后，本文對可解釋知識推理的現狀進行概述，最后展望了可解釋知識推理的未來發展方向，以期進一步推動可解釋推理的發展和應用。

//www.jos.org.cn/jos/article/abstract/6522

知識圖譜（Knowledge Graph）本質是一種語義網絡，通常用 (頭實體，關系，尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關系。自谷歌提出知識圖譜概念以來，知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據，但是這樣大規模的數據仍然不完整，大量缺失的三元組嚴重限制了這些下游任務的性能。知識推理，這一旨在根據一定的推理機制去預測圖譜中缺失三元組的任務，也吸引了學術界越來越多的目光。

早在 2013 年，Li 等人[1] 提出利用表示學習的方法去做知識推理，通過將實體和關系映射到低維連續 的向量空間，將推理預測任務轉化為實體與關系所關聯的簡單的向量/矩陣操作。鑒于該方法的自由度高、 可計算性好、推理效率高等優點，該類方法在近幾年得到了廣泛關注和發展，并且廣泛的應用在推薦系統、 對話生成等互聯網場景。在這些場景下，研究者們更多的關注如何提高知識推理的性能，忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時，通常來說，并不會招致非常嚴重的后果。然而，在當今人工智能技術應用的大趨勢下，知識推理不僅可以應用在上述互聯網場景，而且越來越 多的被應用在和人類的生產生活息息相關的一些領域（例如，智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]），這些領域往往對模型的安全性能要求較高，風險高度敏感。例如，在醫療領域，推理的可 靠性會關系到人的生命安全。通常來說，在這些領域，僅僅獲得預測結果是不夠的，模型還必須解釋是怎 么獲得這個預測的，來建立用戶和推理模型之間的信任。

隨著深度學習的發展，知識推理方法的模型結構越來越復雜，僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方面優于人類，但由于用戶無 法對這類模型里的參數、結構、特征產生直觀理解，對于模型的決策過程和模型的推理依據知之甚少，對 于模型的決策過程知之甚少，不知道它何時會出現錯誤，在風險敏感的領域中，用戶仍然無法信任模型的 預測結果。因此，為了建立用戶和推理模型之間的信任，平衡模型準確率和可解釋性之間的矛盾，可解釋 性知識推理在近幾年的科研會議上成為關注熱點。

盡管有很多學者對知識推理領域進行了深入的研究，并從不同的角度（如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等）對推理模型進行梳理和總結。然而，在推理模型的可解釋性方面 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展，本文對現有的可解釋推理模型進行了 系統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性，并介紹常見的 可解釋模型劃分標準；然后，根據解釋產生的方式，對現有的可解釋知識推理模型進行總結和歸類，并討 論相關方法的局限性；接著，簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最后，本文討論可 解釋知識推理面臨的挑戰以及可能的研究方向。

1 可解釋的知識推理

在詳細介紹現有的可解釋知識推理模型之前，首先介紹知識推理的基本概念，接著對什么是可解釋性 （Interpretability），以及為什么要在推理任務中注重可解釋性進行介紹，最后對本文的劃分標準做簡要說明。

1.1 知識推理的基本概念

2012 年，谷歌正式提出知識圖譜的概念，用于改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關系，其中 h 代表頭實體， r 代表實體之間的關系， t 代表尾實體。例如（詹姆斯·卡梅隆，執導，泰坦尼克號）即是一個三元組，其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”，“執導”是兩個實體之間的關系。代表性的知識圖譜，如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等，雖然包含數以億計的三元組，但是卻面臨非常嚴重的數據缺失問題。據 2014 年的統計，在 Freebase 知識庫中，有 75%的人沒有國籍信息，DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重制約了知識圖譜在下游任務中的效能發揮。因此，如何讓機器自動基于知 識圖譜中的已有知識進行推理，從而補全和完善知識圖譜，成為了工業界和學術界都亟待解決的問題。

總的來說，面向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法，根據知識圖譜中已 有的三元組去推理出缺失的三元組，從而對知識圖譜進行補充和完善。例如，已知（詹姆斯·卡梅隆，執導， 泰坦尼克號）和（萊昂納多·迪卡普里奧，出演，泰坦尼克號），可以得到（詹姆斯·卡梅隆，合作，萊昂納 多·迪卡普里奧）。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全（又稱之為鏈接預測）[1,27,94,95]兩個 任務[117] ，其中，知識圖譜去噪任務專注于知識圖譜內部已有三元組正確性的判斷；而知識圖譜補全專注 于擴充現有的圖譜。根據要推理元素的不同，知識圖譜補全任務可以進一步細分為實體預測和關系預測。其中，實體預測是指給定查詢 ( ,r,?) h ，利用已有事實的關系，推理出另一個實體并由此構成完整三元組， 同理，關系預測則是指給定查詢 ( ,?, t) h ，推理給定的頭尾實體之間的關系。由于知識圖譜中大多數三元組 都是正確的，知識圖譜去噪任務通常采用對已有三元組進行聯合建模并進一步判斷特定三元組是否成立的 方法。在這種情況下，知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此，在下面的內容里，本 文以知識圖譜補全任務為中心，對相關的可解釋性方法進行梳理和總結。

1.2 可解釋性及其在知識推理中的必要性

目前學術界和工業界對于可解釋性沒有明確的數學定義[62] ，不同的研究者解決問題的角度不同，為 可解釋性賦予的涵義也不同，所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller （2017）[2,42]所提出，指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易于理解，那么它就比另一個模型具有更高的可解釋性。

在某些情況下，我們不必關心模型為什么做出這樣的預測，因為它們是在低風險的環境中使用的，這 意味著錯誤不會造成嚴重后果（例如，電影推薦系統），但是對于某些問題或任務，僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎么獲得這個預測的，因為正確的預測只部分地解決了原始問題。通常來說， 以下三點原因推動了對可解釋性的需求：

1、高可靠性要求。盡管可解釋性對于一些系統來說并不是不可或缺的，但是，對于某些需要高度可靠 的預測系統來說很重要，因為錯誤可能會導致災難性的結果（例如，人的生命、重大的經濟損失）。可解釋性可以使潛在的錯誤更容易被檢測到，避免嚴重的后果。此外，它可以幫助工程師查明根 本原因并相應地提供修復。可解釋性不會使模型更可靠或其性能更好，但它是構建高度可靠系統 的重要組成部分。

2、道德和法律要求。第一個要求是檢測算法歧視。由于機器學習技術的性質，經過訓練的深度神經網 絡可能會繼承訓練集中的偏差，這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題，例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因，希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外，推理模型目前也被用于新 藥的發現和設計[124] 。在藥物設計領域，除了臨床測試結果以外，新藥還需要通常還需要支持結 果的生物學機制，需要具備可解釋性才能獲得監管機構的批準，例如國家藥品監督管理局 (NMPA)。

3、科學發現的要求。推理模型本身應該成為知識的來源，可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時，它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。

1.3 本文的劃分標準

根據不同的劃分標準，知識推理模型可以被劃分成不同的類別。其中，根據解釋產生的方法，可以將 推理模型劃分為兩大類：事前可解釋和事后可解釋[41,62,96,97,102,118]。其中，事前可解釋模型主要指不需要額 外的解釋方法，解釋蘊含在自身架構之中的模型。事后可解釋性是指模型訓練后運用解釋方法進行推理過 程和推理結果的解釋，解釋方法自身是不包含在模型里面的。一種方法被看作能夠對黑盒模型進行解釋， 是指該方法可以：（1）通過可解釋和透明的模型（例如，淺決策樹、規則列表或者稀疏線性模型）對模型 的行為進行近似，可以為模型提供全局的可解釋；（2）能夠解釋模型在特定輸入樣例上進行預測的原因；（3）可以對模型進行內部檢查，了解模型的某些特定屬性，譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是，可以將事后解釋方法應用于事前可解釋的模型上，例如，可以 從敏感性分析的角度對事前模型進行剖析。此外，根據可解釋的范圍大小----是否解釋單個實例預測或整個 模型行為，可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96]；根據解釋方法是否特定于模型，可以 將模型劃分為特定于模型和模型無關兩種類別[96] 。在接下來的內容里，本文按照解釋產生的方式，對知 識推理模型進行總結和歸類。

隨著數據采集技術的進步,帶有地理位置信息的時空數據迅速增長,迫切需要探索有效的時空數據建模方法。時空序列預測是時空數據建模的基礎方法之一,它廣泛應用于很多領域。目前缺乏對它進行綜述的中文文獻,因而對這些方法進行歸納和總結具有重要的研究意義。針對時空序列預測問題進行了研究,首先回顧了其應用背景和發展歷程,介紹了它的相關定義及特點。然后按其類別介紹了傳統的時空序列預測方法、基于傳統機器學習的時空序列預測方法和基于深度學習的時空序列預測方法,并分析了這些方法的應用范圍和優缺點。最后對時空序列預測未來的研究方向進行了梳理和展望,為研究者們進一步深入研究時空序列預測問題奠定了理論基礎。

//kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDAUTO&filename=JSYJ202010001&v=Dhm5rO5ZeYgyZbNpnHoaIPZm2jZat5Y1%25mmd2BxLMLQnQvulreqkfkSD6lv0FxAe0uh1D

知識圖譜是人工智能的重要基石，因其包含豐富的圖結構和屬性信息而受到廣泛關注.知識圖譜可以精確語義描述 現實世界中的各種實體及其聯系，其中頂點表示實體，邊表示實體間的聯系.知識圖譜劃分是大規模知識圖譜分布式處理的 首要工作，對知識圖譜分布式存儲、查詢、推理和挖掘起基礎支撐作用.隨著知識圖譜數據規模及分布式處理需求的不斷增 長，如何對其進行劃分已成為目前知識圖譜研究熱點問題.從知識圖譜和圖劃分的定義出發，系統性地介紹當前知識圖譜數 據劃分的各類算法，包括基本、多級、流式、分布式和其他類型圖劃分算法.首先，介紹 4 種基本圖劃分算法：譜劃分算法、 幾何劃分算法、分支定界算法、KL 及其衍生算法，這類算法通常用于小規模圖數據或作為其他劃分算法的一部分；然后， 介紹多級圖劃分算法，這類算法對圖粗糙化后進行劃分再投射回原始圖，根據粗糙化過程分為基于匹配的算法和基于聚合的 算法；其次，描述 3 種流式圖劃分算法，這類算法將頂點或邊加載為序列后進行劃分，包括哈希算法、貪心算法、Fennel 算法，以及這 3 種算法的衍生算法；再次，介紹以 KaPPa、JA-BE-JA 和輕量級重劃分為代表的分布式圖劃分算法及它們的 衍生算法；同時，在其他類型圖劃分算法中，介紹近年來新興的 2 種圖劃分算法：標簽傳播算法和基于查詢負載的算法。通 過在合成與真實知識圖譜數據集上的豐富實驗，比較了 5 類知識圖譜代表性劃分算法在劃分效果、查詢處理與圖數據挖掘方 面的性能差異，分析實驗結果并推廣到推理層面，獲得了基于實驗的知識圖譜劃分算法性能評價結論。最后，在對已有方法 分析和比較的基礎上，總結目前知識圖譜數據劃分面臨的主要挑戰，提出相應的研究問題，并展望未來的研究方向.