近年來，以深度學習模型為基礎的人工智能研究不斷取得突破性進展，但其大多具有黑盒性，不 利于人類認知推理過程，導致高性能的復雜算法、模型及系統普遍缺乏決策的透明度和可解釋性。在國 防、醫療、網絡與信息安全等對可解釋性要求嚴格的關鍵領域，推理方法的不可解釋性對推理結果及相關 回溯造成較大影響，因此，需要將可解釋性融入這些算法和系統中，通過顯式的可解釋知識推理輔助相關 預測任務，形成一個可靠的行為解釋機制。知識圖譜作為最新的知識表達方式之一，通過對語義網絡進行 建模，以結構化的形式描述客觀世界中實體及關系，被廣泛應用于知識推理。基于知識圖譜的知識推理在 離散符號表示的基礎上，通過推理路徑、邏輯規則等輔助手段，對推理過程進行解釋，為實現可解釋人工 智能提供重要途徑**。針對可解釋知識圖譜推理這一領域進行了全面的綜述。闡述了可解釋人工智能和知識 推理相關概念**。詳細介紹近年來可解釋知識圖譜推理方法的最新研究進展，從人工智能的 3 個研究范式角度 出發，總結了不同的知識圖譜推理方法。提出對可解釋的知識圖譜推理研究前景和未來研究方向。
1. 引言
隨著信息技術的不斷發展，人工智能實現了 從能存會算的“計算智能”，到能聽會說、能看會 認的“感知智能”[1-3]，再到下一階段具備理解、 推理和解釋能力的“認知智能”[4-6]的逐漸演變， 這 3 個階段的實現難度和價值同時逐次提升。然 而，在以深度學習為主導的人工智能技術中，大 多數的模型是不透明的，即模型在產生高精度結 果的同時，不能提供必要的解釋過程。模型的不 可解釋性嚴重影響了人們對模型決策的信任程 度，其可靠性和魯棒性均受到廣泛質疑[7]，特別 在國防、醫療和網絡與信息安全等領域的許多關 鍵應用[8-11]中，保證系統所做出的決策具備透明 性和可解釋性是非常重要且必要的。知識推理是人類智能活動的重要組成部分， 一直以來也是人工智能的核心研究內容之一。 DeepMind 指出人工智能算法必須具備推理能力， 且推理過程需要依靠人的先驗知識[12]，對推理的 結果形成必要的解釋。作為目前知識推理最新的 知識表達方式，知識圖譜[13]技術是一種實現可解 釋人工智能的可能解決方案[14]，通過將不同數據 源中的數據統一結構，實現對多源信息的語義網 絡建模，為真實世界的各個推理任務提供概念、 關系和屬性等可解釋因素。 以安全領域的知識圖譜為例，該領域主要包 括網絡空間測繪圖譜、漏洞知識圖譜、惡意樣本 知識圖譜、攻擊路徑推理圖譜等。通過威脅建模 的方式，對多源異構的網絡安全領域信息進行加 工、處理、整合，轉化成為結構化的安全領域知 識庫，實現從威脅實體和關系的視角出發，識別威 脅以及對威脅進行評估。同時，在從圖譜海量數據 中挖掘、推理威脅的實體相關信息過程中，只有通 過可解釋的知識推理方法，才能進一步為推理結果 的安全可靠提供保證，提高威脅分析的效率。 在長期的研究和實踐過程中，研究人員相繼 總結了有關知識圖譜推理的不同技術，并嘗試從 不同的角度（如推理長度[15]、分布式表示[16]、圖 嵌入[17]）對推理模型進行綜述。然而，對于推理 模型的可解釋性則缺少相關的總結與對比。同時， 人工智能的可解釋性越來越受到人們的重視，可 解釋知識推理在近幾年的學術界和工業界中逐漸 成為關注熱點，知識推理領域缺少較為全面且詳 細的針對可解釋知識圖譜推理的綜述文章。 本文通過廣泛整理與可解釋知識圖譜推理相 關的文獻，在介紹相關知識推理的基本概念及可 解釋性定義的基礎上，從人工智能研究范式的角 度出發，詳細闡述符號主義中的可解釋知識圖譜 推理方法、行為主義中的可解釋知識圖譜推理方 法、連接主義中的可解釋知識圖譜推理方法和新 型混合的可解釋知識圖譜推理方法，詳細說明了 在不同場景下，各類可解釋知識圖譜推理方法的 核心思想及改進過程。本文還討論了可解釋知識 圖譜推理的未來研究方向及前景。**1 可解釋的知識圖譜推理概述 **1.1 可解釋性的定義 目前業界較為認可的可解釋性定義為“可解 釋性是一種以人類認識、理解的方式給人類提供 解釋的能力”[5]。雖然人工智能技術不斷取得突破性進展，高 性能的復雜算法、模型及系統卻普遍無法向人類 用戶解釋它們的自主決策和行為，缺乏決策邏輯 的可解釋性[18]。如圖 1 所示，很多機器學習方法 在模型性能和可解釋性之間存在不平衡現象，往 往模型越復雜越難以解釋[14]，這對模型后期的應 用和優化產生很大的影響，因此人們大多基于經 驗來調整模型參數以達到優化模型的目的[19]，然 后通過觀察結果來判定操作的正確與否，充滿盲 目性與隨機性，忽略了模型可解釋性的重要性。 可解釋性對于用戶有效地理解、信任和管 理人工智能應用至關重要[6]，它與深度神經網 絡中“黑匣子”的概念形成鮮明對比。不可解 釋的模型在實踐中經常出現難以預測正確結果 的情況，這在低風險的環境中，不會造成嚴重 后果（如視頻推薦系統），而對于可靠性要求較 高的系統則很危險[20]（如醫療、法律和信息安 全領域），模型必須解釋如何獲得相關預測。可 解釋人工智能（XAI，explainable artificial intelligence）則提供了一種信任的基礎，在此基 礎上，人工智能才能在更大范圍發揮作用，有助 于識別潛在的錯誤，進而改進模型[4]，提高信息 服務質量，滿足道德和法律的規范要求，為用戶 提供更智能的服務。
1.2 知識圖譜及相關推理任務
知識圖譜是人工智能的核心技術之一[13]，作為 一種新型的知識表示方法，知識圖譜中包含大量的 先驗知識，并以結構化三元組的形式組織海量信息， 通過實體和關系的形式將不同的數據源進行關聯和 深度融合。目前，大量的知識圖譜，如 Yago[21]、 Dbpedia[22]和 Freebase[23]已經開發，相關技術已被廣 泛應用在智能問答[24]、推薦系統[25]和信息安全[26]等 任務中，其突出表現在學術界與工業界均獲得了廣 泛關注[27-28]。網絡空間知識圖譜示例[29]如圖 2 所示。
知識推理[15]則是從已知的知識出發，經過推 理挖掘，從中獲取所蘊含的新事實，或者對大量 已有知識進行歸納，從個體知識推廣到一般性知 識的過程。早期的推理研究大多在邏輯描述與知 識工程領域，很多學者提倡用形式化的方法來描 述客觀世界，認為一切推理是基于已有的邏輯知 識，如一階邏輯和謂詞邏輯，如何從已知的命題 和謂詞中得出正確的結論一直是研究的重點。近 些年，隨著互聯網數據規模的爆炸式增長，傳統 的基于人工建立知識庫的方法不能適應大數據時 代對大量知識的挖掘需求。數據驅動的推理方法 逐漸成為知識推理研究的主流[30]。 面向知識圖譜的知識推理即在知識圖譜的圖 結構上，結合概念、屬性和關系等知識，通過相 關推理技術，進行知識推理的過程。知識圖譜中 所包含的概念、屬性和關系天然可用于解釋[31-32]， 且更符合人類對于解釋的認知，方便為真實世界 的推理和解釋場景進行直觀建模，因此當前基于 知識圖譜的知識推理方法成為知識推理領域的典 型代表。下文中的“知識推理”如未加特別說明， 特指“面向知識圖譜的知識推理”。
知識圖譜推理任務主要包括知識圖譜補全和 知識圖譜去噪。前者是通過推斷出新的事實，擴 充知識圖譜，包括實體預測、關系預測、屬性預 測等任務。其中最為核心的任務是實體預測和關 系預測，實體預測是指利用給定的頭實體和關系 （或者關系和尾實體）找出有效三元組的尾實體 （頭實體）；關系預測是指通過給定頭實體和尾實 體，推理出兩者間的關系。后者關注圖譜中已知 的知識，對于已經構建的圖譜中三元組的正誤進 行評判，但從本質上來講，兩者其實是在評估三 元組的有效性。除此之外，知識推理在下游的信 息檢索、智能問答和推薦系統中也發揮著重要的 作用，在智慧醫療、網絡與信息安全等領域顯現 出良好的應用場景[27-28]。
1.3 基于知識圖譜的可解釋知識推理
知識推理的可解釋性或者可解釋的知識推理， 是人工智能可解釋性的子問題[33]。與研究深度學習 算法的可解釋性不同，可解釋知識推理的目的是從 已知的知識出發，經過可解釋的推理方法，最終獲 取知識庫中蘊含的新知識。目前基于知識圖譜的可解釋知識推理是該領域前沿的研究方向之一，其在 可解釋知識推理上有諸多優勢，具體如下。 首先，知識圖譜在表示模式上具有可解釋優 勢。知識表示是為描述世界所做的一組約定，是 知識的符號化、形式化或模型化的過程。常見的 知識表示方法包括謂詞邏輯表示法、產生式表示 法和分布式知識表示法等，作為一種新型的知識 表示方法，相對于這些傳統的知識表示方法，如 產生式表示法，知識圖譜具有語義豐富、結構友 好、知識組織結構易于理解的優點。
其次，基于知識圖譜的推理在推理過程中具 有可解釋的優勢。人類認識世界、理解事物的過 程，大多是在利用概念、屬性、關系進行理解和 認知，如對于問題“為什么鳥兒會飛？”，人類的 解釋可能是“鳥兒有翅膀”，這實質上使用了屬性 來解釋。知識圖譜中富含實體、概念、屬性、關 系等信息，通過圖結構形式化組織這些海量的知 識，為真實世界的各個推理場景直觀建模，可以 對最終的決策進行更多元的具體解釋。
最后，知識圖譜在存儲和使用上具有可解釋 的優勢，相比其他的存儲形式，知識圖譜以三元 組的形式對知識進行構建以及存儲，更加接近人 類通常認識事物“主謂賓”的認知和學習習慣， 對于人類理解會更加友好，對人們的可解釋性相 比其他知識表示方法較強[19]。
1.4 知識推理任務的評價指標
1.4.1 知識推理可解釋性的評價指標 本文采用的知識推理的可解釋性評價指標 如下。
（1）可解釋的范圍
根據模型產生的可解釋性范圍，可解釋性分 為局部可解釋和全局可解釋，即解釋是面向某個 或某類實例還是面向整個模型行為。
（2）可解釋的產生方式
根據模型解釋產生的方法，推理模型可以分 為事前可解釋和事后可解釋。其中，事前可解釋 主要指不需要額外輔助的解釋方法，解釋本身就 在自身的模型架構中，而事后可解釋指解釋本身 不在模型架構中，而是在模型訓練后，以人類可 理解的規則或可視化等方式，對模型做出決策的 邏輯過程進行后驗的解釋。
（3）可解釋的泛化性 根據解釋方法是否特定于模型，可以劃分為 特定于模型和與模型無關兩種解釋類別。
（4）可解釋在下游場景的適用性 根據下游實際業務需求對于知識推理方 法的可解釋性的要求，可以將推理方法分為適 用于可靠性優先領域（如醫療、網絡與信息安 全領域）和適用于效率優先領域（如電影推薦 系統）。本文在接下來綜述方法時，每類方法 根據以上 4 種評價指標對模型的可解釋性進行 對比分析。
1.4.2 知識推理準確性的評價指標
本文采用的知識推理的準確性評價指標包括 平均倒數排名（MRR，mean reciprocal rank）和 前 k 次命中正確預測結果的比例（Hit@k）。
2 可解釋的知識圖譜推理方法
推動人工智能發展的 3 種主要研究范式（符 號主義、行為主義和連接主義），對知識圖譜推理 方法都有著很大的影響，但三者在研究方法和技 術路線等方面有著不同的觀點，導致不同研究范 式影響下的知識推理方法在可解釋性與效率上存 在不同的側重，所適用的應用場景有所差異。如 圖 3 所示，本文從這 3 種研究范式角度出發，結 合目前新型混合的知識圖譜推理技術，分別綜述 這些分類中最新的可解釋知識圖譜推理方法研究 進展。
2.1 符號主義中的可解釋知識圖譜推理方法
從符號主義角度，知識推理可以建模為依據 符號表征的一系列明確推論，通過顯式的定義推 理所需要的本體概念、規則等離散符號，進行邏 輯推理的過程。其核心是從實例中推導出一般的 本體演繹關系或邏輯規則，通過符號體系進行推理，同時，這些符號體系為推理結果提供顯式的 解釋。根據知識圖譜本體概念層和實體實例層的 劃分，符號推理方法可以分為基于本體的知識推 理和基于邏輯規則的知識推理，接下來分別介紹 其中有代表性的可解釋知識推理方法。
**2.2 行為主義中的可解釋知識圖譜推理方法 **
從行為主義角度，知識圖譜推理可以建模為 在圖結構上通過多步游走，同時對每一步進行預 見和控制，通過序列決策逐步找到推理答案的過 程，其核心是實現知識圖譜圖結構上的多跳推理。 該類方法在得到推理結果的同時，顯式地推導出 具體的路徑推導過程，因此可解釋性較強。 該研究領域有兩個主要方向，分別是基于隨 機游走和基于強化學習的知識圖譜推理方法。基 于隨機游走的知識圖譜推理方法在圖結構上利用 隨機游走策略，結合合適的圖搜索算法獲取多條 路徑，利用這些路徑的特征預測實體間是否存在 潛在的關系；基于強化學習的知識圖譜推理方法 則通過智能體與環境不斷進行交互，以反饋和交 互的方式訓練智能體，在動作選擇和狀態更新的 動態過程中逐漸優化目標，進而實現知識推理。
2.3 連接主義中的可解釋知識圖譜推理方法
從連接主義角度，知識圖譜中的實體和關系 可以通過表示學習方法嵌入低維向量空間，進行 數值化的運算操作，進而實現知識推理。其核心是找到一種映射函數，將符號表示映射到向量空 間進行數值表示，從而減少維數災難，同時捕捉 實體和關系之間的隱式關聯，實現符號表示向量 化的直接計算。 在語義的層面，很多淺層的表示模型在提升 效率的同時，考慮建模不同的關系模式（如對稱 關系、逆反關系和組合關系）、邏輯操作（如與、 或、非操作）和實體間的上下位層次關系，使模 型具有推理部分語義結構的能力，因此，連接主 義中的部分推理模型具有一定的可解釋性。該類 方法大體可以分為 3 種，分別是基于平移距離的 模型、基于張量分解的模型和基于神經網絡的模 型，本文重點對方法的可解釋性進行對比分析。
**2.4 新型混合的可解釋知識圖譜推理方法 **
主流的挖掘隱式特征的嵌入學習模型 （TransE[87]、RotatE[91]等），提升了模型的推理效 率，但極大地影響了模型的可解釋性。基于圖遍 歷搜索的顯式邏輯規則挖掘方法（AMIE+[52]、 RDF2Rule[53]等）在提升推理過程可解釋性的同 時，效率方面有明顯的欠缺。因此，通過結合兩 者的優勢，利用符號推理在可解釋性和準確性上 的優勢以及神經網絡方法在魯棒性與效率上的優 勢，進行混合推理[113]，可以一定程度解決傳統規 則方法的計算復雜度高等難題，同時提升神經網 絡方法的可解釋性。根據推理的不同側重點，可 以將新型的混合推理方法分為符號規則增強神經 網絡的知識推理和神經網絡增強符號規則的知識 推理。
**3 結束語 **
隨著人工智能技術的廣泛應用，人工智能的 可解釋性受到越來越多的關注。在目前流行的深 度學習模型中，復雜的處理機制與大量的參數使 人類很難追溯與理解其推理過程，導致這種端到 端的黑箱學習方法可解釋性較差。知識圖譜作為知識的一種語義化和結構化的表達方式，以人類 可理解的表達形式進行知識推理，通過推理路徑、 邏輯規則等輔助手段，結合節點周圍的實體信息， 進行顯式的可解釋知識圖譜推理，為實現可解釋 人工智能提供了一種解決方案，在信息檢索、信 息安全、網絡空間安全等領域都有廣泛的應用前 景，引發了廣泛的關注。
3.1 可解釋的知識圖譜推理方法總結
本文概述了可解釋人工智能及知識推理的相 關概念，從經典的人工智能三大研究范式的角度 出發，總結和分析了可解釋的知識推理方法。無 論是以符號主義中的本體推理和規則推理方法為 代表的具有全局模型可解釋性的模型，還是通過 將推理過程顯式地進行學習（具體表現為證明、 關系路徑和邏輯規則等方式），從而為推理預測提 供可解釋性依據的具有事后過程可解釋性的模 型，都一定程度增強了人們對推理結果的理解， 同時實現對錯誤預測原因的輔助挖掘。 如表 7 所示，本文對所介紹的知識圖譜推理 方法及特點進行相關的總結與對比分析。這些推 理方法根據推理目的不同，在推理準確性和可解 釋性方面各有側重，所適用的推理應用場景也因 此不同。符號主義中的知識推理模型有著很好的 可解釋性，推理準確、遷移性好。然而，離散的 符號表示方法通常不足以描述數據之間所有內在 關系，造成規則學習的搜索空間太大、效率較低， 且對數據中出現的噪聲魯棒性較差（如 AMIE+[52]、RDF2Rule[53]），因此這種推理方法適 用于數據庫知識結構規整，要求推理精度及可解 釋程度較高的推理場景，如醫療和信息安全等要 求可靠性優先的領域。在行為主義中的知識推理 模型中，以強化學習為代表，通過反饋和交互訓 練智能體，鼓勵獲得更大的獎勵，實現了較高的 推理效率，同時得到具體的推理路徑，可解釋性 雖然相較于邏輯規則有所降低，但得到了具體的 推理步驟，具有過程的可解釋性（如 DeepPath[73]、 MINERVA[74]），因此這種推理方法更適用針對序 列決策問題的多跳知識推理場景，如網絡安全領 域的攻擊路徑推理圖譜，推理效率和可解釋性均 有較大的優勢。在連接主義中的知識推理模型中， 通過數值化運算實現的模糊推理，加快了推理的速度，增強了模型的魯棒性和推理效率，但不能 為預測結果提供顯式的推理過程說明，對模型的 可解釋性造成了很大影響（如 TransE[87] 、 RotatE[91]），憑借其效率和魯棒性的優勢，這種推 理方法適用在低風險但效率要求較高的效率優先 領域，如電影推薦系統與問答系統等。在新型混 合的推理模型中，結合符號推理在可解釋性上的 優勢和神經網絡推理在魯棒性與效率上的優勢進 行的新型混合推理，無論是利用邏輯規則生成更 多實例，輔助高質量嵌入學習，還是通過神經網 絡模型輔助解決數據的歧義和不確定性，幫助歸 納出更多的顯式邏輯規則，推理的可解釋性和效 率都得到了提升（如 IterE[117]、RNNLogic[140]）， 這種推理方法則更加需要結合系統及應用需求， 根據目標任務要求的效率或可解釋性等指標的不 同，動態調整對應神經網絡推理方法和符號推理 方法的側重點，有針對性地進行推理。
3.2 有待進一步解決的問題和挑戰
雖然目前可解釋的知識圖譜推理方法在不同 的研究范式下都取得了一定進展，但該領域仍處 于發展時期，各類方法在推理的準確性和推理過 程的可解釋性上很難達到平衡，需要在理論和實 際應用中進一步完善，在未來的研究中，可解釋 的知識推理還面臨很多新的挑戰，主要有以下 4 個 方面值得探索。
**1) 結合常識知識的可解釋推理。**常識推理即 利用人類對世界和行為基本理解的常識認知進行 推理。結合目前人類在深度學習方面的進展，表征并融入常識知識于推理模型，從而創造更加貼 近人類思維習慣的模型，將從本質上增加模型行 為的透明度，幫助人們獲得更具可解釋性的結果。
**2) 考慮復雜推理模式的可解釋知識推理。**在 知識邏輯推理中，推理的規則主要遵循傳遞性約 束，即鏈狀的推理，表達能力有限。但是現實生 活中所要面臨的要素更加復雜，需要支持更復雜 推理模式，自適應地挖掘更多樣、有效的推理結構， 如實現對樹狀或網狀等結構的邏輯規則推理[130]， 同時保證挖掘規則的可靠性和可解釋性，輔助更 多樣的決策。
**3) 多模態的可解釋知識推理。**解釋方法大多 通過推理文本中的邏輯規則或路徑從而實現可解 釋性，但隨著移動通信技術的快速發展，如何有 效地利用語音、圖片等多模態信息進行解釋成為 一個具有挑戰性的問題[141]。多模態信息顯示出其 對知識圖譜進行可解釋推理的潛力，可以通過圖 像、聲音等多種模態對于推理的過程與結果進行 語義增強的解釋。
**4) 可解釋性的量化度量指標。**對于可解釋性 的優劣并不存在非常成熟的、廣為接受的量化標 準。大多數已有的方法是主觀度量，因而只能定 性分析，無法對可解釋模型的性能進行量化。 這就造成用戶無法非常準確地判斷解釋方法的 優劣[142]，所以需要進一步研究科學合理的可解釋 的評測指標，對解釋方法進行量化評價，模型 得到反饋并進行相關優化，從而更好地指導系 統的決策。
付費5元查看完整內容
相關內容
推理是人類智能的一個基本方面，在解決問題、決策和批判性思考等活動中起著至關重要的作用。近年來，大型語言模型(LLMs)在自然語言處理方面取得了重大進展，有人觀察到這些模型在足夠大的時候可能會表現出推理能力。然而，目前還不清楚LLMs的推理能力到何種程度。
本文對LLM推理的知識現狀進行了全面的概述，包括改進和誘導這些模型推理的技術、評估推理能力的方法和基準、該領域以前研究的發現和影響，以及對未來方向的建議。我們的目標是對這一主題提供詳細和最新的回顧，并激發有意義的討論和未來的工作。
//www.zhuanzhi.ai/paper/10caab0b58fcf5f8ddf7943e1a6060d5
1. 引言
推理是一種認知過程，包括使用證據、論據和邏輯來得出結論或做出判斷。它在許多智力活動中起著核心作用，如解決問題、決策和批判性思考。對推理的研究在心理學(Wason and Johnson-Laird, 1972)、哲學(Passmore, 1961)和計算機科學(Huth and Ryan, 2004)等領域很重要，因為它可以幫助個人做出決定、解決問題和批判性地思考。
**最近，大型語言模型(LLMs) (Brown et al., 2020; Chowdhery et al., 2022; Chung et al., 2022; Shoeybi et al., 2019, inter alia)在自然語言處理及相關領域取得了重大進展。**研究表明，當這些模型足夠大時，它們會表現出緊急行為，包括"推理"的能力(Wei等人，2022a)。例如，通過為模型提供"思維鏈"，即推理范例，或簡單的提示" Let 's think step by step "，這些模型能夠以明確的推理步驟回答問題(Wei et al.， 2022b;Kojima et al.， 2022)，例如，“所有鯨魚都是哺乳動物，所有哺乳動物都有腎臟;因此，所有的鯨魚都有腎臟。”這引發了社區的極大興趣，因為推理能力是人類智能的一個標志，而在當前的人工智能系統中，推理能力經常被認為是缺失的(Marcus, 2020; Russin et al., 2020; Mitchell, 2021; Bommasani et al., 2021)。
然而，盡管LLM在某些推理任務上表現強勁，但目前尚不清楚LLM是否真的在推理，以及它們在多大程度上能夠推理。例如，Kojima等人(2022)聲稱“LLMs是不錯的零次推理器(第1頁)”，而Valmeekam等人(2022)得出結論，“LLMs在對人類來說沒有問題的常見規劃/推理任務上仍然遠遠沒有達到可接受的性能(第2頁)。”Wei等人(2022b)也指出了這一局限性:“我們認為，盡管思維鏈模擬了人類推理的思維過程，但這并沒有回答神經網絡是否實際上是推理(第9頁)。
本文旨在對這一快速發展的主題的知識現狀進行全面概述。專注于改善LLM中推理的技術(§3);LLMs中衡量推理的方法和基準(§4);這一領域的發現和意義(§5);以及對該領域現狀的反思和討論(§6)。
2. 什么是推理？
推理是用邏輯和系統的方式思考某事的過程，利用證據和過去的經驗來得出結論或做出決定(Wason and Johnson-Laird, 1972; Wason, 1968; Galotti, 1989; Fagin et al., 2004; McHugh and Way, 2018)。推理包括根據現有信息進行推理、評估論點和得出邏輯結論。“推理”雖然是文學和日常生活中常用的術語，但它也是一個抽象的概念，可以指代很多事物。為了幫助讀者更好地理解這個概念，我們總結了幾種常見的推理類型:
演繹推理。演繹推理是一種基于前提的真實性而得出結論的推理。在演繹推理中，結論必須從前提中得出，這意味著如果前提為真，結論也必須為真。前提:所有哺乳動物都有腎臟。前提:所有鯨魚都是哺乳動物。結論:所有鯨魚都有腎臟。
歸納推理。歸納推理是一種基于觀察或證據得出結論的推理。根據現有的證據，這個結論很可能是正確的，但不一定是肯定的。觀察:我們每次看到有翅膀的生物，它就是鳥。觀察:我們看到一個有翅膀的生物。結論:這個生物很可能是一只鳥。
溯因推理。溯因推理是一種推理，它是在對一組給定的觀察做出最佳解釋的基礎上得出結論的。根據現有的證據，這一結論是最可能的解釋，但不一定是肯定的。觀察:汽車無法啟動，引擎下有一灘液體。結論: 最可能的解釋是汽車的散熱器有一個泄漏
3. 大語言模型中的推理
推理，尤其是多步推理，通常被視為語言模型和其他NLP模型的弱點(Bommasani et al., 2021; Rae et al., 2021; Valmeekam et al., 2022)。最近的研究表明，在一定規模的語言模型中可能會出現推理能力，例如具有超過1000億個參數的模型(Wei et al.， 2022a,b;Cobbe等人，2021)。在本文中，我們遵循Wei等人(2022a)的觀點，將推理視為一種在小規模模型中很少出現的能力，因此關注于適用于改進或引出大規模模型中的“推理”的技術。
3.1 全監督微調
在討論大型語言模型中的推理之前，值得一提的是，有研究正在通過對特定數據集的全監督微調來激發/改進小型語言模型中的推理。例如，Rajani等人(2019)對預訓練的GPT模型進行微調(Radford等人，2018)，以生成用構建的CoS-E數據集解釋模型預測的理由，并發現經過解釋訓練的模型在常識性問答任務上表現更好(Talmor等人，2019)。Talmor等人(2020)訓練RoBERTa (Liu等人，2019)基于隱式預訓練知識和顯式自由文本語句進行推理/推理。Hendrycks等人(2021)對預訓練語言模型進行微調，通過生成完整的分步解決方案來解決競賽數學問題，盡管準確性相對較低。Nye等人(2021)在產生最終答案之前，通過生成" scratchpad "，即中間計算，訓練語言模型進行程序合成/執行的多步驟推理。全監督微調有兩個主要限制。首先，它需要一個包含顯式推理的數據集，這可能很難和耗時創建。此外，模型僅在特定數據集上進行訓練，這將限制其應用于特定領域，并可能導致模型依賴于訓練數據中的工件而不是實際推理來進行預測。
3.2 提示與上下文學習
大型語言模型，如GPT-3 (Brown et al.， 2020)和PaLM (Chowdhery et al.， 2022)，通過上下文學習在各種任務中表現出顯著的少樣本性能。這些模型可以通過一個問題和一些輸入、輸出的范例來提示，以潛在地通過“推理”(隱式或顯式)解決問題。然而，研究表明，這些模型在需要多個步驟推理來解決的任務方面仍然不理想(Bommasani et al., 2021; Rae et al., 2021; Valmeekam et al., 2022)。這可能是由于缺乏對這些模型的全部能力的探索，正如最近的研究所表明的那樣。
3.3 混合法
雖然"提示"技術可以幫助引出或更好地利用大型語言模型中的推理來解決推理任務，但它們實際上并沒有提高LLM本身的推理能力，因為模型的參數保持不變。相比之下，“混合方法”旨在同時提高LLM的推理能力，并更好地利用這些模型來解決復雜問題。這種方法既包括增強LLM的推理能力，也包括使用提示等技術來有效利用這些能力。
4 度量大型語言模型的推理能力
文獻中一直關注使用推理任務的下游性能作為模型"推理"能力的主要衡量標準。然而，直接分析這些模型產生的原理的工作相對較少。本節總結了評估LLM推理能力的方法和基準。
4.1 下游任務性能
衡量LLM推理能力的一種方法是評估它們在需要推理的任務上的表現。有各種現有的基準可用于此目的，組織如下。
**數學推理。**算術推理是理解和應用數學概念和原理以解決涉及算術運算的問題的能力。這涉及到在解決數學問題時使用邏輯思維和數學原理來確定正確的行動方案。算術推理的代表性基準包括GSM8K (Cobbe et al., 2021), Math (Hendrycks et al., 2021), MathQA (Amini et al., 2019), SVAMP (Patel et al., 2021), ASDiv (Miao et al., 2020), AQuA (Ling et al., 2017), and MAWPS (Roy and Roth, 2015).。值得一提的是，Anil等人(2022)生成了奇偶校驗數據集和布爾變量賦值數據集，用于分析LLMs的長度泛化能力(§3.3.1)。
**常識推理。**常識推理是利用日常知識和理解對新情況作出判斷和預測。這是人類智能的一個基本方面，它使我們能夠在環境中導航，理解他人，并在信息不完整的情況下做出決定。可用于測試llm常識推理能力的基準包括CSQA (Talmor et al., 2019), StrategyQA (Geva et al., 2021), and ARC (Clark et al., 2018)。我們建議讀者參考Bhargava和Ng(2022)的調研，以了解該領域的更多工作。
**符號推理。**符號推理是一種根據形式規則對符號進行操作的推理形式。在符號推理中，我們使用抽象的符號來表示概念和關系，然后根據精確的規則對這些符號進行操作，從而得出結論或解決問題。
4.2 推理的形式化分析
盡管LLM在各種推理任務中表現出令人印象深刻的性能，但它們的預測在多大程度上是基于真正的推理還是簡單的啟發式，并不總是很清楚。這是因為大多數現有評估側重于它們對下游任務的準確性，而不是直接評估它們的推理步驟。雖然對LLMs生成的原理進行了一些誤差分析(Wei et al., 2022b; Kojima et al., 2022, inter alia)，這種分析的深度往往有限。已經有一些努力來開發指標和基準，以便對LLM中的推理進行更正式的分析。Golovneva等人(2022)設計了ROSCOE，一套可解釋的、詳細的分步評估指標，涵蓋了語義對齊、邏輯推理、語義相似度和語言一致性等多個角度。Saparov和他(2022)創建了一個名為PrOntoQA的合成數據集，該數據集是根據真實或虛構的本體生成的。數據集中的每個示例都有一個唯一的證明，可以轉換為簡單的句子，然后再轉換回來，允許對每個推理步驟進行形式化分析。Han等人(2022)引入了一個名為FOLIO的數據集來測試LLM的一階邏輯推理能力。FOLIO包含一階邏輯推理問題，需要模型在給定一組前提的情況下確定結論的正確性。總之，大多數現有研究主要報告了模型在下游推理任務中的表現，沒有詳細檢查產生的基礎的質量。這留下了一個問題，即模型是否真的能夠以類似于人類推理的方式進行推理，或者它們是否能夠通過其他方法在任務上取得良好的性能。還需要進一步的研究來更正式地分析LLM的推理能力。
付費5元查看完整內容
摘要： 知識圖譜是一種用圖結構建模事物及事物間聯系的數據表示形式，是實現認知智能的重要基礎，得到了學術界和工業界的廣泛關注.知識圖譜的研究內容主要包括知識表示、知識抽取、知識融合、知識推理4部分. 目前，知識圖譜的研究還存在一些挑戰.例如，知識抽取面臨標注數據獲取困難而遠程監督訓練樣本存在噪聲問題，知識推理的可解釋性和可信賴性有待進一步提升，知識表示方法依賴人工定義的規則或先驗知識，知識融合方法未能充分建模實體之間的相互依賴關系等問題.由環境驅動的強化學習算法適用于貫序決策問題.通過將知識圖譜的研究問題建模成路徑(序列)問題，應用強化學習方法，可解決知識圖譜中的存在的上述相關問題，具有重要應用價值. 首先梳理了知識圖譜和強化學習的基礎知識.其次，對基于強化學習的知識圖譜相關研究進行全面綜述.再次，介紹基于強化學習的知識圖譜方法如何應用于智能推薦、對話系統、游戲攻略、生物醫藥、金融、安全等實際領域.最后，對知識圖譜與強化學習相結合的未來發展方向進行展望.
自谷歌在２０１２年推出“知識圖譜”(knowledge graph,KG)后,知 識 圖 譜 技 術 已 迅 速 成 為 數 據 挖 掘、數據庫和人工智能等領域的研究熱點．知識圖譜 采用圖 結 構 來 描 述 知 識 和 建 模 事 物 及 事 物 間 關 系[１]．它將信息表達成更接近人類認知的形式,提供 了一種組織、管理和認知理解海量信息的能力[２]．知 識圖譜本質是一種大規模語義網絡,既包含了豐富 的語義信息,又天然具有圖的各種特征,其中,事物 或實體屬性值表示為“節點”,事物之間的關系或屬 性表示為“邊”．目前,知識圖譜相關的知識自動獲 取、知 識 推 理、知 識 表 示、知 識 融 合已成為搜索問答、大數據分析[４]、智能推薦[６]和 數據集成[１１]的強大資產,被廣泛應用于多個行業 領域．
目前,大部分知識圖譜的研究是基于監督學習 的方法．然而,為模型獲得足夠的標注數據成 本較高．為此部分學者提出使用遠程監督的方法來 減少數據標注[１５],遠程監督指的是借助外部知識庫 為數據提供標簽[１６]．但遠程監督獲得的訓練樣本中 存在噪聲．此外,現有方法還存在依賴人工預定義的 規則和先驗知識或模型缺乏可解釋性等問題．強化 學習(reinforcementlearning,RL)適用于貫序決策 問題,通過學習如何與環境交互,進而輔助人類決 策．它在進行策略選擇時更關注環境狀態,對行為的 選擇進行更好地理解和解釋．將知識圖譜研究的問 題建模成路徑或序列相關的問題,例如,將基于遠程 監督的命名實體識別中干凈樣本的選擇建模成序列 標注任務、將關系推理建模成路徑查找問題等,應用 強化學習算法可以避免依賴人工預定義的規則或先 驗知識,解決模型缺乏可解釋性或僅提供事后可解 釋性(postＧhocexplanation)的問題,具有重要的研 究和應用價值．
近年來,學術界和工業界對知識圖譜、強化學習 ２個領域進行了深入研究,有不少分別聚焦知識圖 譜和強化學習的綜述性文章．文獻分別圍繞知識圖譜的表示學習、知識獲取、知 識推理、知識圖譜構建與應用、多模態知識融合等進 行綜述．文獻分別對基于價值的和基于策略 的強化學習、深度強化學習算法、多智能體算法進行 綜述．文獻對強化學習在綜合能源管理和金 融交易領域的研究進行闡述．然而,盡管已有諸多的 知識圖譜、強化學習綜述文獻,但仍缺乏對知識圖譜 和強化學習相結合的研究進行系統地梳理和總結的 工作．與現有的工作相比,本文工作的不同主要體現 在２個方面:１) 通過系統調研已發表的基于強化學 習的知識圖譜相關研究的論文,全面總結了基于強 化學習的知識圖譜研究,包括知識抽取、知識推理、 知識表示、知識融合等研究成果．２) 介紹了基于強化 學習的知識圖譜如何應用于智能推薦、游戲攻略、生 物醫藥、金融、網絡安全等實際領域．本文是第１篇 系統介紹該研究方向的綜述論文．
基于強化學習的知識圖譜研究
目前,大多數知識圖譜的相關方法基于監督學 習,但對數據進行標注費時費力．為了解決標注困難 的問題,有學者提出了遠程監督的方法．遠程監督減 少了數據 標 注 成 本,但 又 在 訓 練 數 據 中 引 入 了 噪 聲[１５]．雖然,目前知識圖譜的研究方法在準確率、精 度、召回率等性能上取得了很好的效果,但這些方法 結果的透明性、可解釋性、可信賴性等還有待進一步 研究．強化學習方法不同于一般的監督學習, 它把相關問題建模為序列決策問題,近年來在知識 圖譜領域得到應用,可以幫助解決遠程監督的噪音 問題、知識推理結果可解釋性差[１０５]等問題．本節將 分別從命名實體識別、關系抽取、知識推理、知識表 示、知識融合等５個方面,詳細介紹強化學習方法在 各類研究中的進展,如圖３所示:
命名實體識別
**命名實體識別旨在對序列進行命名實體標注, 判斷輸入句子中的詞是否屬于人名、地名、組織機構 名等．現有命名實體識別方法依賴人工標注數據,但 標 注 成 本 較 高．遠 程 監 督 方 法 可 以 降 低 標 注 成 本[１５],但遠程監督獲得的訓練樣本中又存在噪聲． 強化學習方法可以通過自主學習選擇高質量的訓練 樣本數據,解決上述問題．目前,基于強化學習的命 名實體識別方法思路主要有２類:１)使用深度強化 學習模型自動學習樣本選擇策略,過濾掉訓練數據 中的噪聲．２)將命名實體識別任務利用強化學習來 建模,即將序列標注任務轉換為序列決策問題．通過 利用 Markov決策過程模型來進行序列標注,即為 序列中的每個元素分配一個標簽．
關系抽取
關系可以定義為實體之間或實體與屬性之間的 某種聯系,關系抽取就是自動識別實體(或實體與屬 性)之間具有的某種語義關系．現有關系抽取方法大 多基于神經網絡模型[４６Ｇ５４],通過監督學習或遠程監 督學習來完成抽取任務．為了降低標注成本,學者們 提出使用遠程監督的方法．遠程監督方法雖然有效, 但在訓練樣本中引入了噪聲[１５]．強化學習方法可以 通過知識引導來避免噪聲數據帶來的影響．基于強 化學習的關系抽取方法主要可以分為３類:１)使用 強化學習模型對抽取結果進行知識驗證;２)利用強 化學習模型進行訓練樣本選擇;３)將實體識別與關 系抽取２個任務聯合建模,互為增強。
知識推理
知識圖譜通常是不完整的．知識推理是指根據 知識圖譜中已有的知識,采用某些方法,推理出新的 知識,包括實體預測和關系預測．傳統的推理方法, 例如基于規則的推理[５５Ｇ５６]會引入一些人類先驗知 識,專家依賴度過高．目前,大部分知識推理是基于 神經網絡模型[５８Ｇ６４]．神經網絡模型通常更關注于推 理結果,模型可解釋性、可信賴性有待進一步提升． 除基于規則、基于神經網絡的推理方法外,知識 推理問題也可以建模成知識圖譜中路徑查找問題, 其中節點代表實體,關系代表邊．強化學習智能體根 據當前環境(所在節點)通過策略學習或價值函數學 習,來決定下一步的行動(通常為關系或(關系,實 體)),從而完成推理任務．因此,基于強化學習的知 識圖譜推理在學術界和工業界得到廣泛研究．基于 強化學習的知識圖譜推理方法依據智能體的個數可 以分為單智能體推理方法、多智能體推理方法．多智 能體推理方法指至少擁有２個智能體的基于強化學 習的知識推理方法．多智能體之間存在著一定的關 系,如合作、競爭或同時存在競爭與合作的關系．我 們將分別從單智能體推理、多智能體推理２個方面 進行詳細介紹．
**知識表示 **
知識圖譜 在 表 示 結 構 化 數 據 方 面 非 常 有 效, 但這種三元組的基本符號性質使知識圖譜難以操 作[１３５]．為了解決這一問題,提出了知識表示學習[１]． 知識表示學習旨在將知識圖譜豐富的結構和語義信 息嵌入到低維節點表示中．目前,常用的知識表示學 習方法[１]有基于翻譯模型 Trans系列的方法[６９Ｇ７１]、基 于語義匹配的方法[６８Ｇ６９]、基于神經網絡的方法[７１Ｇ７６]．基于翻譯模型的方法簡單易于理解,但是基于翻譯 模型的方法不能處理復雜關系,模型復雜度較高．基 于語義匹配的方法需要大量參數且復雜度較高,限 制了其在大規模稀疏知識圖譜上的應用．基于神經 網絡的方法雖然建模能力較強,但是結果缺乏一定 的可解釋性．基于圖的隨機游走模型[１３６Ｇ１３８]也是用于 知識表示學習的一類方法．這類方法依賴于人工設 置元路徑來捕獲圖的語義信息．然而,人工設置元路 徑需要豐富的專家領域知識,對于大規模、復雜且語 義豐富的知識圖譜來說,是一件充滿挑戰的任務．
**知識融合 **
知識圖譜中的知識來源廣泛,具有多源、異構等 特點,需要構建統一的大規模知識庫來支撐推理和理 解任務．知識融合研究如何將來自多個來源的關于 同一個實體或概念的描述信息融合起來[１１],形成高質量統一的知識圖譜的一類任務．通常,知識融合包 括本體匹配(ontologymatching)、本體對齊(ontology alignment)、實 體 鏈 接 (entitylinking)、實 體 消 歧 (entitydisambiguation)、實體對齊(entityalignment) 等．現有的知識融合方法還存在受噪聲數據以及對 齊種子對數量的限制[１４１],或者未能充分建模實體 之間的相互依賴關系等問題．
基于強化學習的知識圖譜的應用
知識圖譜可以為各領域提供豐富的信息和先驗 知識,強化學習方法擁有強大的探索能力和自主學 習能力．基于強化學習的知識圖譜相關技術能夠降 低噪聲數據的干擾、自動選擇高質量的樣本數據、更 好地理解環境和提供可信解釋．因此,基于強化學習 的知識圖譜在很多領域得到應用．強化學習與知識 圖譜的結合,從結合方式上來看,可以分為２類．１) 將實際問題建模為包含多種節點類型和關系類型的 知識圖譜,強化學習在知識圖譜上進行探索學習策 略．２) 將知識圖譜作為外部信息引入強化學習框架 中,用來指導強化學習的探索過程．我們將介紹如何 將知識圖譜與強化學習結合解決實際應用中的問 題,包括智能推薦、對話系統、游戲攻略、生物醫藥、 金融、網絡安全等．
智能推薦
推薦系統常面臨數據稀疏、可解釋性等問題以及個性化定制、新型推薦任務等新的需求．知識圖譜 可以向推薦系統中引入輔助信息,如商品內容、跨領 域信息等．與常用的推薦方法不同,基于強化學習的 知識圖譜推薦是在知識圖譜中探索圖(路徑查找)來 找到從用戶到商品的有意義的路徑．強化學習智能體在探索過程中進行決策,解決數據稀疏,提高推薦 可解釋性,使得推薦結果更符合用戶需求。
**對話系統 **
自然語言處理領域的一個重要應用就是人機對 話系統,它是人機交互的核心功能之一．計算機想要 順利無障礙地和人類交流,必須具備豐富的背景知 識以及強大的決策能力,結合背景知識去理解對話 內容,從外部知識庫中找出相關的知識并進行推理, 從而生成合適的回答．知識圖譜為對話系統提供了 豐富的背景知識,而強化學習可以從相關知識集合 中選出恰當的知識,并且可以利用用戶的隱式負反 饋信息,確保對話效果持續穩步提升．
**游戲攻略 **
文字類冒險游戲是一種玩家必須通過文本描述 來了解世界,通過相應的文本描述來聲明下一步動 作的游戲．這類游戲中強化學習智能體根據接收到 的文本信息進行自動響應,以實現規定的游戲目標 或任務(例如拿裝備、離開房間等)．強化學習善于序 列決策,知識圖譜善于建模文本的語義和結構信息． 因此,強化學習和知識圖譜相結合在文字類冒險游 戲中得到了成功的應用．基于強化學習的知識圖譜 方法在進行游戲策略學習時主要思路可分為２類: １)將游戲狀態構建成一張知識圖,利用強化學習技 術進行游戲策略學習;２)將知識圖譜作為外部知識 輔助強化學習智能體進行決策．
**藥物∕疾病預測 **
在生物醫藥領域,藥物合成、新材料發現、疾病 預測等在科技迅速發展的今天顯得日益重要,給社會 發展和人們生活帶來巨大變化．引入強化學習方法, 可以利用智能體在知識圖譜中的自動探索做出最優 決策,同時找到的路徑可以為反應物生成或者疾病 預測提供可解釋性依據．目前,基于強化學習的知識 圖譜技術已經被應用于發現新的藥物或材料、化學 反應物預測以及藥物組合預測、疾病預測等領域。
未來發展方向
近幾年來,針對知識圖譜和強化學習的相關研 究已經成為人工智能領域的熱點方向．知識圖譜可 以同時建模數據的拓撲結構和語義信息,強化學習 是一種從試錯過程中發現最優行為策略的技術[８４], 適用于解決貫序決策問題．知識圖譜與強化學習的 結合有利于提升訓練樣本質量,還有利于提高可解 釋性和可信賴性．但是,強化學習方法在知識圖譜領 域應用也存在一些不足,主要表現在２個方面:１)對 強化學習狀態的表示,文獻[１３４]提到目前強化學習 狀態表示大多使用預訓練得到的節點嵌入．然而,當 知識圖譜中增加新三元組時,節點的嵌入也需要重 新訓練,計算成本較大．文獻[１２６]提到除了結構信 息以外,節點的文本描述信息、層次結構的類型信息 也十分重要．在知識圖譜表示學習領域,文獻[１７２] 和文獻[１７３]分別將文本描述信息、關系路徑等信 息,用于構建更加精準的知識表示．然而,這些方法 還未廣泛應用于強化學習狀態的表示中．２)強化學 習的獎勵函數設計,與人工定義獎勵函數相比,文獻 [１２２]和文獻[１４７]已經開始嘗試利用知識圖譜中的 信息結合抗性學習來生成自適應的獎勵函數．如何 自動生成更合理的獎勵函數還有待進一步研究． 目前圍繞強化學習與知識圖譜結合的研究還處 于起步階段,有廣闊的發展空間．未來值得關注５個 方向:
１)基于強化學習的動態時序知識圖譜研究
隨著應用的深入,人們不僅關注實體關系三元 組這種簡單的知識表示,還需要掌握包括邏輯規則、 決策過程在內的復雜知識．目前基于強化學習的知 識圖譜研究主要圍繞靜態知識圖譜．然而,知識隨著 時間的推移往往是動態變化的．如何利用強化學習 在解決序列決策問題方面的優勢,來建模知識圖譜 的動態性,學習知識圖譜的變化趨勢,解決實際應用 中的復雜問題是一個值得研究的課題．Li等人[１７４]研 究了動態時序知識圖譜的時序推理問題．受人類推 理方式的啟發,CluSTeR(cluesearchingandtemporal reasoning)包含線索搜索和時序推理２部分．線索搜 索模塊采用隨機集束搜索算法,作為強化學習的動 作采樣方法,從歷史事件中推斷多條線索．時序推理 模塊使用基于 RＧGCN 進行編碼,并應用 GRU 進行 時序預測,實現從線索中推理答案．
２)基于強化學習的多模態知識圖譜研究
面對越來越復雜多樣的用戶訴求,單一知識圖 譜已不能滿足行業需求．多模態數據[１１]可以提供更 豐富的信息表示,輔助用戶決策,提升現有算法的性 能．目前,基于強化學習的知識圖譜研究主要針對文 本數據．如何利用強化學習技術進行多模態知識圖譜 的構建與分析仍是一個值得研究的方向．He等人[１７５] 將強化學習方法應用于視頻定位(videogrounding) ,即給定一段文本描述將其與視頻片段相匹配的任 務中．He等人將這個任務建模為一個順序決策的問 題,利用 ActorＧCritic算法學習一個 逐步 調節時間 定位邊界的代理,完成視頻與文本的匹配．
３)基于新的強化學習方法的知識圖譜研究
強化學習作為人工智能領域研究熱點之一,其 研究進展與成果也引發了學者們的關注．強化學習 領域最近提出了一系列新的方法和理論成果,例如, 循環元強化學習[１７６]、基于 Transformer的 強 化 學 習[１７７]、逆強化學習[１７８]等相關的理論．如何將這些新 的理論方法應用在知識圖譜的構建或研究應用中, 值得深入思考．Hou等人[１７９]在強化學習動作選擇中 引入了知識圖譜中隱含的規則來約束動作選擇,進 一步精簡了動作空間,提高了強化學習效率．Hua等 人[１８０]提出了一種元強化學習方法來進行少樣本復 雜知識庫問答,以減少對數據注釋的依賴,并提高模 型對不同問題的準確性．
４)基于強化遷移學習的知識圖譜研究
基于強化學習的知識圖譜方法具有一定的可解 釋性和準確性．但強化學習不同于監督學習,樣本數 據來源于智能體與環境的交互,會導致收集大量無 用且重復的數據,成本較高．一種解決思路是將遷移 學習應用到強化學習中,通過將源任務學習到的經 驗應用到目標任務中,幫助強化學習更好地解決實 際問題．文獻[１６４]、文獻[１７０]將遷移學習和強化 學習結合起來,分別應用于同類游戲策略學習以及 動態金融知識圖譜構建領域,并取得了不錯的效果, 緩解了特定領域因訓練數據不足所帶來的挑戰,提 高了模型舉一反三和融會貫通的能力．因此,基于強 化遷移學習的知識圖譜研究也是未來一個重要的研 究方向．
５)算法可解釋性度量研究 由于知識圖譜能夠提供實體間的語義和結構信 息,強化學習智能體的學習過程和人類認知世界的 過程比較相似,產生的解釋更易于人類理解．因此, 一些研究者利用強化學習和知識圖譜開展可解釋性的研究．然而,這些研究工作可解釋性的效果只能通 過實例分析來進行評測．目前,針對解釋性還沒有統 一或者公認的衡量標準[８４],如何衡量模型的可解釋 性是未來需要研究的問題之一．
付費5元查看完整內容
近年來,隨著互聯網技術以及引用模式的快速發展,計算機世界的數據規模呈指數型增長,這些數據中蘊含著大量有 價值的信息,如何從中篩選出知識并將這些知識進行有效組織和表達引起了廣泛關注.知識圖譜由此而生,面向知識圖譜的知 識推理就是知識圖譜研究的熱點之一,已經在語義搜索、智能問答等領域取得了重大成就.然而,由于樣本數據存在各種缺陷, 例如樣本數據缺少頭尾實體、查詢路徑過長、樣本數據錯誤等,因此面對上述特點的零樣本、單樣本、少樣本和多樣本知識圖譜 推理更受矚目.文中將從知識圖譜的基本概念和基礎知識出發,介紹近年來知識圖譜推理方法的最新研究進展.具體而言,根 據樣本數據量大小的不同,將知識圖譜推理方法分為多樣本推理、少樣本推理和零與單樣本推理.模型使用超過５個實例數進 行推理的為多樣本推理,模型使用２~５實例數進行推理的為少樣本推理,模型使用零個或者一個實例數進行推理的為零與單 樣本推理.根據方法的不同,將多樣本知識圖譜推理細分為基于規則的推理、基于分布式的推理、基于神經網絡的推理以及基 于其他的推理,將少樣本知識圖譜推理細分為基于元學習的推理與基于相鄰實體信息的推理,具體分析總結這些方法.此外, 進一步講述了知識圖譜推理的典型應用,并探討了知識圖譜推理現存的問題、未來的研究方向和前景.
知識圖譜推理即面向知識圖譜的知識推理.知識圖譜有 很多種定義,是以圖的形式表示真實世界的實體與實體之間 關系的知識庫.知識圖譜的研究源于２０００年 XML 大會上 TimBernersLee提出的語義 Web的理念,最初的作用是為 Web網頁添加語義信息,提供信息代理、搜索代理、信息過濾 等語義信息服務.２００５年,美國 Metaweb公司成立,致力于 開發開放共享的世界知識庫.Metaweb基于維基百科、美國 證券交易委員會等公開的數據集,提取出現實世界中人或事 物(實體)及他們之間的關系,并且以圖的結構儲存在計算機 中.２０１０年,谷歌收購了 Metaweb公司,并在２０１２年提出了 知識圖譜[１]的概念. 具體來說,知識圖譜是通過將應用數學、圖形學、信息可 視化技術、信息科學等學科的理論、方法與計量學引文分析、 共現分析等方法結合,并利用可視化的圖譜形象地展示其核 心結構、發展歷史、前沿領域以及整體知識架構,達到多學科 融合目的的現代理論.它把復雜的知識領域通過數據挖掘、 信息處理、知識計量和圖形繪制顯示出來,揭示知識領域的動 態發展規律,為學科研究提供切實的、有價值的參考.迄今為 止,其實際應用已經逐步拓展并取得了較好的效果.
目前,已經涌現出一大批知識圖譜,其中具有代表性的有 DBpedia [２],Freebase [３],NELL [４],Probase [５]等.這些知識圖 譜從大量數據資 源 中 抽 取、組 織 和 管 理 知 識,希 望 為 用 戶 提供能夠讀懂用戶需求的智能服 務.例 如:理 解 搜 索 的 語 義,提供更精準的搜索答案.大批的 知 識 圖 譜 被 廣 泛 應 用 于知識圖譜補全與去噪的學術研 究 領 域.除 此 之 外,知 識 圖譜在問答系統、推 薦 系 統、機 器 翻 譯 等 領 域 也 發 揮 了 重 要作用,并已在醫學診斷、金融安全、軍用等 領 域 展 示 出 很 好的應用前景. 雖然現在已經存在一些知識圖譜綜述文獻,但是基于數 據樣本量的知識圖譜算法的分類歸納仍然缺乏.模型的樣本 量越多,推理難度越低,準確性也越高,但是現實世界的適用 率越低.為此,本文根據樣本數據量大小的不同,將知識圖譜 推理方法分為多樣本推理、少樣本推理和零與單樣本推理,并 對其最新進展進行詳細分類總結;最后提出知識圖譜推理未 來的潛在發展方向. 本文第２節總結知識圖譜推理的基礎知識;第３節分析 多樣本知識圖譜推理相關方法;第４節論述少樣本知識圖譜推理相關方法;第５節指出知識圖譜推理的未來研究趨勢;最 后總結全文.
付費5元查看完整內容
葡萄牙貝拉內大學最新《醫學診斷中可解釋深度學習方法》綜述，值得關注！
深度學習的顯著成功引發了人們對其在醫學診斷中的應用的興趣。即使最先進的深度學習模型在對不同類型的醫療數據進行分類時達到了人類水平的準確性，但這些模型在臨床工作流程中很難被采用，主要是因為它們缺乏可解釋性。深度學習模型的黑盒性提出了設計策略來解釋這些模型的決策過程的需要，這導致了可解釋人工智能(XAI)這個話題的產生。在此背景下，我們提供了XAI應用于醫療診斷的全面綜述，包括可視化、文本和基于示例的解釋方法。此外，這項工作回顧了現有的醫學成像數據集和現有的指標，以評估解釋的質量。作為對大多數現有綜述的補充，我們包含了一組基于報告生成方法之間的性能比較。最后，還討論了XAI在醫學影像應用中的主要挑戰。 //www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b
引言
人工智能(AI)領域在過去十年取得的進展，支持了大多數計算機視覺應用的準確性的顯著提高。醫學圖像分析是在對不同類型的醫學數據(如胸部X光片[80]、角膜圖像[147])進行分類時取得人類水平精確度的應用之一。然而，盡管有這些進展，自動化醫學成像在臨床實踐中很少被采用。Zachary Lipton[69]認為，對這一明顯的悖論的解釋很簡單，醫生在不了解決策過程的情況下，永遠不會相信算法的決策。這一事實提出了產生能夠解釋人工智能算法的決策過程的策略的必要性，隨后導致了一個新的研究主題的創建，稱為可解釋人工智能(XAI)。根據DARPA[41]的說法，XAI的目標是“在保持高水平的學習性能(預測精度)的同時，產生更多可解釋的模型;并使人類用戶能夠理解、適當、信任和有效地管理新一代人工智能伙伴”。盡管XAI具有普遍適用性，但它在高風險決策(如臨床工作流程)中尤其重要，在這種情況下，錯誤決策的后果可能導致人類死亡。這也得到了歐盟通用數據保護條例(GDPR)法律的證明，該法律要求解釋算法的決策過程，使其透明，然后才能用于患者護理[37]。
因此，在將深度學習方法應用于臨床實踐之前，投資研究新的策略以提高其可解釋性是至關重要的。近年來，對這一課題的研究主要集中在設計間接分析預建模型決策過程的方法。這些方法要么分析輸入圖像的特定區域對最終預測的影響(基于擾動的方法[77;101]和基于遮擋的方法[151])或檢查網絡激活(顯著性方法[112;153])。這些方法可以應用于任意網絡架構，而不需要對模型進行額外的定制，這一事實支持了它們在XAI早期的流行。然而，最近的研究表明，事后策略在解釋的重要性方面存在一些缺陷[2;105]。因此，研究人員將他們的注意力集中在能夠解釋其決策過程本身的模型/架構的設計上。現有的可解釋模型被認為在醫學成像中特別有用[105]，證明了最近集中于這一范式而不是傳統的后特殊策略的醫學成像作品數量的增長是合理的[53;144]。盡管近年來固有可解釋模型的流行，但現有的關于深度學習應用于醫學成像的可解釋性的研究并沒有全面回顧這一新的研究趨勢的進展。此外，專注于解釋應用于醫學成像的深度學習決策過程的著作數量顯著增加，因此有必要對最近一次關于該主題的綜述未涵蓋的最新方法進行更新調研。
**為了解決這些問題，我們全面回顧了可解釋深度學習應用于醫學診斷的最新進展。特別是，這項綜述提供了以下貢獻: **
回顧最近關于醫學成像中可解釋深度學習主題的調研，包括從每個工作中得出的主要結論，以及對我們調研的比較分析。 用于醫學成像的深度學習方法可解釋性研究中常用的數據集的詳盡列表。 全面調研最先進的可解釋醫學成像方法，包括事后模型和固有的可解釋模型。 對基準可解釋性方法常用的度量標準的完整描述，無論是可視化的還是文本的解釋。關于文本解釋質量的可解釋醫學成像方法的基準。 醫學影像中可解釋深度學習的未來研究方向
基于文獻綜述，XAI方法可以根據三個標準進行分類: (i) 模型無關性vs模型具體; （ii）全局可釋性與局部可釋性; (iii)事后對內在。圖1說明了XAI方法的分類法，
醫療診斷中的可解釋人工智能方法
正如前面提到的，深度學習模型在部署到現實場景時必須具有透明性和可信賴性。此外，這一要求在臨床實踐中尤其相關，在臨床實踐中，不知情的決定可能會將患者的生命置于危險之中。在綜述的文獻中，已經提出了幾種方法來賦予應用于醫學診斷的深度學習方法解釋性。以下部分總結和分類了應用于醫學診斷的可解釋模型范圍內最相關的工作。此外，我們特別關注內在可解釋的神經網絡及其在醫學成像中的適用性。我們根據解釋方式將這些方法分為:(i)特征歸因解釋，(ii)文本解釋，(iii)實例解釋，(iv)概念解釋，(v)其他解釋;受[86]提出的分類學啟發。根據所使用的算法、圖像形態和數據集分類的綜述方法列表見表4。
付費5元查看完整內容
知識圖譜推理技術旨在根據已有的知識推導出新的知識，是使機器智能具有和人類一樣的推理和決策能力的關鍵技術之一。系統地研究了知識圖譜推理的現代方法，以統一的框架介紹了向量空間中進行知識圖譜推理的模型，包括基于幾何運算嵌入歐幾里得空間和雙曲空間的方法，基于卷積神經網絡、膠囊網絡、圖神經網絡等深度網絡模型的方法。同時，系統地梳理了知識推理技術在各技術領域和各行業的應用情況，指出了當前存在的挑戰以及其中蘊含的機會。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191