亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

現代人工智能為產生不同風格的數字藝術提供了一種新穎的方式。神經網絡的表達能力使得視覺風格轉移方法成為可能，這些方法可以用來編輯圖像、視頻和3D數據，使它們更具藝術性和多樣性。本文報道了3D數據神經風格化的最新進展。我們提供了一種神經風格化的分類法，考慮了幾個重要的設計選擇，包括場景表示、指導數據、優化策略和輸出風格。基于這種分類法，我們的綜述首先回顧了2D圖像神經風格化的背景，然后對3D數據的最新神經風格化方法進行了深入討論，并提供了一個關于藝術風格化方法的小型基準測試。基于綜述中獲得的洞見，我們接著討論了開放性挑戰、未來研究，以及神經風格化的潛在應用和影響。

//www.zhuanzhi.ai/paper/d5ea0c58d303f46ebcf7e8cc629aa08c

數字藝術和視覺設計在我們的日常生活空間中盛行，表達了視覺上引人入勝的美學、獨特的品味和人類的情感。隨著計算硬件的最新進展，使用計算工具或算法創作高質量的數字藝術越來越受到公眾關注。人工智能（AI）技術的出現進一步推動了這一計算設計過程，并顯示出加速或自動化創作數字藝術的強大潛力。最近出現的視覺合成和編輯AI產品，如LUMA AI [Lum23]、DALL·E 3 [Ope23]、Midjourney [Mid23] 和 RunwayML [Run23] 已成功展示了它們加速高質量視覺設計和生成的能力。

本報告深入探討了利用AI創作3D數字藝術的最新進展，特別是通過風格化。一個典型的3D場景風格化涉及編輯場景幾何和/或外觀以匹配某些指定的藝術風格。風格化可以通過現代深度學習中的神經網絡實現，因此稱為神經風格化。放在傳統計算機圖形管線的背景下，3D神經風格化可以被視為傳統渲染管線的替代品，使用可編程著色器用于風格化的后處理。因此，3D神經風格化有助于減少在風格化3D場景中的勞動密集型手工工作，包括3D建模、紋理化、渲染或模擬。3D神經風格化因此對于各種工業應用具有實際價值，包括電影制作中的3D紋理設計和藝術模擬 [NR21,KAOT23,HHK?23]，混合現實體驗 [THC?22, Tan19]（圖2），逼真的視覺特效（VFX）和虛擬制作 [Man23]，藝術品創作 [GC22] 以及視頻游戲開發 [OBW22,MLS?22]。從2D神經風格化擴展到3D，使用傳統3D表示和渲染進行的3D神經風格化通常面臨視角一致性和逼真渲染問題。多虧了神經渲染技術的進步，對于不同3D表示（包括網格、體積、點云和神經場）的3D神經風格化取得了高質量結果的顯著改進。它也適用于各種3D場景，從小型物體場景到大型野外場景，甚至應用于工業生產 [HHK?23]。

在本報告中，我們涵蓋了3D神經風格化領域的風格化基礎、最新進展、現有挑戰和未來研究方向。我們從神經風格化的基本技術（第2節）開始，包括2D視覺風格轉移算法和3D神經渲染。在第3節中，我們介紹了神經風格化的分類法，并為3D神經風格化的最新技術提供了分類。使用這種分類法，我們深入討論了先進的3D神經風格化方法，并提出了我們對3D風格化最近困難的分析。在第4節中，我們總結了3D風格化評估中常用的數據集。我們還提供了一個小型基準測試，作為評估最新3D風格化算法性能的標準。最后，在第5節中，我們討論了開放的挑戰和未來的研究方向。我們將隨報告發布我們的評估代碼和其他實施資源。

本報告的范圍專注于應用于3D場景的神經風格轉移。目標是探索基于深度學習的技術和方法，這些技術和方法能夠自動將藝術或逼真風格和語義特征轉移到3D數字世界中。盡管承認專用于風格化的3D訓練數據集的稀缺性和挑戰，本報告旨在突出現成的大型數據模型驅動的圖像引導和文本引導神經風格化的潛力，以實現視覺上吸引人的3D風格化結果。神經風格化基礎在神經風格化的基礎上，視覺風格轉移指的是編輯場景的紋理或顏色以匹配由參考圖像定義的風格，同時保持整體場景結構不變。在這一節中，我們首先提供2D神經風格化的概覽作為基礎。我們重點關注圖像引導和文本引導的風格轉移，因為它們是兩種主要的風格化方法，分別通過一張圖片或一段文字來指示目標風格參考。我們從使用經典特征提取器（如VGG分類器和CLIP編碼器）的簡單方法開始討論基礎知識。我們還根據它們的優化方法對這些2D神經風格轉移技術進行分類。最后，我們簡要介紹神經輻射場的基礎知識，這是一種重要的3D神經表示形式，在第3節中將深入討論3D神經風格化。我們參考了[JYF?19,SJJ?21,ZYW?23]中關于條件圖像合成和風格化的更多討論，以及[TTM?22,XTS?22]中關于場景表示和神經渲染的更多討論。

3D神經風格化

3D神經風格化指的是將神經風格化技術應用于修改現有3D數字表示的視覺外觀和美學特征。這個過程涉及利用神經網絡及相關風格化算法來操縱顏色、紋理、形狀等3D模型的視覺和幾何屬性。3D神經風格化促進了3D數字內容的視覺風格化自動生成，為計算機圖形學領域的創意表達和視覺設計提供了新的途徑。為了將3D表示與新風格融合，需要考慮兩個重要因素：3D幾何保留和風格轉換。與視覺風格轉移類似，我們關注基于圖像和文本的3D神經風格化方法。大多數方法依賴現有的大型預訓練模型（例如VGG和CLIP）進行零樣本特征提取，并且不需要任何額外的3D數據預訓練。與3D數據上的預訓練3D特征提取器相比（例如體素[WSK?15]、網格[MBBV15]、點云[QSMG17, ZJJ?21]），圖像和文本預訓練模型是廣泛可訪問的，它們以多級視覺模式和語義特征提取而聞名。在這一節中，我們首先引入神經風格化的分類法，并給出現有3D神經風格化方法的分類示例。在后續章節中，我們將介紹最先進的3D神經風格化技術，涵蓋了如網格、體積數據、點云和隱式場等多種3D表示，重點關注外觀和/或幾何風格化的轉變。最后，我們將深入總結和分析3D神經風格化的技術。

分類法 我們從2D對應物擴展了3D神經風格化的術語。3D神經風格化方法的分類法如圖9所示，詳細內容如下。

• 表示形式可以是顯式圖像或隱式2D場，構建的3D資產如網格、體積模擬、多視圖3D重建（如重建的網格），以及隱式3D場。

• 神經風格特征指的是來自預訓練特征提取器的圖像視覺嵌入或文本語義嵌入，通常是神經分類器。

• 優化指的是基于優化的（類似于第2.1節）或基于預測的風格化方法（類似于第2.2節），支持單一、多個或任意風格。

• 風格化類型指的是不同類型的風格化，從從藝術作品中檢索的風格（例如圖1中的梵高星夜雕塑場景），到逼真風格（包括傳統基于顏色的風格轉移和逼真的幾何與外觀變化，例如圖1中的“燃燒的松果”），再到具有風格語義對應的語義風格轉移，使用顯式標簽或掩碼，或隱式文本或視覺語義定位和映射。我們進一步將方法分類為幾何風格化和外觀風格化，其中幾何風格化指的是變換原始形狀以對齊風格參考，如改變頂點、體素的位置，外觀風格化指的是重新著色、圖案和圖騰轉移，如圖像像素、紋理映射、頂點顏色、點顏色和輻射場。 圖10展示了3D神經風格化方法的層次分類。表1詳細突出了基于我們在圖9中提出的分類法標準的選定3D風格化方法的分類和比較。

結論

本最新報告探討了3D神經風格化的進展，特別是針對3D數據的圖像引導和文本引導神經風格化技術。通過對最新3D神經風格化技術及其相應應用的全面綜述，我們強調了神經風格化在加速創造過程、實現風格化的細粒度控制、以及在電影制作、虛擬制作和視頻游戲開發等多個領域增強藝術表達的重要性。此外，我們介紹了神經風格化的分類法，為神經風格化領域的新作品提供了一個分類框架。我們對先進技術的分析和討論強調了持續的研究努力，旨在解決限制并推動3D數字領域神經風格化的邊界。最后，我們提出了一個3D藝術風格化的小型基準測試，我們的目標是為其他3D風格化作品提供靈感和評估標準。

近年來，大型語言模型（LLMs）已取得了顯著的進展。這些進展，雖然引起了極大的關注，同時也引發了各種擔憂。這些模型的潛力無疑是巨大的；然而，它們可能會產生不準確、誤導性或甚至有害的文本。因此，采用對齊技術來確保這些模型表現出與人類價值觀一致的行為變得至關重要。 本調查旨在為大型語言模型的對齊方法提供廣泛的探討，結合現有的能力研究。通過AI對齊的視角，我們將現行的方法和新出現的大型語言模型的對齊提案分類為外部和內部對齊。我們還探討了一些顯著問題，包括模型的可解釋性和潛在的對抗攻擊的脆弱性。為了評估大型語言模型的對齊，我們提出了各種基準和評估方法。在討論了大型語言模型的對齊研究狀況之后，我們最終展望未來，思考了未來有前途的研究方向。 我們對本次調查的愿景不僅僅是激發在這一領域的研究興趣。我們還希望彌合AI對齊研究社群和致力于探索大型語言模型能力的研究人員之間的差距，為能力強大且安全的大型語言模型牽線搭橋。

1 引言

以OpenAI的ChatGPT（OpenAI，2022年）和GPT-4（OpenAI，2023a年）為例的大型語言模型（LLMs）已經迅速發展，重新點燃了對人工通用智能（AGI）的熱忱和期望。雖然LLMs作為通向AGI的路徑仍是一個討論的話題，但這些模型，憑借著擴展規律（Kaplan等，2020年；Hoffmann等，2022年），越來越展現出類似AGI的特征（Bubeck等，2023年）。在大量數據的訓練下，LLMs不僅展示出了強大的語言能力，而且在數學、推理、醫學、法律和編程等多個領域迅速接近人類水平的熟練度（Bubeck等，2023年）。 伴隨著LLMs在技術上的突破，人們越來越關注它們可能對人類構成的潛在威脅和倫理風險。有明確的倫理風險已被發現。研究表明，LLMs可能會無意中傳播它們訓練數據中的有害信息，例如偏見、歧視和有毒內容（Weidinger等，2021年）。它們可能會泄露訓練數據中的私人和敏感信息，或生成誤導性、虛假或低質量的信息。此外，部署LLMs也引入了社會和倫理挑戰，例如LLMs的潛在濫用和對嚴重依賴LLM代理的用戶的負面影響，以及對環境、信息傳播和就業的更廣泛影響（Bubeck等，2023年）。

對于長期影響，人們普遍擔憂未對齊的AGI構成存在風險。超越人類智力和知識的AI代理可能會發展出自己的目標，與人類設定的目標產生分歧。在追求其目標的過程中，這樣的代理可能會壟斷資源，確保其保存和自我增強。這一軌跡可能導致人類完全失權，不可避免地導致人類存在的災難性后果（Carlsmith，2022年）。

作為解決這些問題的技術解決方案，AI對齊，即確保AI系統產生與人類價值觀一致的輸出，越來越受到關注。在LLMs的背景下，對齊確保模型的響應不僅準確和連貫，而且從開發人員和用戶的角度來看是安全、道德和可取的。隨著語言代理越來越融入我們日常生活的各個方面，從內容創建到決策支持，任何未對齊都可能導致意想不到的后果。正確地將大型語言模型與人類價值觀對齊，確保了這些模型的巨大潛力得到可信賴和負責任的利用。

響應這一領域日益增長的興趣，最近有一些文章回顧了（或偶然討論了）LLMs的對齊方法（Pan等，2023年；Zhao等，2023b年；Fernandes等，2023年；Liu等，2023d年；Wang等，2023d年）。然而，一個值得注意的觀察是，這些評論主要集中在外部對齊上，常常忽略了AI對齊中的其他重要主題，如內部對齊和機械解釋性。雖然無可否認，外部對齊在LLM對齊中占據了關鍵地位，并且一直是深入和深刻研究的主題，但從更廣泛的AI對齊角度來看，它只是整個對齊景觀的一部分。

為了彌補這一差距，我們從AI對齊的角度提供了LLM對齊的全面概述。我們認為，對齊的全面理解不僅應該包括廣泛研究的外部對齊，還應該深入探討目前還處于起步階段的領域。諸如內部對齊和機械解釋性這樣的主題，雖然目前還處于研究的初級階段，但卻擁有巨大的潛力。在這個階段，這些領域的許多提案仍然是理論性的，或者僅僅是思考實驗。然而，我們認為，它們對LLM對齊研究的未來軌跡是不可或缺的。通過揭示這些被忽視的領域，我們希望呈現出一個更為全面的對齊視角。因此，除了現有的LLM對齊方法，我們還將介紹幾個對齊主題，盡管這些主題尚未應用于LLMs，但顯示出前景，并可能在可預見的未來成為LLM對齊的組成部分。通過這樣做，我們致力于豐富AI對齊及其在大型語言模型領域的多方面應用的論述。

總結所有這些因素，我們在圖1中提出了一個LLM對齊的分類法。具體來說，本調查將首先討論LLM對齊研究的必要性（第2節）。為了提供AI/LLM對齊的歷史和鳥瞰視圖，我們介紹了AI對齊的起源和相關概念（第3節）。根據我們提出的分類法，將對齊LLMs的理論和技術方法分為外部對齊（第4節）、內部對齊（第5節）和機械解釋性（第6節），遵循AI對齊的哲學（Krakovna，2022年）。除了這些理論和實證方法外，我們還進一步討論了LLMs當前對齊方法的潛在副作用和脆弱性，包括對抗攻擊（第7節），以及LLM對齊評估的方法和基準（第8節）。最后，我們提出了我們對LLM對齊研究未來趨勢的有限觀點（第9節）。

為什么LLM對齊？

LLMs不僅在文本生成方面變得越來越有能力，還在許多其他任務中展現出能力，例如，文本到代碼生成（Poesia等，2022年），計劃（Huang等，2022年；Song等，2022年），工具學習（Qin等，2023年），推理（Mialon等，2023年）。然而，LLMs的訓練目標（Radford等，2019年；Devlin等，2019年），例如，下一個單詞預測（Radford等，2019年）或確定兩個句子在上下文中是否相關（Devlin等，2019年），并不一定符合人類價值觀。因此，LLMs可能會生成人類希望避免的不良內容或冒險行為。LLM風險通常可以從兩個方面來看：已建立的風險和預期的風險（Weidinger等，2021年）。前者主要是觀察到的社會和倫理風險（Weidinger等，2021年），而后者是與高級LLM相關的未來潛在風險（Hendrycks等，2023年）。 什么是LLM對齊？

為了深入理解大型語言模型（LLMs）中的技術對齊，我們需要討論更廣泛的概念，即AI對齊。盡管這是一個新興領域，但在LLMs出現之前就已經進行了研究。我們簡要介紹AI對齊的起源、研究格局和要點，以及與AI對齊相關的概念，這些都為LLM對齊及其最近出現的子領域提供了背景。

AI對齊的起源

AI對齊的起源可以追溯到激發AI革命的最初愿望：創建能夠像人類一樣思考和行動，甚至超越人類的機器。如果我們成功創建了這樣強大的機器，我們如何確保它們按照我們的最佳利益行事，而不是反對我們呢？這個未解之謎不僅引發了好奇心，而且強調了我們在塑造AI未來時所承擔的深遠責任。

賽博格學之父Norbert Wiener在一篇發表在《科學》雜志上的論文中提出了這樣的擔憂（Wiener, 1960）： “如果我們為了實現我們的目的，使用了一個我們一旦啟動就無法有效干預其操作的機械機構，因為這個行動如此迅速和不可逆，以至于我們在行動完成之前沒有數據進行干預，那么我們最好確保放入機器的目的是我們真正的愿望，而不僅僅是它的多彩模仿。”

這個聲明強調了確保“機械機構”的目標與我們為它設定的真正目標一致的重要性，強調了機器和人類目標之間的對齊。

2014年，人工智能：一種現代的方法（Russell和Norvig，2010）的作者之一Stuart Russell在一次采訪中表示：要深入了解LLMs中的技術對齊，我們需要討論AI對齊這一更為廣泛的概念。即便這是一個新興領域，但AI對齊的研究在LLMs出現之前就已經開始。我們簡要介紹了AI對齊的起源、研究景觀和成分以及相關概念，為LLM對齊及其新興的子領域提供背景。

“正確的響應似乎應該是改變該領域本身的目標；我們需要構建的不是純粹的智能，而是可以證明與人類價值觀相一致的智能。由于實際原因，我們需要解決即便是在人類環境中操作的相對不那么智能的AI系統的價值對齊問題。如果我們理解這個問題是AI固有的一部分，就像容納是現代核聚變研究的固有部分一樣，那么我們有理由保持樂觀。世界不需要走向悲傷。” —— Stuart Russell, 2014。 他定義了“價值對齊問題”（VAP），強調了建造不僅聰明而且與人類價值觀一致的AI系統的需要。盡管AI對齊的概念在AI誕生之初就已經種下，但過去幾十年基本上沒有進行研究。長時間以來，AI在各種能力方面都沒有達到人類水平，甚至被嘲笑稱為“人工白癡”。

然而，最近的進展，尤其是大型語言模型的崛起，已經將AI能力推向了接近甚至超過人類在許多任務上的表現的水平。這種復蘇使得AI對齊的重要性和緊迫性浮出水面。從2012年開始，在相關論壇和arXiv上已經開始出現了關于AI對齊的討論和研究文章。到2017年，關于AI對齊的出版物已經爆炸性地增長，論文數量從每年不到20篇增加到了超過400篇（Kirchner等，2022），與Transformer（Vaswani等，2017）和GPT（Radford等，2018）的發明相吻合。

相較于其他AI研究領域，如自然語言處理，AI對齊還處于前范例階段（Kirchner等，2022）。這個新興領域中的許多關鍵概念和術語還沒有達成共識。術語如“對齊”，“AI對齊”，和“價值對齊”在討論中經常可以互換使用。在某些上下文中，“人機對齊”作為“AI對齊”的替代詞出現。而“對齊”一詞在AI對齊的上下文中是合適的，但在更廣泛的上下文中可能會產生歧義，可能與機器翻譯中的雙語對齊等其他對齊概念混淆。 此外，對AI對齊的定義還沒有達成共識。Paul Christiano將AI對齊定義為“如果A在嘗試做H希望它做的事，那么A就與H一致。”這個定義過于泛泛了然，因為幾乎所有的AI模型都在盡力做其創建者希望它們做的事。

在此調查中，我們從其內在的角度定義AI對齊：AI對齊確保AI代理的內外目標都與人類價值觀一致。外部目標是基于人類價值觀由AI設計師定義的，而內部目標則是AI代理內部優化的。這一定義雖然區分了AI代理的內外目標，但并未準確定義人類價值觀，因此略顯不精確。將AI系統的目標分類為外部目標和內部目標的原因在于AI對齊的技術性質（Hubinger等，2019c）。在這個定義中沒有指定人類價值觀，是因為AI對齊固有的社會和技術挑戰（Hendrycks等，2021）。

AI對齊的研究格局和成分

眾所周知，從廣泛的角度來看，AI對齊的關鍵研究議程包括外部對齊、內部對齊和可解釋性（Hubinger, 2020b; Ngo, 2022; Krakovna, 2022）。

外部對齊

這是選擇正確的損失函數或獎勵函數，并確保AI系統的訓練目標符合人類價值觀。換句話說，外部對齊試圖將指定的訓練目標與其設計者的目標對齊。至少出于以下原因，這在實踐中非常困難： ? 通常很難理解和定義人類價值觀或意圖。 ? 人類價值觀有很多不同的細粒度維度。我們需要將指定的目標與所有這些維度對齊嗎？ ? 人類價值觀通常受社會和文化限制。我們需要將指定的目標與所有不同的文化和社會對齊，還是只對其中的一部分對齊？考慮到文化和社會的多樣性，我們如何確保價值對齊的公平性？ ? 由于人類價值觀/意圖通常是定性的，而要優化的損失或獎勵必須是可衡量和可計算的，我們如何彌合它們之間的差距？這被稱為目標規范問題。 ? 外部對齊可能會遭受規范游戲的困擾，其中由于古德哈特定律，可能會出現無法預見的目標或后果。古德哈特定律起源于經濟學，其內容是“當一項衡量變成一個目標時，它就不再是一個好的衡量”。這與外部對齊有關，因為某個價值的代理是要被優化的目標，它可能不再是一個好的代理。

**內部對齊

這是為了確保AI系統實際上經過培訓以實現設計師設定的目標。一旦我們指定了培訓目標，我們需要確保AI系統的行為實際上符合這些規范。由于AI系統，尤其是深度學習模型，可以開發出難以從其訓練數據或目標中預測的行為，這是具有挑戰性的。例如，一個經過訓練來贏得游戲的AI系統可能會找到一個意想不到的漏洞或者逃避通道，這在技術上滿足了它的目標，但違反了游戲的精神。目標錯誤泛化問題（Shah等人，2022）是另一個例子，即使我們有正確的目標規范，由于在未見情況下的魯棒性失敗，仍然可能產生無意的目標。內部對齊確保AI的“內部”目標（它在學習過程中推導或優化的目標）符合設計師設定的“外部”目標。 外部和內部對齊對于構建安全可靠的AI至關重要。如果失敗，我們冒著創造的系統的行為與人類價值觀或意圖不一致的風險。隨著LLMs變得更加有能力，這些對齊問題的重要性增加，使得LLM對齊的研究與LLM能力的研究一樣關鍵。

**可解釋性

在AI對齊的背景下，可解釋性廣泛地指的是促使人們理解AI系統的內部運作、決定和行為的方法、模型和工具。它可以進一步分為： ? 透明性：這是通過追蹤AI系統的內部狀態來理解黑盒中的AI系統的內部運作，從而引導其行為和決定。透明性的一個新興而有趣的方法是機械可解釋性，它尋求將機器學習系統（特別是神經網絡）的輸出和行為逆向工程到其內部狀態、權重和組件（Nanda等人，2023）。由于LLMs中參數的巨大數量以及LLMs作為大型神經網絡的系統復雜性，逆向工程LLMs是非常困難的。當前的機械可解釋性通常在LLMs的小型和簡化模型上進行（例如，去除了FFN子層的兩個神經層）（Elhage等人，2021; 2022a）。然而，這是一個相當有前途的方向，為神經網絡的對齊提供了深刻的見解，并有望在未來取得突破。 ? 可解釋性：這涉及AI系統為其決定提供人類可理解的解釋的能力。在許多關鍵領域，例如醫療保健、金融和執法，AI做出的決定對許多方面都有深遠的影響。例如，考慮一個醫療診斷AI。如果這個系統預測一個患者患有特定的醫療病癥，僅僅輸出這樣的預測結果是不夠的。醫療專業人員、患者和其他利益相關者會想要知道這個預測是如何做出的。它是否考慮了患者的病史、最近的實驗室結果或特定的癥狀來做出全面的決定？ 解釋通常被視為模型輸出的事后分析，該模型允許模型更多地了解其預測。透明度是查看模型內部以揭示模型的運作方式。盡管這種劃分不是絕對的（Lipton，2017），透明度更多地與對齊相關，因為透明度工具不僅使我們了解模型的內部結構，還提供了模型在培訓過程中變化的見解（Hubinger，2022a）。

**外部對齊、內部對齊和可解釋性之間的關系

外部和內部對齊共同確保模型的行為與人類的價值觀和意圖一致。外部對齊專注于從人類目標到模型的規范，而內部對齊深入研究模型的內部優化過程，以保證模型本質上試圖做設計師希望它做的事情。盡管存在這種差異，他們的二元和形式主義二分法并不建議，因為對齊失敗的分類有時是模糊的，構建安全和可信賴的系統時，整體對齊觀點是重要的。8雖然可解釋性不直接針對對齊，但其工具和技術可以幫助外部和內部對齊。通過了解模型如何演化和做出決定，我們可以更好地識別何時以及在哪里發生不對齊。例如，如果模型采取意想不到的捷徑來實現其目標，可解釋性可能會幫助我們了解這何時以及如何發生。此外，可解釋性可以向我們提供模型的內部推理過程的見解。

近年來，LLM（大型語言模型）的快速發展無疑揭開了新技術力量的新紀元。然而，隨著這一力量的出現，我們也承擔著確保這些模型在人類倫理和期望的范圍內運作的責任。本文提供了針對LLM的對齊方法的全面概述，強調了將能力研究與倫理考慮相結合的重要性。我們通過將對齊技術分類為外部對齊和內部對齊，揭示了研究社區目前所采用的多方面方法。同時，我們也討論了新興的主題，如模型的可解釋性和對抗性攻擊的脆弱性，突出了對齊過程中的復雜性。此外，本文不僅記錄了當前對齊研究的現狀，還展望了未來，確定了有望進一步完善和提高LLM對齊的潛在研究軌跡。我們真誠希望這份調查能作為催化劑，促進AI對齊社區與LLM研究人員之間的合作。這樣的合作方法是實現LLM全部潛力的必要條件，確保它們以道德合規和有益的方式服務于人類。總之，當我們繼續推動LLM的可能性邊界時，我們必須始終堅守對其負責任和有原則的部署的承諾。

大型語言模型（LLMs）在自然語言處理方面展示了令人印象深刻的能力。然而，它們的內部機制仍然不清楚，這種不透明性對下游應用帶來了不希望的風險。因此，理解和解釋這些模型對于闡明它們的行為、局限性和社會影響至關重要。在本文中，我們引入了可解釋性技術的分類體系，并提供了關于解釋基于Transformer的語言模型方法的結構化概述。我們根據LLMs的訓練范式對技術進行分類：傳統的微調范式和基于提示的范式。對于每個范式，我們總結了生成個體預測的局部解釋和總體模型知識的全局解釋的目標和主要方法。我們還討論了用于評估生成解釋的度量標準，并討論了如何利用解釋來調試模型和提高性能。最后，我們比較了LLMs時代解釋技術面臨的關鍵挑戰和新興機會與傳統機器學習模型。

大型語言模型（LLMs），如BERT（Devlin等，2019a）、GPT-3（Brown等，2020）、GPT-4（Bubeck等，2023）、LLaMA-2（Touvron等，2023b）和Claude（AnthropicAI，2023），在各種自然語言處理（NLP）任務中展示出了令人印象深刻的性能。主要科技公司，如微軟、谷歌和百度，已在其商業產品和服務中部署了LLMs以增強功能。例如，微軟利用GPT-3.5來改善新Bing的搜索相關性排名（Mehdi，2023）。由于LLMs通常是復雜的“黑盒子”系統，其內部工作機制是不透明的，高復雜性使模型解釋變得更加具有挑戰性。這種模型不透明性的缺乏有時會導致生成有害內容或幻覺的產生（Weidinger等，2021）。因此，開發解釋能力以揭示這些強大模型的工作方式至關重要。

可解釋性指的是以人類可理解的方式解釋或呈現模型行為的能力（Doshi-Velez和Kim，2017；Du等，2019a）。提高LLMs的可解釋性至關重要，有兩個關鍵原因。首先，對于一般終端用戶，可解釋性通過以可理解的方式闡明模型預測背后的推理機制來建立適當的信任，無需技術專業知識。通過這種方式，終端用戶能夠理解LLMs的能力、局限性和潛在缺陷。其次，對于研究人員和開發人員，解釋模型行為提供了洞察力，以識別意外偏見、風險和性能改進的領域。換句話說，可解釋性充當了一個調試輔助工具，可以快速提高下游任務上的模型性能（Strobelt等，2018；Bastings等，2022；Yuksekgonul等，2023）。它有助于追蹤模型能力隨時間的變化，進行不同模型之間的比較，并開發可靠、道德和安全的模型，以供實際部署使用。 由于LLMs的獨特屬性，其可解釋性技術與傳統機器學習（ML）模型的技術有所不同。LLMs和傳統ML模型之間的差異可以歸因于多個方面。從數據的角度來看，ML模型以監督方式依賴人工構建的特征，而LLMs旨在自動從原始輸入數據中學習特征（Chai和Li，2019）。解釋LLMs捕捉了哪些特征以及這些特征中包含了什么知識是重要的。從模型的角度來看，傳統ML模型通常是針對具體任務設計的，具有不同的模型架構（Liu和Sun，2023）。相比之下，經過廣泛數據集的預訓練的LLMs可以通過微調泛化到各種下游任務（Yang等，2023）。此外，LLMs的注意力機制已被廣泛用于通過為輸入的相關部分分配更高的值來確定輸入的重要性（Hu，2020）。由于注意力權重中編碼的知識和模式可能提示了模型的理解，注意力權重可以被認為是精細調校模型的另一個重要解釋標準。此外，由于LLMs的性能更好，還應進一步研究transformer的組件，包括神經元、層和模塊，學到了什么以及它們是否有不同的功能。從應用的角度來看，傳統ML模型專注于低級模式識別任務，如解析和形態分析，而LLMs可以處理高級推理任務，如回答問題和常識推理（Lauriola等，2022）。特別是，理解LLMs在上下文學習和思維鏈提示以及幻覺現象方面的獨特能力對于解釋和改進模型至關重要。為了更好地理解和改進LLMs，有必要回顧和總結專為LLMs定制的解釋技術。 在本文中，我們提供了一種解釋基于Transformer的語言模型的方法的全面概述。在第2節中，我們介紹了應用LLMs的兩個主要范式：1）傳統的下游微調范式和2）提示范式。基于這一分類，我們在第3節中回顧了適用于微調LLMs的解釋方法，并在第4節中回顧了適用于提示LLMs的解釋方法。在第5節中，我們討論了解釋方法的評估。最后，在第6節中，我們進一步討論了與傳統機器學習模型相比解釋LLMs所面臨的研究挑戰，并提供了有關潛在未來研究方向的見解。本文旨在全面整理關于解釋復雜語言模型的最新研究進展。 LLMs的訓練范式

LLMs的訓練可以基本分為兩個范式，傳統微調和提示，根據它們如何用于適應下游任務。由于這兩個范式之間存在重大區別，因此分別提出了各種類型的解釋（如圖1所示）。 傳統微調范式

在這個范式中，首先對語言模型進行了大規模無標簽文本數據的預訓練，然后在特定下游領域的一組標記數據上進行微調，例如GLUE基準測試中的SST-2、MNLI和QQP（Wang等人，2019）。在微調過程中，很容易在語言模型的最終編碼器層上方添加完全連接的層，使其適應各種下游任務（Rogers等人，2021）。這個范式已經在包含多達十億參數的中型語言模型上取得了成功。例如，包括BERT（Devlin等人，2019a）、RoBERTa（Liu等人，2019）、ELECTRA（Clark等人，2020）、DeBERTa（He等人，2021）等。對于這個范式的解釋重點在于兩個關鍵領域：1）理解自監督預訓練如何使模型獲得語言的基礎理解（例如句法、語義和上下文關系）；以及2）分析微調過程如何賦予這些預訓練模型有效解決下游任務的能力。

**提示范式 **

提示范式涉及使用提示，例如自然語言句子中的空白，以便模型填充，實現零樣本學習或少樣本學習，而無需額外的訓練數據。根據其開發階段，這個范式下的模型可以分為兩種類型： 基礎模型：隨著LLMs的規模和訓練數據的增加，它們展示了令人印象深刻的新能力，無需額外的訓練數據。其中一種能力是通過提示實現少樣本學習。這種類型的范式通常適用于大規模語言模型（擁有數十億參數）（例如GPT-3（Brown等人，2020）、OPT（Zhang等人，2022b）、LLaMA-1（Touvron等人，2023a）、LLaMA-2（Touvron等人，2023b）、Falcon（Almazrouei等人，2023））。這些模型被稱為基礎模型或基礎模型，它們可以與用戶進行對話，無需進一步與人類喜好對齊。大規模模型通常適用于這種范式，規模超過10億。例如，LLaMA-2（Touvron等人，2023b）擁有高達700億個參數。基礎模型的解釋旨在理解模型如何學習在回應提示時利用其預訓練知識。 助手模型：基礎模型存在兩個主要限制：1）它們不能按照用戶的指令進行操作，因為預訓練數據包含少量指令-響應示例，2）它們傾向于生成有偏見和有毒的內容（Carlini等人，2023）。為了解決這些限制，基礎模型通過監督微調進一步進行微調（見圖2），以實現人類級別的能力，例如開放域對話。關鍵思想是通過將模型的響應與人類反饋和喜好對齊來實現。這個過程最典型的方式是通過（提示，響應）演示對和來自人類反饋的強化學習（RLHF）進行指導調整。模型通過自然語言反饋進行訓練，以進行復雜的多輪對話。屬于這一類別的模型包括OpenAI的GPT-3.5和GPT4（Bubeck等人，2023）、Anthropic的Claude（AnthropicAI，2023）以及一些開源模型，如Meta的LLaMA-2-Chat（Touvron等人，2023b）、Alpaca（Taori等人，2023）和Vicuna（Chiang等人，2023）。這些模型也可以稱為助手模型、聊天助手或對話模型。助手模型的解釋重點在于理解模型如何從對話中學習開放式互動行為。

**傳統微調范式的解釋 **

在本節中，我們回顧了針對采用預訓練和下游微調范式訓練的LLMs的解釋技術。首先，我們介紹了提供局部解釋（第3.1節）和全局解釋（第3.2節）的方法。在這里，局部解釋旨在提供對語言模型如何對特定輸入實例進行預測的理解，而全局解釋旨在提供對LLM整體工作方式的廣泛理解。接下來，我們討論了如何利用解釋來調試和改進模型（第3.3節）。

局部解釋

解釋的第一類別涉及解釋LLMs生成的預測。讓我們考慮這樣一種情景，我們有一個語言模型，并將特定文本輸入模型。模型隨后產生分類輸出，例如情感分類或下一個標記的預測。在這種情景下，解釋的作用是闡明模型生成特定分類或標記預測的過程。由于目標是解釋LLM如何為特定輸入做出預測，我們將其稱為局部解釋。這個類別包括四個主要方法流，包括基于特征歸因的解釋、基于注意力的解釋、基于示例的解釋和自然語言解釋。

**全局解釋 **

不同于旨在解釋模型的個體預測的局部解釋，全局解釋有助于從模型的角度理解LLMs的工作方式。全局解釋旨在理解個體組件（神經元、隱藏層和較大模塊）編碼了什么，以及解釋了個體組件所學習的知識/語言屬性。我們考察了三種主要的全局解釋方法：探測方法，用于分析模型表示和參數；神經元激活分析，用于確定模型對輸入的響應性；以及基于概念的方法。

**提示范式的解釋 **

在本節中，我們介紹了解釋屬于提示范式的模型的技術，包括1）解釋基礎模型，如LLaMA-2（第4.1節），2）解釋助手模型，如LLaMA-2-Chat（第4.2節），以及3）如何利用LLMs的推理和解釋能力生成用戶友好的解釋（第4.3節）。

基礎模型解釋

隨著語言模型的規模增大，它們展示出了新的能力，如少樣本學習，即僅從少量示例中學習概念的能力。它們還展示了一種思維鏈（CoT）提示能力。鑒于這些新興屬性，解釋性研究有三個主要目標：1）研究提供解釋是否實際有助于模型自身更快地從僅有少量示例中“理解”新任務，2）理解這些大型語言模型如何能夠迅速從有限示例中掌握新任務，從而幫助終端用戶解釋模型的推理，以及3）解釋思維鏈提示。

**助手模型解釋 **

由于大規模無監督預訓練和有監督對齊微調，屬于這一范式的LLMs具有強大的推理能力。然而，它們的巨大規模也使它們容易生成問題輸出，如幻覺。解釋性研究旨在：1）闡明對齊微調的作用，2）分析幻覺產生的原因。

結論

在本文中，我們提供了對LLMs的可解釋性技術的全面概述。我們總結了基于模型訓練范式的局部和全局解釋方法。我們還討論了如何利用解釋來改進模型、評估以及主要挑戰。未來的重要發展選項包括開發針對不同LLMs的解釋方法、評估解釋的忠實性，以及提高人類可解釋性。隨著LLMs的不斷進步，可解釋性將變得極其重要，以確保這些模型具有透明性、公平性和益處。我們希望這份調查為這一新興研究領域提供了有用的組織，同時突顯了未來工作的開放性問題。

指令調優（IT）領域中的研究工作，這是增強大型語言模型（LLM）能力和可控性的關鍵技術。來自浙江大學等學者最新的《大模型指令調優》綜述，總結了關于 LLM 中指令調優最新工作。

本論文綜述了在快速發展的指令調優（IT）領域中的研究工作，這是增強大型語言模型（LLM）能力和可控性的關鍵技術。指令調優是指以監督方式進一步訓練LLM，使用由（指令，輸出）成對組成的數據集，從而彌合LLM的下一個詞預測目標與用戶使LLM遵循人類指令目標之間的差距。

在這項工作中，我們對文獻進行了系統的回顧，包括IT的一般方法、IT數據集的構建、IT模型的訓練，以及在不同模態、領域和應用中的應用，還分析了影響IT結果的因素（例如，指令輸出的生成、指令數據集的大小等）。

我們還回顧了IT的潛在問題，以及對IT的批評，同時指出了現有策略的不足之處，并提出了一些有益研究的方向。

近年來，大型語言模型（LLMs）領域取得了顯著進展。諸如GPT-3（Brown et al., 2020b）、PaLM（Chowdhery et al., 2022）和LLaMA（Touvron et al., 2023a）等LLMs在各種自然語言任務中展現出令人印象深刻的能力（Zhao et al., 2021; Wang et al., 2022b, 2023a; Wan et al., 2023; Sun et al., 2023c; Wei et al., 2023; Li et al., 2023a; Gao et al., 2023a; Yao et al., 2023; Yang et al., 2022a; Qian et al., 2022; Lee et al., 2022; Yang et al., 2022b; Gao et al., 2023b; Ning et al., 2023; Liu et al., 2021b; Wiegreffe et al., 2021; Sun et al., 2023b,a; Adlakha et al., 2023; Chen et al., 2023)。

LLMs面臨的一個主要問題是訓練目標與用戶目標之間的不匹配：LLMs通常在大規模語料庫上以最小化上下文詞預測誤差為訓練目標，而用戶希望模型能"有益且安全地遵循他們的指令"（Radford et al., 2019; Brown et al., 2020a; Fedus et al., 2021; Rae et al., 2021; Thoppilan et al., 2022）。

為了解決這種不匹配，提出了指令調優（IT）作為一種有效的技術，用于增強大型語言模型的能力和可控性。它涉及進一步使用（指令，輸出）對來訓練LLMs，其中指令表示模型的人類指令，而輸出表示遵循指令的期望輸出。指令調優的好處有三個：（1）在指令數據集上微調LLMs彌合了LLMs的下一個詞預測目標與用戶遵循指令目標之間的差距；（2）與標準LLMs相比，指令調優可以實現更可控且更可預測的模型行為。指令有助于約束模型的輸出，使其與期望的響應特性或領域知識保持一致，為人類提供介入模型行為的途徑；以及（3）指令調優在計算上效率高，可以使LLMs在不需要大規模重新訓練或架構更改的情況下快速適應特定領域。

盡管指令調優具有一定的效果，但也存在挑戰：（1）制定高質量的指令，以適當覆蓋所需的目標行為并非易事：現有的指令數據集通常在數量、多樣性和創造性方面存在限制；（2）越來越多的擔憂表明指令調優僅在在指令調優訓練數據集中受到重點支持的任務上取得了改進（Gudibande等，2023）；以及（3）有強烈批評認為指令調優僅捕捉了表面級別的模式和風格（例如，輸出格式），而未理解和學習任務本身（Kung和Peng，2023）。提高指令遵循性和處理意料之外的模型響應仍然是開放的研究問題。

這些挑戰強調了在該領域進一步進行調查、分析和總結的重要性，以優化微調過程并更好地理解經過指令微調的LLMs的行為。在文獻中，越來越多的研究關注于對LLMs進行分析和討論，包括預訓練方法（Zhao等，2023）、推理能力（Huang和Chang，2022）、下游應用（Yang等，2023；Sun等，2023b），但很少涉及LLM指令微調的主題。本調查試圖填補這一空白，整理關于這一快速發展領域的最新知識狀態。

方法

在本節中，我們描述了在指令調優中使用的一般流程。

1** 指令數據集構建** 指令數據集中的每個實例由三個元素組成：一個指令，這是一個自然語言文本序列，用于指定任務（例如，寫一封感謝信給XX，為XX寫一篇關于XX主題的博客等）；一個可選的輸入，為上下文提供補充信息；以及基于指令和輸入的預期輸出。通常有兩種方法用于構建指令數據集： ? 從帶注釋的自然語言數據集中整合數據。在這種方法中，通過使用模板將文本標簽對轉換為（指令，輸出）對，從現有的帶注釋的自然語言數據集中收集（指令，輸出）對。例如Flan（Longpre等，2023）和P3（Sanh等，2021）數據集是基于數據整合策略構建的。 ? 使用LLMs生成輸出：一種快速收集給定指令所需輸出的替代方法是使用LLMs，如GPT-3.5-Turbo或GPT4，而不是手動收集輸出。指令可以來自兩個來源：（1）手動收集；或（2）基于使用LLMs擴展的小型手寫種子指令。接下來，收集到的指令被輸入到LLMs中以獲得輸出。如InstructWild（Xue等，2023）和Self-Instruct（Wang等，2022c）數據集是按照這種方法生成的。對于多輪會話的指令調優數據集，我們可以讓大型語言模型自我扮演不同角色（用戶和AI助手），以生成以會話形式的消息（Xu等，2023b）。

** 指令調優**

基于收集的指令調優數據集，可以采用完全監督的方式直接對預訓練模型進行微調，其中在給定指令和輸入的情況下，模型通過逐個預測輸出中的每個令牌來進行訓練。

** 指令微調LLM**

多模態指令微調LLM****

高效微調技術

高效微調技術旨在通過多種方式優化少量參數，以使語言模型（LLMs）適應下游任務，包括加法、規范和重新參數化。基于加法的方法引入了額外的可訓練參數或模塊，這些參數或模塊在原始模型中不存在。代表性的方法包括適配器微調（Houlsby等，2019）和基于提示的微調（Schick和Schütze，2021）。基于規范的方法在凍結其他參數的同時，指定了某些固有模型參數進行微調。例如，BitFit（Zaken等，2022）微調了預訓練模型的偏置項。重新參數化方法將模型權重轉換為更具參數效率的形式進行微調。關鍵假設是模型自適應是低秩的，因此可以將權重重新參數化為低秩因子或低維子空間（例如LoRA（Hu等，2021））。內在提示微調找到了在不同任務之間調整提示時共享的低維子空間。

結論

本文綜述了快速發展的指令調優領域的最新進展。對IT的一般方法論、IT數據集的構建、IT模型的訓練、IT在不同模態、領域和應用中的應用進行了系統的回顧。還回顧了對IT模型的分析，以發現它們的優點和潛在的缺陷。我們希望這項工作將作為一種刺激，激勵進一步努力解決當前IT模型的不足。

面向知識圖譜的知識推理旨在通過已有的知識圖譜事實，去推斷新的事實，進而實現知識庫的補全。近年來，盡管基于分布式表示學習的方法在推理任務上取得了巨大的成功，但是他們的黑盒屬性使得模型無法為預測出的事實做出解釋。所以，如何設計用戶可理解、可信賴的推理模型成為了人們關注的問題。本文從可解釋性的基本概念出發，系統梳理了面向知識圖譜的可解釋知識推理的相關工作，具體介紹了事前可解釋推理模型和事后可解釋推理模型的研究進展；根據可解釋范圍的大小，本文將事前可解釋推理模型進一步細分為全局可解釋的推理和局部可解釋的推理；在事后解釋模型中，本文回顧了推理模型的代表方法，并詳細介紹提供事后解釋的兩類解釋方法。此外，本文還總結了可解釋知識推理在醫療、金融領域的應用。隨后，本文對可解釋知識推理的現狀進行概述，最后展望了可解釋知識推理的未來發展方向，以期進一步推動可解釋推理的發展和應用。

//www.jos.org.cn/jos/article/abstract/6522

知識圖譜（Knowledge Graph）本質是一種語義網絡，通常用 (頭實體，關系，尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關系。自谷歌提出知識圖譜概念以來，知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據，但是這樣大規模的數據仍然不完整，大量缺失的三元組嚴重限制了這些下游任務的性能。知識推理，這一旨在根據一定的推理機制去預測圖譜中缺失三元組的任務，也吸引了學術界越來越多的目光。

早在 2013 年，Li 等人[1] 提出利用表示學習的方法去做知識推理，通過將實體和關系映射到低維連續 的向量空間，將推理預測任務轉化為實體與關系所關聯的簡單的向量/矩陣操作。鑒于該方法的自由度高、 可計算性好、推理效率高等優點，該類方法在近幾年得到了廣泛關注和發展，并且廣泛的應用在推薦系統、 對話生成等互聯網場景。在這些場景下，研究者們更多的關注如何提高知識推理的性能，忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時，通常來說，并不會招致非常嚴重的后果。然而，在當今人工智能技術應用的大趨勢下，知識推理不僅可以應用在上述互聯網場景，而且越來越 多的被應用在和人類的生產生活息息相關的一些領域（例如，智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]），這些領域往往對模型的安全性能要求較高，風險高度敏感。例如，在醫療領域，推理的可 靠性會關系到人的生命安全。通常來說，在這些領域，僅僅獲得預測結果是不夠的，模型還必須解釋是怎 么獲得這個預測的，來建立用戶和推理模型之間的信任。

隨著深度學習的發展，知識推理方法的模型結構越來越復雜，僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方面優于人類，但由于用戶無 法對這類模型里的參數、結構、特征產生直觀理解，對于模型的決策過程和模型的推理依據知之甚少，對 于模型的決策過程知之甚少，不知道它何時會出現錯誤，在風險敏感的領域中，用戶仍然無法信任模型的 預測結果。因此，為了建立用戶和推理模型之間的信任，平衡模型準確率和可解釋性之間的矛盾，可解釋 性知識推理在近幾年的科研會議上成為關注熱點。

盡管有很多學者對知識推理領域進行了深入的研究，并從不同的角度（如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等）對推理模型進行梳理和總結。然而，在推理模型的可解釋性方面 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展，本文對現有的可解釋推理模型進行了 系統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性，并介紹常見的 可解釋模型劃分標準；然后，根據解釋產生的方式，對現有的可解釋知識推理模型進行總結和歸類，并討 論相關方法的局限性；接著，簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最后，本文討論可 解釋知識推理面臨的挑戰以及可能的研究方向。

1 可解釋的知識推理

在詳細介紹現有的可解釋知識推理模型之前，首先介紹知識推理的基本概念，接著對什么是可解釋性 （Interpretability），以及為什么要在推理任務中注重可解釋性進行介紹，最后對本文的劃分標準做簡要說明。

1.1 知識推理的基本概念

2012 年，谷歌正式提出知識圖譜的概念，用于改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關系，其中 h 代表頭實體， r 代表實體之間的關系， t 代表尾實體。例如（詹姆斯·卡梅隆，執導，泰坦尼克號）即是一個三元組，其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”，“執導”是兩個實體之間的關系。代表性的知識圖譜，如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等，雖然包含數以億計的三元組，但是卻面臨非常嚴重的數據缺失問題。據 2014 年的統計，在 Freebase 知識庫中，有 75%的人沒有國籍信息，DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重制約了知識圖譜在下游任務中的效能發揮。因此，如何讓機器自動基于知 識圖譜中的已有知識進行推理，從而補全和完善知識圖譜，成為了工業界和學術界都亟待解決的問題。

總的來說，面向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法，根據知識圖譜中已 有的三元組去推理出缺失的三元組，從而對知識圖譜進行補充和完善。例如，已知（詹姆斯·卡梅隆，執導， 泰坦尼克號）和（萊昂納多·迪卡普里奧，出演，泰坦尼克號），可以得到（詹姆斯·卡梅隆，合作，萊昂納 多·迪卡普里奧）。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全（又稱之為鏈接預測）[1,27,94,95]兩個 任務[117] ，其中，知識圖譜去噪任務專注于知識圖譜內部已有三元組正確性的判斷；而知識圖譜補全專注 于擴充現有的圖譜。根據要推理元素的不同，知識圖譜補全任務可以進一步細分為實體預測和關系預測。其中，實體預測是指給定查詢 ( ,r,?) h ，利用已有事實的關系，推理出另一個實體并由此構成完整三元組， 同理，關系預測則是指給定查詢 ( ,?, t) h ，推理給定的頭尾實體之間的關系。由于知識圖譜中大多數三元組 都是正確的，知識圖譜去噪任務通常采用對已有三元組進行聯合建模并進一步判斷特定三元組是否成立的 方法。在這種情況下，知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此，在下面的內容里，本 文以知識圖譜補全任務為中心，對相關的可解釋性方法進行梳理和總結。

1.2 可解釋性及其在知識推理中的必要性

目前學術界和工業界對于可解釋性沒有明確的數學定義[62] ，不同的研究者解決問題的角度不同，為 可解釋性賦予的涵義也不同，所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller （2017）[2,42]所提出，指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易于理解，那么它就比另一個模型具有更高的可解釋性。

在某些情況下，我們不必關心模型為什么做出這樣的預測，因為它們是在低風險的環境中使用的，這 意味著錯誤不會造成嚴重后果（例如，電影推薦系統），但是對于某些問題或任務，僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎么獲得這個預測的，因為正確的預測只部分地解決了原始問題。通常來說， 以下三點原因推動了對可解釋性的需求：

1、高可靠性要求。盡管可解釋性對于一些系統來說并不是不可或缺的，但是，對于某些需要高度可靠 的預測系統來說很重要，因為錯誤可能會導致災難性的結果（例如，人的生命、重大的經濟損失）。可解釋性可以使潛在的錯誤更容易被檢測到，避免嚴重的后果。此外，它可以幫助工程師查明根 本原因并相應地提供修復。可解釋性不會使模型更可靠或其性能更好，但它是構建高度可靠系統 的重要組成部分。

2、道德和法律要求。第一個要求是檢測算法歧視。由于機器學習技術的性質，經過訓練的深度神經網 絡可能會繼承訓練集中的偏差，這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題，例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因，希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外，推理模型目前也被用于新 藥的發現和設計[124] 。在藥物設計領域，除了臨床測試結果以外，新藥還需要通常還需要支持結 果的生物學機制，需要具備可解釋性才能獲得監管機構的批準，例如國家藥品監督管理局 (NMPA)。

3、科學發現的要求。推理模型本身應該成為知識的來源，可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時，它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。

1.3 本文的劃分標準

根據不同的劃分標準，知識推理模型可以被劃分成不同的類別。其中，根據解釋產生的方法，可以將 推理模型劃分為兩大類：事前可解釋和事后可解釋[41,62,96,97,102,118]。其中，事前可解釋模型主要指不需要額 外的解釋方法，解釋蘊含在自身架構之中的模型。事后可解釋性是指模型訓練后運用解釋方法進行推理過 程和推理結果的解釋，解釋方法自身是不包含在模型里面的。一種方法被看作能夠對黑盒模型進行解釋， 是指該方法可以：（1）通過可解釋和透明的模型（例如，淺決策樹、規則列表或者稀疏線性模型）對模型 的行為進行近似，可以為模型提供全局的可解釋；（2）能夠解釋模型在特定輸入樣例上進行預測的原因；（3）可以對模型進行內部檢查，了解模型的某些特定屬性，譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是，可以將事后解釋方法應用于事前可解釋的模型上，例如，可以 從敏感性分析的角度對事前模型進行剖析。此外，根據可解釋的范圍大小----是否解釋單個實例預測或整個 模型行為，可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96]；根據解釋方法是否特定于模型，可以 將模型劃分為特定于模型和模型無關兩種類別[96] 。在接下來的內容里，本文按照解釋產生的方式，對知 識推理模型進行總結和歸類。

關系分類(RC)是文本知識提取中的重要任務，而數據驅動方法雖然具有較高的性能，但卻嚴重依賴于大量標注的訓練數據。近年來，人們提出了許多少樣本RC模型，并在一般領域數據集上取得了良好的結果，但當適應于特定領域(如醫學)時，其性能急劇下降。本文提出了一種面向領域自適應任務(KEFDA)的知識增強少樣本RC模型，該模型將通用知識圖譜和領域特定知識圖譜融合到RC模型中，以提高其領域自適應能力。該模型利用概念級的KGs，可以更好地理解文本的語義，并易于從少數實例中總結關系類型的全局語義。更重要的是，作為一種元信息，利用KGs的方式可以從現有任務轉移到新的任務，甚至跨領域。具體來說，我們設計了一個知識增強的原型網絡進行實例匹配，設計了一個關系元學習網絡進行隱式關系匹配。這兩個評分函數被組合在一起來推斷新實例的關系類型。FewRel 2.0基準的領域適應挑戰的實驗結果表明，我們的方法顯著優于最先進的模型(平均6.63%)。

//dl.acm.org/doi/abs/10.1145/3447548.3467438

將知識引入到依靠數據驅動的人工智能模型中是實現人機混合智能的一種重要途徑。當前以BERT為代表的預訓練模型在自然語言處理領域取得了顯著的成功,但是由于預訓練模型大多是在大規模非結構化的語料數據上訓練出來的,因此可以通過引入外部知識在一定程度上彌補其在確定性和可解釋性上的缺陷。該文針對預訓練詞嵌入和預訓練上下文編碼器兩個預訓練模型的發展階段,分析了它們的特點和缺陷,闡述了知識增強的相關概念,提出了預訓練詞嵌入知識增強的分類方法,將其分為四類:詞嵌入改造、層次化編解碼過程、優化注意力和引入知識記憶。將預訓練上下文編碼器的知識增強方法分為任務特定和任務通用兩大類,并根據引入知識的顯隱性對其中任務通用的知識增強方法進行了進一步的細分。該文通過分析預訓練模型知識增強方法的類型和特點,為實現人機混合的人工智能提供了模式和算法上的參考依據。

//cea.ceaj.org/CN/abstract/abstract39198.shtml

近年來，深度學習技術被廣泛應用于各個領域，基于深度學習的預處理模型將自然語言處理帶入一個新時代。預訓練模型的目標是如何使預訓練好的模型處于良好的初始狀態，在下游任務中達到更好的性能表現。對預訓練技術及其發展歷史進行介紹，并按照模型特點劃分為基于概率統計的傳統模型和基于深度學習的新式模型進行綜述；簡要分析傳統預訓練模型的特點及局限性，重點介紹基于深度學習的預訓練模型，并針對它們在下游任務的表現進行對比評估；梳理出具有啟發意義的新式預訓練模型，簡述這些模型的改進機制以及在下游任務中取得的性能提升；總結目前預訓練的模型所面臨的問題，并對后續發展趨勢進行展望。

最近深度神經網絡已經在監督識別任務上取得了令人振奮的突破，但是深度神經網絡要求每個類都有足夠 多的且完全標注的訓練數據。如何從少數訓練樣本中學習并識別新的類別，對于深度神經網絡來說是一個具有挑戰性的問題。針對如何解決少樣本學習的問題，全面總結了現有的基于深度神經網絡的少樣本學習方法，涵蓋了方法 所用模型、數據集及評估結果等各個方面。具體地，針對基于深度神經網絡的少樣本學習方法，提出將其分為四種 類別，即數據增強方法、遷移學習方法、度量學習方法和元學習的方法；對于每個類別，進一步將其分為幾個子類 別，并且在每個類別與方法之間進行一系列比較，以顯示各種方法的優劣和各自的特點。最后，強調了現有方法的局限性，并指出了少樣本學習研究領域的未來研究方向。