亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

這篇論文對大型語言模型（LLMs）在知識圖譜（KG）構建和推理中的作用進行了詳盡的定量和定性評估。我們使用了八個不同的數據集，涵蓋了實體、關系和事件提取，鏈接預測，和問題回答等方面。實證上，我們的發現表明，GPT-4在大多數任務中表現優于ChatGPT，甚至在某些推理和問題回答的數據集中超過了微調模型。此外，我們的綜述還擴展到了LLMs在信息提取方面的潛在泛化能力，這在虛擬知識提取任務的介紹和VINE數據集的開發中達到了高潮。依據這些實證發現，我們進一步提出了AutoKG，這是一種使用LLMs進行KG構建和推理的多智能體方法，旨在勾畫出這個領域的未來并提供激動人心的進步機會。我們期待我們的研究能為未來的KG的實踐提供寶貴的見解。

1. 引言

知識圖譜（KG）是一個由實體、概念和關系組成的語義網絡（Cai et al., 2022；Chen et al., 2023；Zhu et al., 2022；Liang et al., 2022），它可以催化各種場景的應用，如推薦系統、搜索引擎和問題回答系統（Zhang et al., 2021）。通常，KG構建（Ye et al., 2022b）包括幾個任務，包括命名實體識別（NER）（Chiu和Nichols，2016），關系提取（RE）（Zeng et al., 2015；Chen et al., 2022），事件提取（EE）（Chen et al., 2015；Deng et al., 2020），和實體鏈接（EL）（Shen et al., 2015）。另一方面，KG推理，通常被稱為鏈接預測（LP），在理解這些構建的KG中起著關鍵的作用（Zhang et al., 2018；Rossi et al., 2021）。此外，KG可以被用于問題回答（QA）任務（Karpukhin et al., 2020；Zhu et al., 2021），通過對與問題相關的關系子圖的推理。

早期，知識圖譜的構建和推理主要依賴于監督學習方法。然而，近年來，隨著大型語言模型（LLMs）的顯著進步，研究人員已經注意到它們在自然語言處理（NLP）領域的卓越能力。盡管有許多關于LLMs的研究（Liu et al., 2023；Shakarian et al., 2023；Lai et al., 2023），但在知識圖譜領域系統地探索它們的應用仍然有限。為了解決這個問題，我們的工作研究了LLMs（如ChatGPT和GPT-4，OpenAI，2023）在知識圖譜構建、知識圖譜推理任務中的潛在應用性。通過理解LLMs的基本能力，我們的研究進一步深入了解了該領域的潛在未來方向。

圖1：我們工作的概述。主要有三個部分：1）基礎評估：詳細說明了我們對大型模型（text-davinci-003，ChatGPT和GPT-4）的評估，無論是在零次還是一次設置中，都使用完全監督的最先進模型的性能數據作為基準；2）虛擬知識提取：檢查大型模型在構建的VINE數據集上的虛擬知識能力；3）AutoKG：提出利用多個代理來促進知識圖譜的構建和推理。

具體來說，如圖1所示，我們首先調研了LLMs在實體、關系和事件提取，鏈接預測，和問題回答方面的零樣本和一次樣本性能，以評估它們在知識圖譜領域的潛在應用。實證發現表明，盡管LLMs在知識圖譜構建任務中的性能有所提升，但仍落后于最先進的（SOTA）模型。然而，LLMs在推理和問題回答任務中表現出相對優越的性能。這表明它們擅長處理復雜問題，理解上下文關系，并利用預訓練過程中獲取的知識。因此，像GPT-4這樣的LLMs作為少次信息提取器的效果有限，但作為推理助手的熟練程度相當高。為了進一步研究LLMs在信息提取任務上的表現，我們設計了一個新的任務，稱為“虛擬知識提取”。這個任務旨在判斷性能的觀察到的改進是來自LLMs內在的廣泛知識庫，還是來自于指導調整和人類反饋的強化學習（RLHF）（Christiano et al., 2017）所促進的強大泛化能力。在新建的VINE數據集上的實驗結果表明，像GPT-4這樣的LLMs可以迅速從指令中獲取新的知識，并有效地完成相關的提取任務。 在這些實證發現中，我們認為LLMs對指令的極大依賴使得為知識圖譜的構建和推理設計合適的提示變得費時費力。為了促進進一步的研究，我們引入了AutoKG的概念，它使用多個LLMs的代理自動進行知識圖譜的構建和推理。

總的來說，我們的研究做出了以下貢獻：

我們評估了LLMs，包括GPT-3.5, ChatGPT, GPT-4，通過在八個基準數據集上評估它們在知識圖譜構建和推理的零樣本和一樣本性能，提供了對它們能力的初步理解。

我們設計了一個新的虛擬知識提取任務，并構建了VINE數據集。通過評估LLMs在這個數據集上的性能，我們進一步展示了像GPT-4這樣的LLMs具有強大的泛化能力。

我們引入了使用交際代理自動進行知識圖譜構建和推理的概念，稱為AutoKG。利用LLMs的知識庫，我們使多個LLMs的代理能夠通過迭代對話協助知識圖譜的構建和推理過程，為未來的研究提供了新的洞察。

**LLMs在知識圖譜構建和推理方面的新能力 **

最近，LLMs的出現給NLP領域注入了活力。為了探索LLMs在知識圖譜領域的潛在應用，我們選擇了代表性的模型，即ChatGPT和GPT-4。我們在知識圖譜構建和推理領域的八個不同數據集上對它們的性能進行了全面評估。

**2.1 評估原則 **

在這項研究中，我們對LLMs在各種知識圖譜相關任務上進行了系統評估。首先，我們評估了這些模型在zero-shot和one-shotNLP任務中的能力。我們的主要目標是在面對有限數據時檢查它們的泛化能力，以及在沒有示范的情況下使用預訓練知識有效推理的能力。其次，根據評估結果，我們對導致模型在不同任務中表現不同的因素進行了全面分析。我們旨在探究它們在某些任務中表現優越的原因和潛在缺陷。通過比較和總結這些模型的優點和限制，我們希望提供可能指導未來改進的洞察。

2.2 知識圖譜的構建和推理

2.2.1 設置

實體、關系和事件提取。DuIE2.0 (Li et al., 2019)代表了業界最大的基于模式的中文關系提取數據集，包括超過210,000個中文句子和48個預定義的關系類別。SciERC (Luan et al., 2018)是一組注釋了七種關系的科學摘要。Re-TACRED (Stoica et al., 2021)是TACRED關系提取數據集的顯著改進版本，包含超過91,000個分布在40個關系中的句子。MAVEN (Wang et al., 2020)是一個包含4,480份文件和168種事件類型的通用領域事件提取基準。

鏈接預測 FB15K-237 (Toutanova et al., 2015)廣泛用作評估知識圖譜嵌入模型在鏈接預測上的性能的基準，包括237個關系和14,541個實體。ATOMIC 2020 (Hwang et al., 2021a)是一個全面的常識倉庫，包含關于實體和事件的133萬條推理知識元組。

問答 FreebaseQA (Jiang et al., 2019)是一個基于Freebase知識圖譜構建的開放領域QA數據集，專為知識圖譜QA任務設計。這個數據集包括從各種來源（如TriviaQA數據集等）收集的問題-答案對。MetaQA (Zhang et al., 2018)數據集，從WikiMovies (Miller et al., 2016)數據集擴展，提供了大量的單跳和多跳問題-答案對，總數超過400,000個。

2.2.2 總體結果

實體和關系提取 我們在SciERC, Re-TACRED, 和DuIE2.0上進行實驗，每個實驗涉及到測試/驗證集的20個樣本，并使用標準的micro F1分數進行評估。在此我們分別在每個數據集上使用PaddleNLP LIC2021 IE2，PL-Marker (Ye et al., 2022a)和EXOBRAIN (Park and Kim, 2021)作為基線。如表1所示，GPT-4在這些學術基準提取數據集上無論是zero-shot還是one-shot都取得了相對良好的性能。與ChatGPT相比，它也有所進步，盡管其性能還沒有超過完全監督的小模型。

事件提取 我們在MAVEN數據集的20個隨機樣本上進行事件檢測的實驗。此外，我們使用Wang等人(2022a)的研究作為先前經過微調的SOTA。同時，即使沒有演示，GPT-4也已經取得了值得稱贊的結果。在這里，我們使用F-分數作為評估指標。

鏈接預測任務 鏈接預測任務包括在兩個不同的數據集FB15k-237和ATOMIC2020上進行的實驗。前者是包含25個實例的隨機樣本集，而后者包含23個代表所有可能關系的實例。在各種方法中，最好的微調模型是FB15k-237的C-LMKE (BERT-base) (Wang et al., 2022c)和ATOMIC2020的COMET (BART) (Hwang et al., 2021b)。

問題回答 我們在兩個廣泛使用的知識庫問題回答數據集上進行評估：FreebaseQA和MetaQA。我們從每個數據集中隨機抽取20個實例。對于MetaQA，由于它由不同跳數的問題組成，我們根據它們在數據集中的比例進行抽樣。我們用于兩個數據集的評估指標是AnswerExactMatch。

在涵蓋知識圖譜構建和知識圖譜推理的實驗中，大型語言模型（LLMs）通常在推理能力上表現優于它們的構建能力。對于知識圖譜的構建任務，無論是在 zero-shot 或 one-shot 的情況下，LLMs的表現都沒有超過當前最先進模型的表現。這與之前在信息提取任務上進行的實驗（Ma等人，2023）保持一致，這些實驗表明，大型語言模型通常并不擅長進行少樣本的信息提取。相反，在知識圖譜推理任務中，所有LLMs在one-shot設置中，以及GPT-4在zero-shot設置中，都達到了最先進（SOTA）的表現。這些發現為增強我們對大型模型的性能和它們在知識圖譜領域內的適應性的理解提供了有意義的見解。我們提出了對這種現象的幾種可能解釋：首先，知識圖譜構建任務包括識別和提取實體、關系、事件等，使得它比推理任務更為復雜。相反，推理任務，以鏈接預測為典型，主要依賴于已有的實體和關系進行推斷，使得任務相對直接。其次，我們推測LLMs在推理任務中表現優異可能歸因于它們在預訓練階段接觸到的相關知識。

3 未來機遇：自動化知識圖譜構建和推理

最近，大型語言模型（LLMs）引起了相當大的關注，并在各種復雜任務中展示了精通的能力。然而，像ChatGPT這樣的技術的成功，仍然主要依賴于大量的人力輸入，以引導對話文本的生成。隨著用戶逐步精細化任務描述和要求，并與ChatGPT建立對話環境，模型能夠提供越來越精確、高質量的回應。然而，從模型開發的角度看，這個過程仍然是勞動密集型和耗時的。因此，研究人員已經開始研究使大型模型能夠自主生成指導文本的可能性。例如，AutoGPT可以獨立生成提示，并執行像事件分析、營銷計劃創建、編程和數學操作等任務。同時，Li等人（2023）深入研究了交際代理之間自主合作的可能性，并介紹了一個名為角色扮演的新型合作代理框架。這個框架使用啟示性提示，以確保與人類意圖的一致性。在此研究基礎上，我們進一步詢問：是否可行使用交際代理來完成知識圖譜的構建和推理任務？

在這個實驗中，我們使用了CAMEL（Li等人，2023）中的角色扮演方法。如圖6所示，AI助手被指定為顧問，AI用戶被指定為知識圖譜領域專家。在收到提示和指定的角色分配后，任務指定代理提供詳細的描述以具體化概念。在此之后，AI助手和AI用戶在多方設置中協作完成指定的任務，直到AI用戶確認其完成。實驗示例表明，使用多代理方法，與電影《綠皮書》相關的知識圖譜被更有效、更全面地構建。這個結果也強調了基于LLM的代理在構建和完成知識圖譜方面的優越性。

通過結合人工智能和人類專業知識的努力，AutoKG可以快速定制領域特定的知識圖譜。該系統允許領域專家與機器學習模型進行交互，從而通過交換專家知識和經驗，促進領域特定知識圖譜的構建的協作環境。此外，AutoKG可以有效地利用人類專家的領域知識，生成高質量的知識圖譜。同時，通過這種人機協作，它可以在處理領域特定任務時，提高大型語言模型的事實準確性。反過來，這個目標預計將增加模型的實用價值。 AutoKG不僅可以加快領域特定知識圖譜的定制，而且還可以增強大規模模型的透明度和體現代理的交互。更準確地說，AutoKG有助于深入理解大型語言模型（LLMs）的內部知識結構和運作機制，從而提高模型的透明度。此外，AutoKG可以作為一個合作的人機交互平臺，使人類和模型之間能夠進行有效的交流和互動。這種互動促進了對模型學習和決策過程的更好理解和指導，從而提高了模型在處理復雜任務時的效率和準確性。盡管我們的方法帶來了顯著的進步，但它并非沒有局限性，然而，這些局限性為進一步的探索和改進提供了機會：

API的使用受到最大Token限制的約束。目前，由于GPT-4 API不可用，正在使用的gpt-3.5-turbo受到最大token限制。這個約束影響了知識圖譜的構建，因為如果超過了這個限制，任務可能無法正確執行。現在，AutoKG在促進有效的人機交互方面表現出缺點。在任務完全由機器自主進行的情況下，人類不能及時糾正交流過程中的錯誤發生。相反，在機器通信的每一步中都涉及到人類，可以顯著增加時間和勞動成本。因此，確定人類介入的最佳時機對于知識圖譜的高效和有效的構建至關重要。大型語言模型（LLMs）的訓練數據是時間敏感的。未來的工作可能需要將來自互聯網的檢索特性納入考慮，以彌補當前大型模型在獲取最新或領域特定知識方面的不足。

4. 結論

在這篇論文中，我們初步調研了大型語言模型（LLMs），如GPT系列，在知識圖譜（KG）構建和推理等任務上的表現。盡管這些模型在這些任務上表現優秀，我們提出了這樣一個問題：LLMs在提取任務中的優勢是源于它們龐大的知識庫，還是源于它們強大的上下文學習能力？為了探索這個問題，我們設計了一個虛擬的知識提取任務，并為實驗創建了相應的數據集。結果表明，大型模型確實具有強大的上下文學習能力。此外，我們提出了一種利用多個代理完成KG構建和推理任務的創新方法。這種策略不僅減輕了人工勞動，也彌補了各個領域人類專業知識的匱乏，從而提高了LLMs的表現。盡管這種方法仍有一些局限性，但它為LLMs的未來應用的進步提供了新的視角。

開放知識圖譜（KG）補全的任務是從已知事實中提取新的發現。現有的增強KG補全的工作需要：（1）事實三元組來擴大圖推理空間，或者（2）手動設計提示來從預訓練的語言模型（PLM）中提取知識，這種方式的性能有限，需要專家付出昂貴的努力。為此，我們提出了TAGREAL，它可以自動生成高質量的查詢提示，并從大型文本語料庫中檢索支持信息，以探測PLM中的知識進行KG補全。結果顯示，TAGREAL在兩個基準數據集上實現了最新的性能。我們發現，即使在訓練數據有限的情況下，TAGREAL的性能也非常出色，超過了現有的基于嵌入的、基于圖的和基于PLM的方法。

1. 引言

知識圖譜（KG）是一種異構圖，它以實體-關系-實體三元組的形式編碼事實信息，其中關系連接頭實體和尾實體（例如，“邁阿密位于-美國”）（Wang et al., 2017；Hogan et al., 2021）。KG（Dai et al., 2020）在許多NLP應用中起著核心作用，包括問答系統（Hao et al., 2017；Yasunaga et al., 2021）、推薦系統（Zhou et al., 2020）和藥物發現（Zitnik et al., 2018）。然而，現有的研究（Wang et al., 2018；Hamilton et al., 2018）顯示，大部分大規模KG都是不完整的，無法全面覆蓋龐大的現實世界知識。這個挑戰促使了KG補全，其目標是給定主題實體和關系，找出一個或多個對象實體（Lin et al., 2015）。例如，在圖1中，我們的目標是預測對象實體，其中“底特律”是主題實體，“包含于”是關系。

然而，現有的KG補全方法（Trouillon et al., 2016b；Das et al., 2018）存在幾個限制（Fu et al., 2019）。首先，他們的性能嚴重依賴于圖的密度。他們通常在具有豐富結構信息的密集圖上表現良好，但在更常見的稀疏圖上表現不佳。其次，以前的方法（例如，Bordes et al.（2013））假設一個封閉世界的KG，沒有考慮外部資源中的大量開放知識。實際上，在許多情況下，KG通常與豐富的文本語料庫（Bodenreider, 2004）相關聯，其中包含大量尚未提取的事實數據。為了克服這些挑戰，我們研究了開放知識圖譜補全的任務，其中KG可以使用來自KG外部的新事實進行構建。最近的文本富集解決方案（Fu et al., 2019）關注使用預定義的事實集來豐富知識圖譜。然而，預定義的事實集通常嘈雜且受限，也就是說，它們沒有提供足夠的信息來有效更新KG。

預訓練語言模型（PLMs）（Devlin et al., 2019; Liu et al., 2019a）已被證明在隱式從大量未標記文本中學習 factual knowledge 上非常強大（Petroni et al., 2019b）。由于 PLMs 在文本編碼方面非常出色，它們可以被用來利用外部文本信息幫助知識圖譜補全。最近的知識圖譜補全方法（Shin et al., 2020; Lv et al., 2022）側重于使用手工制作的提示（例如，在圖1中的“底特律位于[MASK]”）來查詢 PLMs 進行圖譜補全（例如，“密歇根州”）。然而，手動創建提示可能代價昂貴且質量有限（例如，對于手工制作的提示的查詢，PLM給出了錯誤的答案“加拿大”，如圖1所示）。

預訓練語言模型（PLMs）（Devlin et al., 2019; Liu et al., 2019a）已被證明在隱式從大量未標記文本中學習 factual knowledge 上非常強大（Petroni et al., 2019b）。由于 PLMs 在文本編碼方面非常出色，它們可以被用來利用外部文本信息幫助知識圖譜補全。最近的知識圖譜補全方法（Shin et al., 2020; Lv et al., 2022）側重于使用手工制作的提示（例如，在圖1中的“底特律位于[MASK]”）來查詢 PLMs 進行圖譜補全（例如，“密歇根州”）。然而，手動創建提示可能代價昂貴且質量有限（例如，對于手工制作的提示的查詢，PLM給出了錯誤的答案“加拿大”，如圖1所示）。

基于標準KG的上述限制和PLMs（Devlin et al., 2019；Liu et al., 2019a）的巨大能力，我們的目標是使用PLMs進行開放知識圖譜補全。我們提出了一個端到端的框架，共同利用PLMs中的隱含知識和語料庫中的文本信息來進行知識圖譜補全（如圖1所示）。與現有的工作不同（例如，（Fu et al., 2019；Lv et al., 2022）），我們的方法不需要手動預定義的事實和提示集，這使得它更具通用性，更易于適應實際應用。我們的貢獻可以總結為：

? 我們研究了可以通過從PLMs中捕捉到的事實進行輔助的開放KG補全問題。為此，我們提出了一個新的框架TAGREAL，它表示了用PLMs中的現實世界知識增強的開放KG補全。 ? 我們開發了提示生成和信息檢索方法，這使得TAGREAL能夠自動創建高質量的PLM知識探測提示，并搜索支持信息，特別是當PLMs缺乏某些領域知識時，這使得它更加實用。 ? 通過在Freebase等實際知識圖譜上的大量定量和定性實驗，我們展示了我們框架的適用性和優點。 2. 方法

我們提出了TAGREAL，一個基于PLM的框架來處理KG補全任務。與以前的工作相比，我們的框架不依賴手工制作的提示或預定義的相關事實。如圖2所示，我們自動創建合適的提示并搜索相關的支持信息，這些信息進一步被用作模板，以從PLMs中探索隱含的知識。

2.1 問題定義

知識圖譜補全的目的是在KG的現有三元組集合中添加新的三元組（事實）。為了實現這個目標，有兩個任務。第一個是三元組分類，這是一個二元分類任務，用于預測一個三元組（h, r, t）是否屬于KG，其中h, r, t分別表示頭實體、關系和尾實體。第二個任務是鏈接預測，其目標是預測查詢（h, r, ?）的尾實體t或者預測查詢（?, r, t）的頭實體h。

2.2 提示生成 Prompt Generation

之前的研究（例如，Jiang等人（2020））表明，從預訓練語言模型（PLMs）中提取關系知識的準確性，很大程度上依賴于用于查詢的提示的質量。為了達到這個目的，我們開發了一種全面的方法，只需要將知識圖譜中的三元組作為輸入，就可以自動生成高質量的提示，如圖3所示。我們使用文本模式挖掘方法從大型語料庫中挖掘出高質量的模式，作為用于從PLMs中探索知識的提示。據我們所知，我們是首次使用文本模式挖掘方法進行語言模型提示挖掘的研究者。我們認為這種方法具有以下應用性：

? 數據源相似。我們在大型語料庫（例如，維基百科）上應用模式挖掘，這些語料庫是大多數PLMs預訓練的數據源。 ?** 目標相似**。文本模式挖掘的目的是從大型語料庫中挖掘出模式以提取新信息；提示挖掘的目的是挖掘出提示以從PLMs中探測隱含的知識。 ? 性能標準相似。模式或提示的可靠性取決于它能從語料庫/PLMs中提取出多少準確的事實。

2.3 支持信息檢索 Support Information Retrieval

除了提示挖掘外，我們還將一些查詢相關和三元組相關的支持文本信息附加到提示中，以幫助PLMs理解我們想要探測的知識，以及幫助訓練三元組分類能力。如圖4所示，對于關系r中的第i個查詢q r i，我們使用BM25（Robertson等人，1995）從可靠的語料庫中檢索得分高于δ且長度小于?的高排名支持文本，并隨機選擇其中一個作為支持信息。為了組成輸入到PLM的填空q? r i，我們將支持文本連接到我們在前面步驟中通過優化得到的每個提示中，其中主體已填充，對象被掩蓋。[CLS]和[SEP]分別是用于序列分類和支持信息-提示分隔的標記。在訓練階段，我們使用三元組而不是查詢來搜索文本，而[MASK]將被對象實體填充。值得注意的是，支持文本在TAGREAL中是可選的，如果沒有找到匹配的數據，我們將其留空。

**2.4 訓練 **

為了訓練我們的模型，我們根據PKGC（Lv等人，2022）提出的思想，除了給定的正三元組外，我們還創建負三元組，以處理三元組分類任務。我們通過將每個正三元組中的頭部和尾部替換為KGE模型給出高概率的“錯誤”實體，來創建負三元組。我們還通過隨機替換頭部和尾部，創建隨機負樣本，以擴大負訓練/驗證三元組的集合。

**2.5 推理 **

給定一個查詢 (h, r, ?)，我們應用與頭實體 h 和關系 r 相關的查詢相關的支持信息，因為我們假設我們不知道尾實體（我們的預測目標）。然后，我們制作包含 [MASK] 的相應查詢實例，既包含支持信息也包含提示集合，如圖4所示。為了在鏈接預測中利用 PLM 的三元組分類能力，我們用已知實體集中的每個實體替換查詢實例中的 [MASK]，并按降序排列它們的分類分數，以創建一個一維向量，作為每個查詢的預測結果。這表明，向量中索引較低的實體更有可能與輸入查詢組成正三元組。對于提示集合，我們在排序之前按實體索引將分數相加。詳細的說明放在附錄E中。

3. 實驗

我們將我們的模型 TAGREAL 與四種方法進行比較。對于(1)傳統的知識圖譜嵌入方法，我們評估了 TransE (Bordes 等人，2013)，DisMult (Yang 等人，2014)，ComplEx (Trouillon 等人，2016a)，ConvE (Dettmers 等人，2018)，TuckER (Bala?evic′等人，2019) 和 RotatE (Sun 等人，2019)，其中 TuckER 是新添加的模型。對于(2)聯合文本和圖嵌入方法，我們評估了 RCNet (Xu等人，2014)，TransE+LINE (Fu 等人，2019) 和 JointNRE (Han等人，2018)。對于(3)基于強化學習 (RL) 的路徑查找方法，我們評估了 MINERVA (Das等人，2017) 和 CPL (Fu等人，2019)。對于(4)基于 PLM 的方法，我們評估了 PKGC (Lv等人，2022) 和我們的方法 TAGREAL。我們保留了 Fu等人2019報告的(2)和(3)的數據，同時重新評估所有的。

結果

我們在表1和表2中展示了與最先進方法的性能比較。正如人們可以觀察到的，TAGREAL在大多數情況下都超過了現有的工作。在給定密集的訓練數據的情況下，基于KGE的方法（例如，RotatE）和基于RL的方法（例如，CPL）仍然可以達到相對較高的性能。然而，當訓練數據有限時，這些方法遇到困難，而基于PLM的方法（PKGC和TAGREAL）受到的影響不大。在這種情況下，我們的方法明顯優于當前的非基于PLM的方法。這是因為KGE模型在數據不足的情況下無法有效地進行訓練，基于RL的路徑查找模型在KG中沒有足夠的證據和通用路徑時無法識別出潛在的模式。另一方面，PLM已經擁有可以直接使用的隱含信息，微調時數據不足的負面影響會比從零開始訓練要小得多。TAGREAL由于其能夠自動挖掘高質量提示和檢索支持信息的能力，而超過PKGC，與此相反的是，手動注釋通常是有限的。

4. 結論

在這項研究中，我們提出了一個新穎的框架，利用PLM中的隱含知識進行開放的KG補全。實驗結果顯示，我們的方法在訓練數據有限的情況下，表現優于現有的方法。我們證明了我們的方法優化的提示在PLM知識探測中優于手工制作的提示。支持信息檢索對于輔助提示的有效性也得到了證明。在未來，我們可能會利用QA模型的能力來檢索更可靠的支持信息。另一個潛在的擴展是通過探索路徑查找任務，使我們的模型更具可解釋性。

本文從概念上和實踐上對自然語言處理(NLP)領域的自然語言推理進行了更清晰的認識。從概念上講，本文為NLP中的自然語言推理提供了一個明確的定義，基于哲學和NLP場景，討論了哪些類型的任務需要推理，并介紹了推理的分類。**對自然語言推理進行了全面的文獻綜述，主要涵蓋經典邏輯推理、自然語言推理、多跳問答和常識推理。**該文還指出了逆向推理這一多步推理的強大范式，并介紹了可廢止推理是自然語言推理研究的一個重要方向。本文專注于單模態非結構化自然語言文本，不包括神經符號技術和數學推理。

1. 引言

近年來，自然語言處理(NLP)取得了重大進展，特別是transformer和預訓練語言模型(PLM)的引入。然而，它們執行自然語言推理(NLR)的能力仍然遠遠不能令人滿意。推理是基于現有知識進行推理的過程，是人類智能的一個基本方面，對于決策等復雜任務至關重要。構建具有推理能力的人工智能系統既是研究界的最終目標，也是提升復雜應用性能的必要途徑。與使用形式語言進行推理相比，使用自然語言表達進行推理提供了更加自然的人機交互界面，并為研究基于形式化的符號方法所無法實現的誘導、歸納法等可廢止推理打開了大門。

諸如BERT[33]和GPT[113]等PLMs自出現以來一直是NLP研究中的重要組成部分。在大規模文本語料庫上進行了預訓練，PLM能夠進行自然語言理解。最近的進展表明，PLMs也有解決推理問題的潛力[24,137,141,154]。具體來說，PLM可以對自然語言語句[24]進行軟演繹推理，利用其參數中記憶的隱性知識進行推理[141]，并在模型規模足夠大時通過思維鏈提示[76,154]，僅使用少量演示或指令就可以逐步執行多步推理。最近，ChatGPT和GPT-4也為社區提供了令人印象深刻的推理能力[4,15]。

**然而，盡管推理最近引起了越來越多的關注[24,26,27,76,106,139,154]，但仍然缺乏對推理的明確定義，并且“推理”一詞有時會被錯誤使用，這可能會影響NLP社區對推理的交流和發展。**例如，雖然它屬于“常識推理”，但很少有人會認為講述一個共同的生活經歷[9]，例如“說出你在酒店房間里可能忘記的東西”是推理。另一個例子是，有時“自然語言推理”被引入為自然語言理解的任務[11]，但其他時候的推理為[24]。到目前為止，沒有任何一個命名為"推理"的任務被認為是推理(例如常識推理)，也沒有所有命名為"無推理"的任務被認為是非推理(例如自然語言推理和多跳問答)。這就產生了一個問題:推理實際上是什么?如果它們的名稱沒有太多指示性，我們如何識別推理任務?盡管許多研究[24,57,163,169]從哲學和邏輯上給出了推理的定義，但該定義并不能很好地捕捉NLP中的推理。例如，雖然推理在哲學上被定義為“使用證據和邏輯得出結論”[57]，但它未能明確隱含常識是否可以作為證據以及推理的結論類型，如命名實體消歧。

為了促進自然語言處理中推理的研究，本文試圖從概念上和實踐上對自然語言處理推理提出一個更清晰的認識。從概念上講，本文從哲學和NLP場景出發，提出了NLP推理的定義，討論了哪些類型的任務需要推理，并介紹了推理的分類。在實踐中，基于明確的定義，對自然語言處理中的自然語言推理進行了全面的文獻綜述，主要涵蓋經典邏輯推理、自然語言推理、多跳問答和常識推理。**本文回顧各種規模的PLMs論文，我們捕捉到可以應用于不同模型規模的一般方法:端到端推理、正向推理和反向推理。**最后，討論了推理的局限性和未來的發展方向。除了推理的定義之外，該調查與其他調查有兩個重要區別[57,108]3。識別并看待反向推理，這是除正向推理外的另一種強大的多步推理范式。雖然正向推理，如思維鏈提示，最近在LLM中很流行，但反向推理值得進行更多的探索。由于搜索空間更小[71]，向后推理在概念和經驗上都比前向推理更有效，因此有可能推廣到步驟更長的復雜推理。其次，介紹了可廢止推理(即非演繹推理)，認為這是最重要的未來方向之一。哲學認為，人類日常生活中的推理大多是非演繹的。然而，這在NLP研究中仍然存在很大的差距，而ChatGPT[4]也更具挑戰性。更重要的是，當演繹推理可以用符號推理機(如Prolog編程)精確求解時，可廢止推理仍然缺乏有效的解決方案。

本文主要關注單模態非結構化自然語言文本(沒有知識三元組、表格和中間形式語言)和自然語言推理(而不是符號推理和數學推理)。本文對利用基于transformer的PLM的相關工作進行了回顧，故意排除了神經符號技術。對收集到的論文進行了整理，對自然語言推理方法進行了分類。總結了近年來該領域的研究進展和趨勢。論文分為五個部分(如圖1所示)。我們收集了近年來與推理或PLMs相關的200多篇論文。從2019年到2022年，我們在頂級會議上搜索了inference、reasoning、infer、reason、multi-step和multi-hop等關鍵字，包括ACL、EMNLP、NAACL、ICML、ICLR和NeurIPS。我們還從收集的論文中找到了一些相關的工作。

**總而言之，本綜述的主要貢獻是: **

(1)首次為NLP中的自然語言推理提供了一個明確的定義，并討論了一些流行的基準與推理的關系程度。 (2)首次對基于PLM的自然語言推理進行了全面的綜述，涵蓋了不同的NLR基準，并提供了一個全面的方法分類。我們還介紹了向后推理，它被忽略了，但有潛力。 (3)介紹了可廢止推理，比較了演繹推理和可廢止推理的差異，討論了它們對NLP解決方案的影響，并回顧了現有的方法。

2. 什么是自然語言推理

目前，自然語言推理在自然語言處理領域仍缺乏明確的定義，影響了自然語言處理領域的發展和交流。為促進理解、分析和交流，本文旨在對NLP中的自然語言推理的術語和概念提出不同的定義。為了實現這一目標，我們對長期以來研究推理的兩個相關領域:哲學和邏輯學進行了研究，并將相關的推理理論轉化為自然語言處理。提出了一種NLP中的NLR定義，以滿足NLP社區的關注(第2.1節)。然后，提供了NLR的類別，并介紹了它們之間的差異如何影響NLP解決方案(第2.2節)。最后，介紹實現NLR的潛力、挑戰和要求(第2.3節)。

NLP中的推理近年來一直受到關注，而哲學從幾千年前就開始研究推理，邏輯被視為正確推理的藝術，它研究推理的概念，使其類別系統化，并發展良好推理的原則，包括形式邏輯和非形式邏輯[8,45,62]。在本節中，我們首先包括來自哲學和邏輯學的推理理論，并將其導出為NLP推理。然后，回顧了自然語言處理中的一些自然語言推理問題;最后，本文提出了一種NLP中推理的定義，該定義結合了哲學和邏輯學中的定義以及NLP社區的關注。自然語言推理是一個整合多種知識(如百科知識和常識知識)以得出關于(現實或假設)世界的一些新結論的過程。知識可以來自顯性來源，也可以來自隱性來源。結論是斷言或在世界上被假定為真實的事件，或實際行動。

3. 為什么要用PLMs進行自然語言推理

預訓練語言模型(PLM)基于transformer架構[149]，該架構由許多注意力模塊構建，并通過無監督學習技術(如預測掩碼標記[33]或生成下一個標記)在大量文本數據上進行預訓練[113]。自BERT[33]出現以來，預訓練-再微調成為一種常見的范式，它將在預訓練階段學習到的PLMs的通用能力轉移到下游任務，并進行進一步的特定任務微調。由于大型語言模型已經被發現是少樣本學習[14]，上下文學習已經成為一種新的流行范式，它可以在只有少量演示的情況下預測新樣本，而無需微調參數。最近，零樣本提示范式在LLM中也變得更加流行[76]。

4. 自然語言推理方法

在本節中，我們介紹三種類型的自然語言推理方法:端到端推理(第4.1節)，正向推理和反向推理。整個分類法如圖5所示。這三類的關鍵區別在于推理路徑。具體來說，“端到端推理”只預測最終答案，沒有任何中間文本，而后兩種方法可以產生推理路徑，包含一個或多個帶有中間結論的步驟，展示了將前提與結論聯系起來的(可能是多步)推理過程。

給出每個預測的推理路徑可以提高系統的可解釋性。特別地，嚴格的推理路徑還可以顯式地暴露每個步驟的支持知識。此外，生成推理路徑已被證明有利于多步驟推理的最終性能[76,101,106,137,154]。推理有兩個方向。推理的兩個方向。多步推理可以通過正向[27,126,138,154]或逆向[73,82,96,106,139]進行。正向推理是一個自底向上的過程，它從已有的知識出發，反復推理以獲得新的知識，直到問題被解決。反向推理是一種自上而下的過程，它從問題出發，不斷地分解為子問題，直到所有子問題都可以被現有的知識所解決。逆向推理針對的是指定的問題，而正向推理可以自由地發現由現有知識所蘊含的新知識，而不需要預先指定問題。因此，在求解特定問題時，前向推理的搜索空間要比后向推理的搜索空間大得多，隨著推理的進行面臨組合爆炸的問題。定理證明是一個驗證問題，其推理路徑稱為“證明”，正向推理和反向推理通常分別稱為“前向鏈”和“后向鏈”。我們在表6中比較了這三種方法，并在圖6中演示了一個示例。下面的小節將進一步介紹和討論這種比較。

5. 結論

在本節中，我們提出了一些開放問題，介紹了一些局限性，并提出了一些推理的未來方向。文中還討論了ChatGPT和GPT4的局限性。 我們對LLMs的推理能力提出了一些開放性問題。在他們的出現推理能力中有許多未解之謎。

為什么CoT提示是有效的?為什么在最終答案帶來如此顯著的改進之前，只需要產生推理路徑，甚至可能是錯誤的?為什么CoT提示只對LLMs有效?當LLM被提示使用CoT但在中型PLM中失敗時，LLM會發生什么? * LLM的推理能力從何而來?為什么LLM可以隨著模型大小的增加而出現推理能力?“讓我們一步一步思考”的魔力從何而來?他們如何學習這些能力?雖然已經研究了另一種LLM魔法——上下文學習的機制[2,29,159]，但推理能力仍然更加神秘。 * 更大的模型推理能力更好嗎?如果LLM可以出現可由提示引出的推理能力，那么它們是否可以在模型大小增加時學習到具有競爭力的推理能力?或者，構建更多的數據集和設計推理算法是否仍然有益?

**大型語言模型(LLMs)在包括醫學在內的各個領域的自然語言理解和生成方面表現出了卓越的能力。我們對GPT-4(一種最先進的LLM)的醫療能力檢查和基準數據集進行了全面評估。GPT-4是一個通用模型，它不是通過訓練專門用于醫療問題，**也不是設計來解決臨床任務的。我們的分析涵蓋了美國醫學執照考試(USMLE)的兩套官方實踐材料，這是一個在美國用于評估臨床能力和授予執照的三步考試計劃。還在MultiMedQA基準數據集上評估了性能。除了測量模型性能外，還進行了實驗，以調查包含文本和圖像的試題對模型性能的影響，探索訓練過程中對內容的記憶，并研究概率的校準，這在醫學等高風險應用中至關重要。結果表明，在沒有任何專門提示的情況下，GPT-4比USMLE的及格分數高出20分以上，并優于早期的通用模型(GPT-3.5)以及專門針對醫學知識進行微調的模型(Med-PaLM，一種快速調整的Flan-PaLM 540B版本)。此外，GPT-4的校準效果明顯優于GPT-3.5，在預測其答案正確的可能性方面有了很大的提高。還通過一個案例研究定性地探索了該模型的行為，該案例研究顯示了GPT-4解釋醫學推理、向學生個性化解釋的能力，并圍繞醫學案例交互式地打造新的反事實場景。討論了研究結果對GPT-4在醫學教育、評估和臨床實踐中的潛在用途的影響，并適當注意準確性和安全性的挑戰。 **大型語言模型(LLMs)在解釋和生成跨越廣泛領域(如自然語言、計算機代碼和蛋白質序列)的序列方面表現出了卓越的能力。**許多強大的模型都基于transformer架構[VSP+17]，適應于語言并以自監督的方式進行訓練[RNS+18, DCLT18]。隨著規模的擴大，各種基準的分數通常都有所提高，包括模型大小、數據集大小和訓練計算量的增加[KMH+20, LBL+22]。經驗發現與理論分析[BS21]產生了共鳴，這表明從大型神經模型進行推斷的魯棒性需要規模[BS21]。在過去的幾年中，在大規模跨學科語料庫上訓練的LLM已經成為創建以任務為中心的系統的強有力的基石[BHA+21]。針對特定領域細化模型的方法包括使用從目標應用中提取的專門數據集進行微調，以及用于指導模型行為的一般方法，如人工反饋強化學習(RLHF)，它可以指導系統更好地理解最終用戶的請求[BJN+22]。

**人們對LLMs在沒有專門微調的情況下為廣泛的專門任務做出有用推斷的能力也有很大的興趣。**使用少量甚至零樣本提示的通用LLM的性能突出了它們在協助跨問題類型、專業領域和學科的任務方面的潛力[BMR+20]。最近，研究人員調查了基準，這些基準提供了對LLM如何編碼臨床知識的見解，并可能被利用來增強醫學實踐。本文比較了最近發布的(純文本)GPT-4模型與其GPT家族中的前身在醫療挑戰問題上的性能。雖然GPT-4的規模度量細節，包括模型參數的數量和訓練數據的大小和范圍尚未公開，但據報道，這兩個維度都明顯大于ChatGPT背后的GPT-3.5模型[Ope23]。探索LLM在醫療問題解決方面的能力是一個長期的醫學人工智能研究項目的一部分，可以追溯到Ledley和Lusted的經典工作[LL59]。幾十年來，對輔助醫生的計算方法的探索一直以對不同表示和推理方法的轉變為標志，包括核心概率和決策理論方法(如[GB68, HHN92])，基于規則的產生式系統(如[Sho77, BS84])，語義圖(如[PSS81])，從醫療信息數據庫(如[WGH16, HHPS15, ELS+20, CLG+15])和深度神經網絡模型(如[EKN+17，Shj +17, riz +17, msg +20]。雖然在診斷計算機視覺領域開始了使用深度學習來實現人類在醫療任務上水平表現的一系列努力，但自那以來，它已經發展到包括通過自然語言介導的更一般臨床推理的基準。在此背景下部署的模型可以在特定的醫學語料庫上進行訓練，或在大量通用語言和/或視覺信息上進行訓練的基礎模型，然后通過專門的微調使其適應于醫學數據。 **本文的主要貢獻是研究了GPT-4在醫療挑戰性問題上的能力。為了建立強大的比較基線，本文評估了GPT-4和GPT-3.5，并報告了來自Flan-PaLM 540B的結果。**我們的目標是為GPT-4建立“開箱即用”的性能數據。使用了盡可能簡單的提示(零樣本和隨機選擇的5樣本提示，并直接推斷答案)，發現GPT-4獲得了同類中最好的性能，而不需要精心設計的提示技術或特定領域的微調。我們首先詢問了模型在挑戰性問題上的表現，這些問題是為評估醫學生和住院醫生的能力而開發的。

本探索包括對GPT-4在美國醫學執照考試(USMLE)第1-3步中的表現進行綜合評估。該考試是美國醫療執照官方認證協議的一部分。我們的結果是基于樣本考試和由美國國家醫學檢驗師委員會(NBME)正式發布的自我評估材料。結果表明，零樣本GPT-4顯著優于早期模型，在USMLE測試的自我評估和樣本測試中分別取得了86.65%和86.7%的平均分數，而GPT-3.5的平均分數為53.61%和58.78%。在回顧了USMLE研究的結果后，我們檢查了其他幾個醫療基準。Zero shot GPT-4在MultiMedQA[SAT+22]上的表現明顯優于GPT-3.5和最近引入的Flan-PaLM 540B模型，MultiMedQA是醫學機器學習文獻中常用的一套基準數據集。除了描述整體表現外，我們的調查還涵蓋了醫學領域LLM行為的其他幾個方面。研究了純文本GPT-4在以文本為中心的考題和依賴圖像的考題中的表現。鑒于關于正確概率的可靠信息在醫療保健和其他高風險應用中至關重要，評估了隱式分配給答案的概率的校準。我們評估了該模型通過其訓練數據接觸(和記憶)考試內容的證據。通過一個案例研究進一步探索了該模型的定性行為，證明了GPT-4解釋醫學推理的能力，并交互式地支持學生圍繞一個醫療案例的反事實場景。最后，研究了研究結果的影響，包括GPT-4及其繼任者幫助醫學教育和為醫療專業人員提供幫助的潛力，同時考慮到與準確性、公平性和對醫學實踐的更廣泛影響相關的擔憂。特別反思了基于基準的性能評估的局限性，并討論了在現實世界環境中使用GPT-4等模型所需的預防措施和進展。要全面評估這些系統，還有大量工作要做，而且需要非常謹慎。然而，我們期望在現實世界中有多種使用，例如低風險的應用程序，其中包括專家監督作為世代和工作流程的一部分。從長期來看，我們看到GPT-4及其擴展體在醫學方面有巨大的潛力。

【導讀】如何利用知識進行推進完成一些列下游任務？斯坦福大學Jure Leskovec最近在NAACL2021給了《Reasoning with Language and Knowledge Graphs》的講座，重點講述關于如何聯合語言模型和知識圖譜進行推理，完成問答等復雜任務。

使用來自預訓練語言模型(LMs)和知識圖譜(KG)的知識來回答問題提出了兩個挑戰: 給定一個QA上下文(問題和答案選擇)，方法需要 (i) 從大型KG中識別相關知識，以及(ii)對QA上下文和KG進行聯合推理。在這里，我們提出了一個新的模型，QA-GNN，它通過兩個關鍵的創新來解決上述挑戰: (i)相關性評分，我們使用語言模型來估計KG節點相對于給定的QA上下文的重要性，以及 (ii)聯合推理，我們將QA上下文和KG連接起來形成一個聯合圖，并通過基于圖的消息傳遞相互更新它們的表示。我們在CommonsenseQA和OpenBookQA數據集上評估了QA-GNN，并展示了它比現有的LM和LM+KG模型的改進，以及它執行可解釋和結構化推理的能力，例如，正確處理問題中的否定。

//www.zhuanzhi.ai/paper/ffbf2e36057b06828f277cf665ee01de

Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs Hongyu Ren, Jure Leskovec

人工智能的基本問題之一是對知識圖（KG）捕獲的事實執行復雜的多跳邏輯推理。這個問題具有挑戰性，因為KG可能龐大且不完整。最近的方法將KG實體嵌入到低維空間中，然后使用這些嵌入來找到答案實體。但是，由于當前方法僅限于一階邏輯（FOL）運算符的子集，因此處理任意的FOL查詢仍然是一個挑戰。特別是，不支持取反運算符。當前方法的另一個局限性在于它們不能自然地對不確定性建模。在這里，我們介紹BETAE，這是一個概率嵌入框架，用于回答KG上的任意FOL查詢。BETAE是第一個可以處理完整的一組一階邏輯運算的方法，包括：合取（∧），析取（∨）和取反（?）。BETAE的一個關鍵見解是在有限支持下使用概率分布，特別是Beta分布，并將查詢/實體作為分布嵌入，這使我們也能夠忠實地對不確定性進行建模。邏輯操作是由神經運算符在概率嵌入中執行的。BETAE在回答三個大型、不完整的KG上的任意FOL查詢時達到了最先進的性能。

OpenAI在昨天悄然放出了GPT第三代——《Language Models are Few-Shot Learners》。刷遍Twitter！史無前例！論文介紹了GPT-3這是一種由1750億個參數組成的最先進的語言模型。論文由32位作者72頁pdf。

最近的工作表明，通過對大量文本進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了巨大的進展。盡管這種方法在架構中通常與任務無關，但它仍然需要成千上萬個特定于任務的實例微調數據集。相比之下，人類通常只需要幾個例子或簡單的指令就可以完成一項新的語言任務——這是目前的NLP系統仍然難以做到的。在這里，我們展示了擴展語言模型極大地提高了任務無關性、低命中率的性能，有時甚至達到了與先前最先進的微調方法的匹配性能。具體來說，我們訓練了一個帶有1750億個參數的自回歸語言模型GPT-3，比以前任何非稀疏語言模型都多10倍，并在小樣本設置下測試了它的性能。對于所有任務，GPT-3的應用沒有任何梯度更新或微調，任務和小樣本演示指定純粹通過與模型的文本交互。GPT-3在許多NLP數據集上實現了強大的性能，包括翻譯、問答和完形填空任務，以及一些需要即時推理或領域適應的任務，如整理單詞、在句子中使用新單詞或執行3位算術。同時，我們還確定了一些數據集，其中GPT-3的小樣本學習仍然效果不佳，以及一些數據集，其中GPT-3面臨著與大型web語料庫上的訓練有關的方法問題。最后，我們發現GPT-3可以生成新聞文章的樣本，這些文章是人類評價者難以區分的。我們討論了這個發現和一般的GPT-3的更廣泛的社會影響。

GPT-3的主要目標是用更少的領域數據、且不經過精調步驟去解決問題。

為了達到上述目的，作者們用預訓練好的GPT-3探索了不同輸入形式下的推理效果。

這里的Zero-shot、One-shot、Few-shot都是完全不需要精調的，因為GPT-3是單向transformer，在預測新的token時會對之前的examples進行編碼。

作者們訓練了以下幾種尺寸的模型進行對比：

實驗證明Few-shot下GPT-3有很好的表現：

最重要的是，GPT-3在Few-shot設定下，在部分NLU任務上超越了當前Fine-tuning的SOTA。