亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

作為解決復雜問題的基本能力，推理可以為各種實際應用提供后端支持，如醫學診斷、談判等。本文對語言模型提示推理的前沿研究進行了全面概述。我們介紹了研究成果的對比和總結，并為初學者提供了系統性的資源。我們還討論了這種推理能力出現的潛在原因，并強調了未來研究的方向。

1. 引言

推理能力是人類智能的核心，然而在自然語言處理（NLP）領域，現代神經網絡很難從所告知或已知的信息中進行推理（Duan 等，2020；Wang 等，2021；Bhargava 和 Ng，2022）。幸運的是，zhe（Brown 等，2020；Chen 等，2021；Chowdhery 等，2022），擴大語言模型（LMs）的規模已經被證明可以賦予一系列推理能力，如算術推理（Wang 等，2022e；Lewkowycz 等，2022）、常識推理（Jung 等，2022；Liu 等，2022b）和符號推理（Zhou 等，2023；Khot 等，2023）。如圖 1 所示，這種能力可以通過提示策略（Liu 等，2022d）（如思維鏈提示（CoT）（Wei 等，2022b），生成知識提示（Liu 等，2022c））來解鎖，從而大大縮小人類與機器智能之間的差距。同樣，NLP領域有大量的工作被提出；然而，這些方法分散在各種任務中，并未得到系統的回顧和分析。

本綜述組織：在本文中，我們進行了第一次關于語言模型提示推理的最近進展調查。我們首先介紹這個方向的一些初步內容（§2），然后建議按照分類法組織相關工作（§3）。我們進一步提供深入的比較和討論以獲得洞察力（§4）。為了方便對這個領域感興趣的初學者，我們強調了一些開放資源（§5）以及潛在的未來發展方向（§6）。

為了提高語言模型提示的推理能力，研究主要有兩個分支。第一個分支專注于優化提示推理策略，如圖 2 所示，包括提示工程（§3.1.1）、過程優化（§3.1.2）和外部引擎（§3.1.3）。

在提示工程（§3.1.1）中，許多方法試圖提高提示 T 的質量，我們稱這些工作為單階段方法；而其他方法在每個推理階段將 ci 添加到（T ，Q）的上下文中，或為每個 ci 設計特定的 Tci ，我們將這些方法視為多階段方法。需要注意的是，這里的一個階段是指一個輸入輸出過程。對于過程優化（§3.1.2），最簡單的方法是引入帶有參數θ的優化器，用于在生成A時校準C，我們稱這些工作為自優化方法。另一些方法嘗試獲得多個過程來得到最終的答案組合，我們將這些工作視為集成優化方法。此外，整個優化過程可以通過對生成的三元組（Q，C，A）進行微調 pLM 迭代地集成，這被視為迭代優化方法。此外，一些工作利用外部推理引擎（§3.1.3）生成 T ，直接執行 C 或通過在 C 中植入工具 API 調用進行推理。研究的第二個分支重點關注提示的知識增強。需要注意的是，LM 中豐富的隱式“模型知識”（Han等人，2021）可以生成知識或基于知識的提示 T（§3.2.1）。同時，外部資源中的顯式知識也可以被利用并檢索為知識性提示，以增強推理 （§3.2.2）。

3. 方法體系

在本文中，我們調研了現有的基于語言模型提示的推理方法，并將它們歸類為策略增強推理（§3.1）和知識增強推理（§3.2）。如圖2所示，我們根據不同方法的獨特特征進一步細化它們。

3.1 策略增強推理

這方面工作的主要目的是設計更好的推理策略，具體體現在提示工程(§3.1.1)、流程優化(§3.1.2)和外部引擎(§3.1.3)中。

3.1.1提示工程

一種改進提示推理的直觀方法是提示工程。如圖3所示，我們根據提示階段的數量將這種方法分為單階段提示和多階段提示。

3.1.2 流程優化

自然語言理據(Ling et al.， 2017a)，也稱為CoT中的推理過程，在CoT提示中起著至關重要的作用(Ye and Durrett, 2022;Lampinen等人，2022;Min et al.， 2022)。推理過程的一致性(Wang et al.， 2022e)和推理步驟之間的連續性(Li et al.， 2022d)都會影響最終答案的準確性。直觀地，如圖4所示，我們將這一行方法分為三種類型，即自優化、集成優化和迭代優化。

3.1.3 外部引擎

在LM提示下進行推理時，模型應具有語義理解(如問題)和復雜推理(如通過生成推理過程)的能力;然而，我們不能同時擁有魚和熊掌(Hendrycks等人，2021;Nogueira等人，2021;Lewkowycz等人，2022)。為了打破這個障礙，外部推理引擎可以幫助語言模型(見圖5)。

3.2 知識增強推理

正如Manning(2022)所指出的，知識在AI推理系統中起著至關重要的作用。知識增強方法旨在用隱式(§3.2.1)或顯式(§3.2.2)知識提示語言模型，以協助推理(見圖6)。

**3.2.1 隱式知識 **

研究人員已經證明，語言模型中包含大量的隱式知識（Davison等人，2019；Petroni等人，2019；Jiang等人，2020）。以下工作試圖將這種“模型知識”引入作為知識提示進行推理。劉等人（2022c）使用少量提示的 GPT-3（Brown 等人，2020）生成知識并提示下游 LM。劉等人（2022b）借助強化學習（Schulman等人，2017）進一步校準知識。與在知識生成階段使用少量提示的方法不同，孫等人（2022）提出了一種兩階段生成提示，其中還包括答案生成提示。其他工作（李等人，2022b；王等人，2023；Shridhar等人，2022；Magister等人，2022；何等人，2022）遵循知識蒸餾，通過提示更大的 LM 生成推理樣本并教授較小的 LM。

3.2.2顯性知識

盡管大型語言模型已顯示出強大的生成能力(Wiegreffe等人，2022;Li等人，2022b;Wang et al.， 2023)，他們仍然有幻覺事實的傾向(Rohrbach等人，2018)和產生不一致的知識(Liu et al.， 2022b)。最近的工作表明，在上下文學習中檢索提示是取得良好性能的一種很好的方法(Liu等人，2022a;Rubin等人，2022)。由于常用檢索方法在度量結構化信息相似性方面的不穩定性，Lu等人(2023b)提出了一種基于策略梯度策略的動態提示檢索方法，無需暴力搜索。SU等人(2023)制定了一個選擇性的標注框架，以避免對大型標注檢索語料庫的需求。He et al.(2023)根據CoT的推理步驟檢索相關知識，以提供更可靠的解釋。Trivedi等人(2022)通過持久檢索wiki文檔來增強CoT提示，用于需要復雜的多步驟推理的開放域知識密集型任務。

4 比較與討論

表1顯示了不同方法的四種比較范圍。圖7進一步說明了不同規模的語言模型在算術推理的GSM8K (Cobbe等人，2021)上的性能比較。常識推理基準的類似結果見附錄A.3。模型規模較大的語言模型包含更多用于推理的隱性知識(Liang等人，2022b)。對代碼分支進行預訓練，不僅可以增強代碼生成/理解能力，還可以激發CoT的推理能力。.輸入上下文中包含的高質量推理依據是LM提示推理的關鍵。 基于語言模型提示的推理分類。

5. 未來的發展方向

我們列出了一些潛在的方向如下:

推理的理論原理。 高效的推理。 魯棒的、可靠的和可解釋的推理 多模態(交互式)推理。 可泛化(真)推理。

6. 結論

本文對語言模型提示推理進行了綜述，包括全面的比較，以及幾個研究方向。展望未來，來自NLP和其他領域的方法之間將有更有效的協同作用，并希望復雜和高效的LM提示模型將越來越多地為提高推理性能做出貢獻。

近年來，深度學習領域取得了重大進展，特別是在計算機視覺(CV)、自然語言處理(NLP)和語音等領域。在大量數據上訓練的大規模模型的使用在實際應用、提高工業生產力和促進社會發展方面具有巨大的前景。然而，它的訓練過程極不穩定，對計算資源的要求非常嚴格。隨著計算能力適應性需求的不斷提高，大量研究在一定程度上探索了高效訓練領域，但對通用的大規模深度學習模型訓練加速技術的總結和指導仍有待深入研究。本文對訓練加速的一般技術進行了詳細的回顧。考慮基本更新公式，并將其基本組成部分分為5個主要角度: (1)"以數據為中心":包括數據集正則化、數據采樣和以數據為中心的課程學習技術，可以顯著降低數據樣本的計算復雜度; (2) "以模型為中心"，包括加速基本模塊、壓縮訓練、模型初始化和以模型為中心的課程學習技術，側重于通過減少參數計算和提供更好的初始化來加速訓練; (3)“以優化為中心”，包括學習率的選擇、大批量的使用、高效目標的設計和模型平均技術，注重訓練策略和提高大規模模型的通用性; (4)“預算訓練”，包括在資源受限情況下的一些獨特加速方法，例如對總迭代次數的限制; (5)“以系統為中心”，包括一些高效的分布式框架和開源庫，它們為上述加速算法的實現提供了足夠的硬件支持。通過提出這種全面的分類法，本文綜述了一個全面的回顧，以了解每個組件內的一般機制及其聯合交互。同時，對通用加速技術發展的未來工作進行了詳細的分析和討論，這些工作可以啟發我們重新思考和設計新的高效范式。總之，我們希望這項綜述將成為普遍有效訓練的寶貴指南。

//www.zhuanzhi.ai/paper/3a05246686b3790fba94933dfcf0a82f

隨著人工智能技術的快速發展，深度模型的參數以百萬級甚至數十億級的速度迅猛增長。Kaplan等人[110]將模型大小、數據集大小和用于訓練的計算量之間的關系研究為冪律，并表明更大的模型本質上需要大量的數據，在學習上的樣本效率明顯更高。大型模型的部署也成為最重要的研究領域之一。例如，Dehghani等人[44]提出了ViT-22B，該模型展示了計算機視覺(CV)社區中“類LLM(大型語言模型)”擴展的潛力。GPT-1[196]提出了有監督微調以0.1B參數驅動語言模型。而兩年后，GPT-3[18]在45TB數據樣本上訓練了175B參數，并在各種自然語言處理任務上成功取得了最先進的結果。圖靈- nlg采用了大約172億個參數的生成語言模型，只需一年時間就可以快速迭代到具有530B參數的規模較大的模型MT-NLG[229]，這在幾個任務中遠遠領先于GPT-3。我們總結了圖1中提出的模型尺寸發展的里程碑。盡管從這種快速增長中獲得的收益令人震驚，但為了保持實際效率，人們迫切期待在探索新技術和訓練方面取得實質性進展。就目前而言，訓練如此龐大的模型的巨大而昂貴的成本通常是不可接受的。具體來說，訓練GPT-3消耗大約355 GPU年，成本為460萬美元。在如此龐大的參數和數據樣本下，傳統的從零開始訓練顯然無法承受巨大的費用，特別是在擴展到下游任務[30,138,187,188,211,243]時，這將引入額外的架構和過多的參數。因此，預訓練-微調模式在深度學習領域日益受到關注。

預訓練的主題是繼承遷移學習的范式，在一個通用的數據集上訓練一個通用的基礎模型，以獲得一個出色的特征提取器(從優化的角度來看也是一個良好的初始狀態)，幫助在另一個特定的任務上實現和穩定訓練過程。許多研究領域都受益于預訓練方法。通過應用恢復的隨機掩碼圖像，有助于訓練CV社區中的大型transformer模型。掩碼自編碼器(MAE)[83]開發了一種非對稱編碼器-解碼器架構來耦合自監督重建和后端訓練，為下游任務產生了有希望的遷移性能。同樣，來自圖像transformer (BEiT)的雙向編碼器表示[7]遵循BERT[48]，通過從分塊掩碼圖像生成的視覺標記來重建圖像。在NLP社區，Radford等人[196]提出了生成式預訓練(GPT)，通過在無標簽文本的不同語料庫上采用生成式預訓練來實現巨大的收益。為了進一步提高其效率，GPT-2[197]大大提高了模型作為具有廣泛語義知識的詞向量提取器的能力。GPT-3[18]通過雙循環策略進行上下文學習，在預訓練中可以顯著增強對知識的理解，在實際場景中可以提高流動性和通用性。Hendrycks等[88]研究表明，使用預訓練可以提高模型的魯棒性和不確定性，對于在大型數據集上進行訓練表現出極大的優勢，泛化能力較好。最近的進展表明，從具有巨大容量的預訓練模型中獲得了實質性的收獲，特別是在任務不可知和少樣本的場景中。它還提出了一個有希望的未來發展方向，即在大規模數據集上預訓練的具有大量參數的大規模模型能夠超越其他監督訓練的性能。這一令人振奮的進展有效地降低了深度學習對真實值的依賴，極大地啟發了大數據的應用。同時，它對計算和訓練效率也提出了更加嚴格的要求。昂貴的成本，包括時間和金錢，嚴重阻礙了它的發展。在此背景下，本文介紹和總結了在大規模模型上加速訓練的通用和實用技術，這些技術促進了更快的訓練，也可能有助于預訓練中龐大的基礎模型。

最近的許多工作回顧和總結了高效的訓練技術，主要包括引入了高效的預訓練模型，設計了新的加速組件，先進的優化方法，在NLP或CV社區上的高效訓練，以及訓練過程中的技巧袋。Qiu等人[194]對用于解決各種NLP任務的預訓練模型進行了綜述和系統分類列表。他們研究了語言模型的發展歷史和預訓練的當前進展。Han等人[80]總結了與通用預訓練技術相關的研究工作，并對他們的未來研究提供了一些見解。Bommasani等人介紹了高效的基礎模型，主要從它們的一般概念、強大的功能、基礎訓練技術和應用的角度介紹了高效的基礎模型。他們還總結了預訓練的演變和當前在實際場景中的挑戰。Zhou等人[305]對預訓練基礎模型(PFM)進行了全面的回顧，討論了它們在每個不同社區的成果的最新研究進展，這些成果可能會給本地研究帶來新的思考。同時，系統總結了應用中存在的主要問題和未來的挑戰。Lin等人[145]重點研究了新的Transformer模型，并回顧了Transformer模型的幾種變體，這些變體被對齊以考慮高效的架構修改、預訓練技術和訓練加速。Weng[273]回顧了Transformer家族的發展，介紹了Transformer模型的詳細演變，并系統地分析了每種架構的優缺點。Tay等人[246]總結了高效Transformer模型的一些變體。從實際訓練的角度出發，提出了一些提高Transformer模型訓練效率的策略，并對未來的研究提出了建議。Zhuang等人[308]研究了transformer的高效訓練綜述，包括計算效率、存儲效率和硬件/算法協同設計。與它們不同，我們更關注基本的加速技術，不限于Transformer模型。Open Machine Learning Systems Community[179]為高效機器學習系統的設計和實現提供了全面的研究。他們更關注數據預處理、前向和后向計算、高效并行部署和通信的實踐，以及優化方法的具體實現。He等人[85]研究了大規模深度學習在泛化保證和優化效率方面的最新進展，包括新的優化器和策略，以解決訓練開銷和減少計算設備中所需的內存。并對大批量訓練的探索進行了闡述。He等人[84]總結了一套訓練CNN模型的技巧。他們進行了系統的實驗，總結了一些有效的數據增強技術和巧妙的學習率調度器的設計。Treviso等人[254]總結了NLP的有效方法，并討論了它們的效率和缺點。

近年來，高效地訓練大規模深度學習模型已成為機器學習領域的一個重要研究方向。雖然該領域已經取得了重大進展，但現有的研究大多集中在特定的模型架構或服務于特定的社區。相比之下，本研究對任何大規模深度學習模型的實用加速技術進行了全面的回顧，這些技術獨立于任務或模型架構。從實踐效率的角度來看，我們認為高效的訓練主要圍繞兩個明確的目標:

為了達到相當的測試精度，高效的訓練需要更少的訓練時間。

在相似的訓練成本下，高效的訓練可以實現更高的性能。

該綜述為深度學習模型的一般訓練加速提供了有見地的指導。分析了訓練加速技術在支撐許多現代深度學習模型的各種基本骨干架構上的功效。通過研究深度網絡的不同架構，本文綜述可以幫助實現任何類型的深度學習模型的高效訓練。此外，由于我們的調研是無任務和無模型的，因此提供了訓練加速技術的廣泛泛化，可以應用于不同的領域和模型架構。我們的綜述旨在為尋求加速大規模深度學習模型訓練的研究人員和從業人員提供一個有用的資源。通過理解有效訓練加速技術背后的一般原理，研究人員可以開發更快、更有效的模型，而不受特定架構或任務的限制。本研究對大規模深度學習模型的通用訓練加速技術進行了全面的綜述，為機器學習領域做出了重大貢獻。 本文對解決一般的基本最小化問題很感興趣，可以很容易地擴展到訓練基礎模型或預訓練任務:

與之前的工作不同，本文解構了通用的基于梯度的下降公式作為本文的架構。考慮了公式(3)中的所有組件，這些組件可以覆蓋深度學習中的整個訓練過程。通過將它們吸收到f中，省略了額外的近端項。在不損失通用性的情況下，使用更新向量G而不是梯度來包含廣泛的方法。我們認為基本更新公式如下:

在表1中，我們總結了這些符號及其對應的研究領域。基于式(3)，通過提煉和拆分組件的不同角色，將前人工作按照其固有的啟發式見解和理論場景劃分為5大類。每一類對應分類后的分組下計算效率的優化目標。對上述組件進行細粒度分析，以對當前用于訓練大規模模型的通用加速技術進行分類，并結合實際實現的可行性。具體來說，它們是:

以數據為中心的有效訓練。在深度學習中，全局期望與訓練樣本分布之間經常存在差距。這可以導致在訓練的中期和后期階段的測試準確性的提高，盡管在早期階段表現有效。為了解決這個問題并提高泛化性能，以數據為中心的方法通過有效的數據增強和正則化策略來擴展訓練集的樣本容量。它需要額外的預處理計算來增強多樣性并保持更高的穩定性，從而在實際應用中具有更好的泛化性能。同時，為了實現有效加速并進一步提高模型的通用性，以數據為中心的方法研究了隨機優化過程中有效的采樣技術以選擇關鍵子集。它有效地減少了計算梯度所需的樣本數量。此外，它還可以防止模型在訓練那些不重要的樣本或學習足夠好的數據時過度擬合。最近的研究表明，課程學習是一個循序漸進的過程，可以產生有效的訓練。在訓練初期使用正則化程度較低的低分辨率樣本，逐步恢復到高質量的樣本。總之，以數據為中心的方法的核心考慮是如何在不影響性能的情況下減少數據處理需求。

以模型為中心的高效訓練。深度模型是一個從數據域到真實值的精細映射函數。過去的工作探索了許多成熟的架構來構建一個高效訓練的網絡，例如基于卷積的神經網絡(CNN)，多層感知器(MLP)和transformer模型。以模型為中心的方法通過高效的架構近似、壓縮和高效的初始化，更多地關注DNNs的計算復雜性，以獲得更好的通用性。這些方法側重于在保持良好性能的同時減小DNN的參數規模。具體來說，架構近似側重于采用簡化的算子組合，以減少訓練中的計算成本。它期待著探索用于一般加速的基本模塊的表達性替代方案。壓縮關系到低精度計算和稀疏訓練的效率，也需要在硬件實現上得到充分支持。模型初始化注重尋找穩定性和通用性較好的初始狀態，可以有效地加快收斂速度，防止訓練過程在早期崩潰。總之，以模型為中心的方法為降低深度模型的計算復雜度以進行高效訓練提供了一種有希望的方法，它具有很強的實用性，可以很容易地在任何深度學習框架中實現。

以優化為中心的高效訓練。為提高優化效率，總結了三個主要因素，即學習率、批量大小和優化目標。不同階段學習率和衰減策略的合理選擇是深度網絡訓練的關鍵問題。然而，要找到一種適用于不同模型和優化器的通用方法是具有挑戰性的。因此，以學習率為中心的方法旨在開發高效和靈活的策略，以高效和穩定地訓練模型。第二個因素，批量大小，在優化中也起著關鍵作用。借助GPU設備的并行計算能力，特別是在計算資源充足的情況下，通過增加單個minibatch中的樣本數量可以提高訓練效率。因此，以批大小為中心的方法通常專注于采用大的小批量訓練以提高優化速度。從優化的角度來看，我們總是努力實現一個具有高穩定性的目標，這是以目標為中心的方法的主要關注點。這些方法專注于優化目標，提供關于數據分布和模型架構具有魯棒性的泛化。綜上所述，以優化為中心的方法研究了訓練過程中的高效迭代計算，為高效訓練提供了堅實的保證。

有預算的高效訓練。預算訓練是在實際訓練期間考慮到可用資源的一種方法。它主要關注資源受限場景下的訓練效率，在這些場景中，計算資源(如訓練時間或計算量)是有限的。預算訓練的主要目標是確保高效和穩定的訓練，同時在給定的約束條件下最大化模型的潛力。這種方法可以在訓練的早期階段帶來顯著的收獲。通過采用預算訓練，研究人員和從業人員可以充分利用可用資源，避免將其浪費在低效的模型或訓練程序上。這種方法還可以促進模型的開發，這些模型更實用，更適合于資源通常有限的現實世界應用程序。

以系統為中心的高效訓練。以系統為中心的方法側重于在硬件支持下的實際實現，能夠將算法設計轉化為真正的可執行項目。大規模模型訓練通常采用多節點多設備環境實現并行計算。它主要關注設計底層邏輯，以解決跨設備通信中的瓶頸，并有效地協調整個訓練過程。已經開發了幾個開源框架來顯著加速深度網絡的訓練。為了有效利用分布式訓練，訓練過程被分布為更小的計算任務，在不同的節點或設備上并行執行。這些節點相互通信以交換梯度更新并同步整個訓練過程。這種分布式系統能夠訓練無法在單臺機器上執行的大型數據集和復雜模型。已經開發了幾個開源的分布式訓練框架，如TensorFlow, PyTorch和Horovod。這些框架實現了在多節點多設備集群上進行高效的分布式訓練，并顯著減少了大規模深度學習模型的訓練時間。

總而言之，本文綜述了有效訓練的一般訓練加速。在“以數據為中心”、“以模型為中心”、“以優化為中心”和“預算訓練”部分，我們主要從算法設計和方法論的角度進行綜合研究;在“以系統為中心”部分，我們主要從范式創新和硬件支持的角度進行實際實施。本調查的主要貢獻如下:

從“數據”、“模型”、“優化”、“預算訓練”和“系統”的角度回顧了訓練大規模模型的一般加速技術，總結了它們的技術路線和每個組件的實現，有助于為無任務和無模型的高效訓練提供堅實的指導。

比較了訓練加速中每個組件的優缺點，展示了它們的見解和互動，可以啟發我們重新思考訓練大規模深度學習模型的高效范式的設計。

對每條技術路線及其在實際場景中的主要挑戰進行了全面的分析，這可以為它們未來的發展提供指導。

本調查的主要結構組織如下。在第2節中，介紹了一些初步工作，包括不同骨干中的基本模塊，以及對大規模深度學習模型、數據集的預訓練，以及本綜述中采用的詳細符號。在第3 ~ 6節中，基于迭代公式(3)，從"數據為中心"、"模型為中心"、"優化為中心"、"預算訓練"和"系統為中心"的角度詳細介紹了它們不同的訓練加速技術路線。還分析和評估了每種實現的優缺點。這種新的分類方法可以為現有的有效訓練方法提供一個清晰和全面的指導。在第8節中，我們討論和總結了本綜述中的技術，并提出了一些有前途的研究方向。

ChatGPT和GPT-4等大型語言模型(LLM)在NLP領域取得了重大進展。然而，它們記憶、表示和利用常識性知識的能力一直是LLM眾所周知的痛點。目前尚不清楚: **(1) GPTs能否有效地回答常識問題? (2) GPTs在常識方面有知識嗎?(3) GPTs是否意識到回答特定問題所需的基本常識知識? (4) GPTs能否有效地利用常識來回答問題?**為了評估上述常識問題，我們進行了一系列實驗來評估ChatGPT的常識能力，實驗結果表明: **(1) GPTs可以在常識任務中取得良好的QA準確性，同時在某些類型的知識上仍有困難。(2) ChatGPT知識豐富，能夠利用知識提示準確地生成大部分常識知識。(3) ChatGPT雖然知識豐富，但卻是一個缺乏經驗的常識問題求解器，**無法精確識別回答某一特定問題所需的常識知識，即ChatGPT并不精確知道回答一個問題需要哪些常識知識。上述發現提出了需要研究在LLM中利用常識知識的更好機制，如指令遵循、更好的常識指導等。

//www.zhuanzhi.ai/paper/a791ca0e145cf4259d9782292df2eaeb

1 引言

常識知識是人類認知的一個基本方面，它包括我們對世界的直覺理解和我們對世界的推理能力。它包括關于典型日常生活的空間、物理、社會、時間和心理方面的知識，以及對社會規范、信仰和價值觀的理解，以及預測和解釋人類行為的能力(Liu and Singh, 2004)。常識知識對于構建能夠理解和生成類人語言的NLP系統至關重要。盡管常識知識對許多任務都很重要，但在機器中獲取和表示常識知識一直是NLP中的一個長期挑戰(Li et al.， 2021;Zhang et al.， 2022)，因為常識往往是隱式的，并依賴于上下文(Gordon和Van Durme, 2013;Shwartz和Choi, 2020)。近年來，人們對解決NLP模型的常識問題以及實現更類似人類的語言生成和理解的興趣越來越大(Bauer等人，2018;Wang等人，2020;江等，2021;劉等人，2021,2022)。 最近，大型語言模型(LLM)如GPT-3 (Brown et al.， 2020)、ChatGPT和GPT-4在廣泛的NLP能力方面取得了顯著的成功，包括推理、上下文理解和思維鏈推理(Wei et al.，2022)。這些能力表明，大型語言模型具有一定程度的常識知識(West et al.，2022)。然而，常識問題往往被認為是大型語言模型的一個主要限制(Zhou等人，2020;Bhargava和Ng, 2022)。隨著這些模型變得越來越強大，目前仍不清楚它們在多大程度上能夠理解和推理常識知識邊緣。這就提出了幾個關鍵問題:

(1) GPTs能否有效地回答常識性問題?

(2) GPTs在常識方面知識淵博嗎?

(3) GPTs是否意識到回答特定問題所需的基本常識知識?

(4) GPTs能否有效地利用常識來回答問題?

回答這些問題對于理解LLM的能力和局限性，以及開發更好的方法來評估和提高它們在常識任務上的表現至關重要。

為了評估模型回答常識問題的能力，使用了11個常識問答數據集，涵蓋了8個不同的常識領域，包括物理、社會、時間和數值推理等。首先，我們要求模型回答這些問題，并評估其回答的準確性。為了評估大型語言模型是否理解了回答這些問題所需的常識知識，我們要求模型描述必要的知識，并評估描述是否準確。為了評估大型語言模型是否能夠回憶和描述回答問題所需的知識，我們要求模型是否知道必要的知識，并評估回答是否正確和相關。最后，為了評估模型是否可以利用常識知識進行推理，我們將之前實驗中產生的知識作為上下文，并要求模型再次回答問題。我們將它們的表現與使用黃金知識進行比較，并評估它們的推理過程是否可以有效地利用已識別的知識。

我們的實驗為大型語言模型的常識問題提供了見解: **(1)GPTs可以在常識任務中實現良好的QA準確性，而它們在某些類型的知識方面仍然很困難。(2) ChatGPT知識豐富，可以使用知識提示準確地生成大部分常識知識。****(3) ChatGPT是缺乏經驗的常識問題求解者，無法準確識別解決特定問題所需的常識知識。**此外，ChatGPT不能有效地利用上下文中的常識知識來回答特定問題。

本文的主要貢獻在于:

我們通過進行實驗詳細研究了大型語言模型的常識能力來回答4個關鍵問題。

我們設計了一系列實驗來評估ChatGPT記憶、表示和利用常識知識的能力，包括回答常識問題，識別和生成必要的知識，以及在其推理過程中利用常識知識。

通過確定ChatGPT在常識知識和推理能力方面的優勢和劣勢，我們為開發更高級的語言模型提供了見解，這些模型可以有效地利用和推理常識知識。

2 什么是常識

常識是“人類經驗的很大一部分，包括關于典型日常生活的空間、物理、社會、時間和心理方面的知識。(Liu and Singh, 2004;布拉赫曼和萊維斯克，2022年)。這種類型的知識通常被認為是理所當然的，通常是通過在特定文化中多年的經驗和社會化獲得的。為了幫助讀者更好地理解這一概念，我們總結了幾類主要的常識:一般常識:這類常識指的是被廣泛分享并被大多數人認為是正確的知識，例如太陽從東方升起，從西方落下。物理常識:這類常識涉及關于物理世界的知識，比如物體掉落時會落到地面，水會往下坡流。 社會常識:這類常識涉及社會規范、風俗習慣和實踐方面的知識，比如提出請求時說“請”和“謝謝”是禮貌的。 科學常識:這類常識涉及基本的科學概念和原理，例如地心引力將地球上的所有物體拉向地球中心。 事件常識:這類常識涉及到事件的先后順序以及它們之間的因果關系的知識，比如杯子被打翻了，里面的液體就會灑出來。 數值常識:這種類型的常識涉及有關數字的知識，例如人類有兩只手和十個手指。 原型常識:這類常識包括關于概念的典型或原型例子的知識，例如燕子是一種鳥，鳥有翅膀。時間常識:這類常識涉及時間知識，例如出國旅行比散步需要更長的時間。

3 GPTs能有效地回答常識問題嗎?

在這一節中，我們評估了LLM回答常識問題的表現。具體來說，我們使用了11個常識QA數據集，涵蓋了8個常識領域，包括通用、物理、社會、科學、事件、數值、原型和時間。這11個數據集是common - monsenseQA (Talmor等人，2019)、OpenBookQA (Mihaylov等人，2018)、WSC (Levesque等人，2012)、PIQA (Bisk等人，2020)、Social IQA (Sap等人，2019)、ARC (Clark等人，2018)、QASC (Khot等人，2020)、HellaSWAG (Zellers等人，2019)、NumerSense (Lin等人，2020)、ProtoQA (Boratko等人，2020)和MC-TACO (Zhou等人，2019)。數據集及其域，每個數據集都有一個示例，如表1所示。

我們從每個常識QA數據集的開發集中抽樣了100個問題用于評估，除了ProtoQA，它的開發集中只有52個問題。我們使用GPT-3 (davinci)、GPT- 3.5 (text-davinci-003)和ChatGPT作為用于評估的大型語言模型。對于GPT-3，我們使用4-shot in-context學習。對于GPT-3.5和ChatGPT，我們使用零樣本推理，并為不同的數據集設計提示模板。 結果如表2所示。從結果可以看出:

**GPTs能夠準確回答常識性問題。**我們在11個常識QA數據集上評估了不同LLM的性能。表2的結果顯示，GPT-3.5和ChatGPT都可以在大多數數據集上取得良好的性能。表現最好的數據集是ARC和ProtoQA, ChatGPT在這兩個數據集上的準確率分別達到了94%和94.2%。這些結果表明，像GPT-3.5和ChatGPT這樣的大型語言模型對于常識性問題是有效的問題解決器，可以在不同類型的常識性問題中提供準確的答案。 GPTs利用常識知識的能力可以通過指令調優和人類對齊來提高。我們比較了三種大型語言的性能表2中的models、GPT-3、GPT-3.5和ChatGPT。從結果中我們可以看到，GPT-3.5和Chat- GPT相比GPT-3取得了顯著的提升。這些結果表明，僅靠預訓練不足以學習利用知識。通過結合指令和對齊調整技術(歐陽等人，2022)，模型可以更好地利用和推理常識知識。

**總的來說，ChatGPT在大多數領域取得了比GPT-3.5更高的準確率，證明了RLHF技術在增強知識利用能力方面的有效性。**然而，GPT-3.5在某些數據集上的表現略優于ChatGPT，包括CommonsenseQA和社交IQA。這是因為ChatGPT往往比較謹慎，在信息不足的情況下拒絕給出答案，導致出現“根據給出的信息，不可能確定……”這凸顯了在信息不充分的模型中，如何平衡謹慎和準確性的問題，還需要進一步研究。要實現這一點，需要模型理解回答問題所需的知識，并意識到模型是否擁有該知識。 **雖然GPTs在大多數常識知識領域表現良好，但在某些類型的知識方面仍存在困難。表2中的實驗表明，大型語言模型在社交、事件和時間常識QA(社交IQA、HellaSWAG和MC- TACO數據集)上滯后。**ChatGPT在這些數據集上的表現低于70%。這表明llm在社會、事件和時間常識知識上仍然存在缺陷。我們認為這是因為這些類型的常識知識需要對人類行為和社會互動有更深入的理解，而它們在文本語料庫中很少出現。這表明，當前的LLM需要在這些常識領域上進行改進，這需要模型超越表面的語義理解，學習人類行為。

4. GPTs是否意識到回答問題的常識知識?

在第3節中，我們發現GPTs在常識性QA數據集上表現良好。這引起了我們的探索，GPTs是經驗豐富的專家，他們知道需要什么知識，并可以利用這些知識進行問答，還是他們是缺乏經驗的問題解決者，依賴于記憶大量涵蓋問題的信息。 為了回答這個問題，我們從每個常識QA數據集中抽樣了20個問題，并詢問Chat- GPT“回答這個問題需要哪些知識?”對于有≥10個錯誤回答問題的數據集，我們抽樣10個正確回答問題和10個錯誤回答問題，否則，我們采取所有錯誤回答的問題，抽樣更多正確回答的問題，以填補這20個問題。 我們手動評估每個生成的回答的準確率和召回率，并使用F1分數作為衡量標準。例如，表3展示了ChatGPT的回答，描述了回答問題所需的知識。從ChatGPT的回應中，我們將知識1和知識3標記為回答問題有用，而知識2被過度泛化，知識4和知識5不是必需的。然后我們根據這2條知識判斷問題是否可回答，并進一步在人工評價中額外寫2條必要知識，知識a和知識b，這樣，這個回答的精確率為2/5，召回率為2/4,F1分數為44.44%。 結果如表4所示，

**ChatGPT是一個沒有經驗的問題解決者，它很難精確地識別回答特定問題所需的常識知識。**我們手動評估ChatGPT生成的必要知識，結果如表4所示。結果顯示，在大多數常識性QA數據集上，總體F1分數在40%到75%之間。這些結果表明，ChatGPT是一個經驗不足的問題解決者，無法準確識別回答特定常識問題所需的知識。

具體而言，該模型在科學領域表現相對較好，在ARC和QASC上分別取得了74.57%和76.13%的F1值。然而，該模型在社交領域和時間領域(即社交IQA和MC-TACO)上表現最低。F1分數的這種差異很可能是因為科學常識知識在文本語料庫中比社會和時間知識更普遍。例如，教科書經常討論“氣候由溫度和濕度描述”等科學概念，但很少提及“學生不喜歡參加大考”等社會規范，或“吃一頓飯不需要幾個月”等時間知識。這表明，像ChatGPT這樣的大型語言模型在社會和時間領域仍然存在局限性。因此，開發更有效的訓練策略來注入這些常識知識領域是很重要的。

GPTs無法有效區分回答特定問題的相關和不相關常識知識，通常會生成噪聲率較高的知識。我們在表4中評估了生成的必要知識的精確率和召回率。所有數據集的平均召回率為84.42%，平均精確率為55.88%。這表明，雖然模型可以識別出大多數問題的常識知識，但它很難準確識別出哪些知識對于回答特定的常識問題是必不可少的。該模型通常生成的知識是不相關的或過度泛化的。例如，表3中的知識2是過度泛化的，因為問題本身是“如何制作戶外枕頭”，而知識4和5考慮到兩種選擇之間的差異，就顯得不相關了。我們認為這是因為模型依賴的是關鍵詞和主題匹配，而不是對問題內部的邏輯關系的充分理解。這進一步證明了GPTs仍然是缺乏經驗的問題解決者。因此，llm需要增強對手頭任務的自我意識，并將關鍵信息與無關背景信息區分開來。例如，他們需要能夠判斷一個問題的哪些部分對決策是必要的，比如表3中的“吹進錫罐/垃圾袋”，哪些部分是無關的。

通過增強GPTs的知識意識(knowledge-awareness)，即引導模型識別特定問題所需的知識，可以顯著提高GPTs的常識能力。在圖2中，我們繪制并分析了生成的必要知識的總體F1分數與答案之間的相關性ChatGPT的準確率。結果顯示準確率和知識F1有很強的相關性，皮爾遜系數為0.77。此外，表4顯示，正確回答問題的知識F1得分明顯高于錯誤回答問題的知識F1得分。這些發現表明，準確識別必要的知識對于正確回答常識問題至關重要。因此，增強模型對必要知識的自我意識，有可能提高其在包括常識QA在內的下游任務上的性能。

5 . GPTs了解常識嗎?

本節回答了這個問題:大型語言模型在多大程度上具有常識知識?為了回答這個問題，類似于Shwartz et al.(2020)，我們根據第3節中生成的必要知識手動構建知識查詢提示。例如，如表5所示，基于表3中的知識1，我們將問題寫成“你對什么是戶外枕頭有了解嗎?”我們將這些提示輸入到ChatGPT中，并手動標注ChatGPT生成的每一個知識描述是否正確。

表5展示了一個知識查詢問題的示例和生成的知識描述。第一個描述說“向垃圾袋吹氣，用橡皮筋綁起來，可能會產生類似墊子的表面，但作為戶外枕頭，不太可能持久或舒適”，但在現實中，這是一種典型的做法。所以，這個描述被貼上了不正確的標簽。 結果如表6所示。從結果可以看出:

GPTs知識淵博，包含了準確回答問題所需的大部分常識知識。通過提出知識-查詢問題和手動評估ChatGPT的響應，我們評估了ChatGPT中必要知識的準確性。表6的結果顯示，ChatGPT生成的知識描述在大多數常識性QA數據集上都能達到70%以上的準確率，達到82.66%的平均準確率。這表明，在給定知識查詢問題的情況下，ChatGPT可以生成準確的常識知識描述。這表明llm可以作為常識知識庫，并為下游任務提供常識。然而，在社會領域的準確率較低，為54.92%。我們認為，這是因為社會常識，如“接受幫助的人，而不是給予幫助的人，應該說謝謝”，在文本中并不常見。這就突出了開發具體指導的重要性，可以指導ChatGPT獲取社會常識知識。 GPT包含誤導和過度泛化的常識知識。為了評估CommonsenseQA數據集上知識描述的相關性和信息量，我們進行了人工評估。結果顯示，26.25%的描述包含不相關和誤導性的信息，15.00%的描述過度泛化，未能提供回答問題所需的具體知識。例如，表5中的描述提到了“探索專門用于制作戶外枕頭的其他方法或材料”，這對于回答問題是沒有幫助和誤導性的。我們認為這是因為大型語言模型的訓練數據中存在噪聲和冗余信息，而損害對準確判斷信息相關性的能力。這些發現強調了ChatGPT需要生成具有相關性和信息量的知識描述，以確保生成的結果對回答問題具有實用價值。 在LLM中，了解和利用常識知識之間存在差距。為了探索生成的知識描述的準確性和答案準確性之間的關系，我們進行了相關性分析，并在圖3中繪制了結果。我們的結果顯示，兩個準確率之間存在微弱的相關性，皮爾遜系數為0.40。值得注意的是，雖然在社交IQA和MC-TACO數據集上的答案準確率都很低，但它們之間的知識描述準確率存在顯著差異:社交IQA的準確率很低(54.92%)，但MC-TACO的準確率很高(86.25%)。表6進一步顯示，與第4節的結果相比，正確回答和錯誤回答的問題在描述準確率上的差異相對較小。這表明，好的知識描述并不一定能轉化為正確的答案。我們認為這是因為回答常識性問題不僅需要知識，還需要在信息不足的條件下進行推理和推理等其他能力。

6. GPTs可以有效地利用上下文中的常識進行推理嗎?

本節回答了一個問題:大型語言模型能否利用上下文中的常識知識進行推理和回答問題?為了回答這個問題，在回答了第4節中的知識查詢問題后，我們要求模型再次回答常識問題，并評估在描述必要的知識后答案是否會發生變化。表7展示了一個先前不正確的答案在生成知識描述后仍然保持不變的例子。 結果如表8所示。從結果可以看出: 如果我們只將生成的常識添加到問題上下文中，ChatGPT無法有效利用這些常識。我們對生成知識描述前后答案變化的分析表明，在大多數數據集上，使用生成的常識后并沒有明顯和一致的準確性提升 既有從錯誤到正確的變化，也有從正確到錯誤的變化，還有相當大比例的未改變的答案，如表7所示的例子。在社交IQA數據集的情況下，知識生成的準確性較低，導致更多的正確答案被修改為錯誤。這說明ChatGPT無法有效利用自身生成的知識描述來回答問題，知識生成的準確性對回答結果有巨大影響。我們認為這是因為模型已經擁有了生成的知識，因此添加冗余知識是沒有用的。 ChatGPT在常識QA方面的性能提升即使使用黃金知識也不顯著。我們為common - monsenseQA數據集使用了兩個人工標注的常識解釋數據集CoS-E (Rajani et al.，2019)和ECQA (Aggarwal et al.， 2021)作為黃金知識作為上下文，并要求ChatGPT生成答案。我們發現，給出CoS-E解釋的只有4個錯誤→正確的答案，給出ECQA解釋的只有8個錯誤→正確的答案，而有一個正確→錯誤的答案。這表明ChatGPT并不能回答所有的問題即使給出真實知識的解釋，也能正確回答問題。我們認為這是因為大型語言模型缺乏使用知識進行復雜常識推理的能力，例如否定。例如，這里有一個需要否定推理的問題:“如果籃球上有一個洞，但它沒有失去它的一般形狀，那么關于籃球，有什么是不正確的?A.被刺破的，B.在美國流行的，C.充滿空氣的，D.消失了的，E.圓形的”。對這個問題的CoS-E解釋是:“任何有洞的物體都不能留住空氣。”，但ChatGPT仍然預測了錯誤的答案A，并解釋道:“如果籃球上有一個洞，它就被刺穿了，空氣就會從中逸出。”這些結果表明，大型語言模型需要進一步的指導和改進，以更好地利用和推理上下文中的常識性知識。

7 結論和討論

在本文中，我們調研了大型語言模型的常識能力，發現ChatGPT是一個有知識但沒有經驗的問題解決者:(1) 雖然GPTs可以在常識QA中取得很好的準確性，但他們仍然在某些類型的知識上掙扎，包括社會和時間常識。(2) ChatGPT在常識方面知識淵博，可以使用知識提示準確地生成大部分常識知識。(3) ChatGPT是一個缺乏經驗的常識問題求解者。它很難準確地識別給定問題的潛在常識知識，并且經常生成噪聲率很高的知識。此外，ChatGPT不能有效地利用上下文中的常識知識來回答常識問題。 上述發現為未來的工作提出了幾個有希望的方向: **(1) 雖然目前的GPTs知識豐富，但他們仍然沒有經驗解決問題。**因此，研究在LLM中利用常識知識的更好機制至關重要，如指令調優、更好的常識引導推理等。 (2) LLM中仍然缺少幾種類型的常識知識，如社會和時間常識。因此，為這些知識類型設計知識注入方法至關重要。此外，重要的是設計輕量級的常識更新方法，以保持知識的最新。 **(3) 由于ChatGPT和GPT-4不會公布它們的全部細節，**比如訓練數據、超參數和檢查點，評估一個“人工通用智能”模型是非常不同的，因此設計和構建覆蓋范圍更廣的基準至關重要，設計評估方法能夠對大型語言模型提供更全面和更公正的評估。

轉載機器之心報道

機器之心編輯部

為什么仿佛一夜之間，自然語言處理（NLP）領域就突然突飛猛進，摸到了通用人工智能的門檻？如今的大語言模型（LLM）發展到了什么程度？未來短時間內，AGI 的發展路線又將如何？自 20 世紀 50 年代圖靈測試提出以來，人們始終在探索機器處理語言智能的能力。語言本質上是一個錯綜復雜的人類表達系統，受到語法規則的約束。因此，開發能夠理解和精通語言的強大 AI 算法面臨著巨大挑戰。過去二十年，語言建模方法被廣泛用于語言理解和生成，包括統計語言模型和神經語言模型。近些年，研究人員通過在大規模語料庫上預訓練 Transformer 模型產生了預訓練語言模型（PLMs），并在解決各類 NLP 任務上展現出了強大的能力。并且研究人員發現模型縮放可以帶來性能提升，因此他們通過將模型規模增大進一步研究縮放的效果。有趣的是，當參數規模超過一定水平時，這個更大的語言模型實現了顯著的性能提升，并出現了小模型中不存在的能力，比如上下文學習。為了區別于 PLM，這類模型被稱為大型語言模型（LLMs）。

從 2019 年的谷歌 T5 到 OpenAI GPT 系列，參數量爆炸的大模型不斷涌現。可以說，LLMs 的研究在學界和業界都得到了很大的推進，尤其去年 11 月底對話大模型 ChatGPT 的出現更是引起了社會各界的廣泛關注。LLMs 的技術進展對整個 AI 社區產生了重要影響，并將徹底改變人們開發和使用 AI 算法的方式。考慮到 LLMs 的快速技術進步，中國人民大學的二十幾位研究者通過背景知識、關鍵發現和主流技術等三方面回顧了 LLMs 的最新進展，尤其關注 LLMs 的預訓練、自適應調優、使用和能力評估。此外他們還總結和開發 LLMs 的可用資源，討論了未來發展方向等問題。對于領域內研究人員和工程師而言，這份綜述是一份極其有用的學習資源。

論文鏈接：//www.zhuanzhi.ai/paper/d571a453590ccfc2c2ac1a9effa896cb

在進入正文前，我們先來看 2019 年以來出現的各種大語言模型（百億參數以上）時間軸，其中標黃的大模型已開源。

LLMs 概覽

**在第一節中，研究者詳細介紹了 LLMs 的背景、能力和關鍵技術。LLMs 的背景通常，大型語言模型（LLM）是指包含數千億（或更多）參數的語言模型，這些參數是在大量文本數據上訓練的，例如模型 GPT-3、PaLM、Galactica 和 LLaMA。具體來說，LLM 建立在 Transformer 架構之上，其中多頭注意力層堆疊在一個非常深的神經網絡中。現有的 LLM 主要采用與小語言模型類似的模型架構（即 Transformer）和預訓練目標（即語言建模）。作為主要區別，LLM 在很大程度上擴展了模型大小、預訓練數據和總計算量（擴大倍數）。他們可以更好地理解自然語言，并根據給定的上下文（例如 prompt）生成高質量的文本。這種容量改進可以用標度律進行部分地描述，其中性能大致遵循模型大小的大幅增加而增加。然而根據標度律，某些能力（例如，上下文學習）是不可預測的，只有當模型大小超過某個水平時才能觀察到。

LLMs 的涌現能力LLM 的涌現能力被正式定義為「在小型模型中不存在但在大型模型中出現的能力」，這是 LLM 與以前的 PLM 區分開來的最顯著特征之一。當出現這種新的能力時，它還引入了一個顯著的特征：當規模達到一定水平時，性能顯著高于隨機的狀態。以此類推，這種新模式與物理學中的相變現象密切相關。原則上，這種能力也可以與一些復雜的任務有關，而人們更關心可以應用于解決多個任務的通用能力。這里簡要介紹了 LLM 的三種代表性的涌現能力：上下文學習。GPT-3 正式引入了上下文學習能力：假設語言模型已經提供了自然語言指令和多個任務描述，它可以通過完成輸入文本的詞序列來生成測試實例的預期輸出，而無需額外的訓練或梯度更新。指令遵循。通過對自然語言描述（即指令）格式化的多任務數據集的混合進行微調，LLM 在微小的任務上表現良好，這些任務也以指令的形式所描述。這種能力下，指令調優使 LLM 能夠在不使用顯式樣本的情況下通過理解任務指令來執行新任務，這可以大大提高泛化能力。循序漸進的推理。對于小語言模型，通常很難解決涉及多個推理步驟的復雜任務，例如數學學科單詞問題。同時，通過思維鏈推理策略，LLM 可以通過利用涉及中間推理步驟的 prompt 機制來解決此類任務得出最終答案。據推測，這種能力可能是通過代碼訓練獲得的。

關鍵技術接下來來看 LLMs 的關鍵技術，包括了縮放、訓練、能力激發、對齊調優、工具利用等。縮放。縮放是增加 LLMs 模型容量的關鍵因素，最開始 GPT-3 將模型參數增至 1750 億，隨后 PaLM 進一步將模型參數增至 5400 億。大規模參數對于涌現能力至關重要。縮放不僅針對模型大小，還與數據大小和總計算量有關。訓練。由于規模巨大，成功訓練一個具備強大能力的 LLMs 非常具有挑戰性。因此需要分布式訓練算法來學習 LLMs 的網絡參數，經常聯合使用各種并行策略。為了支持分布式訓練，DeepSpeed 和 Megatron-LM 等優化框架被用來促進并行算法的實現和部署。此外，優化技巧對訓練穩定性和模型性能也很重要，例如重新啟動訓練損失尖峰和混合精度訓練。最近的 GPT-4 開發了特殊的基礎設施和優化方法，從而利用小得多的模型來預測大模型的性能。能力激發。在大規模語料庫上經過預訓練后，LLMs 被賦予了解決一般任務的潛在能力。然而當 LLMs 執行某個特定任務時，這些能力可能不會顯式地表現出來。因此設計適合的任務指令或特定的上下文策略來激發這些能力非常有用，比如思維鏈 prompt 有助于通過中間推理步驟等解決復雜推理任務。此外還可以進一步對具有自然語言任務描述的 LLMs 進行指令調優，以提高對未見過任務的泛化能力。對齊調優。由于 LLMs 被訓練用來捕獲預訓練語料庫的數據特征（包括高質量和低質量的數據），它們很可能生成對有毒、有偏見和有害的文本內容。為了使 LLMs 與人類價值觀保持一致，InstructGPT 設計了一種利用強化學習和人類反饋的高效調優方法，使得 LLMs 能夠遵循預期指令。ChatGPT 是在類似 InstructGPT 的技術上開發的，在產生高質量、無害的響應方面表現出了強大的對齊能力。工具利用。LLMs 本質上是基于大規模純文本語料庫訓練的文本生成器，因此在數值計算等文本表達不佳的任務上表現沒那么好。此外 LLMs 的能力受限于預訓練數據，無法捕獲最新信息。針對這些問題，人們提出使用外部工具來彌補 LLMs 的不足，比如可以利用計算器進行精確計算，使用搜索引擎檢索未知信息。ChatGPT 更是利用外部插件來聯網學習新知識，這種機制可以廣泛擴展 LLMs 的能力范圍。 LLMs 資源考慮到具有挑戰性的技術問題和巨大的計算資源需求，開發或復制 LLMs 絕不是一件容易的事情。一個可行的方法是從現有的 LLMs 中學習經驗，并重新使用公開的資源來進行漸進式的開發或實驗研究。在第三節中，研究者主要總結了開源的模型檢查點或 API、可用的語料庫以及對 LLM 有用的庫。下表 1 為近年來百億參數以上大模型的統計數據。

下表 2 列出了常用的數據源。

**預訓練 **

預訓練建立了 LLMs 的能力基礎。通過對大規模語料庫的預訓練，LLMs 可以獲得基本的語言理解和生成技能。在這個過程中，預訓練語料庫的規模和質量是 LLMs 獲得強大能力的關鍵。此外，為了有效地預訓練 LLMs，模型架構、加速方法和優化技術都需要精心設計。在第四節中，研究者首先在第 4.1 節討論了數據的收集和處理，然后在第 4.2 節介紹了常用的模型架構，最后在第 4.3 節介紹了穩定和有效優化 LLMs 的訓練技術。數據收集要開發一個強大的 LLM，從各種數據源中收集大量的自然語言語料至關重要。現有 LLMs 主要利用各種公共文本數據集作為預訓練語料庫。下圖 2 列出了現有 LLMs 的預訓練數據源分布。

收集大量文本數據后，必須對它們進行預訓練以構建預訓練語料庫，包括去噪、去冗余、去除不相關和潛在有毒的數據。下圖 3 展示了為 LLMs 預訓練數據的預處理 pipeline。

架構在本節中，研究者回顧了 LLMs 的架構設計，即主流架構，預訓練目標和細節配置。下表 3 列出了幾個具有代表性的 LLMs 的模型卡片以及公開的詳細信息。

由于出色的并行化性和容量，Transformer 架構已成為開發各種 LLM 的 backbone，使得將語言模型擴展到數千億個參數成為可能。一般來說，現有 LLMs 的主流架構大致可以分為三大類，即編碼器 - 解碼器、臨時解碼器和前綴解碼器。自 Transformer 出現以來，各種改進被相繼提出以提高其訓練穩定性，性能和計算效率。在這一部分中，研究者討論了 Transformer 四個主要部分的相應配置，包括歸一化、位置編碼、激活函數、注意力機制和偏置。預訓練起著十分關鍵的作用，它將一般知識從大規模語料庫編碼到大規模模型參數中。對于訓練 LLMs，有語言建模和去噪自編碼兩個常用的預訓練任務。模型訓練在這一部分中，研究者回顧了訓練 LLMs 的重要設置，技術和訓練 LLMs 技巧。對于 LLMs 的參數優化，研究者提出了常用的批量訓練、學習率、優化器和訓練穩定性的設置。 隨著模型和數據規模的增加，在有限的計算資源下有效地訓練 LLMs 模型已經變得困難。特別是，需要解決兩個主要技術問題，例如通過輸入增加訓練和將更大的模型加載到 GPU 內存中。這一部分回顧了現有工作中幾種廣泛使用的方法，以解決上述兩個挑戰，即 3D 并行、ZeRO 和混合精度訓練，并就如何利用它們進行訓練給出了建議。

LLMs 的適應性調優經過預訓練，LLMs 可以獲得解決各種任務的通用能力。然而越來越多的研究表明，LLMs 的能力可以根據具體目標進一步調整。在第五節中，研究者詳細介紹了調整預訓練 LLMs 的兩個主要方法，即指令調優（instruction tuning）和對齊調優（alignment tuning）。前一種方法主要是為了提高或解鎖 LLMs 的能力，而后一種方法則是為了使 LLMs 的行為與人類的價值觀或偏好一致。指令調優本質上，指令調優是在自然語言形式的格式化實例集合上微調預訓練 LLMs 的方法，這與監督微調和多任務提示訓練高度相關。為了執行指令調優，我們首先需要收集或構建指令格式的實例。然后，我們通常使用這些格式化實例以監督學習方式微調 LLMs（例如，使用序列到序列損失進行訓練）。在指令調整后，LLMs 可以展示出卓越的能力，泛化出能解決未見任務的能力，即使在多語言環境中也是如此。最近的一項調查對指令調優研究進行了系統的概述。相比之下，本文主要關注指令調優對 LLMs 的影響，并提供實例收集和調優的詳細指南或策略。此外，本文還討論了使用指令調優來滿足用戶的實際需求，這已廣泛應用于現有的 LLMs，例如 InstructGPT 和 GPT-4。格式化實例構建：通常，指令格式的實例由任務描述（稱為指令）、輸入輸出對和少量演示（可選）組成。作為重要的公共資源，現有研究已經發布了大量以自然語言格式化的標記數據（參見表 5 中的可用資源列表）。接下來，本文將介紹構造格式化實例的兩種主要方法（參見圖 4 中的插圖），然后討論實例構造的幾個關鍵因素。指令調優策略：與預訓練不同，指令調優通常更有效，因為只有適度數量的實例用于訓練。雖然指令調優可以被認為是一個有監督的訓練過程，但它的優化在幾個方面與預訓練不同，例如訓練目標（即序列到序列損失）和優化配置（例如更小的批次） 大小和學習率），這在實踐中需要特別注意。除了這些優化配置之外，指令調優還需要考慮兩個重要方面：

• 平衡數據分布。
• 結合指令調優和預訓練。

對齊調優這部分首先介紹了對齊的背景及其定義和標準，然后重點介紹了用于對齊 LLMs 的人類反饋數據的收集，最后討論了用于對齊調整的人類反饋強化學習的關鍵技術。

使用在預訓練或適應性調整之后，使用 LLMs 的一個主要方法是為解決各種任務設計合適的 prompt 策略。一個典型的 prompt 方法是上下文學習（in-context learning），它以自然語言文本的形式制定了任務描述或演示。此外，思維鏈 prompting 方法可以通過將一系列中間推理步驟納入 prompt 中來加強上下文學習。在第六節中，研究者詳細介紹了這兩種技術的細節。上下文學習**

作為一種特殊的 prompt 形式，上下文學習（ICL）是 GPT-3 首次提出的，它已經成為利用 LLMs 的一種典型方法。思維鏈 prompt思維鏈（CoT）是一種改進的 prompt 策略，可以提高 LLM 在復雜推理任務中的表現，如算術推理、常識推理和符號推理。CoT 不是像 ICL 那樣簡單地用輸入 - 輸出對來構建 prompt，而是將能夠導致最終輸出的中間推理步驟納入 prompt。在第 6.2 節中，研究者詳細說明了 CoT 與 ICL 的用法，并討論 CoT 何時有效以及為何有效。 能力評估為了研究 LLMs 的有效性和優越性，研究者利用了大量的任務和基準來進行實證評估和分析。第七節首先介紹了三種用于語言生成和理解的 LLMs 的基本評估任務，然后介紹幾種具有更復雜設置或目標的 LLMs 的高級任務，最后討論了現有的基準和實證分析。基本評估任務

 圖 7：一個公開 LLM 的內在和外在幻覺的例子（訪問日期：2023 年 3 月 19 日）。作為內在幻覺的例子，LLM 對 Cindy 和 Amy 之間的關系給出了一個與輸入相矛盾的判斷。對于外在幻覺，在這個例子中，LLM 似乎對 RLHF（從人類反饋中強化學習）的含義有不正確的理解，盡管它能正確理解 LLM 的含義。

高級任務評估除了上述基本評估任務，LLMs 還表現出一些高級能力，需要特別評估。在第 7.2 節中，研究者討論了幾個有代表性的高級能力和相應的評價方法，包括人工對齊、與外部環境的交互以及工具的操作。

總結與未來方向

在最后一節中，研究者總結了這次調查的討論，并從以下幾個方面介紹了 LLMs 的挑戰和未來發展方向。理論和原理：為了理解 LLM 的基本工作機制，最大的謎團之一是信息如何通過非常大的深度神經網絡進行分配、組織和利用。揭示建立 LLMs 能力基礎的基本原則或元素是很重要的。特別是，縮放似乎在提高 LLMs 的能力方面發揮了重要作用。已有研究表明，當語言模型的參數規模增加到一個臨界點（如 10B）時，一些新興能力會以一種意想不到的方式出現（性能的突然飛躍），典型的包括上下文學習、指令跟隨和分步推理。這些「涌現」的能力令人著迷，但也令人困惑：LLMs 何時以及如何獲得這些能力？最近的一些研究要么是進行廣泛的體驗，調查新興能力的效果和這些能力的促成因素，要么是用現有的理論框架解釋一些特定的能力。一個有見地的技術帖子將 GPT 系列模型作為目標也專門討論了這個話題，然而仍然缺少更正式的理論和原則來理解、描述和解釋 LLM 的能力或行為。由于涌現能力與自然界中的相變有著密切的相似性，跨學科的理論或原則（例如 LLMs 是否可以被視為某種復雜系統）可能對解釋和理解 LLMs 的行為有幫助。這些基本問題值得研究界探索，對于開發下一代的 LLMs 很重要。模型架構：由于可擴展性和有效性，由堆疊的多頭自注意力層組成的 Transformer 已經成為構建 LLMs 的普遍架構。人們提出了各種策略來提高這個架構的性能，如神經網絡配置和可擴展的并行訓練（見 4.2.2 節討論）。為了進一步提高模型的容量（如多輪對話能力），現有的 LLMs 通常保持較長的上下文長度，例如，GPT-4-32k 具有 32768 個 token 的超大上下文長度。因此，一個實際的考慮是減少標準的自注意力機制所產生的時間復雜性（原始的二次成本）。此外，研究更高效的 Transformer 變體對構建 LLMs 的影響是很重要的，例如稀疏注意力已經被用于 GPT-3。災難性遺忘也一直是神經網絡的挑戰，這也對 LLMs 產生了負面影響。當用新的數據調整 LLMs 時，原先學到的知識很可能被破壞，例如根據一些特定的任務對 LLMs 進行微調會影響它們的通用能力。當 LLMs 與人類的價值觀相一致時，也會出現類似的情況，這被稱為對齊稅（alignment tax）。因此有必要考慮用更靈活的機制或模塊來擴展現有的架構，以有效支持數據更新和任務專業化。模型訓練：在實踐中，由于巨大的計算量以及對數據質量和訓練技巧的敏感性，預訓練可用的 LLMs 非常困難。因此，考慮到模型有效性、效率優化和訓練穩定性等因素，開發更系統、更經濟的預訓練方法來優化 LLMs 變得尤為重要。開發更多的模型檢查或性能診斷方法（例如 GPT-4 中的可預測縮放），便于在訓練中發現早期的異常問題。此外，它還要求有更靈活的硬件支持或資源調度機制，以便更好地組織和利用計算集群中的資源。由于從頭開始預訓練 LLMs 的成本很高，因此必須設計一個合適的機制，根據公開的模型檢查點（例如 LLaMA 和 Flan-T5）不斷地預訓練或微調 LLMs。為此，必須解決一些技術問題，包括數據不一致、災難性遺忘和任務專業化。到目前為止，仍然缺乏具有完整的預處理和訓練日志（例如準備預訓練數據的腳本）的開源模型檢查點以供重現的 LLM。為 LLMs 的研究提供更多的開源模型將是非常有價值的。此外，開發更多的改進調整策略和研究有效激發模型能力的機制也很重要。模型的使用：由于微調在實際應用中的成本很高，prompt 已經成為使用 LLMs 的突出方法。通過將任務描述和演示例子結合到 prompt 中，上下文學習（prompt 的一種特殊形式）賦予了 LLMs 在新任務上良好的表現，甚至在某些情況下超過了全數據微調模型。此外，為了提高復雜推理的能力，人們提出了先進的 prompt 技術，例如思維鏈（CoT）策略，它將中間的推理步驟納入 prompt。然而，現有的 prompt 方法仍然有以下幾個不足之處。首先，它在設計 prompt 時需要大量的人力，因此為解決各種任務而自動生成有效的 prompt 將非常有用；其次，一些復雜的任務（如形式證明和數字計算）需要特定的知識或邏輯規則，而這些知識或規則可能無法用自然語言描述或用例子來證明，因此開發信息量更大、更靈活的任務格式化的 prompt 方法很重要；第三，現有的 prompt 策略主要集中在單圈的表現上，因此開發用于解決復雜任務的交互式 prompt 機制（如通過自然語言對話）非常有用，ChatGPT 已經證明了這一點。安全和對齊：盡管 LLMs 具備相當的能力，但它的安全問題與小型語言模型相似。例如，LLMs 表現出產生幻覺文本的傾向，比如那些看似合理但可能與事實不符的文本。更糟糕的是，LLMs 可能被有意的指令激發，為惡意的系統產生有害的、有偏見的或有毒的文本，導致濫用的潛在風險。要詳細討論 LLMs 的其他安全問題（如隱私、過度依賴、虛假信息和影響操作），讀者可以參考 GPT-3/4 技術報告。作為避免這些問題的主要方法，來自人類反饋的強化學習（RLHF）已被廣泛使用，它將人類納入訓練循環，以發展良好的 LLMs。為了提高模型的安全性，在 RLHF 過程中加入安全相關的 prompt 也很重要，如 GPT-4 所示。然而，RLHF 在很大程度上依賴于專業標簽人員的高質量的人類反饋數據，使得它很難在實踐中得到正確的實施。因此，有必要改進 RLHF 框架，以減少人類標簽員的工作，并尋求一種更有效的注釋方法，保證數據質量，例如可以采用 LLMs 來協助標注工作。最近，紅色團隊被采用來提高 LLMs 的模型安全性，它利用收集的對抗性 prompt 來完善 LLMs（即避免紅色團隊的攻擊）。此外，通過與人類交流建立 LLMs 的學習機制也很有意義，人類通過聊天給出的反饋可以直接被 LLMs 利用來進行自我完善。應用和生態系統：由于 LLMs 在解決各種任務方面表現出強大的能力，它們可以被應用于廣泛的現實世界的應用（例如，遵循特定的自然語言指令）。作為一個顯著的進步，ChatGPT 已經潛在地改變了人類獲取信息的方式，這帶來了新必應的發布。在不久的將來，可以預見，LLMs 將對信息搜索技術產生重大影響，包括搜索引擎和識別系統。此外，隨著 LLMs 的技術升級，智能信息助理的發展和使用將得到極大的促進。在更廣泛的范圍內，這一波技術創新傾向于建立一個由 LLMs 授權的應用程序的生態系統（例如，ChatGPT 對插件的支持），這將與人類生活密切相關。最后，LLMs 的崛起為通用人工智能（AGI）的探索提供了啟示。它有希望開發出比以往更多的智能系統（可能有多模態信號）。同時，在這個發展過程中，人工智能的安全性應該是首要關注的問題之一，也就是說，讓人工智能為人類帶來好處而不是壞處。

自20世紀50年代圖靈測試被提出以來，人類一直在探索機器對語言智能的掌握。語言本質上是一個受語法規則支配的復雜的人類表達系統。這對開發有能力的人工智能(AI)算法來理解和掌握語言提出了重大挑戰。作為一種主要的語言建模方法，在過去的二十年中，語言建模在語言理解和生成方面得到了廣泛的研究，從統計語言模型發展到神經語言模型。最近，通過在大規模語料庫上預訓練Transformer模型，人們提出了預訓練語言模型(PLM)，在解決各種自然語言處理(NLP)任務方面顯示出強大的能力。由于研究人員發現模型縮放可以導致性能提高，他們通過將模型大小增加到更大的尺寸來進一步研究縮放效應。有趣的是，當參數規模超過一定水平時，這些放大的語言模型不僅實現了顯著的性能提升，而且顯示出一些在小規模語言模型(如BERT)中不存在的特殊能力(如上下文學習)。為了區別參數規模的差異，研究界創造了大型語言模型(LLM)這個術語，用于表示規模巨大的PLM(例如，包含數百億或千億參數)。近年來，學術界和工業界對LLMs的研究取得了很大進展，其中最顯著的進展是基于LLMs開發的ChatGPT(一個功能強大的人工智能聊天機器人)的推出，引起了社會的廣泛關注。LLM的技術發展對整個AI社區產生了重要影響，這將徹底改變我們開發和使用AI算法的方式。鑒于這種快速的技術進步，本綜述通過介紹背景、關鍵發現和主流技術，回顧了LLM的最新進展。重點關注LLM的四個主要方面，即預訓練、自適應調優、利用率和能力評估。此外，還總結了開發LLM的可用資源，并討論了剩余問題，以供未來發展方向。本綜述提供了關于LLM的文獻的最新綜述，對于研究人員和工程師來說，這可以是一個有用的資源。

任務語義可以用一組輸入到輸出的例子或一條文本指令來表示。傳統的自然語言處理(NLP)機器學習方法主要依賴于大規模特定任務樣本集的可用性。出現了兩個問題: **首先，收集特定于任務的標記示例，不適用于任務可能太復雜或太昂貴而無法注釋，或系統需要立即處理新任務的場景;其次，這對用戶來說并不友好，因為最終用戶可能更愿意在使用系統之前提供任務描述，而不是一組示例。**因此，社區對NLP的一種新的監督尋求范式付出了越來越大的興趣: 從任務指令中學習。盡管取得了令人印象深刻的進展，但社區仍面臨一些共同的問題。本文試圖從以下幾個方面對當前的指令學習研究進行總結:(1)什么是任務指令，存在哪些指令類型?(ii)如何為指令建模?(iii)哪些因素影響和解釋指令的執行?(四)指令中還存在哪些挑戰?據我們所知，這是第一次對文本指令的全面調查。

1. 引言

人工智能的一個目標是建立一個可以普遍理解和解決新任務的系統。標記示例作為主流任務表示，不太可能大量可用，甚至不存在。那么，是否有其他任務表示可以有助于任務理解?任務指令為表達任務語義提供了另一個監督維度，指令往往包含比單個標記示例更抽象和全面的目標任務知識。如圖1所示，通過任務指令的可用性，可以快速構建系統來處理新任務，特別是在特定于任務的注釋稀缺的情況下。**指令學習是受典型的人類對新任務的學習啟發，**例如，小孩可以通過從指令和幾個例子中學習來很好地解決一個新的數學任務(Fennema et al.， 1996;)。這種新的學習范式最近引起了機器學習和NLP社區的主要關注(Radford等人，2019;Efrat和Levy, 2020;Brown等人，2020年)。

當談到任務指令時，我們大多數人首先會將這個概念與提示聯系起來——使用一個簡短的模板將新的輸入重新格式化為語言建模問題，以便為啟動PLM回復響應 (Liu et al.， 2023)。盡管提示在文本分類、機器翻譯等中普遍存在，但提示只是指令的一種特殊情況。本文對指令驅動的NLP研究進行了全面和更廣泛的看法。具體來說，我們試圖回答以下問題:

• 什么是任務指令，存在哪些指令類型?

• 給定任務指令，如何對其進行編碼以幫助完成目標任務?

• 哪些因素(如模型大小、任務數量)影響指令驅動系統的性能，以及如何設計更好的指令?

• 指令學習能帶來什么應用?

• 指令學習中存在哪些挑戰，未來的方向是什么?

**據我們所知，這是第一篇調研文本指令學習的論文。**與一些現有的側重于特定上下文指令的調研相比，例如提示(Liu等人，2023)、按輸出輸入的演示(Dong等人，2023)或推理(Huang和Chang, 2022;Qiao et al.， 2022)，我們提供了一個更廣泛的視角，以有組織的方式連接該領域的不同研究。希望本文能呈現一個更好的指令學習故事，吸引更多同行來研究這個具有挑戰性的人工智能問題。我們還發布了本次調研的相應閱讀清單。

2. 基礎知識

對于任務式學習，目標是通過遵循指令來驅動系統達到給定輸入的輸出。因此，一個數據集由三個元素組成: Input (X): 實例的輸入;它可以是一段文本(如情感分類)或一組文本(如文本蘊涵、問題回答等)。 Output (Y): 實例的輸出;在分類問題中，它可以是一個或多個預定義標簽;在文本生成任務中，它可以是任何開放形式的文本。

模板(T): 一種文本模板，試圖單獨表達任務的含義，或者充當X和y之間的橋梁。T可能還不是一種組件結構。

3. 什么是任務指令？

在之前的零樣本和少樣本NLP任務中已經使用了各種類型的文本指令，例如提示(Hendrycks等人，2021;Srivastava等人，2022;Bach等人，2022，除其他外)，Amazon Mechanical Turk 指令(Mishra等人，2022b;王等，2022c;Yin等人，2022年)，輔以演示的指令 (Khashabi等人，2020年;Ye等人，2021;Min等人，2022b，特別是)和思維鏈解釋(Wei等人，2022b;Lampinen等人，2022;Li et al.， 2022c，等。不同的指令最初是為不同的目標設計的(例如，Mturk指令最初是為人類標注者理解而創建的，提示是為了控制PLM)。在本節中，如圖2所示，我們首先將這些指令總結為三個類別，它們執行T、X和?Y的不同組合(面向蘊含、面向PLM和面向人)，然后比較它們并提供指令的正式定義。

3.1 I=T^+Y:Entailment主導的指令

處理分類任務的一個傳統方案是將目標標簽轉換為索引，并讓模型決定輸入屬于哪個索引。這種范式側重于對輸入語義進行編碼，同時丟失標簽語義。為了讓系統識別新標簽而不依賴于大量標記的示例，Yin等人(2019)提出為每個標簽建立一個假設——然后，推導標簽的真值被轉換為確定假設的真值。如表1所示，這種方法內置在指令(I)中，將模板(T)與標簽Y相結合，以解釋每個目標標簽(Y)。由于這種范式自然地滿足文本蘊含的格式(TE，其中任務輸入和指令可以分別被視為前提和假設)，這些類型的指令被稱為"面向蘊含(Entailment)的指令"。面向蘊含（entailment)的指令學習方法具有以下4個方面的優勢:(i)保持了標簽語義，使得輸入編碼和輸出編碼在建模輸入輸出關系時得到同等的重視;(ii)形成了一個統一的推理過程——文本蘊含——來處理各種NLP問題;(iii)它創造了利用現有TE數據集的間接監督的機會，以便預訓練TE模型有望在不進行特定任務微調的情況下在這些目標任務上工作;(iv)將原始的閉集標簽分類問題擴展為具有少量甚至零類屬類樣本的開放域開放形式標簽識別問題。因此，它被廣泛應用于各種少樣本/零樣本分類任務中，如分類主題(Yin等人，2019)、情感(Zhong等人，2021)、姿態(Xu等人，2022b)、實體類型(Li等人，2022a)和實體關系(Murty等人，2020;Xia等，2021;Sainz等人，2021,2022)。

3.2 I=T^+X:面向PLM的指令(如?提示)

提示是面向PLM的指令的代表，它通常是一個簡短的語句，前面加上任務輸入(前綴提示)，或者一個完形填空問題模板(完形填空提示)。它主要用于從預訓練的語言模型(PLM)中查詢中間響應(可以進一步轉換為最終答案)。由于提示輸入符合PLM的預訓練目標(例如，完形風格的輸入滿足掩碼語言建模目標(Kenton和Toutanova, 2019))，它有助于擺脫對傳統監督微調的依賴，并大大減輕人工標注的成本。因此，快速學習在大量之前的少量/零樣本NLP任務上取得了令人印象深刻的結果，例如問答(Radford等人，2019;Lin等人，2021)、機器翻譯(Li等人，2022d)、情感分析(Wu和Shi, 2022)、文本蘊含(Schick和Schütze, 2021a,b)和命名實體識別(Cui等人，2021;王等，2022a)。

3.3 以人為本指示

以人為本的指令基本上是指在人類注釋平臺上用于眾包的指令(例如Amazon MTurk指令)。與面向人的指令不同，面向人的指令通常是一些人可讀的、描述性的、段落式的任務特定文本信息，由任務標題、類別、定義、要避免的事項等組成。因此，以人為本的指令更加友好，可以理想地應用于幾乎任何復雜的NLP任務。

4 如何為指令建模?在本節中，我們總結了幾種最流行的指令學習建模策略。總體而言，本文介紹了四種不同的建模方案:對于早期的基于機器學習的系統，(i)基于語義解析器的策略是編碼指令的常用方法;隨著神經網絡和預訓練語言模型的出現，(ii)基于提示模板和(iii)基于前綴指令的指令學習模式成為兩種備受青睞的范式;最近，(iv).基于超網絡的方法也引起了更大的興趣。

5 應用

5.1人機交互

文本指令可以自然地視為一種人機交互方式。之前的許多工作使用自然語言指令來"指導"計算機執行各種現實世界的任務。

對于非NLP(多模態)任務，大多數專注于基于環境的語言學習，即驅動智能體將自然語言指令與環境相關聯，并做出相應的反應，例如從圖像/視頻中選擇提到的對象(Matuszek等人，2012;Krishnamurthy和Kollar, 2013;Puig等人，2018)，按照導航指示移動智能體(Tellex等人，2011;Kim和Mooney, 2012;陳,2012;Artzi和Zettlemoyer, 2013;Bisk et al.， 2016)，在地圖上繪制相應的痕跡(Vogel和Jurafsky, 2010;Chen和Mooney, 2011)，基于給定規則玩足球/紙牌游戲(Kuhlmann等人，2004;愛森斯坦等人，2009;Branavan等人，2011;Babe s-Vroman等人，2012;Goldwasser和Roth, 2014)，生成實時體育廣播(Chen和Mooney, 2008;Liang et al.， 2009)、控制軟件(Branavan et al.， 2010)和查詢外部數據庫(Clarke et al.， 2010)等。與此同時，指令也被廣泛適用于幫助與系統溝通，以解決NLP任務，例如，遵循操作字符串的指令(Gaddy和Klein, 2019)，根據給定的解釋對電子郵件進行分類(Srivastava等人，2017,2018)，以及文本到代碼生成(Acquaviva等人，2021)。近年來，越來越多的研究傾向于以迭代和模塊化的方式設計人機通信過程。例如，Li et al.(2020)構建了一個系統來幫助用戶處理日常任務(例如，點咖啡或請求Uber)。得益于用戶友好的圖界面，系統可以迭代地詢問有關任務的問題，用戶可以不斷改進他們的指令，以避免不明確的描述或模糊的概念。類似地，Dwivedi-Yu等人(2022)提出了一個基準來迭代地指導PLM改進文本，其中每次迭代只使用具有精確目的的一小段指令(例如，“簡化文本”或“使文本中性”)。此外，Chakrabarty等人(2022)構建了一個協作寫詩系統，用戶可以最初提供一個模棱兩可的指令(例如，“寫一首關于蛋糕的詩”)，然后通過觀察模型的中間輸出，用更多的細節逐步完善指令(例如，“包含單詞-‘巧克力’”)。同時，Mishra和Nouri(2022)提出了一個傳記生成系統，該系統逐步從用戶那里收集必要的個人信息(通過在對話場景中提出問題來引導用戶)，并最終生成一個段落式的傳記。針對非專家用戶難以一次性編寫完整的指令的問題，在基于指令的人工智能系統設計中采用迭代式、模塊化的設計范式，可以引導用戶逐步豐富任務指令，從而有效地緩解用戶的思維需求，使系統更加面向用戶。鑒于其實用價值，本文強調了這一分支工作的重要性。

5.2 數據和特征增強

任務指令被認為是一種間接的監督資源，其中有時包含一些膚淺且武斷的規則。這些規則也被稱為標記函數，可以直接應用于注釋(例如，句子“a very fair price”是情感積極的，因為“單詞‘price’之前直接有‘fair’”)。因此，現有的一些工作還將指令作為遠程監督來執行數據或特征增強(Srivastava等人，2018;Hancock等人，2018;Ye等人，2020)。例如，Srivastava等人(2017)使用語義解析器將自然語言解釋轉換為邏輯形式，并將它們應用于數據集中的所有實例以生成額外的二進制特征。而Wang et al.(2020)利用標簽解釋自動標注原始語料庫，并在產生的噪聲數據上訓練分類器。除了直接的擴充外，Su等人(2022)進一步使用任務指令來豐富模型表示，并實現了較強的跨任務泛化。具體來說，他們在具有對比學習的不同指令數據集上訓練了一個嵌入模型(單個編碼器)，然后使用該模型為下游未見過的任務生成基于指令的特定任務表示。

5.3 通用語言模型

根據通用人工智能(Artificial General Intelligence, AGI)的定義，“通用模型”通常是一個能夠勝任不同任務并在多變環境中可擴展的系統，這將遠遠超出其創造者最初的預期(Wang and Goertzel, 2007;Goertzel寫到,2014)。雖然特定于NLP領域，但通用語言模型應該是一個優秀的多任務助手，能夠以完全零樣本/少樣本的方式熟練處理各種現實世界的NLP任務和不同的語言(Arivazhagan等人，2019;Pratap等人，2020;Wei等，2022a)。由于許多現有工作證明了在跨任務泛化中使用指令的驚人能力(Wei等人，2022a;Sanh等人，2022;Mishra等人，2022b;王等，2022c;Chung等人，2022，除其他外)，該指令很可能成為實現這一最終目標的突破。

值得注意的是，最近指令的兩個顯著應用，即InstructGPT (Ouyang et al.， 2022)和ChatGPT，也表明在構建通用語言模型方面邁出了一大步。然而，與其他主要采用指令學習的工作不同，ChatGPT還采用了一些其他組件，如人工反饋的強化學習(RLHF) 14。雖然“哪個組件對ChatGPT的出色結果貢獻更大”的答案仍然是模糊的，需要進一步調研，但我們介紹了一些最近的工作，以強調指令學習的關鍵作用。例如，Chung等人(2022)進行了廣泛的實驗來評估人類對PaLM的偏好對齊(Chowdhery等人，2022)。他們發現，即使沒有任何人類反饋，指令微調也顯著降低了PaLM開放式世代的毒性，比如性別和職業偏見。此外，其他一些工作也單獨采用創造性指導而不是人工反饋，并取得了顯著的跨任務結果(Bai等人，2022;Honovich等人，2022a;王志強等，2022b)。盡管ChatGPT仍然存在許多不令人滿意的方面，距離通用語言模型還很遠(Qin等人，2023;郭等，2023;Koco 'n等人，2023;Wang et al.， 2023)，我們希望AGI的目標可以通過采用和發展更強大的技術來繼續推動，包括指令學習。

預訓練基礎模型(PFMs)被視為具有不同數據模態的各種下游任務的基礎。預訓練的基礎模型，如BERT、GPT-3、MAE、DALLE-E和ChatGPT，在大規模數據上進行訓練，為廣泛的下游應用提供了合理的參數初始化。**PFMs背后的預訓練思想在大型模型的應用中起著重要的作用。**作為一種遷移學習范式，預訓練通過凍結和微調技術應用于計算機視覺，顯示出良好的性能。詞向量在自然語言處理中也可以看作是修飾詞的一種，但它存在多義詞等問題。與之前應用卷積和循環模塊進行特征提取的方法不同，生成預訓練(GPT)方法應用Transformer作為特征提取器，并以自回歸范式在大型數據集上進行訓練。類似地，BERT應用transformer在大型數據集上作為上下文語言模型進行訓練。最近，ChatGPT在大型語言模型上顯示出可喜的成功，它應用了零樣本或很少提示的自回歸語言模型。隨著PFMs的非凡成功，人工智能在過去幾年中在各種領域掀起了浪潮。文獻中提出了相當多的方法，數據集和評估指標，需要更新的綜述。

**本研究全面回顧了文本、圖像、圖以及其他數據模態中PFMs的最新研究進展、當前和未來挑戰和機遇。**首先回顧了自然語言處理、計算機視覺和圖學習中的基本組成部分和現有的預訓練。然后討論針對其他數據模態的其他高級PFMs，以及考慮數據質量和數量的統一PFMs。此外，還討論了PFM的相關研究，包括模型效率與壓縮、安全與隱私。最后，總結了關鍵意義、未來研究方向、挑戰和開放問題。希望對PFMs在可擴展性、推理能力、跨域能力、用戶友好交互能力、安全與隱私保護能力等方面的研究有所啟發。

//www.zhuanzhi.ai/paper/9345ff120bd8f1b703c1c9324c321dd9

1. 引言

預訓練基礎模型(PFMs)是大數據時代人工智能(AI)必不可少的重要組成部分。基礎模型首先在[1]中命名，這意味著更廣泛的模型類及其功能。在人工智能的三大領域(自然語言處理(NLP)[2]、計算機視覺(CV)[3]和圖學習(GL)[4])中，PFM被廣泛研究。**PFM是強大的通用模型，在各種領域或跨領域都是有效的。它們在各種學習任務中表現出了學習特征表示的巨大潛力，如文本分類[5]、文本生成[6]、圖像分類[7]、目標檢測[8]和圖分類[9]。**PFMs在使用大規模語料庫對多個任務進行訓練，并將其微調到類似的小規模任務方面表現出優越的性能，使啟動快速數據處理成為可能。**PFMs基于預訓練技術，該技術旨在使用大量數據和任務訓練一個通用模型，這些數據和任務可以在不同的下游應用程序中輕松地進行微調。**預訓練的思想源于CV任務中的遷移學習[10]。認識到預訓練在CV領域的有效性，人們開始在其他領域使用預訓練技術來提高模型性能。當預訓練技術應用于NLP領域時，訓練有素的語言模型(lm)可以捕獲對下游任務有益的豐富知識，如長期依賴關系、層次關系等。此外，在NLP領域進行預訓練的顯著優勢在于，訓練數據可以來自任何未標記的文本語料庫，即預訓練過程中有無限數量的訓練數據。早期的預訓練是一種靜態技術，如NNLM[11]和Word2vec[12]，但靜態方法難以適應不同的語義環境。因此，提出了動態預訓練技術，如BERT[13]、XLNet[14]等。圖1描述了NLP、CV和GL領域PFMs的歷史和演變。基于預訓練技術的PFMs利用大規模語料庫學習通用語義表示。隨著這些開創性工作的引入，各種PFMs已經出現并應用于下游任務和應用。

**ChatGPT是PFM應用的一個很好的例子。ChatGPT是對生成式預訓練transformer GPT-3.5進行微調的，它是在文本和代碼的混合上進行訓練的[15,16]。**ChatGPT應用了來自人類反饋的強化學習(RLHF)[17,18]，這已經成為將大型語言模型與人類意圖[19]相結合的一種有希望的方法。ChatGPT令人驚訝的優越性能可能會導致每種類型PFM訓練范式的轉變——應用指令對齊技術，如強化學習(RL)、提示調整[20,21,22]和思維鏈[23,24]，向人工通用智能發展。重點介紹了文本、圖像和圖形的PFMs，這是一個比較成熟的研究分類。對于文本，它是一個多用途的語言模型，用于預測序列中的下一個單詞或字符。例如，PFMs可用于機器翻譯、問答系統、主題建模、情感分析等。對于圖像，它類似于文本上的PFMs，使用巨大的數據集來訓練一個適用于許多CV任務的大模型。對于圖，類似的預訓練思想也被應用于獲得pfm，用于許多下游任務。除了特定數據域的PFMs，還回顧和介紹了其他一些先進的PFMs，如語音、視頻和跨領域數據的PFMs，以及多模態PFMs。此外，還出現了一種處理多模態的PFMs大收斂，即所謂的統一PFMs。首先定義了統一PFMs的概念，然后回顧了近年來SOTA統一PFMs的最新研究進展(如OFA[25]、UNIFIED-IO [26]、FLAVA[27]、BEiT-3[28]等)。

**根據現有PFMs在這三個領域的特點，我們得出PFMs具有以下兩個主要優勢。**首先，需要輕微的微調來增強模型在下游任務上的性能。第二，PFMs已經在質量方面進行了綜述。我們可以將PFMs應用于與任務相關的數據集，而不是從頭開始構建模型來解決類似的問題。PFMs的巨大前景激發了大量相關工作，以關注模型效率、[29]、安全性[30,31,32]和壓縮[33,34]等。

有一些綜述研究[35,8,5,6,7,1]回顧了一些特定領域的預訓練模型，如文本生成[6]，視覺transformer[7]，目標檢測[8]。Bommasani出版社。[1]總結了基礎模型的機會和風險。然而，現有工作沒有在預訓練任務、效率、功效和隱私等不同方面對不同領域(如CV、NLP、GL、語音、視頻)的PFMs進行全面的回顧。在本次調查中，我們專門跟蹤了NLP領域的PFMs的演變，以及預訓練是如何轉移到CV和GL并被采用的。與其他調查相比，我們沒有對這三個領域現有的PFMs進行全面介紹和分析。與以往預訓練模型的綜述不同，本文總結了現有的模型，從傳統模型到pfm，以及這三個領域的最新工作。傳統模型強調靜態特征學習。動態PFMs介紹了結構，這是目前的主流研究。進一步介紹了一些針對PFMs的其他研究，包括其他先進和統一的PFMs、模型效率和壓縮、安全性和隱私。最后，總結了不同領域未來的研究挑戰和開放問題。全面介紹了附錄F和附錄g中的相關評價指標和數據集。總結而言，本文的主要貢獻如下:

本文對PFM在NLP、CV和GL中的發展進行了扎實和最新的綜述。在這篇綜述中，討論和提供了關于三個主要應用領域中的通用PFM設計和預訓練方法的見解。

我們總結了PFMs在其他多媒體領域(如語音和視頻)的發展。此外，還討論了PFMs的前沿問題，包括統一PFMs、模型效率與壓縮、安全與隱私等。

通過對不同任務的不同模態的PFMs的回顧，討論了大數據時代超大模型未來研究的主要挑戰和機遇，這指導了基于PFMs的新一代協作和交互智能。

推理是人類智能的一個基本方面，在解決問題、決策和批判性思考等活動中起著至關重要的作用。近年來，大型語言模型(LLMs)在自然語言處理方面取得了重大進展，有人觀察到這些模型在足夠大的時候可能會表現出推理能力。然而，目前還不清楚LLMs的推理能力到何種程度。

本文對LLM推理的知識現狀進行了全面的概述，包括改進和誘導這些模型推理的技術、評估推理能力的方法和基準、該領域以前研究的發現和影響，以及對未來方向的建議。我們的目標是對這一主題提供詳細和最新的回顧，并激發有意義的討論和未來的工作。

//www.zhuanzhi.ai/paper/10caab0b58fcf5f8ddf7943e1a6060d5

1. 引言

推理是一種認知過程，包括使用證據、論據和邏輯來得出結論或做出判斷。它在許多智力活動中起著核心作用，如解決問題、決策和批判性思考。對推理的研究在心理學(Wason and Johnson-Laird, 1972)、哲學(Passmore, 1961)和計算機科學(Huth and Ryan, 2004)等領域很重要，因為它可以幫助個人做出決定、解決問題和批判性地思考。

**最近，大型語言模型(LLMs) (Brown et al., 2020; Chowdhery et al., 2022; Chung et al., 2022; Shoeybi et al., 2019, inter alia)在自然語言處理及相關領域取得了重大進展。**研究表明，當這些模型足夠大時，它們會表現出緊急行為，包括"推理"的能力(Wei等人，2022a)。例如，通過為模型提供"思維鏈"，即推理范例，或簡單的提示" Let 's think step by step "，這些模型能夠以明確的推理步驟回答問題(Wei et al.， 2022b;Kojima et al.， 2022)，例如，“所有鯨魚都是哺乳動物，所有哺乳動物都有腎臟;因此，所有的鯨魚都有腎臟。”這引發了社區的極大興趣，因為推理能力是人類智能的一個標志，而在當前的人工智能系統中，推理能力經常被認為是缺失的(Marcus, 2020; Russin et al., 2020; Mitchell, 2021; Bommasani et al., 2021)。

然而，盡管LLM在某些推理任務上表現強勁，但目前尚不清楚LLM是否真的在推理，以及它們在多大程度上能夠推理。例如，Kojima等人(2022)聲稱“LLMs是不錯的零次推理器(第1頁)”，而Valmeekam等人(2022)得出結論，“LLMs在對人類來說沒有問題的常見規劃/推理任務上仍然遠遠沒有達到可接受的性能(第2頁)。”Wei等人(2022b)也指出了這一局限性:“我們認為，盡管思維鏈模擬了人類推理的思維過程，但這并沒有回答神經網絡是否實際上是推理(第9頁)。

本文旨在對這一快速發展的主題的知識現狀進行全面概述。專注于改善LLM中推理的技術(§3);LLMs中衡量推理的方法和基準(§4);這一領域的發現和意義(§5);以及對該領域現狀的反思和討論(§6)。

2. 什么是推理？

推理是用邏輯和系統的方式思考某事的過程，利用證據和過去的經驗來得出結論或做出決定(Wason and Johnson-Laird, 1972; Wason, 1968; Galotti, 1989; Fagin et al., 2004; McHugh and Way, 2018)。推理包括根據現有信息進行推理、評估論點和得出邏輯結論。“推理”雖然是文學和日常生活中常用的術語，但它也是一個抽象的概念，可以指代很多事物。為了幫助讀者更好地理解這個概念，我們總結了幾種常見的推理類型:

演繹推理。演繹推理是一種基于前提的真實性而得出結論的推理。在演繹推理中，結論必須從前提中得出，這意味著如果前提為真，結論也必須為真。前提:所有哺乳動物都有腎臟。前提:所有鯨魚都是哺乳動物。結論:所有鯨魚都有腎臟。

歸納推理。歸納推理是一種基于觀察或證據得出結論的推理。根據現有的證據，這個結論很可能是正確的，但不一定是肯定的。觀察:我們每次看到有翅膀的生物，它就是鳥。觀察:我們看到一個有翅膀的生物。結論:這個生物很可能是一只鳥。

溯因推理。溯因推理是一種推理，它是在對一組給定的觀察做出最佳解釋的基礎上得出結論的。根據現有的證據，這一結論是最可能的解釋，但不一定是肯定的。觀察:汽車無法啟動，引擎下有一灘液體。結論: 最可能的解釋是汽車的散熱器有一個泄漏

3. 大語言模型中的推理

推理，尤其是多步推理，通常被視為語言模型和其他NLP模型的弱點(Bommasani et al., 2021; Rae et al., 2021; Valmeekam et al., 2022)。最近的研究表明，在一定規模的語言模型中可能會出現推理能力，例如具有超過1000億個參數的模型(Wei et al.， 2022a,b;Cobbe等人，2021)。在本文中，我們遵循Wei等人(2022a)的觀點，將推理視為一種在小規模模型中很少出現的能力，因此關注于適用于改進或引出大規模模型中的“推理”的技術。

3.1 全監督微調

在討論大型語言模型中的推理之前，值得一提的是，有研究正在通過對特定數據集的全監督微調來激發/改進小型語言模型中的推理。例如，Rajani等人(2019)對預訓練的GPT模型進行微調(Radford等人，2018)，以生成用構建的CoS-E數據集解釋模型預測的理由，并發現經過解釋訓練的模型在常識性問答任務上表現更好(Talmor等人，2019)。Talmor等人(2020)訓練RoBERTa (Liu等人，2019)基于隱式預訓練知識和顯式自由文本語句進行推理/推理。Hendrycks等人(2021)對預訓練語言模型進行微調，通過生成完整的分步解決方案來解決競賽數學問題，盡管準確性相對較低。Nye等人(2021)在產生最終答案之前，通過生成" scratchpad "，即中間計算，訓練語言模型進行程序合成/執行的多步驟推理。全監督微調有兩個主要限制。首先，它需要一個包含顯式推理的數據集，這可能很難和耗時創建。此外，模型僅在特定數據集上進行訓練，這將限制其應用于特定領域，并可能導致模型依賴于訓練數據中的工件而不是實際推理來進行預測。

3.2 提示與上下文學習

大型語言模型，如GPT-3 (Brown et al.， 2020)和PaLM (Chowdhery et al.， 2022)，通過上下文學習在各種任務中表現出顯著的少樣本性能。這些模型可以通過一個問題和一些輸入、輸出的范例來提示，以潛在地通過“推理”(隱式或顯式)解決問題。然而，研究表明，這些模型在需要多個步驟推理來解決的任務方面仍然不理想(Bommasani et al., 2021; Rae et al., 2021; Valmeekam et al., 2022)。這可能是由于缺乏對這些模型的全部能力的探索，正如最近的研究所表明的那樣。

3.3 混合法

雖然"提示"技術可以幫助引出或更好地利用大型語言模型中的推理來解決推理任務，但它們實際上并沒有提高LLM本身的推理能力，因為模型的參數保持不變。相比之下，“混合方法”旨在同時提高LLM的推理能力，并更好地利用這些模型來解決復雜問題。這種方法既包括增強LLM的推理能力，也包括使用提示等技術來有效利用這些能力。

4 度量大型語言模型的推理能力

文獻中一直關注使用推理任務的下游性能作為模型"推理"能力的主要衡量標準。然而，直接分析這些模型產生的原理的工作相對較少。本節總結了評估LLM推理能力的方法和基準。

4.1 下游任務性能

衡量LLM推理能力的一種方法是評估它們在需要推理的任務上的表現。有各種現有的基準可用于此目的，組織如下。

**數學推理。**算術推理是理解和應用數學概念和原理以解決涉及算術運算的問題的能力。這涉及到在解決數學問題時使用邏輯思維和數學原理來確定正確的行動方案。算術推理的代表性基準包括GSM8K (Cobbe et al., 2021), Math (Hendrycks et al., 2021), MathQA (Amini et al., 2019), SVAMP (Patel et al., 2021), ASDiv (Miao et al., 2020), AQuA (Ling et al., 2017), and MAWPS (Roy and Roth, 2015).。值得一提的是，Anil等人(2022)生成了奇偶校驗數據集和布爾變量賦值數據集，用于分析LLMs的長度泛化能力(§3.3.1)。

**常識推理。**常識推理是利用日常知識和理解對新情況作出判斷和預測。這是人類智能的一個基本方面，它使我們能夠在環境中導航，理解他人，并在信息不完整的情況下做出決定。可用于測試llm常識推理能力的基準包括CSQA (Talmor et al., 2019), StrategyQA (Geva et al., 2021), and ARC (Clark et al., 2018)。我們建議讀者參考Bhargava和Ng(2022)的調研，以了解該領域的更多工作。

**符號推理。**符號推理是一種根據形式規則對符號進行操作的推理形式。在符號推理中，我們使用抽象的符號來表示概念和關系，然后根據精確的規則對這些符號進行操作，從而得出結論或解決問題。

4.2 推理的形式化分析

盡管LLM在各種推理任務中表現出令人印象深刻的性能，但它們的預測在多大程度上是基于真正的推理還是簡單的啟發式，并不總是很清楚。這是因為大多數現有評估側重于它們對下游任務的準確性，而不是直接評估它們的推理步驟。雖然對LLMs生成的原理進行了一些誤差分析(Wei et al., 2022b; Kojima et al., 2022, inter alia)，這種分析的深度往往有限。已經有一些努力來開發指標和基準，以便對LLM中的推理進行更正式的分析。Golovneva等人(2022)設計了ROSCOE，一套可解釋的、詳細的分步評估指標，涵蓋了語義對齊、邏輯推理、語義相似度和語言一致性等多個角度。Saparov和他(2022)創建了一個名為PrOntoQA的合成數據集，該數據集是根據真實或虛構的本體生成的。數據集中的每個示例都有一個唯一的證明，可以轉換為簡單的句子，然后再轉換回來，允許對每個推理步驟進行形式化分析。Han等人(2022)引入了一個名為FOLIO的數據集來測試LLM的一階邏輯推理能力。FOLIO包含一階邏輯推理問題，需要模型在給定一組前提的情況下確定結論的正確性。總之，大多數現有研究主要報告了模型在下游推理任務中的表現，沒有詳細檢查產生的基礎的質量。這留下了一個問題，即模型是否真的能夠以類似于人類推理的方式進行推理，或者它們是否能夠通過其他方法在任務上取得良好的性能。還需要進一步的研究來更正式地分析LLM的推理能力。