近年來，大型語言模型（LLMs）已取得了顯著的進展。這些進展，雖然引起了極大的關注，同時也引發了各種擔憂。這些模型的潛力無疑是巨大的；然而，它們可能會產生不準確、誤導性或甚至有害的文本。因此，采用對齊技術來確保這些模型表現出與人類價值觀一致的行為變得至關重要。 本調查旨在為大型語言模型的對齊方法提供廣泛的探討，結合現有的能力研究。通過AI對齊的視角，我們將現行的方法和新出現的大型語言模型的對齊提案分類為外部和內部對齊。我們還探討了一些顯著問題，包括模型的可解釋性和潛在的對抗攻擊的脆弱性。為了評估大型語言模型的對齊，我們提出了各種基準和評估方法。在討論了大型語言模型的對齊研究狀況之后，我們最終展望未來，思考了未來有前途的研究方向。 我們對本次調查的愿景不僅僅是激發在這一領域的研究興趣。我們還希望彌合AI對齊研究社群和致力于探索大型語言模型能力的研究人員之間的差距，為能力強大且安全的大型語言模型牽線搭橋。
1 引言
以OpenAI的ChatGPT（OpenAI，2022年）和GPT-4（OpenAI，2023a年）為例的大型語言模型（LLMs）已經迅速發展，重新點燃了對人工通用智能（AGI）的熱忱和期望。雖然LLMs作為通向AGI的路徑仍是一個討論的話題，但這些模型，憑借著擴展規律（Kaplan等，2020年；Hoffmann等，2022年），越來越展現出類似AGI的特征（Bubeck等，2023年）。在大量數據的訓練下，LLMs不僅展示出了強大的語言能力，而且在數學、推理、醫學、法律和編程等多個領域迅速接近人類水平的熟練度（Bubeck等，2023年）。 伴隨著LLMs在技術上的突破，人們越來越關注它們可能對人類構成的潛在威脅和倫理風險。有明確的倫理風險已被發現。研究表明，LLMs可能會無意中傳播它們訓練數據中的有害信息，例如偏見、歧視和有毒內容（Weidinger等，2021年）。它們可能會泄露訓練數據中的私人和敏感信息，或生成誤導性、虛假或低質量的信息。此外，部署LLMs也引入了社會和倫理挑戰，例如LLMs的潛在濫用和對嚴重依賴LLM代理的用戶的負面影響，以及對環境、信息傳播和就業的更廣泛影響（Bubeck等，2023年）。
對于長期影響，人們普遍擔憂未對齊的AGI構成存在風險。超越人類智力和知識的AI代理可能會發展出自己的目標，與人類設定的目標產生分歧。在追求其目標的過程中，這樣的代理可能會壟斷資源，確保其保存和自我增強。這一軌跡可能導致人類完全失權，不可避免地導致人類存在的災難性后果（Carlsmith，2022年）。
作為解決這些問題的技術解決方案，AI對齊，即確保AI系統產生與人類價值觀一致的輸出，越來越受到關注。在LLMs的背景下，對齊確保模型的響應不僅準確和連貫，而且從開發人員和用戶的角度來看是安全、道德和可取的。隨著語言代理越來越融入我們日常生活的各個方面，從內容創建到決策支持，任何未對齊都可能導致意想不到的后果。正確地將大型語言模型與人類價值觀對齊，確保了這些模型的巨大潛力得到可信賴和負責任的利用。
響應這一領域日益增長的興趣，最近有一些文章回顧了（或偶然討論了）LLMs的對齊方法（Pan等，2023年；Zhao等，2023b年；Fernandes等，2023年；Liu等，2023d年；Wang等，2023d年）。然而，一個值得注意的觀察是，這些評論主要集中在外部對齊上，常常忽略了AI對齊中的其他重要主題，如內部對齊和機械解釋性。雖然無可否認，外部對齊在LLM對齊中占據了關鍵地位，并且一直是深入和深刻研究的主題，但從更廣泛的AI對齊角度來看，它只是整個對齊景觀的一部分。
為了彌補這一差距，我們從AI對齊的角度提供了LLM對齊的全面概述。我們認為，對齊的全面理解不僅應該包括廣泛研究的外部對齊，還應該深入探討目前還處于起步階段的領域。諸如內部對齊和機械解釋性這樣的主題，雖然目前還處于研究的初級階段，但卻擁有巨大的潛力。在這個階段，這些領域的許多提案仍然是理論性的，或者僅僅是思考實驗。然而，我們認為，它們對LLM對齊研究的未來軌跡是不可或缺的。通過揭示這些被忽視的領域，我們希望呈現出一個更為全面的對齊視角。因此，除了現有的LLM對齊方法，我們還將介紹幾個對齊主題，盡管這些主題尚未應用于LLMs，但顯示出前景，并可能在可預見的未來成為LLM對齊的組成部分。通過這樣做，我們致力于豐富AI對齊及其在大型語言模型領域的多方面應用的論述。
總結所有這些因素，我們在圖1中提出了一個LLM對齊的分類法。具體來說，本調查將首先討論LLM對齊研究的必要性（第2節）。為了提供AI/LLM對齊的歷史和鳥瞰視圖，我們介紹了AI對齊的起源和相關概念（第3節）。根據我們提出的分類法，將對齊LLMs的理論和技術方法分為外部對齊（第4節）、內部對齊（第5節）和機械解釋性（第6節），遵循AI對齊的哲學（Krakovna，2022年）。除了這些理論和實證方法外，我們還進一步討論了LLMs當前對齊方法的潛在副作用和脆弱性，包括對抗攻擊（第7節），以及LLM對齊評估的方法和基準（第8節）。最后，我們提出了我們對LLM對齊研究未來趨勢的有限觀點（第9節）。
為什么LLM對齊？
LLMs不僅在文本生成方面變得越來越有能力，還在許多其他任務中展現出能力，例如，文本到代碼生成（Poesia等，2022年），計劃（Huang等，2022年；Song等，2022年），工具學習（Qin等，2023年），推理（Mialon等，2023年）。然而，LLMs的訓練目標（Radford等，2019年；Devlin等，2019年），例如，下一個單詞預測（Radford等，2019年）或確定兩個句子在上下文中是否相關（Devlin等，2019年），并不一定符合人類價值觀。因此，LLMs可能會生成人類希望避免的不良內容或冒險行為。LLM風險通常可以從兩個方面來看：已建立的風險和預期的風險（Weidinger等，2021年）。前者主要是觀察到的社會和倫理風險（Weidinger等，2021年），而后者是與高級LLM相關的未來潛在風險（Hendrycks等，2023年）。 什么是LLM對齊？
為了深入理解大型語言模型（LLMs）中的技術對齊，我們需要討論更廣泛的概念，即AI對齊。盡管這是一個新興領域，但在LLMs出現之前就已經進行了研究。我們簡要介紹AI對齊的起源、研究格局和要點，以及與AI對齊相關的概念，這些都為LLM對齊及其最近出現的子領域提供了背景。
AI對齊的起源
AI對齊的起源可以追溯到激發AI革命的最初愿望：創建能夠像人類一樣思考和行動，甚至超越人類的機器。如果我們成功創建了這樣強大的機器，我們如何確保它們按照我們的最佳利益行事，而不是反對我們呢？這個未解之謎不僅引發了好奇心，而且強調了我們在塑造AI未來時所承擔的深遠責任。
賽博格學之父Norbert Wiener在一篇發表在《科學》雜志上的論文中提出了這樣的擔憂（Wiener, 1960）： “如果我們為了實現我們的目的，使用了一個我們一旦啟動就無法有效干預其操作的機械機構，因為這個行動如此迅速和不可逆，以至于我們在行動完成之前沒有數據進行干預，那么我們最好確保放入機器的目的是我們真正的愿望，而不僅僅是它的多彩模仿。”
這個聲明強調了確保“機械機構”的目標與我們為它設定的真正目標一致的重要性，強調了機器和人類目標之間的對齊。
2014年，人工智能：一種現代的方法（Russell和Norvig，2010）的作者之一Stuart Russell在一次采訪中表示：要深入了解LLMs中的技術對齊，我們需要討論AI對齊這一更為廣泛的概念。即便這是一個新興領域，但AI對齊的研究在LLMs出現之前就已經開始。我們簡要介紹了AI對齊的起源、研究景觀和成分以及相關概念，為LLM對齊及其新興的子領域提供背景。
“正確的響應似乎應該是改變該領域本身的目標；我們需要構建的不是純粹的智能，而是可以證明與人類價值觀相一致的智能。由于實際原因，我們需要解決即便是在人類環境中操作的相對不那么智能的AI系統的價值對齊問題。如果我們理解這個問題是AI固有的一部分，就像容納是現代核聚變研究的固有部分一樣，那么我們有理由保持樂觀。世界不需要走向悲傷。” —— Stuart Russell, 2014。 他定義了“價值對齊問題”（VAP），強調了建造不僅聰明而且與人類價值觀一致的AI系統的需要。盡管AI對齊的概念在AI誕生之初就已經種下，但過去幾十年基本上沒有進行研究。長時間以來，AI在各種能力方面都沒有達到人類水平，甚至被嘲笑稱為“人工白癡”。
然而，最近的進展，尤其是大型語言模型的崛起，已經將AI能力推向了接近甚至超過人類在許多任務上的表現的水平。這種復蘇使得AI對齊的重要性和緊迫性浮出水面。從2012年開始，在相關論壇和arXiv上已經開始出現了關于AI對齊的討論和研究文章。到2017年，關于AI對齊的出版物已經爆炸性地增長，論文數量從每年不到20篇增加到了超過400篇（Kirchner等，2022），與Transformer（Vaswani等，2017）和GPT（Radford等，2018）的發明相吻合。
相較于其他AI研究領域，如自然語言處理，AI對齊還處于前范例階段（Kirchner等，2022）。這個新興領域中的許多關鍵概念和術語還沒有達成共識。術語如“對齊”，“AI對齊”，和“價值對齊”在討論中經常可以互換使用。在某些上下文中，“人機對齊”作為“AI對齊”的替代詞出現。而“對齊”一詞在AI對齊的上下文中是合適的，但在更廣泛的上下文中可能會產生歧義，可能與機器翻譯中的雙語對齊等其他對齊概念混淆。 此外，對AI對齊的定義還沒有達成共識。Paul Christiano將AI對齊定義為“如果A在嘗試做H希望它做的事，那么A就與H一致。”這個定義過于泛泛了然，因為幾乎所有的AI模型都在盡力做其創建者希望它們做的事。
在此調查中，我們從其內在的角度定義AI對齊：AI對齊確保AI代理的內外目標都與人類價值觀一致。外部目標是基于人類價值觀由AI設計師定義的，而內部目標則是AI代理內部優化的。這一定義雖然區分了AI代理的內外目標，但并未準確定義人類價值觀，因此略顯不精確。將AI系統的目標分類為外部目標和內部目標的原因在于AI對齊的技術性質（Hubinger等，2019c）。在這個定義中沒有指定人類價值觀，是因為AI對齊固有的社會和技術挑戰（Hendrycks等，2021）。
AI對齊的研究格局和成分
眾所周知，從廣泛的角度來看，AI對齊的關鍵研究議程包括外部對齊、內部對齊和可解釋性（Hubinger, 2020b; Ngo, 2022; Krakovna, 2022）。
外部對齊
這是選擇正確的損失函數或獎勵函數，并確保AI系統的訓練目標符合人類價值觀。換句話說，外部對齊試圖將指定的訓練目標與其設計者的目標對齊。至少出于以下原因，這在實踐中非常困難： ? 通常很難理解和定義人類價值觀或意圖。 ? 人類價值觀有很多不同的細粒度維度。我們需要將指定的目標與所有這些維度對齊嗎？ ? 人類價值觀通常受社會和文化限制。我們需要將指定的目標與所有不同的文化和社會對齊，還是只對其中的一部分對齊？考慮到文化和社會的多樣性，我們如何確保價值對齊的公平性？ ? 由于人類價值觀/意圖通常是定性的，而要優化的損失或獎勵必須是可衡量和可計算的，我們如何彌合它們之間的差距？這被稱為目標規范問題。 ? 外部對齊可能會遭受規范游戲的困擾，其中由于古德哈特定律，可能會出現無法預見的目標或后果。古德哈特定律起源于經濟學，其內容是“當一項衡量變成一個目標時，它就不再是一個好的衡量”。這與外部對齊有關，因為某個價值的代理是要被優化的目標，它可能不再是一個好的代理。
**內部對齊
這是為了確保AI系統實際上經過培訓以實現設計師設定的目標。一旦我們指定了培訓目標，我們需要確保AI系統的行為實際上符合這些規范。由于AI系統，尤其是深度學習模型，可以開發出難以從其訓練數據或目標中預測的行為，這是具有挑戰性的。例如，一個經過訓練來贏得游戲的AI系統可能會找到一個意想不到的漏洞或者逃避通道，這在技術上滿足了它的目標，但違反了游戲的精神。目標錯誤泛化問題（Shah等人，2022）是另一個例子，即使我們有正確的目標規范，由于在未見情況下的魯棒性失敗，仍然可能產生無意的目標。內部對齊確保AI的“內部”目標（它在學習過程中推導或優化的目標）符合設計師設定的“外部”目標。 外部和內部對齊對于構建安全可靠的AI至關重要。如果失敗，我們冒著創造的系統的行為與人類價值觀或意圖不一致的風險。隨著LLMs變得更加有能力，這些對齊問題的重要性增加，使得LLM對齊的研究與LLM能力的研究一樣關鍵。
**可解釋性
在AI對齊的背景下，可解釋性廣泛地指的是促使人們理解AI系統的內部運作、決定和行為的方法、模型和工具。它可以進一步分為： ? 透明性：這是通過追蹤AI系統的內部狀態來理解黑盒中的AI系統的內部運作，從而引導其行為和決定。透明性的一個新興而有趣的方法是機械可解釋性，它尋求將機器學習系統（特別是神經網絡）的輸出和行為逆向工程到其內部狀態、權重和組件（Nanda等人，2023）。由于LLMs中參數的巨大數量以及LLMs作為大型神經網絡的系統復雜性，逆向工程LLMs是非常困難的。當前的機械可解釋性通常在LLMs的小型和簡化模型上進行（例如，去除了FFN子層的兩個神經層）（Elhage等人，2021; 2022a）。然而，這是一個相當有前途的方向，為神經網絡的對齊提供了深刻的見解，并有望在未來取得突破。 ? 可解釋性：這涉及AI系統為其決定提供人類可理解的解釋的能力。在許多關鍵領域，例如醫療保健、金融和執法，AI做出的決定對許多方面都有深遠的影響。例如，考慮一個醫療診斷AI。如果這個系統預測一個患者患有特定的醫療病癥，僅僅輸出這樣的預測結果是不夠的。醫療專業人員、患者和其他利益相關者會想要知道這個預測是如何做出的。它是否考慮了患者的病史、最近的實驗室結果或特定的癥狀來做出全面的決定？ 解釋通常被視為模型輸出的事后分析，該模型允許模型更多地了解其預測。透明度是查看模型內部以揭示模型的運作方式。盡管這種劃分不是絕對的（Lipton，2017），透明度更多地與對齊相關，因為透明度工具不僅使我們了解模型的內部結構，還提供了模型在培訓過程中變化的見解（Hubinger，2022a）。
**外部對齊、內部對齊和可解釋性之間的關系
外部和內部對齊共同確保模型的行為與人類的價值觀和意圖一致。外部對齊專注于從人類目標到模型的規范，而內部對齊深入研究模型的內部優化過程，以保證模型本質上試圖做設計師希望它做的事情。盡管存在這種差異，他們的二元和形式主義二分法并不建議，因為對齊失敗的分類有時是模糊的，構建安全和可信賴的系統時，整體對齊觀點是重要的。8雖然可解釋性不直接針對對齊，但其工具和技術可以幫助外部和內部對齊。通過了解模型如何演化和做出決定，我們可以更好地識別何時以及在哪里發生不對齊。例如，如果模型采取意想不到的捷徑來實現其目標，可解釋性可能會幫助我們了解這何時以及如何發生。此外，可解釋性可以向我們提供模型的內部推理過程的見解。
近年來，LLM（大型語言模型）的快速發展無疑揭開了新技術力量的新紀元。然而，隨著這一力量的出現，我們也承擔著確保這些模型在人類倫理和期望的范圍內運作的責任。本文提供了針對LLM的對齊方法的全面概述，強調了將能力研究與倫理考慮相結合的重要性。我們通過將對齊技術分類為外部對齊和內部對齊，揭示了研究社區目前所采用的多方面方法。同時，我們也討論了新興的主題，如模型的可解釋性和對抗性攻擊的脆弱性，突出了對齊過程中的復雜性。此外，本文不僅記錄了當前對齊研究的現狀，還展望了未來，確定了有望進一步完善和提高LLM對齊的潛在研究軌跡。我們真誠希望這份調查能作為催化劑，促進AI對齊社區與LLM研究人員之間的合作。這樣的合作方法是實現LLM全部潛力的必要條件，確保它們以道德合規和有益的方式服務于人類。總之，當我們繼續推動LLM的可能性邊界時，我們必須始終堅守對其負責任和有原則的部署的承諾。
付費5元查看完整內容
相關內容
開放領域生成系統在會話人工智能領域（例如生成式搜索引擎）引起了廣泛關注。本文對這些系統，特別是大型語言模型所采用的歸因機制進行了全面回顧。盡管歸因或引用可以提高事實性和可驗證性，但模糊的知識庫、固有偏見以及過度歸因的缺點等問題可能會妨礙這些系統的有效性。本綜述的目標是為研究人員提供有價值的見解，幫助改進歸因方法，以增強開放領域生成系統生成的響應的可靠性和真實性。我們認為這個領域仍處于初級階段，因此我們維護了一個倉庫，以跟蹤正在進行的研究，網址為
//github.com/HITsz-TMG/awesome-llm-attributions。
自從由大型語言模型（LLMs）驅動的開放領域生成系統出現以來（Anil等人，2023；OpenAI，2022，2023），解決潛在不準確或虛構內容的連貫生成一直是一個持續存在的挑戰（Rawte等人，2023；葉等人，2023；張等人，2023b）。社區通常將這種問題稱為“幻覺”問題，其中生成的內容呈現出扭曲或虛構的事實，缺乏可信的信息來源（Peskoff和Stewart，2023）。這在信息搜索和知識問答場景中尤為明顯，用戶依賴大型語言模型獲取專業知識（Malaviya等人，2023）。
幻覺問題的實質可能源于事先訓練的模型是從廣泛、未經過濾的現實世界文本中獲取的（Penedo等人，2023）。這些人類生成的文本固有地包含不一致性和虛假信息。事先訓練的目標僅僅是預測下一個單詞，而不是明確建模生成內容的真實性。即使在利用人類反饋的強化學習之后（Ouyang等人，2022），模型仍然可能出現外部幻覺（Bai等人，2022）。為了解決外部幻覺的問題，研究人員已經開始采用外部參考文獻等措施來增強聊天機器人的真實性和可靠性（Thoppilan等人，2022；Menick等人，2022；Nakano等人，2021）。顯式歸因和強化學習之間的區別不僅在于需要人工驗證和遵從，還在于認識到生成的內容可能隨著時間變化而變得過時或無效。歸因可以利用實時信息來確保相關性和準確性。然而，歸因的基本挑戰圍繞著兩個基本要求（Liu等人，2023）：
考慮到這些要求，我們可以將模型處理歸因的主要方式分為三種類型：
- 直接模型驅動的歸因：大型模型本身為其回答提供歸因。然而，這種類型經常面臨挑戰，因為回答可能不僅是虛構的，而且歸因本身也可能是虛構的（Agrawal等人，2023）。雖然ChatGPT在大約50.6%的時間里提供正確或部分正確的答案，但建議的參考文獻僅在14%的時間內存在（Zuccon等人，2023）。
- 檢索后回答：這種方法根植于明確檢索信息然后讓模型基于這些檢索到的數據進行回答的思想。但檢索并不本質上等同于歸因（Gao等人，2023b）。當模型的內部知識和外部檢索的信息之間的邊界變得模糊時，可能會出現潛在的知識沖突問題（Xie等人，2023）。檢索也可以被用作一種專門的工具，允許模型獨立觸發它，類似于ChatGPT 1中的“使用必應進行瀏覽”。
- 生成后歸因：系統首先提供答案，然后使用問題和答案進行歸因搜索。如果需要，答案然后會進行修改并得到適當的歸因。現代搜索引擎，如Bing Chat 2，已經包含了這種歸因方式。然而，研究顯示，從四個生成式搜索引擎生成的內容中，只有51.5%完全得到了引用文獻的支持（Liu等人，2023）。這種歸因方式在高風險專業領域，如醫學和法律中尤其缺乏，研究發現有大量不完整的歸因（分別為35%和31%）；而且，許多歸因來自不可靠的來源，51%的歸因被專家評估為不可靠（Malaviya等人，2023）。
超越對文本幻覺的一般討論（Zhang等人，2023b；葉等人，2023；Rawte等人，2023），我們的研究深入探討了大型語言模型的歸因問題。我們探討了它的起源、支撐技術以及評估標準。此外，我們也涉及了諸如偏見和過度引用的挑戰。我們相信，通過關注這些歸因問題，我們可以使模型更加可信賴和容易理解。我們這項研究的目標是以一種更加清晰的方式來闡述歸因問題，鼓勵對這一主題進行更深入的思考。
歸因是指一個實體（如文本模型）生成并提供證據的能力，這些證據通常以引用或參考文獻的形式出現，用以支撐它所產生的聲明或陳述。這些證據來源于可識別的源頭，確保這些聲明可以從一個基礎語料庫中邏輯推斷出來，使得它們對于普通受眾而言是可以理解和驗證的。歸因本身與搜索任務相關（Brin 和 Page, 1998；Page 等人, 1999；Tay 等人, 2022），在這種任務中只有幾個網頁會被返回。然而，歸因的主要目的包括使用戶能夠驗證模型所做的聲明，促進生成與引用源高度一致的文本以提高準確性和減少錯誤信息或幻覺，以及建立一個結構化的框架來評估支持證據的完整性和相關性，與所提出的聲明相比較。歸因的準確性核心在于所產生的陳述是否完全由引用源支持。Rashkin 等人（2021）還提出了歸因于已識別來源（AIS）的評估框架，以評估特定陳述是否由所提供的證據支持。Bohnet 等人（2022）提出了歸因問答，模型在這里接受一個問題，并產生一對配對的回答，即答案字符串及其從特定語料庫，如段落中得到的支持證據。
直接生成的歸因 來自參數化知識的直接生成歸因可以幫助減少幻覺現象并提高生成文本的真實性。通過要求模型進行自我檢測和自我歸因，一些研究發現生成的文本更加基于事實，并且在下游任務中的表現也有所提升。最近，研究人員發現，大型語言模型在回答特定領域的知識性問題時，不能清楚地提供知識來源或證據（Peskoff 和 Stewart, 2023; Zuccon 等人, 2023）。在大多數情況下，模型只能提供一個與問題中的關鍵詞松散相關或與當前主題無關的知識來源。即使模型正確回答了問題，它提供的證據仍然可能存在錯誤。Weller 等人（2023）嘗試通過提出根據提示方法，將模型生成的文本基于其預訓練數據，發現這種方法可以影響模型的根據性，從而影響信息尋求任務的表現。Anonymous（2023）引入了一個中間規劃模塊，要求模型生成一系列問題作為當前問題的藍圖。模型首先提出一個藍圖，然后結合基于藍圖問題生成的文本作為最終答案。藍圖模型允許在每個回答問題的步驟中采用不同形式的歸因，可以期望更具解釋性。
**檢索后回答 **
多篇研究論文已經調查了歸因的檢索后回答方法（Chen 等人，2017年；Lee 等人，2019年；Khattab 和 Zaharia，2020年）。SmartBook 框架（Reddy 等人，2023年）提出了一種方法，該方法利用大量新聞數據自動生成結構化的情況報告。SmartBook 確定了情況分析的關鍵問題，并從新聞文章中檢索相關信息。報告按時間線組織，每個時間線包括重大事件、戰略問題和由事實證據支持的概括性總結。為了解決用戶查詢和存儲知識之間的不一致問題，MixAlign（張等人，2023a）提出了一個框架，該框架結合了自動問題知識對齊和用戶澄清，增強了檢索增強生成模型的性能，并減輕了語言模型的幻覺。此外，SearChain（徐等人，2023年）引入了一個新穎的框架，它將大型語言模型（LLMs）與信息檢索（IR）結合起來，提高了復雜知識密集型任務的準確性、可信度和可追溯性。SearChain 采用檢索然后回答的方法，通過生成全球推理鏈（CoQ）并利用 IR 來驗證答案和提供缺失的知識。
生成后歸因
為了在不損害最新一代模型所提供的強大優勢的情況下促進準確的歸因，一些研究致力于生成后的歸因，這些研究使用搜索引擎或文檔檢索系統，基于輸入問題和生成的答案來搜索證據。這種方法允許研究人員評估或提高答案的事實性，而無需直接訪問模型的參數。生成后歸因的工作流程如圖3所示。RARR（高等，2023a）自主識別任何文本生成模型輸出的歸因，并執行后期編輯以糾正不支持的內容，同時努力在最大程度上保留原始輸出。在霍等人（2023）的工作中，材料是基于粗粒度的句子或細粒度的事實陳述從語料庫中檢索的。然后利用這些檢索到的材料提示LLM，以驗證生成的回應與檢索到的材料之間的一致性，并進行必要的編輯以減少幻覺。陳等人（2023b）介紹了一個全自動化的管道，旨在驗證復雜的政治聲明，這是通過從網上檢索原始證據、生成聚焦聲明的摘要并利用它們進行聲明驗證來實現的。
付費5元查看完整內容
通過將時間序列編碼為一串數字字符，我們可以將時間序列預測視為文本中的下一個標記預測。發展這種方法，我們發現大型語言模型 (LLMs) 如 GPT-3 和 LLaMA-2 可以令人驚訝地零次推斷時間序列，其水平與或超過專門為下游任務訓練的時間序列模型的性能。為了促進這種性能，我們提出了有效標記化時間序列數據的程序，并將標記上的離散分布轉化為連續值上的高度靈活密度。我們認為LLMs在時間序列中的成功來源于它們能夠自然地表示多模態分布，與簡單性、重復性的偏見相結合，這與許多時間序列中的突出特征，如重復的季節性趨勢，是一致的。我們還展示了LLMs如何能夠通過非數字文本自然處理缺失數據而不需要估計，適應文本的邊際信息，并回答問題以幫助解釋預測。雖然我們發現增加模型大小通常會提高時間序列的性能，但我們顯示GPT-4在如何標記數字和較差的不確定性校準方面可能比GPT-3表現得更差，這可能是對齊干預如RLHF的結果。
付費5元查看完整內容
生成性任務，如文本生成和問答，在移動應用領域占據著關鍵地位。由于對隱私問題的敏感性，對它們在移動設備上直接執行的需求正在增長。目前，執行這些生成性任務在很大程度上依賴于大型語言模型（LLMs）。然而，這些設備的有限內存容量對這些模型的可擴展性構成了嚴峻挑戰。在我們的研究中，我們介紹了LLMCad，一種專門設計用于高效生成自然語言處理（NLP）任務的創新型設備內推理引擎。LLMCad的核心思想圍繞模型協作展開：一個位于內存中的緊湊型LLM負責生成最直接的標記，而一個高精度的LLM則負責驗證這些標記并糾正任何已識別的錯誤。LLMCad引入了三種新技術：（1）與按順序生成候選標記不同，LLMCad利用較小的LLM構建標記樹，包含更廣泛的可信標記路徑。隨后，較大的LLM可以高效地同時驗證所有這些路徑。（2）它采用了一種自動調整的回退策略，當較小的LLM生成錯誤的標記時，迅速啟動驗證過程。（3）為了確保標記的連續生成流，LLMCad在驗證過程中通過實施計算-IO流水線來猜測生成標記。通過一系列廣泛的實驗，LLMCad展示了印象深刻的標記生成速度，達到了比現有推理引擎快9.3倍的速度。
付費5元查看完整內容
大型語言模型(LLMs)在自然語言處理領域表現出令人印象深刻的影響，但它們仍然在完整性、時效性、可靠性和適應性等方面存在一些問題。雖然最近的努力集中在將LLMs與外部知識源連接上，但知識庫(KBs)的集成仍未得到充分研究，并面臨一些挑戰。本文介紹了KnowledGPT，一個將LLMs與各種知識庫連接起來的綜合框架，促進知識的檢索和存儲。檢索過程采用思維提示程序，該程序以代碼格式生成用于KB操作的搜索語言。除了檢索外，KnowledGPT還提供了將知識存儲在個性化KB中的能力，以滿足個人用戶的需求。通過廣泛的實驗，我們表明，通過將LLMs與KBs集成，KnowledGPT與普通LLMs相比，能夠適當地回答更廣泛的需要世界知識的問題，利用廣泛存在的KBs中的知識和提取到個性化KB中的知識。
付費5元查看完整內容
Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various NLP tasks. Since researchers have found that model scaling can lead to performance improvement, they further study the scaling effect by increasing the model size to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement but also show some special abilities that are not present in small-scale language models. To discriminate the difference in parameter scale, the research community has coined the term large language models (LLM) for the PLMs of significant size. Recently, the research on LLMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT, which has attracted widespread attention from society. The technical evolution of LLMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. In this survey, we review the recent advances of LLMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LLMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Besides, we also summarize the available resources for developing LLMs and discuss the remaining issues for future directions.
最先進的神經網絡架構設計的最新進展正在向Transformer模型發展。這些模型在計算機視覺、自然語言處理和語音識別的廣泛應用中取得了卓越的準確性。自從Transformer模型最初被引入以來，這種趨勢在過去幾年中一直是一致的。然而，最近Transformer模型推理所需的計算量和帶寬正在以顯著的速度增長，這使得它們在延遲敏感的應用程序中的部署具有挑戰性。因此，人們越來越關注提高Transformer模型的效率，方法從更改架構設計，一直到開發專用的特定領域加速器。**本文調研了高效Transformer推理的不同方法，包括:(i)分析和剖析現有Transformer架構中的瓶頸及其與之前卷積模型的異同;(ii) Transformer架構對硬件的影響，包括層歸一化、Softmax和GELU等非線性操作以及線性操作對硬件設計的影響;(iii)優化固定Transformer架構的方法;(iv)為Transformer模型找到正確的映射和操作調度的挑戰;(v)通過使用神經架構搜索調整架構來優化Transformer模型的方法。**最后，在開源的全棧深度神經網絡加速器生成器Gemmini上進行了案例研究，并與之前的基準測試結果相比，展示了這些方法是如何產生改進的。發現與上述方法相結合的全棧協同設計方法可以導致高達88.7倍的加速比。
1. 引言
深度學習模型在訓練和推理過程中已經擴展到數十億個參數和數十億個乘累加(MAC)操作。因此，人們對高效計算這些模型以及在資源受限的邊緣設備上部署這些計算和內存密集型工作負載的興趣越來越濃厚。這些邊緣設備有嚴格的能量和內存限制，相應的利用深度學習模型的應用程序通常也有實時延遲限制。CPU和GPU在通用性能計算平臺中都是常用的，它們的優勢是無處不在且能夠支持各種工作負載和操作。然而，這種靈活性是以降低效率為代價的。深度學習模型由少量不同的操作組成，這些操作會重復數百萬或數十億次，因此通常不需要很高的靈活性。此外，雖然現代CPU和GPU可以并行執行多個操作，但它們缺乏利用深度學習模型中的海量數據重用機會的能力。 對快速、高效計算的需求，使用少量不同的操作，以及數據重用的機會，這些結合在一起，導致了深度學習使用硬件加速器。這與學術界開發的許多研究加速器相似[34,37,39,40,59,69,70,81,169]。隨著硬件加速器的發展，用于部署各種深度學習算法的軟件框架[3,32,98,167]和編譯器[33,161,185]也得到了增強和成熟。這些工具使深度學習算法能夠在加速器上執行，并執行映射優化，以提高整個深度學習流水線的性能和效率。然而，快速發展的深度學習算法仍在不斷引入對軟硬件支持及其協同優化的新需求，以滿足各種部署約束。 **最近，transformer和大型語言模型[22,44,52,58,86,173-175,177,190,198]在解決各種自然語言處理(NLP)任務方面的流行，在加速器和框架的設計方面提出了一套全新的挑戰。**人們也越來越關注提高Transformer推理的效率，特別是由于它們的規模和運行時復雜性不斷增長。然而，與更知名的卷積神經網絡(CNN)架構相比，人們仍然缺乏對Transformer架構的工作負載特征的了解，從而缺乏有效運行這些模型所需的設計原則。例如，與傳統的以CNN為重點的設計相比，transformer主要由矩陣乘法(matmuls)和內存密集型的非線性操作組成。此外，Transformer模型的計算圖和數據流比CNN更復雜，具有更多類型的操作節點，以及更多的數據流拆分和連接。所有這些挑戰都要求我們對當前的硬件和軟件解決方案進行全面的分析，以及Transformer推理的各種設計權衡。進行這樣的分析將使我們能夠對高效運行transformer的需求建立全面和全面的理解。
本文工作有兩個方面的貢獻:(1)分析Transformer的運行時特性，并調查高效Transformer推理的不同方法;(2)在全棧深度神經網絡(DNN)加速器生成器Gemmini[70]上應用所調查的方法進行案例研究。本文工作的長期目標是描述硬件和軟件堆棧中的不同因素，以優化Transformer推理。關于我們的第一個貢獻，本文涵蓋了端到端深度學習推理的不同層次，特別關注transformer。這包括:Transformer架構的運行時特征和瓶頸的分析和profiling(第2節)。包括Transformer架構的非線性操作對其設計的影響(第3節)?優化策略，如修剪和量化，以進一步提高固定Transformer架構的性能(第4節)?Transformer架構中操作的映射和調度及其相關挑戰(第5節)?通過自動化神經架構搜索過程設計和適應Transformer架構，以提高硬件效率(秒。6)。
Transformer模型架構和性能瓶頸
在本節中，我們將從高層次地介紹Transformer架構的各個組成部分。首先討論了多頭注意力和前饋模塊、transformer中使用的非線性操作，以及編碼器/解碼器模型之間的差異，在2.1節中。在2.2節中，我們使用算法分析這些不同塊對硬件性能的影響，并對每個組件進行分析建模和直接profiling。
**硬件設計
**到目前為止，在第2節中，我們已經對Transformer架構的運行時特性和瓶頸進行了分析。現在將重點轉移到高效Transformer推理的全棧解決方案，從設計高效的硬件開始。第3.1節概述了為DNN使用特定領域加速器的基本原理，以及在大多數DNN加速器中使用的基本架構和數據流。第3.2節重點介紹了加速transformer的現有工作。第3.3節隨后提供了使用分析模型的分析，以評估transformer在典型加速器上的運行情況。最后，第3.4節提供了一個案例研究，說明了為transformer構建典型加速器的過程。總的來說，本節會給出相關的性能分析，并從全棧的角度為選定的硬件決策提供依據。請注意，我們這里只關心如何有效地推斷DNN。特別是，為高效的模型訓練設計硬件超出了本文的范圍。
** 模型優化**
給定一個已經設計和訓練好的DNN模型，一個重要的問題是，是否仍然有可能通過算法來提高模型在目標硬件平臺上的效率，通過將模型改編為更友好的硬件格式。在本節中，我們將分別在第4.1節和4.2節中討論流行的現成模型優化方法，量化和稀疏性(即剪枝)。然后，在第4.3節中，我們概述了特定于transformer的優化方法，以提高特定于transformer的特征(如注意和非線性操作)的性能。
將transformer映射到硬件
為了在目標硬件架構上執行Transformer塊，必須將其映射到執行所需的計算和通信的硬件指令中。在映射過程中所做的選擇對性能有很大影響。然而，可能映射空間的大小使找到最優映射變得困難，這需要使用仔細考慮的探索、啟發式或基于學習的方法。在本節中，我們將介紹5.1節中的映射問題。我們將在第5.2節討論高效執行transformer所需的關鍵映射決策。我們在第5.3節中概述了現有映射技術的分類，在第5.4節中概述了對不同映射的性能進行建模的技術。最后，在5.5節中，我們將介紹mapper在使用transformer時需要注意的問題。
付費5元查看完整內容
最近的工作表明，來自在線來源的非結構化文本(文檔)可以作為零樣本圖像分類的有用輔助信息。然而，這些方法需要訪問像維基百科這樣的高質量來源，并且僅限于單一來源的信息。在網絡規模的文本上訓練的大型語言模型(LLM)顯示出令人印象深刻的能力，可以將其所學的知識用于多種任務。本文提供了一種使用LLM為零樣本圖像分類模型提供文本監督的新視角。LLM提供了來自不同注釋器的一些文本描述作為示例。LLM以這些示例為條件，為每個類生成多個文本描述(稱為視圖)。所提出的模型I2MVFormer用這些類視圖學習多視圖語義嵌入，用于零樣本圖像分類。類的每個文本視圖都提供了補充信息，允許模型學習高度區分性的類嵌入。與基線模型相比，I2MVFormer更擅長使用LLM的多視圖文本監督。I2MVFormer在三個公共基準數據集上建立了一種新的無監督語義嵌入的零樣本圖像分類技術。
付費5元查看完整內容
圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。
付費5元查看完整內容
傳統的自然語言處理方法具有可解釋性，這些自然語言處理方法包括基于規則的方法、決策樹模型、隱馬爾可夫模型、邏輯回歸等，也被稱為白盒技術。近年來，以語言嵌入作為特征的深度學習模型（黑盒技術）不斷涌現，雖然這些方法在許多情況下顯著提高了模型的性能，但在另一方面這些方法使模型變得難以解釋。用戶難以了解數據經過怎樣的過程得到所期望的結果，進而產生許多問題，比如削弱了用戶與系統之間的交互（如聊天機器人、推薦系統等）。機器學習社區對可解釋性重要程度的認識日益增強，并創造了一個新興的領域，稱為可解釋人工智能(XAI)。而關于可解釋性有多種定義，大部分相關文章的論證也因此有所差異。這里我們關注的是可解釋人工智能給用戶提供關于模型如何得出結果的可解釋，也稱為結果解釋問題（outcome explanation problem）[1]。在可解釋人工智能中，解釋可以幫助用戶建立對基于NLP的人工智能系統的信任。本文依據前人的綜述[2]討論了可解釋的分類方式，介紹了能夠給出可解釋的技術及其具體操作，并簡要地描述了每一種技術及其代表性論文。
付費5元查看完整內容
最近，終身學習在構建不斷積累和轉移知識以幫助未來學習的機器學習系統方面引起了關注。無監督主題建模廣泛用于從文檔集合中發現主題。然而，由于數據稀疏性，例如，在一個小的(短)文檔集合中，會產生不連貫的主題和次優的文檔表示，主題建模的應用具有挑戰性。為了解決這個問題，我們提出了一個神經主題建模的終身學習框架，它可以連續處理文檔集流，積累主題，并通過從多個來源的知識轉移來指導未來的主題建模任務，以更好地處理稀疏的數據。在終身學習過程中，我們特別共同研究:(1)終生共享生成同源性(潛在話題)以轉移先驗知識，(2)通過新穎的選擇性數據增強、聯合訓練和話題正則化方法最小化保留過去學習的災難性遺忘。在給定一個文檔集合流的情況下，我們應用所提出的終身神經主題建模(LNTM)框架，將三個稀疏文檔集合建模為未來任務，并通過perplexity、Topic coherence和information retrieval task量化，證明了性能的提高。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191