文 / 秦兵，吳迪，趙妍妍
摘 要：
本文以大語言模型價值觀對齊研究為主題，介紹大語言模型價值觀相關概念、價值觀對齊研究發展歷程和價值觀體系，旨在探索如何使大語言模型的價值觀與人類社會價值觀保持一致。從共同價值觀、群體價值觀和個體價值觀三種層次，討論了實現價值觀對齊的多種方法和所面臨的挑戰。文中強調了大語言模型發展中價值觀對齊的重要性，并展望了大語言模型價值觀對齊研究的發展方向。 關鍵詞：
大語言模型；價值觀對齊；共同價值觀；群體價值觀；個體價值觀
0 引言
自2022年11月30日OpenAI發布ChatGPT這一生成式大語言模型以來，人工智能領域迎來新的浪潮。大語言模型將各種自然語言處理任務整合成文本生成任務模式，使用戶與模型的互動變得更加便捷。用戶通過輸入文本指令，在生成文本、回答問題、情感分析、翻譯語言、摘要文章等任務上，均可以用統一的模型來獲取自然、高效的響應。這種整合為用戶提供了一個多功能、高度可定制的工具，有望推動自然語言處理技術在多個領域的應用邁上新臺階。憑借其強大的遷移能力，大語言模型在多領域展現出廣泛適應性，甚至在某些任務上具備超越人類專家的潛力。
大語言模型的性能受其不同來源預訓練語料庫影響，在學習知識的過程中不可避免地也會學習到包含各種人類觀念的內容，其中不乏與社會價值觀相悖的信息，從而在與用戶互動時存在激活這些不良內容的風險。因此，防止大語言模型在與用戶互動中產生違反人類價值觀的信息，從而更緊密遵循人類價值觀，已成為一個亟需研究的問題。
本文的目的是介紹大語言模型的價值觀相關概念、價值觀對齊研究發展歷程和價值觀體系；具體而言，將探討目前的價值觀分類方法和現有的價值觀對齊技術，以及這些技術未來的發展趨勢和在實際應用過程中可能面臨的挑戰。本文旨在通過對上述內容的介紹與討論，推動大語言模型的安全發展，確保其與人類價值觀有效的對齊；同時也將進一步探討與大語言模型價值觀對齊相關的新方法和新策略，以進一步應對大語言模型應用過程中在倫理和社會相關層面上可能遇到的挑戰。
1 價值觀相關概念
價值觀是對事物的價值或行為的重要性的衡量，它可以幫助確定最合適的行為、最恰當的生活方式，或者判斷不同行為的意義。在群體層面，共享的價值觀構成了文化和道德的基礎。在此基礎上，適用于全人類的價值觀一般稱為共同價值觀。而由某個群體形成的一系列規范，由這個群體共同遵守、為集體行為提供指導的價值觀，可視為群體價值觀。在個人層面，個人價值觀則體現了個人的偏好，因背景、經歷和信仰而異。
在人工智能領域，對齊技術旨在引導人工智能系統的行為符合設計者的利益和預期目標。對大語言模型而言，價值觀對齊是將人類的價值觀理念嵌入到語言模型中，使其生成內容能符合人類價值觀。
2 大語言模型價值觀對齊研究現狀
人工智能與人類價值觀對齊的概念最早由諾伯特 ? 維納在 1960 年提出。早期的相關研究主要側重于探索模型的輸出是否在特定情境下與人類價值觀保持一致，尤其是關于機器學習領域中的種族、性別、文化偏見和公平性問題的研究。例如，研究人員發現預訓練模型BERT等在類別預測時表現出性別和種族的刻板印象，于是提出了像StereoSet這樣的檢測數據集或設計了減少偏見的策略。然而，這些研究多集中于特定場景的自然語言理解任務，隨著大語言模型如ChatGPT在更開放和多樣的場景中得到了廣泛應用，亟需更深入的研究和細化的方法，以應對模型在不同場景中可能出現的倫理、社會和文化等挑戰，確保模型在各種不確定和不斷變化的情境中盡可能與人類價值觀保持一致。
在大語言模型價值觀對齊研究中，關鍵問題是如何進行價值觀的分類和對齊。價值觀分類主要用于識別語言表達背后的價值觀屬性，從而判斷模型是否與特定價值觀及其類型相符。這種分類不僅適用于用戶語言的檢測，而且對于評估大模型生成的語言也至關重要，以確保用戶及模型的行為符合社交媒體、新聞媒體和其他環境的道德和法律規范。價值觀對齊則側重于保證大語言模型的輸出內容與人類價值觀保持一致，通過預訓練、指令微調、人類反饋及后處理等手段實現。此外，還需要在共同價值觀基礎上，調整模型以反映不同群體的多元價值觀，從而適應多樣化的應用場景。這種方法不僅增強了模型的普適性也有助于更全面地滿足各類用戶的需求。
大語言模型的價值觀研究仍處于起步階段，但已經吸引了社會廣泛的關注。《時代》雜志評選2023年三大人工智能創新，其中之一便是大語言模型對齊技術。同時多家企業和研究機構已開始對這一領域進行重點布局，例如，OpenAI成立了SuperAlignment團隊，目標是在未來五年內解決大語言模型價值觀安全問題；加州大學伯克利分校等高等教育機構也已創建了Center for AI Safety組織，專注于AI安全研究，同時為研究者提供培訓和計算資源。在國內，諸如哈爾濱工業大學、清華大學、中國科學技術大學和天津大學等學術機構，以及微軟、騰訊等公司也在積極開展相關研究。大語言模型價值觀對齊的研究將成為未來工業界和學術界的重要研究領域。我們堅信，通過這些努力，大語言模型將更好地與人類價值觀保持一致，推動科技向善，為人工智能技術的安全發展打下堅實基礎。
3 大語言模型價值觀體系
本文將價值觀體系分為共同價值觀、群體價值觀和個體價值觀三個層次，如圖 1 所示。共同價值觀構成價值觀體系的基礎，代表著那些人類普遍認同的價值觀。這些價值觀為模型行為提供基本準則，其應用不受特定場景或人群差異的影響。群體價值觀考慮到大模型服務于不同的群體，大模型應當融入各個群體的價值觀，確保其能夠遵循各個群體的道德規范。隨著模型越來越多地融入個人日常生活，大模型的應用場景更加靈活，與個體價值觀的對齊也變得至關重要。為了使模型能夠提供個性化的服務，模型不僅需要遵循共同價值觀和群體價值觀，還需要根據個人的需求、性格和價值觀進行定制化調整。
圖 1 價值觀體系
3.1 大語言模型的共同價值觀
在哲學意義上，共同價值觀是超越民族、種族、國界和信仰，是全人類共同擁有的價值觀。對于多樣化應用的大語言模型而言，同樣存在所有應用領域通用的價值觀。因此，研究人員需要為大語言模型制定一套共同的價值觀體系，將其作為模型行為的基本規范。例如，Anthropic團隊提出的由有益性、誠實性和無害性規范組成的體系，體現了這一理念。
目前為止，廣泛認可的大語言模型共同價值觀標準尚未形成，研究人員正在積極探索各種價值觀體系的設計，以構建一個既能反映人類共同價值觀，又能確保各價值觀間和諧相容的體系。在此探索過程中，計算反思均衡（computational reflective equilibrium）的方法可以用于優化共同價值觀的設計，該方法提倡讓模型在具體實例或案例中應用共同價值觀并進行測試，如果在特定情境下發現模型的共同價值觀存在沖突，可能需要修改或調整模型的價值觀以解決沖突，從而逐漸找到更合適的共同價值觀設計。這一過程可以不斷完善和優化模型的共同價值觀，確保其適用性和有效性。在這個框架下，哈爾濱工業大學以社會主義核心價值觀為基礎，構建了模型價值觀的指導原則。這些原則涵蓋“言語侵犯”“暴力恐怖”“反動言論”等10個關鍵方面，以確保模型在處理文本內容時能夠避免產生令人不悅或危險的內容，更好地滿足廣泛的社會期望和要求，從而提高模型的社會適應性和倫理性。
3.2 大語言模型的群體價值觀
群體價值觀多體現為道德規范。在社會活動中，有許多依據群體價值觀制定的規范逐漸被社會所接受成為道德規范，所有社會參與者的行為受這些規范約束。為了語言模型的生成內容能夠符合道德規范，研究人員建立了如SOCAIL-CHEM101和Moral Integrity Corpus等語料庫，這些語料包含了大量的道德場景和簡化的道德規范。除了直接從具體場景和規范進行學習外，還有研究者采用規范倫理學的理論，如正義和美德來引導模型的道德學習。這些理論用于分析收集到的場景，進而訓練語言模型在特定情境中進行基于這些理論的道德判斷。有研究者也探討了利用故事人物作為學習先驗的方法。以“Goofus & Gallant”為例，該故事中的角色行為被用作模型的先驗學習對象，其中正面角色的行為是模型學習的依據。這種方法旨在指導模型學習并吸收相應的道德規范。通過詳細的故事情境展現和角色行為示范，模型能夠在具體的故事背景下，理解并模仿正面角色的行為。
目前大多數為語言模型構建的語料庫主要基于英文文本，這一偏向很可能導致大語言模型的輸出更傾向于體現西方的道德規范。然而，世界各地的道德規范因國家、地區和文化而異，遵循特定道德規范的語言模型可能無法有效服務于遵循不同道德規范的人群。因此，大語言模型價值觀研究不僅應關注模型如何遵循道德規范，而且需考慮模型對多元道德規范的適應性。研究工作應從將普遍認可的共同價值觀整合入模型開始，通過外部機制為模型引入多元價值觀，使之能夠依據具體情境做出適當調整。這將引導我們朝著開發能夠適應多元價值觀的大語言模型這一長期目標邁進，為更廣泛的社會群體提供普惠且包容的人工智能服務。
此外，針對特定領域，如司法和醫療，也存在普遍認可的專業道德規范。開發針對這些垂直領域的模型時，需要從該領域的基本道德規范出發進行對齊。基于此，大模型不僅遵循共同價值觀，還能在特定應用領域中展現出更加專業的倫理判斷。
3.3 大語言模型的個體價值觀
隨著語言模型應用變得更加深入和廣泛，它們將服務于更多樣化的用戶群體，并在日常生活中扮演重要角色，如私人助手等。因此，從個人層面來看，研究者需要讓語言模型的價值觀能夠根據服務對象進行靈活調整，以便提供不同的個性化服務。舉例來說，在教育領域，可以根據學生的不同偏好和不同性格進行個性化教學；在心理健康領域，可以針對患者價值觀設計治療方案，取得更好的治療效果；在論辯任務上，模型能夠根據受眾的價值觀偏好進行有針對性的論辯，取得更好的說服效果。
心理學領域對人類內在價值觀、性格及其相關心理活動的研究提供了重要的洞見，也為支持大語言模型的個性化服務打下了基礎。其中施瓦茨的人類基本價值觀理論是一個廣泛認可的框架。該理論認為，人類的價值觀是驅動行為和評判善惡的根本。基于此，施瓦茨定義了10種核心的價值觀動機。借鑒心理學中的理論，有學者們開發了ValueNet價值觀驅動型對話語言模型，以及能夠識別目標群體的道德價值觀的Moral Debater模型。這些模型的開發是心理學理論應用于人工智能的創新嘗試，旨在使語言模型能更準確地反映和適應目標人群的價值觀。
3.4 社會科學中的價值觀研究
為了深入理解和設計不同層次、適合不同群體的目標價值觀，并確保大語言模型與這些目標價值觀的有效對齊，研究者需要綜合倫理學、心理學、社會科學等多個學科領域的研究成果。這些領域在過去數十年中對人類價值觀進行了廣泛探索，為大語言模型價值觀的體系構建和對齊提供了堅實的理論基礎。跨學科的合作和綜合研究有助于更全面地理解價值觀的復雜性，從而可以為大語言模型的價值觀對齊提供更加科學和精準的指導。
在心理學領域，對人類內在價值觀及其心理活動的深入研究構成了豐富的理論基礎。特別是施瓦茨提出的人類基本價值觀理論，以及喬納森 ? 海特的道德基礎理論，均為探討群體道德價值觀提供了重要視角，其中海特強調了情感直覺在道德形成中的重要性，并將道德分為五個基本維度，涵蓋了關愛、公平、忠誠、權威和純潔等方面。借助這些理論框架，研究者能夠根據特定場景設計有針對性的價值觀和對齊策略。這些理論不僅指導了大語言模型價值觀對齊的研究方向，也為模型的進一步安全發展提供了理論基礎。例如，應用海特理論促進了道德場景數據集和社交媒體言論數據集的發展，為構建、理解和對齊目標價值觀體系提供了關鍵支持。
4 大語言模型的價值觀分類
價值觀分類的目標是辨識文本背后的價值觀屬性，并判斷其與既定目標價值觀的一致性。這個過程不僅適用于分析用戶語言，也關鍵于確保大型語言模型生成的內容符合目標價值觀標準。
4.1 大語言模型生成內容的價值觀分類
早期的文本價值觀分類研究主要集中在識別特定內容，例如文本中的暴力或偏見表達。隨著研究的進展，關注點逐漸轉向更廣泛的領域，不限于識別偏見或不當內容，而是探究語言模型在多元場景中的道德判斷與人類的一致性，以及其對惡意攻擊等情境的響應是否符合社會規范，或者借鑒心理學的方法來評估模型的價值觀特性。
在我們的日常生活中，經常會面臨需要在多種道德規范之間做出選擇的情況，即所謂的道德決策。探索大語言模型如何在這些復雜情境下評估和確定不同道德規范的相對優先級變得至關重要。這些道德決策反映了決策者內在價值觀的強度，以及不同價值觀之間的相對重要性。相關數據集如SCRUPLES 和 MoralExceptQA提供了復雜情境和評估任務，幫助我們分析模型的道德決策是否與人類決策一致，并揭示了大語言模型在靈活應用道德規范方面與人類的差異。這些研究有助于更深入地理解和提高大語言模型在復雜道德情境下的決策能力。
盡管大語言模型展現出在理解和遵循道德價值觀等規范方面的強大能力，我們仍需確保其在處理不同請求時始終堅持這些價值觀，防止產生違反價值觀的內容。為了全面評估大語言模型在價值觀對齊方面的能力，研究人員不僅分析了模型對常規請求的響應，還深入探索了其對惡意請求的響應。這包括設計特定的攻擊性提示，以測試模型在可能引發不當回復的情境下的表現。通過分析這些測試樣例的響應內容，研究人員能夠更準確地評估大語言模型在價值觀對齊方面的表現。例如，Anthropic團隊發布了一個旨在測試大語言模型價值觀的基準。該基準包括在紅隊行動中收集的有害和無害測試樣例，以及人工設計的測試信息，涵蓋攻擊性言論和不道德請求等內容。這些方法為評估和提升大語言模型的價值觀對齊能力提供了重要的工具。通過綜合運用以上的方式，不僅評估了模型在常規情景下的表現，也評估了其在處理具有惡意誘導的輸入時的表現，為模型在價值觀對齊方面提供了更深入的評估方法。
在心理學領域，問卷調查是評估人類價值觀的重要手段之一。近期，研究團隊將這種方法用于大語言模型，專注于研究模型在不同提示下生成內容的變化。實驗表明，盡管提示并未直接涉及特定價值觀，僅起到引導作用，但大語言模型的生成內容在不同提示下仍然會發生變化。這些研究為深入理解大語言模型的價值觀提供了新的視角。
盡管上述方法在某種程度上有助于評估模型的價值觀對齊，但這一領域仍面臨挑戰，因為目前缺乏直接測量大語言模型價值觀的有效方法。這一問題與心理學領域的類似挑戰相似，人類內在心理狀態同樣難以直接測量。然而，根據心理學的特質理論，可以通過觀察與之相關的外在行為來間接推測這些內在特質。因此，研究人員可以借鑒心理學領域的方法，嘗試評估和測量大語言模型的價值觀特性，但需要確保評估方法能夠準確測量模型的特定概念和特征，以保證評估結果的準確性和可靠性。
4.2 大語言模型在自主決策中的價值觀分類
價值觀分類不僅是針對模型的生成內容。模型自主決策的過程也涉及到價值觀的分類。對模型自主決策的價值觀分類方法不依賴于人工撰寫的誘導性文本，而是利用模型在不同決策場景下的偏好選項。例如，加州大學伯克利分校的研究人員開發了名為 MACHIAVELLI 的測試基準。研究人員在 100多本故事的基礎上構建了大量決策場景，并為每個選項設定了評估指標（如不公平行為、物理傷害行為、偷竊行為和權力欲望等）的變化值。模型在故事中做出各種決策，以推動劇情發展。在模型完成任務后，報告模型在不同價值維度上的得分。除此之外，還有如Jiminy Cricket等的測試基準，基于文本環境構建測試場景。這些方法為模型自主決策過程中的價值觀分類提供了有效手段。
5** 大語言模型的價值觀對齊技術**
價值觀對齊技術指通過預訓練或上下文提示等手段，確保語言模型生成的內容或決策符合目標價值觀。價值觀評估、分類與對齊過程相結合，可以實現使得大語言模型在各種情境下提供符合目標價值觀的服務的目的。
隨著大語言模型在多個領域的深入應用，為了確保這些模型與人類的價值觀保持一致，各種價值觀對齊技術逐漸發展和完善。目前，這些技術主要分為兩類，第一類是基于上下文的對齊學習方法，這種方法不需要對模型參數進行微調，而是依賴于模型本身強大的上下文理解能力和對指令的遵循能力；第二類是一系列通過訓練來調整模型行為的方法。如圖2所示，這些方法包括基于具體安全示例的監督微調（SFT）、基于人類偏好的人類偏好反饋強化學習 (RLHF)，以及在人類偏好反饋強化學習基礎上加入明確規則的基于規范的獎勵模型（RBRM）等。上述不同技術都有其適用的場景和固有的優缺點。這些技術的發展不僅關系到模型的有效性，還涉及到如何確保人工智能技術在符合倫理和道德標準的同時，更好地服務于人類社會。
5.1 基于上下文學習的對齊
大語言模型在大規模語料庫上進行預訓練，并根據指令進行微調，已經獲得了大量的知識和能力。因此，上下文學習目前成為了一種有效的調整大語言模型輸出表現的方法，其具體做法是通過在提示中顯式要求模型避免有害回復來調整大語言模型的行為。例如，圖2左側所示，通過在提示中加入“不能違法”這一提示，大語言模型可以在輸出中避免給出教唆犯罪的內容。此方法的優點在于不需修改模型的參數，且不會影響模型的基本功能，但是其效果高度依賴于模型自身的糾錯能力，對于那些基礎性能較弱的模型表現不佳。
圖 2 大語言模型價值觀對齊方法
**
**
5.2 人在回路的對齊
人在回路的對齊具體是指在模型算法層面的各個階段，均可通過加入人工價值觀反饋來改進模型算法，常見的方法包括基于示例的監督微調對齊和基于人類偏好反饋的強化學習對齊等。
5.2.1 基于示例的監督微調對齊
與上下文學習不同，監督學習微調方法需要微調模型參數。如圖2所示，使用人工構建的符合價值觀的（輸入，輸出）數據對作為示例，以監督學習的方式訓練模型。在大語言模型ChatGPT出現之前，許多價值觀對齊的工作都采用這樣的訓練方式，例如ProsocialDialog、Moral Stories。此外還有研究人員設計了多種策略，通過提示大語言模型自動生成符合人類道德價值觀的指令數據，例如SelfInstruct和SELFALIGN。監督學習微調是一種在訓練穩定性和快速收斂方面表現出色的方法。然而，它也存在兩個主要限制，一是泛化到新樣例的能力較弱；二是缺乏對負面反饋的學習。這意味著雖然該方法在訓練集上表現良好，但可能在處理訓練集之外的新輸入時表現不佳，且在糾正不恰當輸出方面存在局限性。
5.2.2 基于人類偏好反饋的強化學習對齊
為了解決上述問題，大語言模型在微調階段引入了強化學習。人類反饋的強化學習是最具代表性的算法，共分為三個階段。首先，它使用監督微調訓練具有良好指令跟隨能力的模型。其次，收集并對各種質量的模型生成內容進行排名，以訓練一個獎勵模型。最后，通過PPO（proximal policy optimization）算法在微調大語言模型時應用獎勵模型，對模型的正確輸出進行獎勵和對負面輸出進行懲罰。如圖2所示，該過程對于回復1和2進行排名，對排名高的回復進行獎勵，鼓勵模型生成更好的回復。為了減少對手工反饋的依賴，許多研究使用大語言模型生成數據，例如 Constitutional AI。由于強化學習訓練成本高、資源需求大，且訓練過程不穩定和對超參數敏感，該方法仍需進一步探索。
此外也可采用基于規則的獎勵模型，為獎勵模型預先定義一些規則，獎勵模型根據規則而非從訓練數據學習到的偏好進行評分，如圖 2 所示。其中需要注意獎勵攻擊（reward hacking）問題，即生成模型可能通過學習到獎勵模型的某些特殊偏好來最大化其獎勵，這導致生成的內容可以被獎勵模型給出較高的評分但并不與人類的偏好完全對齊。受到PPO中訓練不穩定性的啟示，研究者探索了不依賴明確獎勵模型或強化學習的方法。DPO（direct preference optimization）采用了一種新策略，直接優化期望與不期望響應之間的相對對數概率。與此同時，RAFT方法則通過獎勵模型篩選高質量樣本進行模型的微調。有研究者提出RRHF方法，從各種基線模型、人類數據和目標模型等不同來源收集響應，并通過排名損失學習使它們與人類偏好保持一致。上述這些方法的共同特點是它們都能保留人類的偏好信號，同時規避了強化學習中常見的超參數敏感性問題。
5.3 多智能體協作的對齊
一些研究者還嘗試了通過多智能體協作對模型的價值觀進行對齊。例如 Stable Alignment方法使用了如Text-Davinci-003、ChatGPT等多種模型，并為它們設定了多種角色提示，從而構建了一個模擬社交互動的“沙盒”環境。在這個“沙盒”中，待對齊的模型會根據輸入指令生成多個回復，而這些回復會被“沙盒”中其他模型扮演的角色進行評分。這一機制旨在鼓勵模型傾向于生成得分更高的回復。多智能體構建的“沙盒”在這里起到了類似于獎勵模型的功能。這種對齊方式類似于模型蒸餾，依賴于扮演不同角色的大語言模型的價值觀對齊程度。
**6 **展望
隨著大語言模型技術的快速發展，其在社會各領域的影響也日益明顯。但同時，大模型與人類價值觀之間的對齊問題越來越受到公眾、研究者和政策制定者的關注。未來的大語言模型價值觀對齊研究有五個發展趨勢。
（1）多學科交叉驅動的大模型價值觀對齊。大語言模型的價值觀對齊問題亟需跨學科合作，涵蓋領域包括社會學、心理學等，這些學科可以為價值觀對齊研究提供重要的理論支持，同時可以協助研究人員建立更全面的價值觀指導原則和法規框架，以應對模型在不同領域和文化中的應用挑戰。基于此，多學科交叉可以從數據層面、算法動機層面、評測層面等多個層面為大模型價值觀對齊的研究提供支持，促進價值觀對齊策略和方法的高效發展。
（2）價值觀數據的多樣化和全面化。未來我們需要更加多樣和全面的數據集來捕捉和表示人類價值觀。這些數據集不僅應該包括各種文化、地域和社會背景的情境，還應該囊括不同哲學和道德觀念，確保大語言模型可以更好地為全世界不同用戶服務。實現價值觀數據的多樣性和全面性不僅需要跨足各個文化、地域和社會背景，還需要交叉學科的思維和貢獻。這些交叉學科相關的研究者們可以提供寶貴的思路和數據資源，有助于更好地理解和捕捉人類的多樣化價值觀。
（3）在大模型基礎能力之上持續增強價值觀對齊能力。研究表明，當大模型的價值觀對齊能力增強之后，很有可能會影響大模型的其他能力，因此，如何在不斷變化的環境中有效平衡價值觀對齊與模型的核心功能，成為了一個關鍵的研究問題。未來的工作應致力于開發成本更低、效率更高且廣泛適用的對齊策略，確保模型在處理復雜或惡意情境時，仍能做出與人類價值觀一致的決策。
（4）價值觀對齊模型的可解釋性。為了增進用戶對大語言模型決策過程的理解和信任，未來的研究需要更加關注模型的可解釋性。這包括探索如何使模型的決策過程更加透明，了解模型行為背后的原因，以及如何表示模型在提供服務時依賴的道德和價值觀標準。通過提高模型的可解釋性，研究者和用戶可以更好地理解模型行為背后的動機和邏輯。
（5）檢測評估手段的多樣性。目前大語言模型價值觀的不同評估手段有各自的局限性，也存在不同提示模版下大語言模型表現出的道德價值觀不同的情況，因此，檢測大語言模型內在價值觀是需要深入探索和分析的問題。研究者可借鑒心理學和認知科學等領域的評估方法，并探索適用于不同價值觀體系的分類評估方法。
大語言模型的價值觀對齊涉及哲學、倫理、心理學和社會學等多個領域。未來，更多的跨學科合作將成為必然趨勢。隨著大語言模型在各個領域的廣泛應用，政府和行業組織可能會出臺相關的政策和規范，確保技術的發展符合社會的整體利益。
7 結束語
大語言模型的價值觀問題既復雜又具有深遠的研究意義。雖然目前面臨眾多挑戰，但同時也蘊藏著巨大的機遇。盡管目前還存在許多挑戰，但大語言模型提供了前所未有的機遇。通過與人類價值觀的深入對齊，模型不僅可以提供更為智能和高效的服務，還可以更好地理解道德觀念和價值觀，推動人類社會的更為和諧發展。全社會需要充分認識到這一問題的重要性，并采取有效的對策，確保未來的大語言模型能為人類帶來更多的福祉和機遇。
（參考文獻略）
秦兵
哈爾濱工業大學社會計算與信息檢索研究中心主任、教授。主要研究方向為自然語言處理、知識圖譜、情感計算、文本生成。
吳迪
哈爾濱工業大學博士研究生。主要研究方向為價值對齊、社會計算和模型安全。
選自《中國人工智能學會通訊》 2024年第14卷第1期 人工智能倫理治理新挑戰專題
付費5元查看完整內容
相關內容
大語言模型是基于海量文本數據訓練的深度學習模型。它不僅能夠生成自然語言文本，還能夠深入理解文本含義，處理各種自然語言任務，如文本摘要、問答、翻譯等。2023年，大語言模型及其在人工智能領域的應用已成為全球科技研究的熱點，其在規模上的增長尤為引人注目，參數量已從最初的十幾億躍升到如今的一萬億。參數量的提升使得模型能夠更加精細地捕捉人類語言微妙之處，更加深入地理解人類語言的復雜性。在過去的一年里，大語言模型在吸納新知識、分解復雜任務以及圖文對齊等多方面都有顯著提升。隨著技術的不斷成熟，它將不斷拓展其應用范圍，為人類提供更加智能化和個性化的服務，進一步改善人們的生活和生產方式。
大型語言模型
·
摘要 —— 隨著ChatGPT的興起，大型模型的使用顯著增加，迅速在整個行業中脫穎而出，并在互聯網上廣泛傳播。本文是對大型模型微調方法的全面綜述。本文研究了最新的技術進展以及在諸如任務適應性微調、領域適應性微調、小樣本學習、知識蒸餾、多任務學習、高效參數微調和動態微調等方面應用先進方法。 索引術語 —— 大型語言模型（LLMs）、任務適應性微調、領域適應性微調、小樣本學習、知識蒸餾、多任務學習、高效參數微調、動態微調 I. 引言 變換器（Transformer）模型的出現標志著自然語言處理（NLP）領域的一個重要里程碑。變換器架構最初是為了解決循環神經網絡（RNNs [143]）和卷積神經網絡（CNNs [55]）在處理長距離依賴關系中的局限而設計的，該架構由Vaswani等人在2017年引入[126]，徹底改變了我們處理語言理解和生成任務的方式。 變換器架構背景：變換器模型源于對比傳統模型更有效處理序列數據的需求。其獨特的架構，不依賴遞歸和卷積，利用注意力機制來抽取輸入與輸出之間的全局依賴關系，顯著提高了處理效率和模型性能。 編碼器[19]、解碼器[95] [96] [13]以及編解碼器[100]架構：變換器架構主要由其編碼器和解碼器組成。編碼器處理輸入序列，創建每個詞的豐富上下文表征。相比之下，解碼器通常在語言翻譯任務中生成輸出序列，使用編碼信息。 兩者的區別在于它們的角色：編碼器是輸入的上下文感知處理器，而解碼器基于編碼輸入生成預測。編解碼器架構常用于序列到序列的任務，結合這兩個組件，便于處理復雜任務，如機器翻譯，編碼器處理源語言，解碼器生成目標語言。 大型模型中的微調興起：微調大型語言模型的概念源于將這些模型從訓練于龐大、多樣的數據集適應到特定任務或領域的挑戰。微調調整模型的權重，針對特定任務，增強其從廣泛語言模式到特定應用需求的泛化能力。隨著模型規模和復雜性的增長，這種方法變得越來越重要，需要更精細的適應技術來充分發揮其潛力。 本文的結構旨在提供關于微調大型語言模型的方法論和進展的全面概覽。后續部分的組織如下： 文獻回顧：審視語言模型的發展，突出變換器架構的關鍵發展和基礎概念。 理論基礎：深入探討變換器模型的理論基礎，包括注意力機制、編碼器和解碼器的機制。 微調策略：討論各種微調方法，如任務特定、領域特定的適應和高級技術，如小樣本學習和動態微調。 挑戰與未來方向：識別微調方法中的當前挑戰，并探索這一迅速發展領域的潛在未來研究方向。 本文介紹了基于變換器架構的大型語言模型的范式，并提供了常用的大模型微調方法的詳細概述。文章以一個比較實驗結束，聚焦于六個文本分類數據集上的模型大小和LoRA微調范式。實驗代碼已在GitHub上提供。
付費5元查看完整內容
為了進一步推進深度學習技術驅動的視覺語音生成相關科學問題的研究進展,闡述了視覺語音生成的研究意義與基本定義,并深入剖析了該領域面臨的難點與挑戰；在此基礎上,介紹了目前視覺語音生成研究的現狀與發展水平,基于生成框架的區別對近期主流方法進行了梳理、歸類和評述；最后探討視覺語音生成研究潛在的問題和可能的研究方向。本質上是視覺和聽覺雙模態的。視覺語音是指 語音信號在視覺域的表現形式，即人在說話時 產生的嘴唇、舌頭、牙齒、下巴以及其他面部肌 肉的自發運動［１］ ，而音頻語音則是指說話者所 發出的聲波波形。１９７６年，著名的“麥格克效 應”［２］ 表明，人類的語音感知是一種感性認知現 象，不僅只取決于聽覺信息，還會受到嘴唇運動 等視覺線索的影響。因此，不可否認對視覺語 音的研究有助于提升人類對語音感知的主觀舒 適度，特別是對于遭受聽力受損或聽力障礙的 人群。 作為計算機視覺、計算機圖形學和多媒體 領域的一個基本且具有挑戰性的課題，視覺語 音生成（ｖｉｓｕａｌｓｐｅｅｃｈｇｅｎｅｒａｔｉｏｎ，ＶＳＧ）近年來受 到越來越多的關注，因為它在許多新興應用中 發揮著重要作用。其典型的學術和現實應用包 括說話人識別與驗證［３］ 、醫療救助、公共安全、 視頻壓縮、影視娛樂、人機交互、情感理解［４－５］ 等。例如：在公共安全領域，視覺語音可以應用 于人臉偽造檢測［６］ 和活體檢測［７］ 。在人機交互 中，視覺語音可以作為一種新型交互信息，提 高交互的多樣性和魯棒性［８－９］ 。在影視娛樂 領域，ＶＳＧ技術可以在虛擬游戲中生成語音驅 動的個性化 ３Ｄ虛擬角色［１０］ ，以及為電影后期 制作（如視覺重配音）實現高保真度的視和序列建模。在傳統機器學習方法占主導地位的 時代，視覺語音的表征方法如視素［１２－１３］ 、唇部幾 何描述符［１４］ 、線性變換特征［１５］ 、統計表示［１６］等， 以及序列建模方法如高斯過程動力學模型［１７］ 、隱 馬爾可夫模型［１８］（ｈｉｄｄｅｎＭａｒｋｏｖｍｏｄｅｌ，ＨＭＭ）、 決策樹模型［１９］ 等被廣泛應用于 ＶＳＧ研究。自深 度神經網絡（ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ＤＮＮｓ）在圖像 分類任務中取得重大突破［２０］ 以來，絕大多數計算 機視覺和自然語言相關問題的研究熱點都聚焦在 深度學習方法上，包括 ＶＳＧ問題。２０１６年，基于 深度學習的 ＶＳＧ方法［２１］ 在性能上大幅度超越傳 統方法，引領 ＶＳＧ進入深度學習時代。同時，大 規模音視數據集［２２－２５］的不斷涌現也進一步推動 了深度學習驅動的 ＶＳＧ研究。因此，本文主要關 注基于深度學習的 ＶＳＧ方法。視覺語音技術從 ２０１６年至今的里程碑工作如圖 １所示，包括具有 代表性的深度 ＶＳＧ方法以及相關的音視基準數據的進展，但不可否認 ＶＳＧ的研究仍處于早期階 段，尚未達到滿足實際應用的水平，許多問題仍待 解決。因此，系統性地回顧該領域的最新進展，總 結阻礙其發展的主要挑戰和未解決的問題，并探 討和挖掘有潛力的發展方向是非常有價值的。 Ｍａｔｔｈｅｙｓｅｓ等［２６］ 廣泛而全面地對音視語音生成進 行了總結和討論。我們建議讀者參考該論文以了 解視覺語音生成在 ２０１５年之前的詳細發展歷程。 本文在其基礎上，聚焦于深度學習驅動的 ＶＳＧ研 究進展。Ｃｈｅｎ等［２７］ 對說話人身份獨立的 ＶＳＧ方 法進行了綜述。以身份信息保留、音視同步以及 視覺質量三個核心需求為牽引，對相關方法進行 了討論分析，并為其設計了性能評估基準。他們 的核心貢獻在于提出并定義了明確的評估標準， 而非 ＶＳＧ方法的全面討論和總結。總之，已有 ＶＳＧ綜述調研性的工作在時效性、前瞻性、統籌 性等方面尚有不足。因此，本文旨在進一步填補 該領域綜述調研上的空白。 本文對當前 ＶＳＧ的基本定義和研究意義、所 面臨的難點與挑戰、主流的深度學習驅動方法進 行了系統性的介紹、闡述和歸納。并于文末探討 了研究潛在的問題及未來可能的研究方向，以期 進一步推動與此相關問題的研究。
付費5元查看完整內容
無人集群系統是當前人工智能和機器人領域備受關注的研究熱點，已在多個領域展現出廣闊的應用前景。本文對無人集群系統進行了深入綜述和分析，著重探討了協同決策和博弈控制兩個關鍵方面，旨在通過智能體之間的信息共享和協作，提高系統效率，解決在智能體之間可能出現的利益沖突和決策問題。首先，對一些基本概念進行了明確闡述，包括智能體、集群智能和無人集群系統，這有助于讀者建立對這一領域的基本理解。隨后，介紹了協同與博弈控制數學模型、集群協同與博弈決策、集群協同控制方法、集群博弈控制方法等算法，著重強調了協同決策和博弈控制的理論基礎，以及它們如何應用于無人集群系統中，從而提高系統的整體性能。接下來，列舉了集群協同與博弈在多個領域的一些典型應用案例，包括智能交通、無人機編隊、物流配送和軍事領域。這些實際案例展示了該技術的廣泛應用領域，以及它對提高效率和解決復雜問題的潛力。最后，討論了未來研究方向和挑戰，包括對新技術和方法的需求，以應對不斷發展的需求和問題，以及如何進一步推動無人集群系統的發展。本文為無人集群系統的進一步發展提供指導和參考，以推動該領域的發展和創新，為未來的科學和技術進步做出了一定貢獻。
付費5元查看完整內容
摘要: 以大模型在材料科學中的應用為著眼點，首先綜述了大模型，介紹了大模型的基本概念、發展過程、技術分類與特點等內容；其次從通用領域大模型和垂直領域大模型兩個角度，總結了大模型的應用，列舉分析了不同種類大模型的應用場景和功能. 再次，結合材料科學領域中的具體需求研究現狀，調研并綜述了語言大模型、視覺大模型和多模態大模型在材料科學中的應用情況，以自然語言處理和計算機視覺中的具體任務為切入，參考典型應用案例，綜合提示工程策略和零樣本知識遷移學習，厘清了當前將大模型應用至材料科學的研究范式和制約因素，并利用改進SAM視覺大模型在四種材料顯微圖像數據上進行了驗證性圖像分割與關鍵結構提取實驗，結果表明SAM帶來的零樣本分割能力對于材料微結構的精準高效表征具有巨大應用潛力. 最后，提出了大模型相關技術、方法在材料科學中的未來研究機遇，從單模態到綜合性多模態的大模型研發與調優，評估了可行性及技術難點.
//115.25.60.6/article/doi/10.13374/j.issn2095-9389.2023.09.20.002
人工智能（Artificial intelligence，AI）在各領域中的廣泛應用從科研熱點、社會關切、政策支持等維度都體現出極大的研究與應用價值[1]. 隨著人工智能的土壤——數據的指數級增長以及計算能力的躍升，以深度學習為代表的突破性人工智能算法不斷涌現[2]，逐漸代替傳統的機器學習和基于規則的方法，并在眾多場景下得以大范圍實際應用[3?4]，如人臉識別[5]、自動駕駛[6]、文本生成[7]等. 2022年底，OpenAI公司發布ChatGPT應用并迅速進入大眾的視野[8]，推出僅兩個月后月活躍用戶就已超一億，成為歷史上用戶群增長最快的消費應用. 基于語言大模型開發的人工智能產品ChatGPT被認為是人工智能技術的新突破，吸引了社會各界的重點關注，引發了國內外新一輪人工智能產品應用落地. 可以這樣說，以ChatGPT為時間起點，人工智能正式進入“大模型時代”，大模型也正在重塑各種任務并在眾多復雜的下游任務中取得了不俗的成績[9?11].
付費5元查看完整內容
**內容簡介：**ChatGPT的火爆出圈使得AI生成（AIGC）技術受到了全社會前所未有的廣泛關注。此消彼長之下，傳統的知識工程遭受了諸多質疑。在多模態智能領域，AIGC的能力不斷提升，多模態知識工程工作應該何去何從？是否仍有價值？在本次分享中，講者將探討當前AIGC技術耀眼“光芒”背后的“暗面”，思考與展望AIGC時代的多模態知識工程研究。
關于AIGC時代的多模態知識工程思考與展望，我們將從以下六個方面展開介紹： 第一部分，我們回顧一下AIGC技術的發展歷程和它帶來的劃時代影響力； 第二部分，我們對AIGC技術的不足（阿克琉斯之踵）之處進行分析與總結； 第三部分，我們將介紹多模態認知智能的框架和兩種實現路徑，并進行對比分析；第四~六部分，我們會展望當前AIGC大模型和MMKG多模態圖譜間如何競與合。
01
AIGC時代：未來已來
隨著人工智能總體階段的發展，生成式人工智能技術（AIGC）也在不斷迭代。從20世紀50年代到90年代中期，是AIGC的早期萌芽階段，這一時期受限于技術水平，AIGC僅限于小范圍實驗。這一時期的AIGC典型事件包括：1950年，艾倫·圖靈提出的著名的“圖靈測試”，給出判斷機器是否具有“智能”的方法；1966年，世界上第一款可人機對話機器人“Eliza”的問世；以及在80年代中期IBM公司創造的語音控制打字機“Tangora”的出現。
而從20世紀90年代到21世紀10年代中期，AIGC處于沉淀積累階段，這一階段的AIGC技術從實驗性向實用性轉變，但仍因受限于算法瓶頸，無法直接進行內容生成。這一階段的AIGC典型事件則包括2007年世界上第一部完全由人工智能創作的小說《1 the road》的問世；以及2012年微軟開發的全自動同聲傳譯系統的出現，它能夠將英文語音自動翻譯成中文語音。
自21世紀10年代中期至今，是AIGC快速發展的階段，得益于深度學習算法不斷迭代，人工智能生成內容百花齊放。2014年，Goodfellow提出的生成對抗網絡GAN用于生成圖像；2019年，英偉達發布StyleGAN模型可以自動生成高質量圖片；2019年DeepMind發布DVD-GAN用于生成連續性視頻，直到2022年，OpenAI發布ChatGPT模型生成流暢的自然語言文本。
可以說，ChatGPT的爆紅出圈宣告了AIGC時代的到來。
現在的AIGC技術可以生成的內容包括文本、圖像、音頻和視頻等。如今，已經有很多強大的算法被發明出來，如用于圖像生成的Stable Diffusion算法。此外，還有很多走在技術前沿的創業公司不斷推動AIGC技術的應用落地，如Jasper AI的AI寫作軟件和midjourney的AI繪畫工具的發明都在解放著人類的內容創作生產力。這些共同促進了一個萬物皆可AI生成的AIGC時代。
右圖是一張來自互聯網的趣味圖片——機器人一家三口在人類博物館中觀賞人類的最后一篇推文“GPT-5也沒啥了不起的”——表達了創作者對當今AIGC技術飛速發展的隱隱擔憂。
那么，我們首先看一下多模態大模型的分類與發展脈絡。如上圖所示，多模態大模型發展非常迅速，我們可以將多模態大模型簡單分為多模態統一大模型和多模態文圖生成大模型，前者用于統一的多模態生成和理解，后者特指具備強大的多模態文到圖生成能力的大模型。
當前，文圖生成大模型已經可以生成逼真、高清以及風格化的意境圖像。
還有一些文圖生成大模型，如斯坦福大學提出的ControlNet，其生成能力更加精致、可控。它不僅可以生成各類質地細膩、細節精致的圖片，也可以通過簡筆畫來對圖像生成進行操控。
AIGC大模型生成的視頻在某種程度上也可謂自然流暢、栩栩如生。
我們還看到Google發布的PaLM-E模型，展現了多模態AIGC大模型驅動的具身智能的情景。這個具備5620億參數的具身多模態大模型，可以將真實世界的傳感器信號與文本輸入相結合，建立語言和感知的鏈接，可以用自然語言操控機器人完成操作規劃、視覺問答等任務。
AIGC的驚艷效果不禁讓很多人對符號主義（知識工程）的研究產生了疑問。Rich Sutton在著名文章《苦澀的教訓》中提出，唯一導致AI進步的因素是更多的數據和更有效的計算。而DeepMind的研究主任Nando de Freitas也宣稱，“AI現在完全取決于規模，AI領域更難的挑戰已經解決了，游戲結束了！”。我們也看到，在大多數領域，大模型已經（暫時）戰勝了精心設計的知識工程。然而，AI的流派之爭真的結束了嗎？
02
AIGC的阿克****琉斯之踵
第二部分，讓我們來看一下當前AIGC大模型實際存在的一些問題。
盡管今天的ChatGPT（包括GPT-4）很強大，它的諸多問題仍舊難以忽視： 第一、強語言弱知識的問題，ChatGPT無法理解用戶查詢中的知識性錯誤，它具備強大的語言能力，但知識能力仍舊較弱； 第二、實時信息自更新慢，新舊知識難以區分，目前ChatGPT的知識還停留在2021年，而每一次信息更新都需要成本高昂的重新訓練； 第三、其邏輯推理能力并不可靠，應該說尚不具備復雜數學邏輯推理與專業邏輯推理能力； 第四、由于缺乏領域知識，它也無法真正為領域類問題提供專業靠譜的答案。
當前的多模態大模型的跨模態生成能力也尚不完善。上圖是我們用文圖生成大模型Stable Diffusion生成的一些案例。具體來說，當前的文圖生成存在組合泛化、屬性泄露、方位理解混亂、語義理解錯誤等問題。因此，盡管我們看到AIGC跨模態生成的視覺效果驚艷，但往往存在較大的模態間信息不對稱問題。
此外，當前多模態大模型的多模態理解能力也存在問題。上圖是來自BLIP2進行視覺問答任務的錯誤樣例。我們看到： 1）模型由于缺乏事實知識，無法知曉球拍上的“w”圖案是品牌“Wilson”的logo，因而錯誤回答成“nike”； 2）模型由于欠缺邏輯推理能力，不理解圖像場景和問題的邏輯關系，因而回答錯誤； 3）模型由于常識儲備不足，對某個具體場景（沖浪）下的意圖理解犯了常識性錯誤。
讓我們再來看一下Google的具身多模態大模型PaLM-E，雖然依賴如此大規模的參數實現了初步的機器人操控，但其demo視頻中所展示的空間范圍、物品種類、規劃和操作任務的復雜度等都非常有限。我們可以想象，如果要在真實世界的復雜場景中達到實用級別，PaLM-E的參數規模是否還需要增大百倍、千倍甚至萬倍？如果一味用海量參數存儲所有知識，那么智慧涌現的代價是否過于昂貴？
至此，我們對多模態大模型做個簡單的小結。首先，多模態大模型的本質是“用語言解釋視覺，用視覺完善語言”。換句話說，我們要將文本中的語言符號知識，與視覺中的可視化信息建立統計關聯。所謂“用語言解釋視覺”，就是將語言中蘊含的符號知識體系和邏輯推理能力延伸至對視覺內容的理解；而所謂“用視覺完善語言”，是指豐富的視覺信息可以成為符號知識體系和邏輯推理能力的重要完善和補充。
我們知道，多模態大模型能發揮重大作用的重要前提是： 1）具有海量高質量圖文配對數據； 2）文字富含事實知識和常識； 3）其邏輯推理過程可顯式化被學習。
而我們所面臨的現實情況卻是： 1）數據量大但質量差，信息不對稱； 2）純文字中的知識與常識也不完備； 3）其邏輯推理是隱性難以學習的。
正因為這些理想與現實間的差距，導致了前面提到的多模態大模型的種種問題與不足。綜上，我們認為，統計大模型始終難以較低成本，全面、準確地掌握人類知識、常識和邏輯推理能力。
03
多模態認知智能
第三部分，我們引出多模態認知智能，其研究旨在解決前一部分提到的問題。
上圖是我們提出的一個多模態認知智能的研究框架。總的來說，多模態認知智能主要研究基于多模態數據的知識獲取、表示、推理與應用。在多模態知識獲取層面，我們從語料中通過抽取、生成、群智等方法獲取知識或者從語言模型中萃取知識。在多模態知識表示層面，可以使用多模態圖譜、常識圖譜、語言模型、大規模知識網絡等方法進行知識表示。基于多模態知識表示，可以進一步支撐多模態理解、推理和元認知等能力，從而賦能諸如跨模態搜索、推薦、問答、生成等多模態知識的應用。
多模態認知智能目前有兩種實現路徑。一種是多****模態大模型，其代表了聯結主義和經驗主義的思想，從海量預訓練數據中學習概率關聯，是簡單而魯棒的，它屬于統計學習范疇，具備端到端、干預少和“數”盡其用的優勢，其劣勢在于難以學習到從因到果、從主到次、從整體到部分、從概括到具體、從現象到本質、從具體到一般等邏輯關系。
另一種實現路徑是多模態知識工程，其代表了符號主義的思想，從精選數據和專家知識中學習符號關聯，是精細而脆弱的，它往往通過專家系統和知識圖譜實現，具備易推理、可控、可干預、可解釋的優點，但是它的劣勢主要在于將數據轉換成符號知識的過程往往伴隨著巨大的信息損失，而其中隱性知識等難以表達的知識往往是信息損失的主體。
結合多模態大模型和多模態知識工程的優劣勢分析，我們認為：在AIGC大模型時代，多模態知識工程依然不可或缺。
當前，多模態知識工程的主要形式之一是多模態知識圖譜（MMKG）。多模態知識圖譜是在傳統知識圖譜的基礎上，增加多種模態數據以豐富符號知識表達的方法，其多模態數據包括但不限于圖像、視頻、語言、代碼等。多模態知識圖譜可以將符號接地到具象的視覺等模態對象上，實現跨模態語義對齊。
目前多模知識圖譜的主流形式有兩種。 一種是A-MMKG，其中多模態數據僅作為文字符號實體的關聯屬性存在； 另一種是N-MMKG，其中多模態數據也可作為圖譜中的實體存在，可與現有實體發生廣泛關聯。
至此，我們進一步分析AIGC多模態大模型和大規模多模態知識圖譜各自的優缺點。
多模態大模型的優點是：
1）關聯推理能力強：可以學習掌握大量跨模態知識模式，隱空間的關聯推理能力強，具有很強的泛化能力； 2）多任務通吃：一套大模型處理各類跨模態任務； 3）人工成本低：不依賴人工schema設計與數據標注； 4）適配能力強：可通過調優訓練或prompt對話等方式來適配新的領域和任務。
而其不足之處在于：
1）可靠程度低：所生成的內容可靠性堪憂，存在誤差累積、隱私泄露等問題，無法勝任高精度嚴肅場景需求； 2）知識推理弱：沒有真正掌握數據背后的知識，缺乏知識推理能力，更無因果推理能力； 3）可解釋性弱：雖有CoT加持，但可解釋性仍然不足； 4）訓練成本高：需要消耗大量計算資源和時間來進行訓練，需要強大的計算設備和高效的算法。
**而與之對應的，**多模態知識圖譜的優點是：
1）專業可信度高：其結構和關系清晰，易于理解和解釋，可為人類決策提供參考，通常為某個具體應用場景構建，可提供更精準和針對性的知識支持； 2）可解釋性好：以結構化形式表示知識 ，知識的可訪問性、可重用性、可解釋性好，對人類友好； 3）可擴展性強：知識圖譜的內容可以隨著應用場景的需要進行不斷擴展和更新，可以不斷完善和改進。
而多模態知識圖譜的缺點在于：
1）推理能力弱：只能表示已有的知識和關系，對于未知或不確定的領域難以進行有效的知識建模和推理； 2）人工成本高：其構建需要依賴于人工或半自動的方式進行知識抽取和建模，難以實現完全自動化； 3）架構調整難：其基本schema架構通常是靜態的，不易根據新的數據或場景進行修改和調整。
由上分析可見：多模態大模型的優點常常是多模態知識圖譜的不足，而多模態大模型的不足又往往是多模態知識圖譜的優勢。因此，我們認為：當前階段，大模型與知識圖譜仍應繼續保持競合關系，互相幫助，互為補充。
04
AIGC for MMKG
第四部分，我們思考與展望一下AIGC大模型如何輔助MMKG的構建與應用。
第一，AIGC大模型為知識獲取降本增效。
（1）通過知識誘導（萃取），可以快速獲取大量知識或常識。例如，我們可以從語言大模型中誘導語言知識和關系知識；我們也可以從多模態大模型中誘導跨模態對齊知識和視覺常識知識。
（2）AIGC大模型的出現使得零樣本、少樣本、開放知識抽取成為可能。例如，我們可以利用ChatGPT對話大模型的理解和生成能力，從給定文本中抽取三元組知識；我們也可以利用多模態AIGC大模型的跨模態生成和理解能力，從給定圖文數據中抽取多模態知識。
（3）AIGC大模型可以顯著增強垂域多模態知識獲取能力。GPT-4、ChatPDF模型等已經顯示了強大的領域知識抽取能力，如基于多模態文檔的知識抽取。
第二，AIGC大模型助圖譜設計一臂之力。
大模型在部分領域上擁有領域常識知識，可以輔助完成schema的半自動化設計。在多模態場景中，也有一些嘗試，例如可以用多模態AIGC大模型生成cms領域的schema。
第三，AIGC大模型為知識推理保駕護航。
基于大模型的跨模態生成與推理能力，可以輔助完成KG表示學習、圖譜補全等任務。
第四，AIGC大模型為知識融合掃清障礙。
利用大模型的泛化能力和海量知識，可以輔助完成多模態知識圖譜融合。利于對于兩個MMKG的對齊，多模態AIGC大模型在兩者之間可以生成實體知識或語義層面的特征，輔助完成實體對齊。
第五，AIGC大模型為****知識更新舔磚加瓦。
基于大模型的常識知識和通用抽取能力可以輔助MMKG進行知識更新。可以利用多模態AIGC大模型從新事實中輔助抽取新知識；當新知識抽取完成后，可以借助多模態AIGC大模型輔助更新多模態知識圖譜。此外，還可以借助多模態AIGC大模型輔助過期事實檢測，從而將過期知識從知識圖譜中刪除。
第六，AIGC大模型為知識問答錦上添花。
利用大模型的語言理解能力和解析能力，可以幫助更好的構建多模態知識問答系統。在ChatGPT的知識問答評測結果顯示其在很多問題類型上效果顯著，且跨語言低資源情況下具有碾壓級效果，但是其數值類問題效果不及SOTA。因此，使用AIGC大模型助力MM-KGQA和K-VQA等任務，可以提升問題解析能力，強化知識推理能力，提供外部知識輔助等。
05
MMKG for AIGC
第五部分，我們總結與展望一下MMKG如何助力AIGC大模型的提升與完善。
第一，MMKG參與AIGC大模型的生成能力評估**。**
基于多模態知識圖譜中的知識構建測試集，可對大模型的生成能力進行各方面評估。例如利用各類百科知識圖譜進行事實性檢驗評估，也可以利用各類MMKG構建測試集進行符號推理能力評估、視覺常識推理能力評估、非語言推理能力評估等。
第二，MMKG引導AIGC大模型的可控約束生成。
已有工作在文本AIGC模型中引入指定約束（如包含/避免某主題）進行可控生成。可以展望未來會出現多模態知識引導大模型約束生成的工作。比如對于圖像生成，可通過將文本鏈接到多模態知識圖譜的具體實體，提供實體圖像信息，幫助正確生成實體對應圖像；對于文本生成，通過鏈接到多模態知識圖譜的具體實體，提供實體關系屬性和實體圖像等實體畫像信息，幫助正確生成符合實體性質和特點的文本。
第三，MMKG幫助AIGC大模型進行知識編輯。
目前已有在文本大模型上的知識編輯的相關工作。可以預見，未來也會出現利用多模態知識圖譜來對多模態大模型進行知識編輯的研究工作。
第四，MMKG輔助AIGC大模型的領域（任務）適配。
用多模態知識圖譜做領域知識微調可以將大模型的能力適配到領域任務。例如，在電商領域跨模態檢索場景，常常存在語義不匹配的問題。這種情況下，大模型如何低成本、高效率地解決該領域的具體問題是其應用落地的關鍵。我們與阿里合作的這篇工作提出了通過微調大模型，加上多模態知識輔助的方式，實現了大模型的輕量級領域適配。
06
AIGC+MMKG
第六部分，我們展望一下AIGC大模型和MMKG如何進一步合作。
我們認為，走向通用人工智能需要AIGC大模型和MMKG攜手并進。在未來，基于知識工程和統計模型的語言認知和多模態感知將會相互結合，并且借助MMKG和AIGC大模型，共同走向多模態認知的發展道路上。從視覺感知和語言認知到多模態認知，從連接主義和符號主義到神經符號主義，通用人工智能必將是一條融合之路。
AIGC和MMKG的第一種融合方式是注入知識以增強預訓練大模型**。**目前知識增強的預訓練語言模型已有多種路徑實現。在多模態知識增強預訓練的方向上，也有工作將場景圖知識融入視覺語言預訓練模型的預訓練過程中以增強跨模態語言理解能力。未來還有很多方式方法來將MMKG中的知識以更多方式融入到大模型當中。
AIGC和MMKG的第二種融合方式是基于知識檢索增強的多模態生成**。**例如，給定文本提示，訪問外部多模態知識庫以檢索相關圖文對，將其用作生成圖像的參考。
AIGC和MMKG的第三種融合方式是因果知識增強的多模態生成**。**已有工作利用因果圖譜中的因果關系和圖推理能力，輔助大模型的因果決策，通過在因果圖譜上的檢索、推理和融合將因果信息融入大模型推理中。可以展望，未來因果知識也可被用在對多模態大模型的理解與生成能力優化上。
AIGC和MMKG的第四種融合方式是個性化知識接入的多模態生成**。**在未來，或許每個個體或企業都會擁有AI私有化助手，那么如何管理個性化多模態知識，諸如個人畫像知識圖譜、企業畫像知識圖譜、價值觀知識圖譜、自媒體知識圖譜等，將這些知識以一種可插拔式的方式接入AIGC大模型中，提高大模型的個性化生成能力將是非常值得探索的方向。
實際上，Microsoft 365 Copilot就可以看作是知識庫與大模型良好協作的一款劃時代產品。借助Microsoft Graph（可以看做是一種知識庫）與AIGC大模型的協作融合，助力Word、PowerPoint、Excel的生產力大提升。
此外，在行業落地層面，AIGC大模型和MMKG的融合更具價值**。**由于利用海量通用語料和通用知識訓練的通用大模型與行業應用場景之間依然存在鴻溝，因此需要進行行業數據挖掘和行業特色知識獲取來進一步訓練更加實用的行業大模型。
基于上述原因，行業落地往往需要多層次的模型，并有效與知識庫和外部工具進行配合，才能真正解決好行業問題。通用多模態預訓練生成大模型、行業領域預訓練模型、任務小模型以及行業知識庫、外部工具將構成一個模型共同體，協作解決行業復雜問題。
07
總 結
最后總結一下本次分享的主要觀點。首先，AIGC技術的發展必將加速邁向通用人工智能的步伐。但是僅憑AIGC技術無法真正實現通用人工智能。在多模態領域，MMKG的構建與應用仍具重要價值。我們認為，AIGC和MMKG應該相互借力，我們分別從AIGC用于MMKG、MMKG用于AIGC、MMKG和AIGC如何融合三方面給出了二者競合方式的探索和展望。未來，符號知識和統計模型的競合方式有待進一步深入探索。
（在此感謝輔助完成分享PPT材料的課題組同學們，包括陳石松、朱祥茹、王續武、查志偉、王小丹、趙一聰、鄒健。演講稿的文字記錄與整理由查志偉同學完成。）
分享人簡介
李直旭，復旦大學研究員、博士生導師，上海市數據科學重點實驗室主任助理，復旦大學知識工場實驗室執行副主任，曾兼任科大訊飛蘇州研究院副院長，博士畢業于澳大利亞昆士蘭大學。主要研究方向為認知智能與知識工程、多模態知識圖譜、大數據分析與挖掘等。在領域主流期刊和國際會議上發表論文150余篇，主持十余項國家和省部級科研項目。
付費5元查看完整內容
摘要：隨著自然語言處理（NLP）領域中預訓練技術的快速發展，將外部知識引入到預訓練語言模型的知識驅動方法在NLP任務中表現優異，知識表示學習和預訓練技術為知識融合的預訓練方法提供了理論依據。概述目前經典預訓練方法的相關研究成果，分析在新興預訓練技術支持下具有代表性的知識感知的預訓練語言模型，分別介紹引入不同外部知識的預訓練語言模型，并結合相關實驗數據評估知識感知的預訓練語言模型在NLP各個下游任務中的性能表現。在此基礎上，分析當前預訓練語言模型發展過程中所面臨的問題和挑戰，并對領域發展前景進行展望。
付費5元查看完整內容
摘要： 形式化方法是在安全關鍵軟件系統中被廣泛采用而有效的基于數學的驗證方法，而智能合約屬于安全關鍵代碼，采用形式化方法驗證智能合約已經成為熱點研究領域.本文對自2015年以來的47篇典型相關論文進行了研究分析，對技術進行了詳細的分類研究和對比分析；對形式化驗證智能合約的過程中使用的形式化方法、語言、工具和框架進行綜述.研究表明，其中定理證明技術和符號執行技術適用范圍最廣，可驗證性質最多，很多底層框架均有所涉及，而運行時驗證技術屬于輕量級的新驗證技術，仍處于探索階段.由此我們列出了一些關鍵問題如智能合約的自動化驗證問題，轉換一致性問題，形式化工具的信任問題和形式化驗證的評判標準問題.本文還展望了未來形式化方法與智能合約結合的研究方向，對領域研究有一定的推動作用.
付費5元查看完整內容
摘要: 深度信念網絡(Deep belief network, DBN)是一種基于深度學習的生成模型, 克服了傳統梯度類學習算法在處理深層結構所面臨的梯度消失問題, 近幾年來已成為深度學習領域的研究熱點之一.基于分階段學習的思想, 人們設計了不同結構和學習算法的深度信念網絡模型.本文在回顧總結深度信念網絡的研究現狀基礎上, 給出了其發展趨勢.首先, 給出深度信念網絡的基本模型結構以及其標準的學習框架, 并分析了深度信念網絡與其他深度結構的關系與區別; 其次, 回顧總結深度信念網絡研究現狀, 基于標準模型分析不同深度信念網絡結構的性能; 第三, 給出深度信念網絡的不同無監督預訓練和有監督調優算法, 并分析其性能; 最后, 給出深度信念網絡今后的發展趨勢以及未來值得研究的方向.
付費5元查看完整內容
摘要： 深度學習的可解釋性研究是人工智能、機器學習、認知心理學、邏輯學等眾多學科的交叉研究課題，其在信息推送、醫療研究、金融、信息安全等領域具有重要的理論研究意義和實際應用價值.從深度學習可解釋性研究起源、研究探索期、模型構建期3方面回顧了深度學習可解釋性研究歷史，從可視化分析、魯棒性擾動分析、敏感性分析3方面展現了深度學習現有模型可解釋性分析研究現狀，從模型代理、邏輯推理、網絡節點關聯分析、傳統機器學習模型改進4方面剖析了可解釋性深度學習模型構建研究，同時對當前該領域研究存在的不足作出了分析，展示了可解釋性深度學習的典型應用，并對未來可能的研究方向作出了展望.
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191