近年來，我們見證了大型語言模型（LLM）的快速發展。基于強大的LLM，多模態LLM（MLLM）將模態從文本擴展到更廣泛的領域，因其廣泛的應用場景而引起廣泛關注。由于LLM和MLLM依賴大量的模型參數和數據來實現突現能力，數據的重要性正受到越來越廣泛的關注和認可。追蹤和分析最近針對MLLM的數據導向工作，我們發現模型和數據的發展并不是兩條獨立的路徑，而是相互關聯的。一方面，更大量和更高質量的數據有助于MLLM的更好表現；另一方面，MLLM可以促進數據的發展。多模態數據和MLLM的共同發展需要明確以下幾點：1）在MLLM的哪個發展階段可以采用哪些以數據為中心的方法來增強哪些能力，2）通過利用哪些能力和扮演哪些角色，模型可以對多模態數據作出貢獻。為了促進MLLM社區的數據-模型共同發展，我們系統地回顧了現有與MLLM相關的工作，從數據-模型共同發展的視角進行分析。本調查相關的一個定期維護的項目可以在 //github.com/modelscope/data-juicer/blob/main/docs/awesome llm data.md 訪問。

近年來，大型語言模型（LLM）在廣泛的任務中展示了令人印象深刻的性能，并且相關技術取得了顯著的進展。由于人類的感官不僅限于文本模態，多模態LLM（MLLM）逐漸進入視野，例如能夠處理超越文本模態輸入或輸出的Gemini-1.5 [1] 和 Sora [2]，以及能夠在輸入和輸出之間進行多模態交互的GPT-4o [3] 和 NExT-GPT [4]。在過去兩年中，MLLM受到廣泛關注。正如圖1所示，自2023年初以來，與MLLM相關的研究正在以越來越快的速度涌現。 MLLM的卓越性能源于LLM在參數數量擴大帶來的解決一系列任務的突現能力[5]。許多研究表明，擴大模型規模需要更加海量的數據來補充[6], [7], [8]，例如擴展法則[9], [10]。具體而言，研究表明，多模態模型需要指數級更多的數據才能在下游任務中實現線性零樣本改進[11]。鑒于此，一系列工作將重點從僅僅關注模型架構和訓練技術轉移到數據中心方法，專注于高質量數據的策劃[12], [13], [14], [15], [16], [17]，以提供進一步釋放大型模型潛力的數據基礎。從圖1可以看出，在現有關注MLLM的論文中，與數據中心方法密切相關的論文也表現出強勁的增長趨勢，并占據了重要的部分。 隨著與MLLM相關的大量技術工作不斷涌現，一些針對MLLM的綜述也逐漸出現[18], [19], [20], [21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31], [32], [33], [34]。這些綜述主要從模型中心的角度進行，而數據的重要性需要進一步強調。一項最近的綜述將數據中心的視角從單模態擴展到多模態，重點關注現有的數據中心方法，并根據所提出的數據管道階段進行組織[35]。實際上，數據和模型的發展是交織在一起的，而不是分開的。更大數量和更高質量的數據提高了模型性能，而從高質量數據中受益的良好訓練的模型可以進一步改進數據。這減少了人工成本，擴大了數據量，并通過使用需要標注的分割掩碼進行訓練的Segment Anything模型（SAM）[36]的訓練成功展示了這一點。隨著SAM在訓練中的熟練程度提高，它逐漸取代人在標注任務中的角色，從而形成一個改進模型和數據集的循環。這樣的漸進和良性循環促進了MLLM的發展，即受益于高質量數據集的MLLM可以幫助改進訓練數據，反過來進一步增強MLLM。 數據-模型共同發展范式很有前途，但尚未得到充分研究。根據我們的調查，目前還缺乏從數據-模型共同發展視角對MLLM的綜述。現有綜述尚未建立數據中心方法與MLLM能力之間的關系，也沒有清晰闡明MLLM的能力如何幫助構建數據集。實現MLLM數據-模型共同發展的關鍵在于闡明哪些數據方法可以增強每種特定的MLLM能力，以及了解模型可以扮演的角色，以改進多模態數據。因此，本綜述旨在通過綜合回顧回答以下研究問題，推進MLLM的數據-模型共同發展： * RQ1：在MLLM的生命周期中，哪些數據中心方法可以在哪個階段用于增強哪些MLLM能力？ * RQ2：模型可以扮演哪些角色以促進不同的數據中心方法，并在每種情況下利用模型的哪些特定能力？

為了回答這兩個關鍵研究問題，我們首先提出一個基于MLLM數據-模型共同發展范式的新分類法。我們將先前的努力分為兩個主要類型：數據對模型的貢獻和模型對數據的互惠貢獻，建立其在MLLM能力中的深層連接。隨后，我們從數據-模型共同發展的視角對現有MLLM工作進行全面審查，揭示了推進數據-模型共同發展范式的巨大潛力，主要歸因于缺乏對數據和模型之間協同作用的專注。基于獲得的見解，我們描繪了若干進步的未來方向，以更好地利用數據和模型之間的互補，從基礎設施到各種自我增強程度的數據-模型共同發展。該綜述的主要貢獻有三點： * MLLM開發的新視角：我們提出了一種新分類法，強調多模態數據與MLLM之間的協同作用，旨在理解和挖掘數據和模型開發的互惠優勢。該分類法系統地基于開發MLLM所需的數據相關技術的層次結構進行組織，為研究人員和開發人員提供了推進MLLM的清晰視角。 * 從數據-模型共同發展視角對MLLM的最新綜述：我們系統地回顧了快速增長的MLLM工作，闡明1）哪些MLLM能力可以通過特定的數據中心方法增強，2）經過良好訓練的模型的能力如何反過來支持數據中心方法。據我們所知，這是第一篇從數據-模型共同發展視角對MLLM進行綜述的論文。 * MLLM未來的路線圖：我們提供了一個進步組織的路線圖，涵蓋若干先進和有前途的子方向，重點關注數據和MLLM之間的內部互動。通過這項工作，我們希望為學術研究人員和工業從業者在MLLM不斷發展的領域提供靈感和指導。

組織結構。本文余下部分的組織如下。第二節提供了背景，包括背景知識、分類法以及與現有相關綜述的定性比較。第三節介紹了擴展MLLM的數據中心方法。第四節總結了提高MLLM可用性的數據中心方法。第五節描述了模型直接幫助策劃MLLM數據集的能力。第六節整理了模型作為數據科學家輔助策劃MLLM數據集的應用。第七節列出了一些公開的MLLM數據集，并標明模型在數據策劃中的參與。第八節討論了MLLM未來發展的路線圖。

這篇系統性文獻綜述全面檢視了大型語言模型（LLMs）在預測和異常檢測中的應用，突出了當前研究的現狀、固有挑戰和未來的潛在方向。LLMs在解析和分析大規模數據集以識別模式、預測未來事件和檢測各個領域中的異常行為方面展示了顯著潛力。然而，本綜述識別了幾個關鍵挑戰，阻礙了它們更廣泛的采用和有效性，包括依賴龐大的歷史數據集、在不同上下文中的泛化問題、模型幻覺現象、模型知識邊界內的限制，以及所需的大量計算資源。通過詳細分析，本綜述討論了克服這些障礙的潛在解決方案和策略，如集成多模態數據、學習方法論的進步，以及強調模型可解釋性和計算效率。此外，本綜述概述了可能塑造LLMs在這些領域發展的關鍵趨勢，包括推向實時處理、可持續建模實踐的重要性，以及跨學科合作的價值。最后，本綜述強調了LLMs在預測和異常檢測方面可能產生的變革性影響，同時強調了實現它們全部潛力需要持續的創新、倫理考慮和實際解決方案的必要性。

這項系統性文獻綜述全面考察了大型語言模型（LLMs）在預測和異常檢測應用中的使用，強調了研究的當前狀態、固有挑戰和未來的潛在方向。LLMs在解析和分析大量數據集以識別模式、預測未來事件和檢測各個領域中的異常行為方面展示了顯著潛力。然而，這項綜述識別了幾個關鍵挑戰，這些挑戰阻礙了它們更廣泛的采用和有效性，包括依賴龐大的歷史數據集、在不同上下文中的泛化問題、模型幻覺現象、模型知識邊界的限制，以及所需的大量計算資源。通過詳細分析，本綜述討論了克服這些障礙的潛在解決方案和策略，例如集成多模態數據、學習方法論的進步，以及強調模型可解釋性和計算效率。此外，本綜述概述了可能塑造LLMs在這些領域發展的關鍵趨勢，包括向實時處理的推進、可持續建模實踐的重要性，以及跨學科合作的價值。總之，這項綜述強調了LLMs在預測和異常檢測方面可能產生的變革性影響，同時強調了實現它們全部潛力需要持續的創新、倫理考慮和實際解決方案的必要性。

預測和異常檢測在數據科學領域是至關重要的組成部分，為從網絡安全到金融市場的多個領域提供了基本見解。這些技術在預測即將到來的趨勢和識別偏離規范預期的非典型模式方面起著核心作用，這些能力在廣泛的應用中促進了預防性策略的發展。預測利用歷史數據來對未來事件或趨勢進行知情預測。它涉及對正在分析的情況進行假設選擇，選擇適當的數據集，分析數據，并確定預測。預測是多個行業戰略規劃和決策制定的基石，使組織和政策制定者能夠預測變化，管理風險，并有效分配資源。異常檢測，也稱為離群點檢測，是旨在識別與典型模式或規范顯著偏離的數據點、實體或事件的分析過程。這種方法在自動監控系統中發揮著關鍵作用，特別是在識別潛在有害的離群點，從而保護數據完整性和安全。

預測和異常檢測是分析過程，天生非常適合時間序列或帶時間戳的數據，因為它們尋求理解和利用的信息具有時間性質。時間序列數據是在時間間隔內收集或記錄的數據點序列，通常展示出趨勢、季節性變化和周期性，這是預測技術旨在捕捉并推測到未來的特征。帶時間戳的數據特別有助于異常檢測，因為它允許識別與建立的時間模式的偏差。例如，在網絡安全中，異常檢測系統可以識別可能表明安全漏洞的不尋常訪問模式。在工業環境中，它可能會標記傳感器讀數的意外下降或飆升，從而可能防止設備故障。

本研究著手全面探索LLMs在預測和異常檢測領域的整合和潛力，這些領域傳統上由定量數據分析主導。LLMs在自然語言處理（NLP）中的迅速發展提供了一個前所未有的機會來增強甚至可能革新這些領域。本文旨在彌合LLMs先進的語言處理能力與預測分析和檢測離群點中涉及的預測分析之間的差距。我們深入探討了從LLMs中獲得的定性見解如何補充傳統的定量方法，從而豐富了在包括金融、網絡安全和醫療保健在內的各個領域的分析深度和準確性。此外，這項調查還討論了在LLMs與這些關鍵數據科學應用交叉點的挑戰、倫理考慮和未來研究方向。我們的目標是提供一個全面的視角，不僅闡明了LLMs在這些領域的應用現狀，還激發了跨學科的對話和研究，導航現代數據環境的復雜性，并為預測分析鋪平了創新解決方案的道路。

貢獻概述如下：

這是第一篇全面的系統性文獻綜述（SLR），專門研究LLMs在預測和異常檢測領域的應用。通過這項綜述，我們闡明了LLMs對這些特定任務中的數值和文本數據的獨特影響。

本研究編制了一套指導方針，概述了LLMs在各種任務中的最佳利用方式，為該領域提供了一種結構化的方法來在實際場景中使用這些先進模型。

這項文獻綜述提供了盡可能深入的理論洞察，特別是LLMs處理復雜模式和傳統模型可能忽略的數據細微差別的能力。

本工作為未來圍繞預測和異常檢測建模的研究開辟了新的路徑。

論文接下來的結構安排如下：第2節概述了進行系統性文獻綜述的方法論。第3節提供了LLMs在預測和異常檢測研究當前狀態的概覽。第4節討論了將LLMs應用于這些領域的挑戰和限制。第5節探討了在基于LLM的預測和異常檢測中使用的數據集和數據預處理技術。第6節介紹了評估LLMs在這些任務中表現的評估指標和方法。第7節深入探討了LLMs在預測中的應用，而第8節專注于它們在異常檢測中的應用。第9節討論了使用LLMs在這些領域中可能面臨的潛在威脅和風險。第10節概述了LLMs在預測和異常檢測應用中的未來方向和潛在研究途徑。第11節提供了相關工作的概覽，第12節總結了本文。

大型語言模型（LLMs）的廣闊領域帶來了前所未有的自然語言處理進步，顯著影響了包括預測和異常檢測在內的各種任務。本節提供了LLMs當前狀態和演化的全面概覽，概述了它們的基礎結構、發展軌跡，以及它們在轉換數據分析和預測建模中所扮演的關鍵角色。從LLMs的背景開始，我們追溯了從初期階段到作為當代應用支柱的復雜預訓練基礎模型的語言模型的演化過程。然后，我們分類了LLMs顯示出顯著效果的任務，特別關注預測和異常檢測，以說明它們適用性的廣度。進一步的探索致力于利用LLMs的力量所采用的多樣化方法，包括基于提示的技術、微調機制、零樣本、少樣本學習的利用、重編程策略，以及結合多種方法以提高性能的混合方法。本節旨在讓讀者全面了解LLMs的復雜景觀，為后續部分更深入探索它們的能力和應用奠定基礎。

大型語言模型（LLMs）的出現顯著擴展了異常檢測的視野，為識別多樣化數據集和領域中的不規則性提供了復雜的解決方案。本節全面檢查了LLMs如何被利用來精確指出可能表明錯誤、欺詐、系統故障或網絡威脅的偏離。這一探索從時間序列異常檢測開始，其中LLMs分析順序數據以偵測不尋常模式，造福于依賴持續監控的行業，如金融、制造和能源。接下來，討論轉向異常日志分析，突出LLMs篩查大量日志數據以識別和分類異常的能力，從而提高IT安全和運營效率。關于微服務異常檢測的部分展示了LLMs在云計算和分布式系統這一日益復雜的領域中的應用，它們通過在微服務級別檢測異常，在維護系統健康和安全方面發揮著關鍵作用。這一詳盡的探索旨在闡明LLMs在異常檢測中的前沿方法論和有影響的應用，強調它們在保護和優化現代數字基礎設施中的關鍵作用。

這篇系統性文獻綜述探索了在預測和異常檢測背景下迅速發展的大型語言模型（LLMs）領域，提供了當前方法論、挑戰和未來方向的全面概覽。正如我們所見，LLMs擁有巨大的潛力來轉變這些領域，提供了能夠解析龐大數據集以預測未來事件和以顯著準確性識別偏離常規的復雜工具。然而，這一旅程充滿挑戰，包括依賴廣泛的歷史數據集、泛化問題、幻覺現象、知識邊界，以及對計算效率的需求。

盡管存在這些障礙，前進的道路被有希望的解決方案和創新所照亮。多模態數據源的整合、轉移和元學習的進步、對可解釋性和可信度的關注、推向實時處理和邊緣計算的推動、跨學科合作，以及對可持續建模實踐的承諾，都代表了將塑造LLMs在預測和異常檢測未來的關鍵趨勢。

本綜述強調了在這一領域繼續研究和發展的重要性，突出了對不僅強大和準確，而且透明、適應性強和易于獲取的模型的需求。隨著技術的進步，我們對倫理考慮的方法也必須進步，確保LLMs的部署對社會產生積極貢獻，并且不會加劇現有的不平等或環境問題。

總之，LLMs革新預測和異常檢測的潛力是明確的，但實現這一潛力需要科學界、行業利益相關者和政策制定者的共同努力。通過解決本綜述中概述的挑戰并利用新興趨勢所提供的機會，我們可以期待一個LLMs在引導我們理解現代世界的復雜性、推動對全社會有益的見解和創新中發揮關鍵作用的未來。

推薦系統（RS）已顯著推進了在線內容發現和個性化決策制定。然而，RS中出現的脆弱性促使人們轉向可信賴推薦系統（TRS）。盡管TRS取得了許多進展，但大多數研究側重于數據相關性，而忽視了推薦中的基本因果關系。這一缺陷阻礙了TRS在解決可信賴性問題時識別原因，導致公平性、魯棒性和可解釋性受限。為了彌補這一差距，因果學習作為一類有前途的方法出現，以增強TRS。這些方法基于可靠的因果關系，在減輕各種偏差和噪聲的同時，為TRS提供有洞察力的解釋。然而，這一充滿活力的領域缺乏及時的綜述。本文從因果學習的角度創建了TRS的概述。我們首先介紹面向因果性的TRS（CTRS）的優勢和常見程序。然后，我們識別每個階段的潛在可信賴性挑戰，并將它們與可行的因果解決方案聯系起來，隨后分類CTRS方法。最后，我們討論了推進這一領域的幾個未來方向。

表格推理旨在根據提供的表格以及可選的表格文本描述，按照用戶需求生成相應的問題答案，有效提高獲取信息的效率。近來，使用大型語言模型（LLMs）已成為表格推理的主流方法，因為它不僅顯著降低了注釋成本，還超過了以往方法的性能。然而，現有研究仍然缺乏基于LLM的表格推理工作的總結。由于現有研究的缺乏，哪些技術可以在LLMs時代提高表格推理性能、LLMs為何在表格推理上表現出色、以及如何在未來增強表格推理能力的問題，仍然大部分未被探索。這一差距顯著限制了研究進展。為了回答上述問題并推進LLMs下的表格推理研究，我們呈現了這篇綜述，以分析現有研究，激發未來的工作。在這篇論文中，我們分析了在LLM時代用于提高表格推理性能的主流技術，以及LLMs相比于LLMs之前的模型在解決表格推理問題時的優勢。我們從現有方法的改進和實際應用的擴展兩個方向提供研究指導，以激發未來的研究。

數學推理是人類智能的一個基本方面，可應用于科學、工程、金融和日常生活等各個領域。能夠解決數學問題和證明定理的人工智能系統的發展引起了機器學習和自然語言處理領域的重大興趣。例如，數學是對強大的深度學習模型具有挑戰性的推理方面的測試平臺，推動新的算法和建模的進步。另一方面，大規模神經語言模型的最新進展為使用深度學習進行數學推理開辟了新的基準和機會。本文回顧了過去十年數學推理和深度學習交叉點的關鍵任務、數據集和方法。對現有的基準和方法進行了評估，并討論了該領域未來的研究方向。

1. 引言

數學推理是人類智能的一個關鍵方面，它使我們能夠根據數字數據和語言來理解和做出決定。它適用于科學、工程、金融和日常生活等各個領域，涵蓋了從模式識別和數值運算等基本技能到解決問題、邏輯推理和抽象思維等高級技能的一系列能力。能夠解決數學問題和證明定理的人工智能(AI)系統的發展一直是機器學習和自然語言處理(NLP)領域的一個長期研究重點，可以追溯到20世紀60年代(Feigenbaum et al.， 1963;Bobrow, 1964)。近年來，人們對這一領域的興趣激增，如圖1所示。

深度學習在各種自然語言處理任務中表現出巨大的成功，如問答和機器翻譯(Sutskever等人，2014;Devlin等人，2018)。類似地，研究人員開發了各種用于數學推理的神經網絡方法，已被證明在解決數學應用題解決、定理證明和幾何問題解決等復雜任務方面是有效的。例如，基于深度學習的數學應用題解決者采用了一種帶有注意力機制的序列到序列框架來生成數學表達式作為中間步驟(Wang et al.， 2018a;Chiang and Chen, 2019)。此外，通過大規模語料庫和Transformer模型(Vaswani et al.， 2017)，預訓練語言模型在各種數學任務上取得了有希望的結果。最近，像GPT-3 (Brown et al.， 2020)這樣的大型語言模型(LLM)在復雜推理和上下文學習方面表現出了令人印象深刻的能力，進一步推進了數學推理領域。

最近在數學推理研究方面的進展令人印象深刻和鼓舞人心。本文綜述了深度學習在數學推理中的進展。本文討論了各種任務和數據集(第2節)，并研究了神經網絡(第3節)和預訓練語言模型(第4節)在數學領域的進展。本文還探索了基于大型語言模型的上下文學習的快速進展(第5節)，用于數學推理。進一步分析了現有的基準，發現對多模態和低資源設置的關注較少(第6.1節)。循證研究表明，當前的數值表示是不夠的，深度學習方法對于數學推理不一致(第6.2節)。從泛化和魯棒性、可信推理、從反饋中學習和多模態數學推理等方面改進當前的工作是有益的(第7節)。

2 任務和數據集

在本節中，我們將研究目前用于使用深度學習方法進行數學推理研究的各種任務和數據集。表2列出了該領域常用的數據集。

2.1 數學應用題解決

幾十年來，開發自動解決數學應用題(MWPs)的算法一直是NLP研究人員的興趣(Feigenbaum et al.， 1963;Bobrow, 1964)。數學應用題(也稱為代數或算術應用題)描述了一個簡短的敘述，涉及字符、實體和數量。MWP的數學關系可以用一組方程來建模，這些方程的解揭示了問題的最終答案。一個典型的例子如表1所示。作題涉及加、減、乘、除四種基本算術運算，有一個或多個運算步驟。NLP系統中MWPs的挑戰在于對語言理解、語義解析和多種數學推理技能的需求。

2.2 定理證明

自動化定理證明是人工智能領域長期以來的挑戰(Newell等人，1957;Feigenbaum et al.， 1963)。問題是要通過一系列邏輯論證(證明)來證明一個數學主張(定理)的真實性。定理證明測試了各種技能，例如選擇有效的多步策略，使用背景知識和執行符號操作(例如算術或推導)。

2.3 幾何解題

自動幾何問題求解(GPS)也是數學推理研究中一個長期存在的人工智能任務(Gelernter et al., 1960; Wen-Tsun, 1986; Chou et al., 1996; Ye et al., 2008)，近年來備受關注。與數學應用題不同，幾何問題由自然語言的文本描述和幾何圖形組成。如圖2所示，多模態輸入描述了幾何元素的實體、屬性和關系，目標是找到未知變量的數值解。GPS對于深度學習方法來說是一項具有挑戰性的任務，因為它需要復雜的技能。它涉及到解析多模態信息、進行符號抽象、利用定理知識和進行定量推理的能力。

2.4 數學問答

數值推理是人類智能中的核心能力，在許多自然語言處理任務中發揮著重要作用。除了定理證明和年級數學應用題解決，還有廣泛的以數學推理為中心的問答(QA)基準。本文將這些任務稱為數學問答(MathQA)。近年來出現了大量的數據集。例如，QuaRel (Tafjord et al.， 2019)是一個包含不同故事問題的數據集，涉及19種不同類型的數量。McTaco (Zhou et al.， 2019)研究的是時間常識問題，而Fermi (Kalyan et al.， 2021)研究的是費米問題，其答案只能近似估計。

3 用于數學推理的神經網絡

3.1 數學的Seq2Seq網絡

序列到序列(Seq2Seq) (Sutskever et al.， 2014)神經網絡已成功應用于數學推理任務，如數學應用題解決(Wang et al.， 2017)、定理證明(Yang and Deng, 2019)、幾何問題解決(Robaidek et al.， 2018)和數學問答(Tafjord et al.， 2019)。Seq2Seq模型使用編碼器-解碼器架構，通常將數學推理形式化為序列生成任務。這種方法背后的基本思想是將輸入序列(例如數學問題)映射到輸出序列(例如方程、程序和證明)。常見的編碼器和解碼器包括長短期記憶網絡(LSTM) (Hochreiter和Schmidhuber, 1997)、門控循環單元(GRU) (Cho等人，2014)以及它們的雙向變體:BiLSTM和BiGRU。DNS (Wang et al.， 2017)是第一項使用Seq2Seq模型將應用題中的句子轉換為數學方程的工作。大量工作表明，Seq2Seq模型比之前的統計學習方法具有性能優勢(Ling et al., 2017; Wang et al., 2018a; Huang et al., 2018; Chiang and Chen, 2019; Wang et al., 2019; Li et al., 2019)。

3.2基于圖的數學網絡

Seq2Seq方法在生成數學表達式和不依賴手工特征方面表現出優勢。數學表達式可以被轉換成一種基于樹的結構，例如抽象語法樹(AST)和一種基于圖的結構，它描述了表達式中的結構化信息。然而，Seq2Seq方法沒有顯式地對這些重要信息進行建模。為了解決這個問題，基于圖的神經網絡被開發出來顯式地建模表達式中的結構。 序列到樹(Seq2Tree)模型在編碼輸出序列時顯式建模樹結構(Liu et al., 2019a; Xie and Sun, 2019; Wu et al., 2020; Zhang et al., 2020a; Zaporojets et al., 2021; Qin et al., 2021; Wu et al., 2021b; Lin et al., 2021; Hong et al., 2021a)。例如，(Liu et al.， 2019a)設計了一個Seq2Tree模型，以更好地利用來自方程的AST的信息。相反，Seq2DAG (Cao et al.， 2021)，在生成方程時應用了序列圖(Seq2Graph)框架，因為圖解碼器能夠提取多個變量之間的復雜關系。在編碼輸入的數學序列時，也可以嵌入基于圖的信息(Zhang et al., 2020b; Shen and Jin, 2020; Li et al., 2020b; Wu et al., 2021a)。例如，ASTactic (Yang and Deng, 2019)在ast上應用TreeLSTM (Tai et al.， 2015)來表示定理證明的輸入目標和前提。 3.3基于注意力的數學網絡

注意力機制已成功應用于自然語言處理(Bahdanau等人，2014)和計算機視覺問題(Xu等人，2015;Woo等人，2018)，在解碼過程中考慮了輸入的隱藏向量。最近，研究人員一直在探索它在數學推理任務中的有用性，因為它可以用來識別數學概念之間最重要的關系。例如，Math-EN (Wang et al.， 2018a)是一個數學應用題解決程序，受益于通過自注意力學習到的長距離依賴信息。基于注意力的方法也被應用于其他數學推理任務，如幾何問題求解(Robaidek等人，2018;Chen et al.， 2021a)和定理證明(Yang and Deng, 2019)。人們對各種注意力機制進行了研究，以提取更好的表示，例如Group-ATT (Li et al.， 2019)，它使用不同的多頭注意力來提取各種類型的MWP特征，以及圖注意力，用于提取知識感知信息(Wu et al.， 2020)。

4 預訓練的數學推理語言模型

預訓練語言模型(例如，Devlin等人(2018);Radford et al. (2020);Brown等人(2020))在廣泛的NLP任務上證明了顯著的性能提升(Qiu等人，2020)。通過在大型文本語料庫上進行預訓練，模型學習有價值的世界知識(Guu等人，2020)，這些知識可應用于下游任務，如問題回答(Khashabi等人，2020)、文本分類(Minaee等人，2021)和對話生成(Zhang等人，2019;Qiu等，2022a,b)。類似的想法可以應用于與數學相關的問題，之前的工作表明，預先訓練的語言模型在回答數學應用題時表現良好(Kim et al., 2020; Shen et al., 2021; Yu et al., 2021b; Cobbe et al., 2021; Li et al., 2022b; Jie et al., 2022; Ni et al., 2022)，協助定理證明(Polu and Sutskever, 2020; Han et al., 2022; Wu et al., 2022b; Jiang et al., 2022b; Welleck et al., 2022a)，以及其他數學任務(Lu et al., 2021a; Chen et al., 2022a; Cao and Xiao, 2022; Clark et al., 2020; Chen et al., 2021c; Zhu et al., 2021; Hendrycks et al., 2021; Zhao et al., 2022; Nye et al., 2021; Charton, 2021)。

**然而，盡管大型語言模型在建模自然語言方面表現出色，但將其用于數學推理存在一些挑戰。**首先，預訓練語言模型沒有專門在數學數據上進行訓練。這可能導致與自然語言任務相比，他們對數學相關任務的熟練程度較低。與文本數據相比，用于大規模預訓練的數學或科學數據也較少。其次，預訓練模型的規模繼續增長，使得為特定的下游任務從頭訓練整個模型的成本很高。此外，下游任務可能處理不同的輸入格式或模態，如結構化表(Zhao et al., 2022; Chen et al., 2021c; Zhu et al., 2021)或圖表(Lu et al., 2021a; Chen et al., 2022a; Lu et al., 2021b)。為了應對這些挑戰，研究人員必須通過對下游任務進行微調或適應神經架構來調整預訓練模型。最后，盡管預訓練語言模型可以編碼大量的語言信息，但模型僅從語言建模目標中學習數值表示或高級推理技能可能是困難的(Lin et al.， 2020;Kalyan等人，2021年)。考慮到這一點，最近有研究調研了從基礎課程開始注入數學相關技能(Geva et al., 2020; Feng et al., 2021; Wu et al., 2021d)。

5 .基于上下文的數學推理學習

大型語言模型(LLM)，如GPT3 (Brown et al.， 2020)，最近徹底改變了自然語言處理(NLP)領域，特別是由于其強大的少樣本上下文學習能力(Brown et al.， 2020)。上下文學習(ICL)使LLM能夠通過在推理時提供一些任務示例作為條件來執行目標任務，而無需更新模型參數(Radford et al., 2020; Brown et al., 2020)。ICL允許用戶快速為新用例構建模型，而無需擔心為每個任務進行微調和存儲大量新參數，因此現在被廣泛用于少樣本設置(Min等人，2022)。一個上下文中的例子通常包含一個輸入-輸出對和一些提示詞，例如，請從列表中選擇最大的數字。輸入:[2,4,1,5,8]。輸出:8，而few-shot通過給出多個示例來工作，然后是一個最終輸入示例，模型預計將預測輸出。然而，這種標準的少次提示(在測試時示例前給LLM提供輸入-輸出對的上下文示例)尚未被證明足以在數學推理等具有挑戰性的任務上取得高性能(Rae等人，2021)。

結論：

本文對數學推理的深度學習進行了全面的綜述。回顧了已經使用的各種任務和數據集，并討論了已經采取的各種方法，包括早期的神經網絡，后來的預訓練語言模型和最近的大型語言模型。還確定了現有數據集和方法中的幾個差距，包括對低資源設置的關注有限、計算能力表示不足和推理能力不一致。最后，對未來的研究方向進行了展望，并指出了該領域進一步探索的潛力。本文的目標是為對發展數學推理深度學習感興趣的讀者提供一個全面而有用的資源。為了幫助我們完成這項工作，我們創建了一個閱讀列表，并將在//github.com/lupantech/dl4math的GitHub存儲庫中不斷更新

近年來，圖神經網絡在文獻分類中得到了廣泛的應用。然而，現有的方法大多是基于沒有句子級信息的靜態詞同現圖，這帶來了三個挑戰:(1)詞的歧義性(2)詞的同義性(3)動態上下文依存。為了解決這些問題，我們提出了一種新的基于GNN的稀疏結構學習模型用于文檔分類。具體地說，文檔級圖最初是由句子級詞同現圖的斷開并集生成的。模型收集了一組可訓練的連接句子間不相連詞的邊，利用結構學習對動態上下文依賴的邊進行稀疏選取。具有稀疏結構的圖可以通過GNN聯合利用文檔中的局部和全局上下文信息。在歸納學習中，將改進后的文檔圖進一步輸入到一個通用的讀出函數中，以端到端方式進行圖級分類和優化。在幾個真實世界數據集上的大量實驗表明，提出的模型優于最先進的結果，并揭示了學習每個文檔稀疏結構的必要性。

//www.zhuanzhi.ai/paper/63b66dc21199c294e92d3703a5444d25