亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

物體姿態估計是計算機視覺領域的一個基本問題，廣泛應用于增強現實和機器人技術中。在過去的十年中，由于其出色的準確性和魯棒性，基于深度學習的模型已逐漸取代依賴于工程化點對特征的傳統算法。然而，現代方法中仍存在幾個挑戰，包括對標記訓練數據的依賴、模型的緊湊性、在挑戰條件下的魯棒性，以及對新穎未見物體的泛化能力。近期關于這一領域不同方面的進展、突出挑戰和未來有希望的方向的綜述尚缺失。為填補這一空白，我們討論了基于深度學習的物體姿態估計的最新進展，涵蓋問題的所有三種表述，即實例級、類別級和未見物體姿態估計。我們的綜述還涵蓋了多種輸入數據模態、輸出姿態的自由度、物體屬性和下游任務，為讀者提供了該領域的全面理解。此外，它討論了不同領域的訓練范式、推理模式、應用領域、評估指標和基準數據集，以及報告了當前最先進方法在這些基準上的表現，從而幫助讀者選擇最適合其應用的方法。最后，該綜述識別了關鍵挑戰，回顧了當前趨勢及其優缺點，并確定了未來研究的有希望的方向。我們也持續追蹤Awesome-Object-Pose-Estimation上的最新作品。

物體姿態估計是計算機視覺中的一個基本問題，目的是估計給定圖像中物體相對于拍攝該圖像的相機的姿態。物體姿態估計對于增強現實[1]、[2]、[3]、機器人操控[4]、[5]、手-物體互動[6]、[7]等領域至關重要。根據應用需求，物體姿態可估計到不同的自由度（DoF），例如只包括3D旋轉的3DoF，還包括3D平移的6DoF，或者除了3D旋轉和3D平移外還包括估計物體的3D大小的9DoF。 在深度學習出現之前，許多基于手工制作特征的方法如SIFT [8]、FPFH [9]、VFH [10]和點對特征（PPF）[11]、[12]、[13]、[14]被設計用于物體姿態估計。然而，當面對復雜場景時，這些方法在準確性和魯棒性上表現不足[15]、[16]。這些傳統方法現已被基于數據的深度學習方法所取代，后者利用深度神經網絡的力量從數據中學習高維特征表示，從而提高準確性和魯棒性，以應對復雜環境。

基于深度學習的物體姿態估計方法可以根據問題表述分為實例級、類別級和未見物體方法。圖1顯示了這三種方法的比較。早期方法主要是實例級[16]、[17]、[18]、[19]、[20]，訓練用于估計特定物體實例的姿態。實例級方法可以進一步分為基于對應關系、基于模板、基于投票和基于回歸的方法。由于實例級方法是在特定實例數據上訓練的，它們可以為給定的物體實例精確估計姿態。然而，它們的泛化性能較差，因為它們僅適用于訓練它們的實例。此外，許多實例級方法[18]、[21]需要物體的CAD模型。鑒于這些限制，Wang等[22]提出了首個類別級物體姿態和大小估計方法。它們可以泛化到類內未見物體，無需重新訓練和在推理期間使用CAD模型。隨后的類別級方法[23]、[24]、[25]、[26]、[27]可以分為基于形狀先驗和無形狀先驗的方法。雖然這些類別級方法提高了類別內的泛化能力，但仍需要為每個物體類別收集和標記大量訓練數據。此外，這些方法無法泛化到未見的物體類別。

最近，一些未見物體姿態估計方法[1]、[3]、[28]、[29]、[30]已經被提出，可以進一步分為基于CAD模型和基于手動參考視圖的方法。這些方法進一步增強了物體姿態估計的泛化性，即它們可以泛化到未見的物體而無需重新訓練。然而，它們仍然需要獲取物體的CAD模型或標注物體的幾張參考圖像。 盡管在物體姿態估計領域取得了顯著進展，但當前方法中仍存在幾個挑戰，例如依賴標記訓練數據、難以泛化到新穎未見物體、模型緊湊性以及在挑戰性場景中的魯棒性。為了使讀者能迅速掌握物體姿態估計的當前最先進（SOTA）水平并促進這一方向的進一步研究，提供對所有相關問題表述的全面審查至關重要。對現有學術文獻的仔細審查顯示，對物體姿態估計各種問題表述的綜合性審查存在顯著差距。當前流行的審查[31]、[32]、[33]、[34]、[35]往往表現出狹窄的焦點，要么局限于特定輸入模態[32]、[33]，要么限于特定應用領域[34]、[35]。此外，這些審查主要審查實例級和類別級方法，因此忽視了該領域最實際的問題表述——未見物體姿態估計的探索。這阻礙了讀者對該領域的全面了解。

例如，Fan等[33]提供了有關基于RGB圖像的物體姿態估計的寶貴見解。然而，他們的焦點限于單一模態，阻礙了讀者對不同輸入模態的方法的全面了解。相反，Du等[34]僅檢查了機器人抓取任務背景下的物體姿態估計，這限制了讀者僅從單一特定應用的角度理解物體姿態估計。

為了解決上述問題，我們提出了一份全面的關于基于深度學習方法的物體姿態估計的最新進展的綜述。我們的綜述涵蓋了所有問題表述，包括實例級、類別級和未見物體姿態估計，旨在為讀者提供該領域的全面理解。此外，我們還討論了不同領域的訓練范式、應用領域、評估指標和基準數據集，以及報告了現有最先進方法在這些基準上的表現，幫助讀者選擇最適合其應用的方法。此外，我們還強調了流行趨勢，并討論了它們的優點和缺點，同時確定了仍存在的關鍵挑戰和未來研究的有希望方向。本綜述的分類在圖2中顯示。

我們的主要貢獻和亮點如下： ? 我們提出了一份關于基于深度學習的物體姿態估計方法的全面綜述。這是第一份涵蓋該領域所有三種問題表述的綜述，包括實例級、類別級和未見物體姿態估計。 ? 我們的綜述涵蓋了流行的輸入數據模態（RGB圖像、深度圖像、RGBD圖像）、輸出姿態的不同自由度（3DoF、6DoF、9DoF）、用于姿態估計和跟蹤任務的物體屬性（剛性、關節）。涵蓋所有這些方面對于提供給讀者一個完整的圖景至關重要，這是現有綜述所忽視的一個方面，它們僅涵蓋了其中的幾個方面。 ? 我們討論了不同領域的訓練范式、推理模式、應用領域、評估指標和基準數據集，以及報告現有最先進方法在這些基準上的表現，以幫助讀者選擇最適合部署在其應用中的方法。 ? 我們突出了過去十年中物體姿態估計技術的演變中的流行趨勢，并討論了它們的優點和缺點。我們還確定了在物體姿態估計中仍存在的關鍵挑戰，以及指導未來努力的有希望研究方向。 本文的其余部分安排如下。第2節回顧了用于評估三類物體姿態估計方法的數據集和指標。然后我們在第3節回顧實例級方法，在第4節回顧類別級方法，在第5節回顧未見物體姿態估計方法。在上述三個部分中，我們還討論了與特定類別中代表性方法相關的訓練范式、推理模式、挑戰和流行趨勢。接下來，第6節回顧了物體姿態估計的常見應用。最后，第7節總結了本文并根據該領域的挑戰提供了未來研究方向的展望。

黑盒AI模型的激增促使需要解釋其內部機制并證明它們的可靠性，特別是在高風險應用領域，如醫療保健和自動駕駛。由于缺乏可解釋AI（XAI）的嚴格定義，開發了大量與可解釋性、可解讀性和透明度相關的研究，以從不同角度解釋和分析模型。因此，面對一長串的論文，要全面了解XAI研究的所有方面變得具有挑戰性。考慮到神經網絡在AI研究中的流行，我們將關注范圍縮窄到XAI研究的一個特定領域：基于梯度的解釋，這可以直接用于神經網絡模型。在這篇綜述中，我們系統地探索了迄今為止基于梯度的解釋方法，并引入了一個新的分類體系，將它們分為四個不同的類別。然后，我們按時間順序介紹技術細節的精髓，并強調算法的演變。接下來，我們引入人類和量化評估來衡量算法性能。更重要的是，我們展示了XAI的一般挑戰和基于梯度解釋的特定挑戰。我們希望這篇綜述能幫助研究人員理解最新進展及其相應的缺點，這可能會激發他們在未來工作中解決這些問題的興趣。

如今，我們目睹了在各個領域內神經網絡模型的顯著激增，例如，計算機視覺 [28, 43, 54]、自然語言處理 [10, 53, 97]、機器人學 [9, 47] 和醫療保健 [36, 75]。由于它們不透明的決策過程，AI模型可能會對少數民族表現出偏見或做出意外且可能災難性的錯誤。例如，ProPublica報告稱，COMPAS司法系統對非洲裔美國人的被告存在偏見，預測他們重新犯罪的可能性較高 [35]。Ribeiro等人 [70] 觀察到，模型在背景中存在雪的情況下區分狼和哈士奇犬。因此，迫切需要闡明內部過程，理解決策機制，并增強用戶對AI系統的信任。 可解釋AI（XAI）指的是一系列旨在推理和理解模型行為、提供洞見以糾正模型錯誤/偏見，并最終使用戶接受并信任模型預測的技術。根據Guidotti等人 [26] 的分類，如圖1所示，XAI可以被分類為以下方面：先驗解釋和事后解釋。先驗解釋努力開發用戶可以直接理解的透明模型，無需額外的解釋工具，例如，決策樹 [69] 和決策規則 [31]。事后解釋旨在通過利用輸入特征與模型預測之間的關系來解釋訓練過的黑盒模型。事后解釋可以進一步分為模型解釋 [13, 45]、結果解釋 [70, 84] 和模型檢查 [18, 23]。模型解釋涉及使用在全局級別上可解釋和透明的模型來近似黑盒模型的整體邏輯。結果解釋專注于探索特定預測的背后原因，屬于局部級別。模型檢查旨在提供視覺和文本表示，以便于理解模型的工作機制。 在結果解釋中通常采用兩種方法：特征歸因（也稱為特征重要性方法）和反事實解釋。特征歸因直接識別輸入特征對模型輸出的重要性，而反事實解釋探索輸入空間中的最小且有意義的擾動，以回答輸入值的哪些變化可能會影響模型的預測。為了更深入地探索兩種方法之間的聯系，我們引用了Kommiya Mothilal等人的研究 [42]。

1.1 本綜述的目的

由于缺乏一個普遍且嚴格的可解釋AI（XAI）定義，大量與可解釋性、可解讀性、透明度及其他相關概念的研究都屬于XAI領域。在谷歌學術上搜索“可解釋AI”關鍵詞會得到超過200,000個結果，這給在單一出版物內全面闡述XAI的所有方面帶來了巨大挑戰。盡管已有許多關于XAI的綜述文章或書籍章節 [2, 5, 11, 14, 14, 21, 26, 30, 51,58, 73, 85]，但大多數僅簡要描述并展示了XAI的某個特定子領域，如基于梯度的特征歸因的早期工作。這種對特定子領域的欠充分探索激勵我們全面概述基于梯度解釋的最新進展。先前的綜述旨在幫助從業者快速掌握XAI的各個方面，而我們的綜述文章深入探討了基于梯度解釋方法的算法細節。通過這樣做，我們的目的是幫助研究人員在更多應用中采用適當的方法，并在這一狹窄領域內促進創新突破。 基于不同的方法論途徑，特征歸因包含以下研究分支：基于擾動的方法 [16, 17, 95]、基于替代的方法 [25, 70]、基于分解的方法 [6, 8, 59, 60] 以及基于梯度的方法 [79, 81, 84]。然而，在本文中，我們專注于基于梯度的方法，出于以下考慮。

梯度的直覺。梯度量化了輸入特征中的無窮小變化如何影響模型預測。因此，我們可以利用梯度及其變體有效地分析特征修改對模型預測結果的影響。

神經網絡的無縫集成。神經網絡在各個領域獲得了極大的流行度和令人印象深刻的性能。在模型訓練后，可以通過反向傳播輕松獲得梯度。因此，基于梯度的解釋能夠直接解釋神經網絡，無需對模型本身進行任何更改。

滿足公理化屬性。由于缺乏真實基準，特征歸因方法可能會產生不同的解釋，這導致了確定哪個解釋更可信的挑戰。基于梯度的解釋是有意設計來滿足某些公理化原則的，例如敏感性和完整性，確保產生合理且期望的解釋。

1.2 我們的貢獻

我們綜述的貢獻總結如下：

我們提出了一個新穎的分類體系，系統地將基于梯度的特征歸因分為四組。隨后，我們介紹了每組算法的研究動機和技術細節的要點。

我們全面概述了一系列廣泛接受的評估指標，包括人類評估和客觀指標，使得可以定量和定性地比較各種解釋方法的性能。

我們總結了XAI中的一般研究挑戰以及基于梯度解釋特有的特定挑戰，這些挑戰可能會滋養并為未來工作中的潛在改進奠定基礎。

數據可視化以圖表形式在數據分析中發揮著關鍵作用，提供關鍵洞察并輔助做出知情決策。隨著近年來大型基礎模型的興起，自動圖表理解取得了顯著進展。基礎模型，如生成預訓練變換器（Generative Pre-trained Transformers, GPT），已經革新了多種自然語言處理（NLP）任務，并越來越多地應用于圖表理解任務中。這篇綜述文章提供了這些基礎模型背景下圖表理解最近發展、挑戰和未來方向的全面概覽。文章從背景部分開始，定義圖表理解，概述問題表述，并討論研究圖表理解任務至關重要的基本構建塊，包括視覺編碼器、圖表到表格的翻譯、OCR模塊、文本編碼器和文本解碼器。在任務和數據集部分，我們探討了圖表理解內的各種任務，包括圖表問答、圖表字幕制作、圖表到表格轉換、圖表事實核查和圖表字幕事實錯誤校正。我們討論了評價指標和圖表及文本輸入的來源。然后檢視了建模策略，包括分類基礎和生成基礎的方法，以及增強圖表理解性能的工具增強技術。此外，我們討論了每項任務的最新性能并探討如何提升性能。在一個專門的部分中，我們討論了挑戰和未來方向，強調了諸如特定領域圖表、以及關于真實性、覆蓋范圍、相關性、穩健性、公平性和數據偏見的評價標準等問題。我們還深入探討了這些多模態基礎模型的組成部分，包括調整LM主干的必要性、多階段訓練過程的有效性，以及合成數據的潛在充分性。探索了與用戶或其他系統交互的代理導向設置。最后，我們討論了如自然圖像理解、表格理解和文檔理解等相關任務，提供了對視覺和文本數據理解更廣闊景觀的洞察。這篇綜述文章為自然語言處理、計算機視覺和數據分析領域的研究人員和實踐者提供了一個全面的資源，為利用大型基礎模型進行圖表理解的未來研究提供了寶貴的見解和方向。本文提及的研究以及新興的研究將持續更新于： //github.com/khuangaf/Awesome-Chart-Understanding。

在信息交流中圖表理解的重要性：在我們當代的多媒體信息世界里，數據的體量和復雜性持續膨脹，圖表在促進事實信息的連貫且富有洞察力的交流、傳達見解和做出決策中的角色至關重要。跨越學術界、科學研究、數字媒體和商業領域，圖表作為將原始數據轉換成可理解的視覺敘事的不可或缺的工具。它們能夠以簡潔直觀的格式封裝復雜的數據集，使決策者能夠迅速把握關鍵見解，輔助知情推理和戰略規劃。認識到圖表在現代信息傳播中的關鍵作用，計算社區持續對自動圖表理解表現出興趣，如自動圖表理解的大量研究所證明。特別是，關于圖表問答、圖表字幕制作、圖表到表格轉換、圖表事實核查和圖表字幕事實錯誤校正的工作奠定了探索圖表理解技術中圖表語義復雜性的基礎框架。

在大型基礎模型時代的圖表理解挑戰與機遇：傳統的圖表理解工作聚焦于微調方法，通常在領域可移植性和推理魯棒性方面遇到限制。令人興奮的是，大視覺-語言基礎模型（例如，GPT-4V、LLaVA）的出現引發了在自動推理能力上的范式轉變，催化了包括通過基于文本的提示實現強零/少次推理能力在內的各種多媒體認知任務的前所未有的進步。但在這一變革性創新的景觀中，圖表理解領域仍舊深陷固有的復雜性和巨大挑戰。圖表因其多面向的視覺表現和細膩的語義呈現出一系列獨特的障礙。從條形圖、折線圖到餅圖和散點圖，每種圖表類型都采用獨特的視覺語法來傳達數據關系，需要超越簡單的像素級模式識別的復雜解釋機制。圖表作為揭示如新興趨勢、挑戰假設的異常值和變量間可能不會從僅僅是表格形式的原始數據立即顯現的關系的深刻見解的渠道。它們使得可以進行跨數據點的比較分析，為簡潔地并置不同實體或時間段提供一個視覺平臺。此外，從簡單的數字關系到復雜的多維實體，底層數據集的內在多樣性為圖表理解任務增加了另一層復雜性。盡管面臨這些挑戰，自動圖表理解位于機遇與影響的交匯處，提供了一扇解鎖埋藏在視覺敘事像素中的可行動見解的大門。通過利用大型基礎模型的能力，圖表理解展示了在彌合原始視覺數據與有意義見解之間的差距方面的提升潛力，從而使技術可擴展地用于易于訪問的應用和增強人類認知。

盡管已有數項研究綜述了圖表理解研究的領域，但這些綜述往往在全面性或特定性上表現出一定的缺口。一些綜述沒有涵蓋在圖表理解研究中使用的現代數據集，以及最新的建模方法，如涉及預訓練的視覺-語言模型和大型基礎模型。相反，其他綜述主要集中在可視化方面（即數據轉換為圖表的過程），因此忽視了圖表解釋的細膩任務。本綜述旨在彌合這些缺口。我們首先在第2節定義自動圖表理解和問題表述的基本構建塊。我們討論了圖表理解的多面性，包括從解釋圖表視覺到分析底層數據的任務，以及概述了圖表理解的結構性建模組件，如視覺編碼器、OCR模塊、文本解碼器及其在將原始圖表圖像和文本查詢轉換為有意義見解中的角色。然后，在第3節，我們檢查了推動圖表理解研究的數據集和模型評估指標。本節分析了這些數據集的來源、多樣性和局限性，提供了對當前圖表理解數據景觀的見解。它還回顧了各種評估指標，強調了魯棒且細膩的評估方法的必要性。有了這些特征的見解，我們進一步提供了自動圖表理解的流行建模策略。第4節深入探討了圖表理解中的多樣化建模策略，包括從自然圖像理解、視覺-語言預訓練和基礎模型，如大型語言模型（LLMs）和大型視覺-語言模型（LVLMs）的調整。特別是，我們強調了視覺編碼器和文本解碼器在模型有效性上的選擇影響，并討論了工具增強在圖表理解中的作用。我們通過展示不同圖表理解任務上的最新性能以及我們如何改進它們來結束這一部分。最后，第5節討論了圖表理解中的挑戰和未來方向。我們強調了特定領域圖表的重要性、對全面評估指標的需求，以及對增強模型魯棒性和多功能性的敵對設置的潛力。我們還在第6節討論了圖表理解如何位于與自然圖像理解、表格理解和文檔理解相關工作的交匯處。本綜述文章通過確定未來研究的關鍵領域結束，如為復雜圖表開發模型、完善評估指標和多樣化數據集。我們不僅提供了對圖表理解當前狀態的深入概覽，而且為這一激動人心的數據可視化與機器學習交叉領域的未來進展奠定了基礎。

深度學習已經成功應用于許多應用領域，但其在時間序列預測方面的優勢顯現較慢。例如，在著名的 Makridakis（M）競賽中，傳統統計或機器學習技術的混合應用直到最近才開始表現突出。隨著深度學習的最新架構進展（例如，帶有注意力機制的編碼器-解碼器、變換器和圖神經網絡）被應用于時間序列預測，深度學習開始展現顯著優勢。然而，在大流行病預測領域，深度學習模型仍面臨挑戰：時間序列長度不足以進行有效訓練、對累積的科學知識缺乏認識、以及模型的可解釋性問題。為此，基礎模型（具有廣泛預訓練的大型深度學習模型）的開發使得模型能夠理解模式和獲得知識，這些知識可以在廣泛訓練數據變得可用之前應用于新的相關問題。此外，深度學習模型還可以利用包括知識圖譜和用科學領域知識微調的大型語言模型等大量知識。目前，正在研究如何將這些知識利用或注入到深度學習模型中。在這篇綜述中，我們回顧了幾種最新的建模技術，并提出了進一步工作的建議。1 引言

過去四年對 COVID-19 的經歷向像國家科學基金會（NSF）和疾病控制與預防中心（CDC）這樣的組織清楚地表明，我們需要為下一次大流行做更好的準備。截至 2024 年 1 月 13 日星期六，僅在美國，COVID-19 就造成了 6,727,163 例住院和 1,169,666 例死亡（美國首例 1/15/2020，美國首次死亡 2/29/2020）。下一次大流行可能會更具傳染性，帶來更大的影響。有一些顯著的成功，例如能夠比以往方法更快開發的信使 RNA 疫苗。然而，檢測大流行開始和預測其軌跡的記錄還有改進的空間。 大流行病準備包括持續監測的需求。在復雜的隨機系統中預測罕見事件非常困難。從出現前到流行病再到大流行的過渡，只有在事后才能清楚地看到。使用模型進行大流行預測也非常重要。由于其高影響和可能造成的生命損失，復雜的模型被用于預測颶風的未來。大流行的影響可能會更大。與天氣預報一樣，準確的大流行預測需要三件事：（1）模型的收集，（2）準確的數據收集，以及（3）數據同化。如果這三者中的任何一個出現問題，準確性就會下降。準確性下降時，干預和控制機制無法最優化地應用，導致公眾的挫敗感。 在 COVID-19 大流行期間，數據每天都在收集，但如圖 1 所示，存在一個非常強烈的每周模式，主導了新增死亡曲線，這是報告流程的人為影響。另外，注意住院人數和重癥監護病房（ICU）患者數量似乎是很好的領先指標。 由于每日死亡人數的鋸齒形模式，一些建模研究發現使用每周數據更好。在 COVID-19 后期，日報停止，只剩下每周報告。不幸的是，這意味著用于訓練深度學習模型的數據大大減少。應用的建模技術是統計的、機器學習的或基于理論的腔室模型，這些模型是對易感-感染-康復（SIR）或易感-暴露-感染-康復（SEIR）模型的擴展。這些狀態之間的轉換由微分方程控制，其速率常數可以從數據中估計。不幸的是，估計例如處于暴露狀態的個體的人口可能非常困難。另外兩個類別，統計和機器學習（包括深度學習和基礎模型），可以說更適應可用數據，因為它們尋找重復的模式、依賴過去和領先指標。兩者都可以被構建為多變量時間序列（MTS）預測問題，盡管 MTS 分類和異常檢測的相關問題也非常重要。然而，與理論的聯系是可取的，可能會導致更好的長期預測，以及對現象的更深入理解。這導致了對理論指導的數據科學（TGDS）[52, 82]和物理信息神經網絡（PINN）[51]的研究。統計和機器學習技術相互補充。例如，建模研究應該有可靠的基線模型，根據我們的研究，應該包括隨機游走（RW）、自回歸（AR）和季節性、自回歸、整合、移動平均帶外部變量（SARIMAX）。當訓練數據有限時，SARIMAX 通常與深度學習模型競爭。如果使用每周數據，那么在大流行的早期階段，訓練數據將是有限的，正是準確預測最需要的時候。像 SARIMAX 這樣的基線也可以幫助進行超參數調整，因為有足夠的數據，人們會期望深度學習模型表現良好；SARIMAX 的結果可以幫助衡量這一點。此外，SARIMAX 已被用于數據增強，以幫助訓練深度學習模型[42]。 展望未來，這篇擴展了 [80] 的綜述論文提出了一個問題：人工智能（AI），特別是深度學習，如何被用于提高大流行病準備和預測，以便更好地深度學習模型、更可解釋的模型、使用大型語言模型（LLM）訪問科學文獻、開發和使用知識庫和知識圖譜，以及更好和持續的評估大流行干預和控制。

本文的其余部分組織如下：第 2 節提供了 MTS 預測的兩波改進的概述。第 3 節重點關注了最近在 MTS 預測方面的進展，著眼于變換器和相關建模技術。這些建模技術越來越努力更好地捕捉時間動態，并傾向于成為國家級 COVID-19 預測的頂尖表現者。第 4 節重點關注了最近在空間-時間域中的 MTS 預測進展，各種類型的圖神經網絡在這里有自然的吸引力。這些建模技術傾向于應用于州級 COVID-19 數據。第 5 節討論了用于時間序列預測的基礎模型，即大型預訓練深度學習模型。第 6 節討論了各種形式的知識，如知識圖譜，它是預測模型的自然補充。這些知識可以用于提高預測準確性，檢查預測的合理性（特別是長期預測的問題），指導建模過程，并幫助解釋建模結果。第 7 節給出了當前文獻中發現的幾種建模技術的有效性比較的元研究。最后，第 8 節給出了總結，包括展望未來 MTS 可能的發展方向。

多模態（視覺-語言）模型，如CLIP，正逐漸取代傳統的監督預訓練模型（例如，基于ImageNet的預訓練）成為新一代的視覺基礎模型。這些模型通過從數十億個互聯網圖像-文本對中學習，形成了強大且一致的語義表示，并可以在零樣本的情況下應用于各種下游任務。然而，在醫學成像和遙感等一些細粒度領域，多模態基礎模型的性能往往不盡人意。因此，許多研究者開始探索這些模型的少樣本適應方法，逐漸衍生出三種主要技術途徑：1）基于提示的方法；2）基于適配器的方法；3）基于外部知識的方法。盡管如此，這一迅速發展的領域產生了大量結果，但尚無全面的綜述來系統地整理研究進展**。因此，在這篇綜述中，我們介紹并分析了多模態模型少樣本適應方法的研究進展，總結了常用的數據集和實驗設置，并比較了不同方法的結果**。此外，由于現有方法缺乏可靠的理論支持，我們推導了多模態模型的少樣本適應泛化誤差界限。該定理揭示了多模態基礎模型的泛化誤差受三個因素的約束：域間差異、模型容量和樣本大小。基于此，我們從以下幾個方面提出了三種可能的解決方案：1）自適應領域泛化；2）自適應模型選擇；3）自適應知識利用。

人工智能正在越來越多地應用于廣泛的關鍵行業，包括語音識別、圖像識別、自動駕駛、智能制造、醫學診斷、金融風險控制等。在用人工智能技術賦能各個領域的過程中，經常會遇到與碎片化和多樣化需求相關的挑戰。過去，模型通常具有較小的參數規模和有限的泛化能力。一個模型只能應對單一場景，導致成本高昂和泛化性能差。近年來，越來越多的研究者開始關注具有更強泛化能力的預訓練基礎模型。

自2018年以來，如BERT [1]、盤古 [2]、PaLM [3]、GPT4 [4]等基礎模型的訓練數據和參數規模呈指數級增長，導致在各種自然語言理解任務中的性能顯著提高。與此同時，基礎模型的發展也逐漸從單一模態（如文本、語音、視覺等）演變為多模態融合。越來越多的研究機構開始關注多模態預訓練基礎模型，如ViLBERT [5]、CLIP [6]、DeCLIP [7]、FILIP [8]、PyramidCLIP [9]、OFA [10]、BEiT-3 [11]、ERNIE-ViL [12]和Data2vec [13]。

2021年初，OpenAI發布了CLIP，這是一個大規模的多模態模型，用于對齊圖像和文本，它使用數十億互聯網數據進行預訓練，通過對比學習獲得豐富的視覺語言知識。雖然預訓練的CLIP模型可以在推理階段通過使用文本特征作為分類權重來實現零樣本預測，但這種方法通常只在諸如ImageNet之類的通用領域中表現出色，在處理某些細粒度領域的數據時表現不佳。這是因為這些模型在預訓練階段主要使用通用領域的數據，而在面對特定的下游任務時，數據分布往往與預訓練數據不同。因此，有必要使用下游任務的特定數據對模型進行微調。為了通過微調提高模型的泛化性能，研究人員首先提出了基于提示的微調適應方法（例如，CoOp [14]），該方法將CLIP文本端的固定文本輸入視為可學習的向量，然后使用少量樣本進行微調，以適應下游任務。另一種常用于增強少樣本適應能力的方法是基于適配器的微調，如CLIP-Adapter [15]。這種方法涉及在預訓練模型中添加簡單的適配器結構，然后使用少量樣本數據微調適配器參數，使基礎模型適應下游任務。此外，引入基礎語言模型或外部知識（如知識圖譜，例如，CuPL [16]）的方法可以幫助模型更好地處理未見樣本，增強其語義理解和魯棒性，從而提高其在少樣本適應任務中的性能。上述三種方法已廣泛用于各種下游適應任務，但缺乏一個全面的綜述來系統地整理這些方法。因此，我們詳細闡述并比較這些方法，并探索它們的未來發展方向，以進一步提高預訓練模型的性能和泛化能力。

本文的貢獻如下：

? 我們全面回顧和整理了多模態少樣本適應方法，并將現有方法分類為基于提示的微調適應方法、基于適配器的微調適應方法、基于外部知識的適應方法以及其他方法。在基于提示的微調適應方法中，我們進一步將其細分為文本提示微調、視覺提示微調、多模態提示和多任務提示方法。關于基于適配器的微調適應方法，我們將其分類為單模態適配器微調和多模態適配器微調。在使用外部知識的方法中，我們區分了帶有外部知識的預訓練方法和利用外部知識的下游適應方法。

? 我們回顧了11個常用數據集，用于評估多模態基礎模型的下游泛化性能。我們提供了四種實驗設置的詳細描述，以驗證多模態基礎模型在少樣本條件下的適應性能。展示了四種不同設置的實驗結果，并對這些結果進行了比較分析。我們強調了不同類型方法能有效提高多模態基礎模型泛化性能的原因。

? 我們討論了現有多模態基礎模型的少樣本適應方法的共同缺點，并分析了域適應問題。從統計機器學習理論中跨域泛化的誤差界限出發，我們推導了多模態基礎模型的少樣本適應誤差界限，揭示了現有方法面臨的主要挑戰是上游和下游域分布的無效適應、模型選擇的適應性不足以及數據和知識利用不足。

II. 多模態基礎模型的預訓練

近年來，大規模預訓練模型已受到學術界和工業界的廣泛關注。最初，基礎模型預訓練的相關工作主要集中在自然語言處理領域，在這個領域，如BERT [1]和GPT [17]這樣的自監著學習語言模型展現出比傳統方法更好的自然語言理解和生成能力。在計算機視覺領域，范式也從監督預訓練轉變為自監督預訓練。自監督預訓練的視覺模型性能顯著提高，從最初基于數據增強的模型（如SimCLR [18]和MoCo [19]）演變到最近基于隨機掩蔽方法的模型（如MAE [20]和BEiT [21]）。然而，預訓練的語言模型無法接收視覺輸入，導致它們無法將語言理解的優勢擴展到多模態下游任務（如視覺問答VQA）。另一方面，用于視覺預訓練的監督信號通常僅限于數據增強和隨機掩蔽，這阻止了它們在開放世界中學習更豐富的語義表征。因此，我們最近見證了大規模預訓練多模態模型的迅速發展，這些模型結合了視覺和語言模態，如表I所示。

III. 多模態基礎模型的少樣本適應方法

為了有效提高模型在特定領域的泛化性能，有必要使用有限的樣本對多模態基礎模型進行微調，使其具有更廣泛的應用。這些方法可以定義為多模態基礎模型的少樣本適應方法。本章將分為四個部分，提供現有多模態基礎模型方法的詳細概述，即：基于提示的微調適應方法、基于適配器的微調適應方法、基于外部知識的適應方法，以及其他方法。

A. 基于提示的微調適應方法

1. 文本提示基微調適應：在自然語言處理領域，基于提示的微調適應[34]–[38]是解決大型語言模型少樣本泛化問題的經典方法。它涉及將文本輸入的一部分作為可學習向量，并使用下游任務數據對其參數進行微調，使模型能夠適應特定的下游任務。這種方法的優勢在于它避免了文本提示的手動設計，有效地通過僅對模型輸入的特定部分進行微調來減輕過擬合風險。受此啟發，一些研究人員也開始為多模態基礎模型設計基于提示的微調適應方法。CoOp [14]首次將提示學習的思想納入多模態預訓練基礎模型的下游任務適應中。它使用可學習的詞嵌入來自動構建上下文提示，而不是為每個任務手動設計提示模板。如圖1所示，單個類別標簽{object}被轉換為綜合文本提示“[V]1, [V]2, ..., [V]m, {object}”。其中，[V]i代表可調整的詞向量。然后計算分類損失以使用下游任務數據微調這些詞向量，使模型能夠自主獲取適應下游任務的文本輸入。隨后，Zhou等人[39]引入了條件性上下文優化（CoCoOp），該方法構建了一個元網絡來學習圖像的特征。這些特征然后與提示向量結合以增強CoOp在新類別數據上的泛化性能。為了有效利用預訓練模型的零樣本能力，Huang等人[40]提出了無監督提示學習（UPL）。它選擇高置信度的零樣本預測結果作為偽標簽來監督提示向量的學習。類似地，Prompt-aligned Gradient（ProGrad）[41]使用零樣本預測結果來約束模型梯度更新的方向，從而避免少樣本模型與泛化知識之間的沖突，并減輕過擬合問題。然而，由于視覺信息的豐富多樣性，學習僅一個文本提示難以匹配復雜的視覺數據。為解決這一問題，Chen等人[42]提出了使用最優傳輸的提示學習（PLOT）。它用于學習多個不同的文本提示，其中不同的文本提示被視為圖像位置的描述，使用最優傳輸理論來匹配文本提示與局部圖像特征。Lu等人[43]引入了提示分布學習（ProDA），以學習提示分布并從這些分布中采樣不同的文本提示。此外，為了充分利用多任務數據之間的相關性，Ding等人[44]提出了用于提示調整的軟上下文共享（SoftCPT），該方法設計了一個任務共享元網絡，將預定義任務名稱和可學習的元提示作為輸入，以借助多任務數據微調提示。

2. 視覺提示基微調適應：上述所有方法僅微調CLIP的文本部分，而CLIP作為多模態模型，視覺和文本兩方面同等重要。僅微調文本提示無法改善視覺編碼器提取特征的能力，提取的視覺特征可能與下游任務的目標特征不匹配。因此，受到文本提示微調適應的啟發，一系列視覺提示微調適應方法應運而生。現有的視覺提示微調適應方法主要包括令牌級微調適應和像素級微調適應。視覺提示調整（VPT）[45]引入了以令牌形式的可學習視覺提示。類感知視覺提示調整（CAVPT）[46]在此基礎上進一步包括一個交叉注意模塊，使視覺提示更加關注下游任務的目標。與基于令牌的方法相反，Bahng等人[47]建議直接在圖像周圍以填充格式添加像素級視覺提示，以增強視覺提示。Wu等人[48]進一步提出了增強視覺提示（EVP），通過縮放和填充而不是直接在原始圖像周圍填充。

3. 多模態提示基微調適應：除了單獨學習文本和視覺提示外，還可以同時學習多模態提示，以更好地對齊文本和視覺特征。文本和視覺特征具有固有的差異，為了在學習多模態提示時加強它們之間的聯系，多模態提示學習（MAPLE）[49]使用copula函數將文本提示轉換為視覺提示。統一提示調整（UPT）[50]首先學習一個通用提示，然后將其分解為文本和視覺提示。另一方面，多任務視覺語言提示調整（MVLPT）[51]引入了多任務學習的概念，使用跨任務知識微調文本和視覺提示。

B. 基于適配器的微調適應方法

1. 單模態適配器基微調適應：在自然語言處理（NLP）領域，適配器的概念最初由谷歌團隊于2019年引入，用于微調大型語言模型[52]。在下游任務訓練中，該方法凍結原始語言模型的參數，僅更新作為適配器模塊添加的少量參數。由于其參數效率高、設計靈活性和高魯棒性等優點，這種方法近年來在NLP領域受到了廣泛的研究關注[53]。最近，基于適配器的方法也被應用于計算機視覺領域的視覺變換器（ViTs）中。Jie等人[54]通過引入卷積旁路（Convpass）解決了ViTs中適配器結構缺乏歸納偏置的問題。此外，他們提出了因子調整（FacT，引用為[55]），以進一步提高參數效率的遷移學習效率，以滿足實際應用中的存儲約束。

2. 多模態適配器基微調適應：上述基于適配器的方法都適用于自然語言處理或計算機視覺中的單模態基礎模型。近年來，基于適配器的方法也被擴展到多模態基礎模型中，以增強下游泛化能力。Gao等人[15]引入了CLIP-Adapter，該適配器在凍結骨干網絡后添加了一個全連接層適配器來學習額外知識。然后，它基于殘差連接將這些知識與零樣本預測結果合并，如圖2所示。基于這些發展，張等人引入了Tip-Adapter[56]。該方法基于下游少樣本訓練數據構建分類器，并以線性加權方式將其預測與原始零樣本分類器的結果結合，以增強模型的預測性能。SVL-Adapter[57]在適配器之前融合了一個預訓練的自監督視覺編碼器，以提取更魯棒的視覺特征。然而，上述方法僅使用跨模態對比損失，沒有考慮少樣本數據集的視覺特定對比損失。為解決這一問題，彭等人[58]提出了語義引導的視覺適應（SgVA-CLIP），通過隱式知識蒸餾引導視覺適配器的參數更新，以確保圖像-文本關系的一致性。為了增強適配器的跨模態交互能力，CALIP[59]利用注意力圖融合文本和圖像特征，并在融合前后插入兩個可微調的線性層。此外，跨模態適配器（CMA）[60]和多模態視頻適配器（MV-Adapter）[61]通過在兩種模態之間共享適配器權重實現跨模態交互。這些方法考慮了單模態和多模態場景，但沒有充分整合每種模態的優勢。為解決這一問題，陸等人[62]提出了UniAdapter，以統一單模態和多模態適配器。

C. 基于外部知識的適應方法

1. 基于外部知識的預訓練方法：預訓練基礎模型通過從互聯網上大量數據中挖掘相關信息，具有學習通用表征的能力。然而，在這些數據驅動的模型中，知識通常是隱性的，沒有明確鏈接到人類對世界的理解或常識性知識。近年來，數據和知識驅動的預訓練方法不斷涌現，研究人員開始探索將更全面的外部知識，如知識圖譜，融入基礎模型中。這種整合旨在使這些模型更加魯棒、可靠和可解釋。ERNIE[63]融合了一個知識編碼器，用于實體知識提取和異構信息融合。K-BERT[64]檢索與模型輸入相關的外部知識，并構建具有豐富上下文知識的句子樹作為模型輸入。近年來，一些工作也開始為多模態基礎模型的預訓練注入知識。例如，ERNIE-ViL[65]整合了來自場景圖的知識，KM-BART[66]通過創建額外的預訓練任務來模擬一般視覺知識，K-LITE[67]融合了包括WordNet和維基百科定義在內的各種外部知識源。

2. 基于外部知識的下游適應方法：上述方法在預訓練階段引入外部知識。然而，在數據樣本有限的下游少樣本適應場景中，也有必要增強外部知識以確保模型的性能。最常見的方法之一是通過查詢大型語言模型為每個類別生成更豐富的文本描述。圖3展示了這種方法的示例。通過語言模型定制提示（CuPL）[16]是第一個將外部知識融入多模態基礎模型下游泛化過程的方法。CuPL通過向GPT-3提問生成每個類別的多個描述性陳述，豐富類別的語義，從而提高零樣本分類性能。然而，CuPL使用GPT-3生成的句子可能存在描述性差和可靠性問題。為解決這些問題，Menon等人[68]進一步完善了基于GPT-3的知識增強過程。他們提示GPT-3以短語形式生成語義屬性描述，增強了模型的可解釋性。為了在可解釋性和性能之間取得平衡，語言引導瓶頸（LaBo）[69]使用GPT-3生成大量候選特征描述符空間，同時考慮特征相對于其他類別的區分性和當前類別的覆蓋率。它篩選出最佳子描述符空間以進行分類決策，從而揭示模型的決策邏輯。ELEVATER[70]還融合了來自GPT-3、WordNet和維基詞典等來源的定義。實驗結果表明，外部知識可以增強多模態基礎模型的下游泛化性能。然而，不同知識來源有不同的側重點和特性。例如，WordNet具有相對豐富和準確的知識，但覆蓋率較低，而GPT-3具有更廣泛的知識覆蓋范圍，但可能缺乏可靠性。此外，與上述使用外部知識增強文本語義的方法不同，SuS-X[71]專注于增強多模態模型的視覺樣本。

人類反饋強化學習（RLHF）是強化學習（RL）的一個變體，它從人類反饋中學習，而不是依賴于工程化的獎勵函數。建立在相關領域的偏好基強化學習（PbRL）的先前工作上，它位于人工智能和人機交互的交匯點。這一定位為提高智能系統的性能和適應性提供了有希望的途徑，同時也改善了它們的目標與人類價值觀的一致性。在近年來，大型語言模型（LLMs）的訓練已經令人印象深刻地展示了這一潛力，其中RLHF在使模型的能力針對人類目標方面發揮了決定性作用。本文提供了一個全面的RLHF基礎概述，探索了機器智能體和人類輸入之間復雜的動態。雖然最近的焦點是針對LLMs的RLHF，但我們的綜述采取了更廣泛的視角，考察了這項技術的多樣化應用和廣泛影響。我們深入探討支撐RLHF的核心原則，闡明算法與人類反饋之間的共生關系，并討論了該領域的主要研究趨勢。通過綜合當前RLHF研究的全景，本文旨在為研究人員和從業者提供對這一迅速發展領域的全面理解。

1 引言

在強化學習（RL）中，智能體傳統上通過環境導航，并試圖通過試錯過程做出最優的行動或決策。一個決策是否最優完全由獎勵信號決定。這些信號必須基于智能體性能的測量手動定義，以確保學習智能體接收到學習正確行為所需的信號。然而，手動設計獎勵函數是具有挑戰性的。在許多應用中，成功難以正式定義和衡量。除此之外，稀疏的成功信號可能不適合智能體學習——導致需要獎勵塑形（Ng等人，1999），即將獎勵信號轉化為更適合學習的形式。這通常使獎勵信號更容易受到假性相關的影響，即因通常與真正目標相關而被獎勵的行為，并不本身具有價值。這最終導致了獎勵黑客問題（Skalse等人，2022b），即學習智能體利用獎勵特定的漏洞以實現不希望的結果，同時仍然產生高獎勵。

作為對這些挑戰的回應，人類反饋強化學習（RLHF）作為一種實際意義上的替代方案出現，它在標準RL學習范式中引入了至關重要的人在循環中組件。簡而言之，RLHF與RL的不同之處在于，目標是由循環中的人定義并迭代完善的，而不是提前指定的。這種方法不僅有潛力克服經典RL方法的局限性和問題，而且對智能體對齊有潛在的好處，其中智能體的學習目標與人類價值觀更緊密對齊，促進倫理上健全和社會負責的AI系統。 自上一次類似的綜述（Wirth等人，2017）以來，RLHF在應用、方法論進展和理論見解方面取得了許多成功。應用范圍從大型語言模型（LLMs）（OpenAI 2022）到圖像生成（Lee等人，2023），連續控制（Christiano等人，2017）和游戲（Ibarz等人，2018）以及機器人（Hejna等人，2023a）。與此同時，自上次類似的綜述（Wirth等人，2017）以來，方法論也有了很多發展。方法論發展的例子包括使用數據增強和半監督學習方法來提高樣本復雜度（Park等人，2022），使用元學習快速適應學習的偏好到新任務（Ren等人，2022），融合多種反饋類型（Palan等人，2019），使用自監著表征學習提高反饋效率（Metcalf等人，2022），主動合成假設行為進行查詢（Reddy等人，2020），以及優化查詢以便于回答（B?y?k等人，2020b）。最后，RLHF領域也取得了一些理論成果，為基礎數學問題的建模提供了新的見解，但也提出了新的問題。

因此，在這項綜述中，我們討論了RLHF正在進行的研究的當前狀態，分類了當前的方法以及簡潔地描述了它們的主要特征，并對應用領域進行了簡要概述。

1.1 為何需要人類反饋 在傳統的RL中，代理的目標由其旨在最大化的獎勵函數定義（Sutton等人，2018）。特別是在復雜領域，指定這個獎勵函數可能是具有挑戰性的：對于在家庭環境中協助人類的機器人或在繁忙的城市環境中導航的自動駕駛汽車，合適的獎勵函數是什么樣的？此外，即使是定義良好的獎勵函數也可能由于分布變化或過度優化導致意外行為，引發實際和安全問題。從人類反饋中學習代理的目標，可以繞過獎勵工程挑戰，并促進穩健訓練，隨著代理學習，獎勵函數會動態地細化和調整，以適應分布變化。 反饋與示范 逆向RL旨在從人類示范中推斷出獎勵函數（Arora等人，2021）。雖然這可以部分解決獎勵工程挑戰，但它面臨內在困難：（i）通常不可能從示范中穩健地識別獎勵（Cao等人，2021a），（ii）僅適用于可以獲得良好示范的場景，（iii）難以超越示范者的表現，以及（iv）人類通常不會展示他們希望機器采用的行為（Basu等人，2017）。相比之下，交互式反饋可以使用主動查詢區分人類偏好和無關噪聲，比提供示范更容易，不要求人類評估者接近最優表現，并引導出人類更偏好的機器行為。交互式反饋也可以用來補充示范，在這種情況下，它可以用來塑造和完善通過初步訓練（如行為克隆）學到的能力，從而防止過擬合于示范行為（Abramson等人，2022）。 避免獎勵工程 在RL中的獎勵工程提出了重大挑戰，因為準確指定獎勵函數是眾所周知的困難（Amodei等人，2016; Knox等人，2023）。通過利用人類反饋，可以緩解這些挑戰，使代理能夠訓練難以手動定義的任務，并幫助避免由不匹配的獎勵引起的安全問題（Skalse等人，2022b）。與代理的目標和人類目標之間的不匹配相關的安全問題被研究為AI對齊問題（Gabriel 2020），特別是代理對齊和價值對齊（Kirchner等人，2022）。盡管RLHF在解決這些對齊問題的有效性仍存在爭議（Christiano 2023），但它提出了一個促進對齊的有希望的方法（Leike等人，2018）。 過度優化不良指定的獎勵通常會導致意外行為。代理可能會利用模擬缺陷獲得更高獎勵（Lehman等人，2020; Baker等人，2020）或參與獎勵黑客行為（Skalse等人，2022b），即行為最大化了指定獎勵但偏離了預期目標。這在代理專注于中間獎勵而沒有實現實際目標（Clark等人，2016）或為避免負面獎勵而過早退出游戲（Saunders等人，2018）的情況下顯而易見。這些問題的根源在于獎勵函數沒有正確反映實際學習任務。雖然這些問題在類似游戲的環境中可能看似微不足道，但在諸如醫療保健和自動駕駛等安全關鍵的環境中，其含義則更為嚴重。在這些環境中，防止不匹配的獎勵函數導致有害結果至關重要，比如護理機器人造成傷害或自動駕駛汽車危及道路安全。

1.2 人類反饋強化學習的起源

作為RL的一個子領域，從人類反饋中學習行為已經被研究了很長時間，但方法和術語隨時間發展而演變。如Knox（2012）更詳細討論的早期方法，側重于直接從人類獎勵中學習（Isbell等人，2001；Knox等人，2008）。然而，本綜述關注的是更間接的方法，即從人類反饋中推斷目標。 人類反饋強化學習（RLHF）的現代形式起源于偏好基強化學習（PbRL）的設置，最初由Akrour等人（2011）和Cheng等人（2011）獨立引入。PbRL的原始想法是從定性反饋中推斷目標，如行為或給定狀態下行動之間的成對偏好，而不是以數值獎勵形式的定量反饋。RLHF這個術語后來作為一個替代品被提出（Askell等人，2021；Ouyang等人，2022；OpenAI 2022），盡管最初指的是從相對反饋中學習行為的同一概念。 由于文獻中的使用重疊，PbRL和RLHF的區分具有挑戰性。例如，Christiano等人（2017）自己使用了PbRL這個術語，但卻常被引用為RLHF的開創性參考（Daniels-Koch等人，2022；Ouyang等人，2022）。這表明了這些術語的可互換性。實際上，RLHF通常與獎勵建模和深度RL相關聯，而PbRL通常與傳統RL設置中的直接策略優化聯系在一起。這一點由Jeon等人（2020）強調，他們將PbRL限定為僅從偏好直接進行策略學習。然而，這與其他來源不同，后者將獎勵學習包括在RLHF的范圍內（Christiano等人，2017；Wirth等人，2017）。

盡管存在重疊和有時存在沖突的使用，RLHF越來越被視為PbRL的一種泛化。盡管PbRL和RLHF都涉及使用人類反饋來定義RL目標，但PbRL主要關注相對反饋，如二元比較和排名。RLHF不僅包括這些方面，還擴展到更廣泛的反饋類型（Metz等人，2023）。表1提供了我們對這些術語的解釋性概述。

從人類反饋中學習行為長期以來被作為RL的一個子領域進行研究，但隨著時間的推移，方法和術語已經發展。早期方法，如Knox（2012）詳細討論的，側重于直接從人類獎勵中學習（Isbell等人，2001；Knox等人，2008）。然而，本綜述關注的是更間接的推斷目標的方法，即從人類反饋中推斷。 人類反饋強化學習（RLHF）的現代形式起源于偏好基強化學習（PbRL）的設置，最初由Akrour等人（2011）和Cheng等人（2011）獨立引入。PbRL的原始想法是從定性反饋中推斷目標，而不是使用定量的數值獎勵。RLHF這個術語后來作為一個替代品被提出（Askell等人，2021；Ouyang等人，2022；OpenAI 2022），盡管最初指的是從相對反饋中學習行為的同一概念。

由于文獻中的使用重疊，PbRL和RLHF的區分具有挑戰性。例如，Christiano等人（2017）自己使用了PbRL這個術語，但卻常被引用為RLHF的開創性參考（Daniels-Koch等人，2022；Ouyang等人，2022）。這表明了這些術語的可互換性。實際上，RLHF通常與獎勵建模和深度RL相關聯，而PbRL通常與傳統RL設置中的直接策略優化聯系在一起。Jeon等人（2020）將PbRL限定為僅從偏好直接進行策略學習，而Christiano等人（2017）和Wirth等人（2017）則將獎勵學習包括在RLHF的范圍內。

盡管存在重疊和有時存在沖突的使用，RLHF越來越被視為PbRL的一種泛化。PbRL和RLHF都涉及使用人類反饋來定義RL目標，但PbRL主要關注相對反饋，如二元比較和排名。RLHF不僅包括這些方面，還擴展到更廣泛的反饋類型（Metz等人，2023）。我們的綜述提供了這些術語的解釋性概述。

1.3 綜述范圍

本節概述了我們選擇RLHF領域方法的指導標準。我們關注的是那些依賴獎勵模型作為目標信息唯一來源的作品。這個獎勵模型應該以互動、在線、可擴展和異步的方式學習。以下將詳細描述這些標準。

獎勵建模 我們關注的是從人類反饋中學習獎勵模型，然后使用這個模型來訓練策略的方法。盡管可以直接從人類反饋中優化策略（Wirth等人，2017），但到目前為止，這種方法很少被實踐。獎勵學習和策略訓練的分解提供了許多概念上和實際上的好處。

人類定義 盡管有許多方法將人類包括在RL循環中，但在本綜述中，我們關注的是以人類反饋作為目標唯一真理來源的方法。這排除了獎勵塑形、特征工程和其他形式的人類指導。

互動和在線 我們還強調以互動、在線方式提供反饋。這排除了模仿學習、從示范學習和純逆向RL。 可擴展和異步 我們關注的是將人類包括在循環中，但代理不被人類反饋阻塞，人類也不需要持續存在的工作。 此外，我們主要關注2017年后發表的作品，因為更早的作品已由Wirth等人（2017）綜述。然而，為了闡述仍然是最新技術或已經顯著塑造了最新技術的某些概念，我們不時回顧這一時期的一些作品。如果使用的方法對RLHF方法有興趣，將會作出例外。

1.4 先前的綜述

根據上一節提到的標準，我們首先將我們的綜述與其他邊緣相關主題領域的綜述區分開來，這些領域共享人類參與RL的共同主題。然后，我們將描述我們的綜述與RLHF領域內存在的先前綜述或類似綜述文章的差異。

人工智能（AI）的歷史見證了高質量數據對各種深度學習模型的重大影響，例如ImageNet對于AlexNet和ResNet。最近，AI社區的關注點已從設計更復雜的神經結構（即模型為中心的方法）轉移到了數據為中心的方法，這種方法重點在于更好地處理數據以增強神經模型的能力。圖學習，操作于無處不在的拓撲數據上，也在深度學習時代中起到了重要作用**。在這次綜述中，我們從數據為中心的角度全面回顧了圖學習方法，并旨在回答兩個關鍵問題**：（1）何時修改圖數據以及（2）如何修改圖數據以發掘各種圖模型的潛力。因此，我們提出了一個基于圖學習流程中的階段的新分類法，并強調了圖數據中不同數據結構的處理方法，即拓撲、特征和標簽。此外，我們分析了嵌入在圖數據中的一些潛在問題，并討論了如何以數據為中心的方式解決它們。最后，我們為數據為中心的圖學習提供了一些建議的未來方向。

//arxiv.org/abs/2310.04987

最近在非歐幾里得領域的進展引起了人工智能（AI）社區的大量關注。圖，作為典型的非歐幾里得數據，在現實世界中無處不在，并已在許多領域中得到廣泛應用，例如推薦、安全、生物信息學等。在過去的十年中，由于圖模型的創新，圖相關研究得到了推動，從圖核心[1][2]到圖嵌入[3][4]，再到最新的圖神經網絡(GNNs)[5][6]。相反，關于圖數據的固有方面的研究較少，包括質量、多樣性、安全性等。 通常，AI的革命始終是由大量高質量數據的可用性引發的，隨后是強大的模型。一個顯著的例子是ImageNet[7]的成功，它為深度卷積神經網絡的發展做出了重要貢獻，例如AlexNet[8]和ResNet[9]。隨著數據的重要性得到越來越多的認可，最近，AI社區的關注點從以模型為中心的方法轉移到了以數據為中心的方法[10][11]。

新興的以數據為中心的AI強調產生適當的數據以提高給定模型的性能。“如何處理圖數據以發揮圖模型的全部潛力？”一個了解情況的答案可以幫助我們理解圖數據與圖模型之間的關系。然而，與圖像和表格數據等歐幾里得數據不同，圖的不規則性為以數據為中心的圖學習提出了幾個問題：首先，在什么時候我們應該修改圖數據以使圖模型受益？數據修改可能會在圖學習的不同階段發生。例如，我們可以在訓練之前啟發式地擾動邊，而在訓練期間我們也可以從節點表示中估計新的圖結構。其次，我們應該修改圖數據的哪一部分？圖數據涉及各種結構，包括邊、節點、特性和標簽，每一個都在圖表示學習中起到了重要作用。第三，如何防止圖模型受到有問題的圖數據的影響？由于手工定義的關系和特性，圖數據可能不可避免地引入噪聲和偏見，這使得模型變得不可靠。 本綜述系統地調研和分類了從數據中心的角度存在的圖學習方法。具體地說，為了回答第一個問題，我們將圖學習過程分為四個階段：準備、預處理、訓練和推斷，如圖1所示。我們討論了每個階段對圖數據的重要性。接下來，我們進一步從結構的角度對現有方法進行分類，以解決第二個問題。具體來說，我們考慮如何處理圖數據的拓撲、特征和標簽。最后，我們分析了現有圖數據中的潛在問題，包括脆弱性、不公平性、選擇偏見和異質性。并進一步討論如何從數據為中心的方式解決這些問題。

本文的貢獻可以總結如下：

? 新的分類法。我們按圖學習流程中的各個階段對現有的數據中心圖學習方法進行分類，包括預處理、訓練和推理。對于每個階段，我們都介紹了其在數據中心圖學習中的目標和重要性。 ? 多角度觀察。我們強調如何處理圖數據中的不同數據結構，包括拓撲、特征和標簽，以發揮給定圖模型的潛力。 ? 全面的討論。我們分析了有問題的圖數據對圖模型的潛在影響，并討論了如何以數據為中心的方式緩解這些問題。此外，我們提出了四個可能的數據中心圖學習的未來方向，這可能有助于這個領域的發展。 組織. 本調查的其余部分組織如下：第2節概述了數據中心圖學習的背景，并描述了如何手動處理圖數據。第3-5節分別介紹了預處理、訓練和推理階段的數據中心圖學習方法。第6節介紹了圖數據的潛在問題，并討論了如何處理這些問題。最后，第7節對本文進行了總結，并提出了一些有前途的未來方向。

2. 預處理階段

在本節中，我們將討論圖數據預處理階段的數據中心方法。具體來說，我們將現有的方法分為兩類：基于修改的方法和基于分布的方法。第一類旨在通過修改圖數據實例來提高圖模型的性能。第二類則著重于幫助圖模型捕捉數據集的分布，同時保持圖實例不變。此外，我們還考慮了不同的數據結構，包括拓撲、特征和標簽。相關方法列示在表1中。

圖的簡化 (Graph Reduction)

隨著圖的規模的增大，其計算所消耗的時間和空間也會增加。因此，如何在不失去太多有用信息的前提下減少圖的節點或邊成為了一個有價值的問題。圖的簡化可以加速模型的訓練，減少過擬合，并允許在更簡單的硬件條件下對模型進行訓練。圖的簡化可以分為兩大類：邊的簡化和節點的簡化。邊的簡化指的是圖的稀疏化，而節點的簡化包括圖的粗糙化和圖的凝縮。

圖的增強 (Graph Augmentation)

在深度學習中，數據增強被認為是非常重要的。由于圖數據的稀缺性和稀疏性相當嚴重，因此一個好的增強方法的重要性更為明顯。與其他數據形式相比，直接操作圖結構的圖增強是最具特色的圖數據增強類型。在這里，我們將介紹一些脫離訓練的啟發式方法。它們可能很簡單，但證明是非常有效和受歡迎的。 特征增強 (Feature Augmentation)

通過創建或修改節點特征，特征增強可以使后續模型避免過擬合并提高其性能。 對于已經有特征的圖，我們可以做一些直觀的調整來加強它們，例如特征損壞 [143]-[145]，特征洗牌，特征掩碼 [66], [87], [146]，特征添加，特征重寫 [147], [148]，特征傳播，特征混合 [149]等 [15]。 對于最初沒有特征的節點，有適當生成特征的方法。為了獲取結構信息，Perozzi 提出了基于 word2vec [150] 的 deepwalk [3]，它從每個節點開始，多次隨機走動，最后使用所有路徑為節點通過 word2vec [150]c 生成節點嵌入。接著，node2vec [4] 來自 deepwalk [3]，它為節點添加了一個隨機行走的概率。另一條與隨機行走無關的線是 SDNE [151]。他們通過編碼器-解碼器架構得到圖的結構。具體來說，他們將鄰接矩陣的每一列作為初始節點嵌入，這是編碼器的輸入。并計算模型在初始嵌入和解碼嵌入之間的損失。 在非標記圖中，特征增強是通過無監督學習實現的。例如，GREET [211] 將原始圖分割成兩個子圖，一個包含同質邊，另一個包含異質邊，然后通過兩個單獨的 GNN 得到子圖嵌入，再連接這些子圖嵌入來獲取節點特征。 總的來說，特征增強是多種多樣和任意的，特殊的特征增強可以根據特定問題的需要進行定制。 位置編碼 (Position Encoding)

眾所周知，信息傳遞神經網絡 (MPNNs) 的表達能力受到1-Weisfeiler-Lehman (WL) 測試的限制，不能區分同構圖 [212]。為了打破這個限制，一個受歡迎的方法是用一些位置信息來增強節點特征，這被稱為位置編碼。在本節中，我們將介紹兩種類型的位置編碼：絕對方法和相對方法。 標簽混合 (Label Mixing)

標簽混合旨在將帶有標簽或嵌入的兩個不同實例混合為一個新的實例，并使用這些混合的實例來訓練模型。這樣得到的模型更具泛化性，不容易過擬合。 Mixup 在圖分類和節點分類任務中都扮演著重要的角色。一方面，面對圖分類任務，我們可以采用各種方法來增強模型。一種方法 [174] 涉及混合多個預先存在的圖嵌入。或者，我們可以隨機選擇一個子圖，并用另一個圖中的相應子圖替代它，同時保留原始圖的嵌入，使模型更好地集中于數據的相關方面 [175], [176]。另一方面，一些工作 [177] 提議將鄰近節點的標簽或嵌入進行混合，用于節點分類任務。 圖的課程學習 (Graph Curriculum Learning) 課程學習 (CL) [215] 是一種模仿人類學習過程的訓練策略，主張模型從簡單樣本開始學習，然后逐漸過渡到復雜樣本。這種策略可以幫助模型更快地收斂，并提高模型的泛化能力。圖的課程學習 (Graph CL) [216] 是一種基于圖的課程學習方法，主要用于圖神經網絡的訓練和優化。大多數 CL 方法有兩個重要功能，難度測量器和訓練調度器。難度測量器可以評估訓練數據的難度，以給予學習優先權，而訓練調度器決定如何從簡單到困難地進行學習。根據這兩者是否自動設計，CL 方法可以分為兩類，即預定義的 CL 和自動的 CL。在本節中，我們將介紹預定義的 Graph CL。 圖采樣 (Graph Sampling) 圖采樣方法使用不同的策略對節點進行采樣，并在計算節點的表示時僅聚合部分節點的信息，這加速了模型的收斂并減少了內存開銷。在這部分中，我們將討論啟發式采樣方法，這些方法可以進一步劃分為兩個類別：隨機采樣和重要性采樣。 圖生成 (Graph Generation) 在現實世界中，某些圖數據集對于圖模型來說太小，無法有效地理解其分布。圖生成器 [219], [220] 可以通過生成額外的圖數據來幫助緩解這個問題。圖生成的方法可以分為兩種類型：自回歸 (autoregressive) 和一次性生成 (one-shot)。 3. 訓練階段 (TRAINING STAGE)

在本節中，我們介紹了訓練階段的圖數據修改方法，其中數據修改模塊和信息傳遞模塊合作以提高性能。具體而言，我們介紹了三種模型-數據協同的訓練范式，包括聯合訓練 (joint training)、自訓練 (self training) 和雙層訓練 (bi-level training)。相關方法可以在表格 1 (Table 1) 中查看。 4. 推斷階段 (INFERENCE STAGE)

推斷階段是指使用預訓練的圖模型進行下游任務的階段。在這個階段，我們重新定義下游任務為一個統一的模板，以與我們的預訓練模型對齊。這有助于彌合我們的預文本任務與下游任務之間的差距，實現高質量的知識轉移和多任務適應。此外，推斷數據是指在預訓練模型的推斷階段使用的圖數據。從數據中心的角度看，調整推斷數據作為提示可以幫助在不改變模型參數的情況下獲得期望的目標。在本節中，我們討論了在圖的背景下逐漸受到歡迎的提示學習方法。為了詳細說明，我們將現有的圖提示方法分為兩類：預提示 (pre-prompt) 和后提示 (post-prompt)，這取決于任務特定的提示是在信息傳遞模塊之前還是之后操作，如圖 1 (Figure 1) 所示。 結論 (CONCLUSION)

在這篇綜述中，我們對數據中心的圖學習進行了全面的回顧。我們從兩個角度對現有方法進行分類：一個是學習階段，包括預處理、訓練和推斷；另一個是數據結構，包括拓撲、特征和標簽。通過這兩個視角，我們仔細解釋了何時修改圖數據以及如何修改圖數據，以釋放圖模型的潛力。此外，我們還介紹了圖數據的一些潛在問題，并討論了如何用數據中心的方法解決它們。最后，我們提出了該領域的幾個有前景的未來方向。總的來說，我們相信數據中心的人工智能是通向一般人工智能的可行路徑，并且數據中心的圖學習將在圖數據挖掘中發揮重要作用。

數學推理是人類智能的一個基本方面，可應用于科學、工程、金融和日常生活等各個領域。能夠解決數學問題和證明定理的人工智能系統的發展引起了機器學習和自然語言處理領域的重大興趣。例如，數學是對強大的深度學習模型具有挑戰性的推理方面的測試平臺，推動新的算法和建模的進步。另一方面，大規模神經語言模型的最新進展為使用深度學習進行數學推理開辟了新的基準和機會。本文回顧了過去十年數學推理和深度學習交叉點的關鍵任務、數據集和方法。對現有的基準和方法進行了評估，并討論了該領域未來的研究方向。

1. 引言

數學推理是人類智能的一個關鍵方面，它使我們能夠根據數字數據和語言來理解和做出決定。它適用于科學、工程、金融和日常生活等各個領域，涵蓋了從模式識別和數值運算等基本技能到解決問題、邏輯推理和抽象思維等高級技能的一系列能力。能夠解決數學問題和證明定理的人工智能(AI)系統的發展一直是機器學習和自然語言處理(NLP)領域的一個長期研究重點，可以追溯到20世紀60年代(Feigenbaum et al.， 1963;Bobrow, 1964)。近年來，人們對這一領域的興趣激增，如圖1所示。

深度學習在各種自然語言處理任務中表現出巨大的成功，如問答和機器翻譯(Sutskever等人，2014;Devlin等人，2018)。類似地，研究人員開發了各種用于數學推理的神經網絡方法，已被證明在解決數學應用題解決、定理證明和幾何問題解決等復雜任務方面是有效的。例如，基于深度學習的數學應用題解決者采用了一種帶有注意力機制的序列到序列框架來生成數學表達式作為中間步驟(Wang et al.， 2018a;Chiang and Chen, 2019)。此外，通過大規模語料庫和Transformer模型(Vaswani et al.， 2017)，預訓練語言模型在各種數學任務上取得了有希望的結果。最近，像GPT-3 (Brown et al.， 2020)這樣的大型語言模型(LLM)在復雜推理和上下文學習方面表現出了令人印象深刻的能力，進一步推進了數學推理領域。

最近在數學推理研究方面的進展令人印象深刻和鼓舞人心。本文綜述了深度學習在數學推理中的進展。本文討論了各種任務和數據集(第2節)，并研究了神經網絡(第3節)和預訓練語言模型(第4節)在數學領域的進展。本文還探索了基于大型語言模型的上下文學習的快速進展(第5節)，用于數學推理。進一步分析了現有的基準，發現對多模態和低資源設置的關注較少(第6.1節)。循證研究表明，當前的數值表示是不夠的，深度學習方法對于數學推理不一致(第6.2節)。從泛化和魯棒性、可信推理、從反饋中學習和多模態數學推理等方面改進當前的工作是有益的(第7節)。

2 任務和數據集

在本節中，我們將研究目前用于使用深度學習方法進行數學推理研究的各種任務和數據集。表2列出了該領域常用的數據集。

2.1 數學應用題解決

幾十年來，開發自動解決數學應用題(MWPs)的算法一直是NLP研究人員的興趣(Feigenbaum et al.， 1963;Bobrow, 1964)。數學應用題(也稱為代數或算術應用題)描述了一個簡短的敘述，涉及字符、實體和數量。MWP的數學關系可以用一組方程來建模，這些方程的解揭示了問題的最終答案。一個典型的例子如表1所示。作題涉及加、減、乘、除四種基本算術運算，有一個或多個運算步驟。NLP系統中MWPs的挑戰在于對語言理解、語義解析和多種數學推理技能的需求。

2.2 定理證明

自動化定理證明是人工智能領域長期以來的挑戰(Newell等人，1957;Feigenbaum et al.， 1963)。問題是要通過一系列邏輯論證(證明)來證明一個數學主張(定理)的真實性。定理證明測試了各種技能，例如選擇有效的多步策略，使用背景知識和執行符號操作(例如算術或推導)。

2.3 幾何解題

自動幾何問題求解(GPS)也是數學推理研究中一個長期存在的人工智能任務(Gelernter et al., 1960; Wen-Tsun, 1986; Chou et al., 1996; Ye et al., 2008)，近年來備受關注。與數學應用題不同，幾何問題由自然語言的文本描述和幾何圖形組成。如圖2所示，多模態輸入描述了幾何元素的實體、屬性和關系，目標是找到未知變量的數值解。GPS對于深度學習方法來說是一項具有挑戰性的任務，因為它需要復雜的技能。它涉及到解析多模態信息、進行符號抽象、利用定理知識和進行定量推理的能力。

2.4 數學問答

數值推理是人類智能中的核心能力，在許多自然語言處理任務中發揮著重要作用。除了定理證明和年級數學應用題解決，還有廣泛的以數學推理為中心的問答(QA)基準。本文將這些任務稱為數學問答(MathQA)。近年來出現了大量的數據集。例如，QuaRel (Tafjord et al.， 2019)是一個包含不同故事問題的數據集，涉及19種不同類型的數量。McTaco (Zhou et al.， 2019)研究的是時間常識問題，而Fermi (Kalyan et al.， 2021)研究的是費米問題，其答案只能近似估計。

3 用于數學推理的神經網絡

3.1 數學的Seq2Seq網絡

序列到序列(Seq2Seq) (Sutskever et al.， 2014)神經網絡已成功應用于數學推理任務，如數學應用題解決(Wang et al.， 2017)、定理證明(Yang and Deng, 2019)、幾何問題解決(Robaidek et al.， 2018)和數學問答(Tafjord et al.， 2019)。Seq2Seq模型使用編碼器-解碼器架構，通常將數學推理形式化為序列生成任務。這種方法背后的基本思想是將輸入序列(例如數學問題)映射到輸出序列(例如方程、程序和證明)。常見的編碼器和解碼器包括長短期記憶網絡(LSTM) (Hochreiter和Schmidhuber, 1997)、門控循環單元(GRU) (Cho等人，2014)以及它們的雙向變體:BiLSTM和BiGRU。DNS (Wang et al.， 2017)是第一項使用Seq2Seq模型將應用題中的句子轉換為數學方程的工作。大量工作表明，Seq2Seq模型比之前的統計學習方法具有性能優勢(Ling et al., 2017; Wang et al., 2018a; Huang et al., 2018; Chiang and Chen, 2019; Wang et al., 2019; Li et al., 2019)。

3.2基于圖的數學網絡

Seq2Seq方法在生成數學表達式和不依賴手工特征方面表現出優勢。數學表達式可以被轉換成一種基于樹的結構，例如抽象語法樹(AST)和一種基于圖的結構，它描述了表達式中的結構化信息。然而，Seq2Seq方法沒有顯式地對這些重要信息進行建模。為了解決這個問題，基于圖的神經網絡被開發出來顯式地建模表達式中的結構。 序列到樹(Seq2Tree)模型在編碼輸出序列時顯式建模樹結構(Liu et al., 2019a; Xie and Sun, 2019; Wu et al., 2020; Zhang et al., 2020a; Zaporojets et al., 2021; Qin et al., 2021; Wu et al., 2021b; Lin et al., 2021; Hong et al., 2021a)。例如，(Liu et al.， 2019a)設計了一個Seq2Tree模型，以更好地利用來自方程的AST的信息。相反，Seq2DAG (Cao et al.， 2021)，在生成方程時應用了序列圖(Seq2Graph)框架，因為圖解碼器能夠提取多個變量之間的復雜關系。在編碼輸入的數學序列時，也可以嵌入基于圖的信息(Zhang et al., 2020b; Shen and Jin, 2020; Li et al., 2020b; Wu et al., 2021a)。例如，ASTactic (Yang and Deng, 2019)在ast上應用TreeLSTM (Tai et al.， 2015)來表示定理證明的輸入目標和前提。 3.3基于注意力的數學網絡

注意力機制已成功應用于自然語言處理(Bahdanau等人，2014)和計算機視覺問題(Xu等人，2015;Woo等人，2018)，在解碼過程中考慮了輸入的隱藏向量。最近，研究人員一直在探索它在數學推理任務中的有用性，因為它可以用來識別數學概念之間最重要的關系。例如，Math-EN (Wang et al.， 2018a)是一個數學應用題解決程序，受益于通過自注意力學習到的長距離依賴信息。基于注意力的方法也被應用于其他數學推理任務，如幾何問題求解(Robaidek等人，2018;Chen et al.， 2021a)和定理證明(Yang and Deng, 2019)。人們對各種注意力機制進行了研究，以提取更好的表示，例如Group-ATT (Li et al.， 2019)，它使用不同的多頭注意力來提取各種類型的MWP特征，以及圖注意力，用于提取知識感知信息(Wu et al.， 2020)。

4 預訓練的數學推理語言模型

預訓練語言模型(例如，Devlin等人(2018);Radford et al. (2020);Brown等人(2020))在廣泛的NLP任務上證明了顯著的性能提升(Qiu等人，2020)。通過在大型文本語料庫上進行預訓練，模型學習有價值的世界知識(Guu等人，2020)，這些知識可應用于下游任務，如問題回答(Khashabi等人，2020)、文本分類(Minaee等人，2021)和對話生成(Zhang等人，2019;Qiu等，2022a,b)。類似的想法可以應用于與數學相關的問題，之前的工作表明，預先訓練的語言模型在回答數學應用題時表現良好(Kim et al., 2020; Shen et al., 2021; Yu et al., 2021b; Cobbe et al., 2021; Li et al., 2022b; Jie et al., 2022; Ni et al., 2022)，協助定理證明(Polu and Sutskever, 2020; Han et al., 2022; Wu et al., 2022b; Jiang et al., 2022b; Welleck et al., 2022a)，以及其他數學任務(Lu et al., 2021a; Chen et al., 2022a; Cao and Xiao, 2022; Clark et al., 2020; Chen et al., 2021c; Zhu et al., 2021; Hendrycks et al., 2021; Zhao et al., 2022; Nye et al., 2021; Charton, 2021)。

**然而，盡管大型語言模型在建模自然語言方面表現出色，但將其用于數學推理存在一些挑戰。**首先，預訓練語言模型沒有專門在數學數據上進行訓練。這可能導致與自然語言任務相比，他們對數學相關任務的熟練程度較低。與文本數據相比，用于大規模預訓練的數學或科學數據也較少。其次，預訓練模型的規模繼續增長，使得為特定的下游任務從頭訓練整個模型的成本很高。此外，下游任務可能處理不同的輸入格式或模態，如結構化表(Zhao et al., 2022; Chen et al., 2021c; Zhu et al., 2021)或圖表(Lu et al., 2021a; Chen et al., 2022a; Lu et al., 2021b)。為了應對這些挑戰，研究人員必須通過對下游任務進行微調或適應神經架構來調整預訓練模型。最后，盡管預訓練語言模型可以編碼大量的語言信息，但模型僅從語言建模目標中學習數值表示或高級推理技能可能是困難的(Lin et al.， 2020;Kalyan等人，2021年)。考慮到這一點，最近有研究調研了從基礎課程開始注入數學相關技能(Geva et al., 2020; Feng et al., 2021; Wu et al., 2021d)。

5 .基于上下文的數學推理學習

大型語言模型(LLM)，如GPT3 (Brown et al.， 2020)，最近徹底改變了自然語言處理(NLP)領域，特別是由于其強大的少樣本上下文學習能力(Brown et al.， 2020)。上下文學習(ICL)使LLM能夠通過在推理時提供一些任務示例作為條件來執行目標任務，而無需更新模型參數(Radford et al., 2020; Brown et al., 2020)。ICL允許用戶快速為新用例構建模型，而無需擔心為每個任務進行微調和存儲大量新參數，因此現在被廣泛用于少樣本設置(Min等人，2022)。一個上下文中的例子通常包含一個輸入-輸出對和一些提示詞，例如，請從列表中選擇最大的數字。輸入:[2,4,1,5,8]。輸出:8，而few-shot通過給出多個示例來工作，然后是一個最終輸入示例，模型預計將預測輸出。然而，這種標準的少次提示(在測試時示例前給LLM提供輸入-輸出對的上下文示例)尚未被證明足以在數學推理等具有挑戰性的任務上取得高性能(Rae等人，2021)。

結論：

本文對數學推理的深度學習進行了全面的綜述。回顧了已經使用的各種任務和數據集，并討論了已經采取的各種方法，包括早期的神經網絡，后來的預訓練語言模型和最近的大型語言模型。還確定了現有數據集和方法中的幾個差距，包括對低資源設置的關注有限、計算能力表示不足和推理能力不一致。最后，對未來的研究方向進行了展望，并指出了該領域進一步探索的潛力。本文的目標是為對發展數學推理深度學習感興趣的讀者提供一個全面而有用的資源。為了幫助我們完成這項工作，我們創建了一個閱讀列表，并將在//github.com/lupantech/dl4math的GitHub存儲庫中不斷更新

強化學習是一種從試錯過程中發現最優行為策略的技術，已經成為解決環境交互問題的通用方法.然而，作為一類機器學習算法，強化學習也面臨著機器學習領域的公共難題，即難以被人理解.缺乏可解釋性限制了強化學習在安全敏感領域中的應用，如醫療、駕駛等，并導致強化學習在環境仿真、任務泛化等問題中缺乏普遍適用的解決方案.為了克服強化學習的這一弱點，涌現了大量強化學習可解釋性（Explainable Reinforcement Learning，XRL）的研究.然而，學術界對XRL尚缺乏一致認識.因此，本文探索XRL的基礎性問題，并對現有工作進行綜述.具體而言，本文首先探討了父問題——人工智能可解釋性，對人工智能可解釋性的已有定義進行了匯總；其次，構建了一套可解釋性領域的理論體系，從而描述XRL與人工智能可解釋性的共同問題，包括界定智能算法和機械算法、定義解釋的含義、討論影響可解釋性的因素、劃分了解釋的直觀性；然后，根據強化學習本身的特征，定義了XRL的三個獨有問題，即環境解釋、任務解釋、策略解釋；之后，對現有方法進行了系統的歸類，并對XRL的最新進展進行綜述；最后，展望了XRL領域的潛在研究方向.

//www.jos.org.cn/jos/article/abstract/6485

人工智能(Artificial Intelligence, AI)和機器學習(Machine Learning, ML) 在計算機視覺[1] 、自然語言處理 [2] 、智能體策略[3] 等研究領域都取得了突破,并逐漸融入人的生活.雖然 ML 算法對于很多問題具有良好表 現,但由于算法缺乏可解釋性,模型實際使用中常受到質疑[4] [5] ,尤其在安全敏感的應用領域,如自動駕駛、醫 療等.缺乏可解釋性的問題已經成為機器學習的瓶頸問題之一.

強化學習(Reinforcement Learning, RL)被驗證適用于復雜的環境交互類問題[6]-[8] ,如機器人控制[9] ,游 戲 AI[10] 等.但作為機器學習的一類方法,RL 同樣面臨著缺乏可解釋性的問題,主要表現在如下 4 個方面:

(1) 安全敏感領域中的應用受限.由于缺乏可解釋性,RL 策略難以保證其可靠性,存在安全隱患.這一問題 在安全敏感任務(如醫療、駕駛等)中難以被忽略.因此,為避免模型不可靠帶來的危險,RL 在安全敏感 任務中大多局限于輔助人類的決策,如機器人輔助手術[11] ,輔助駕駛[12] 等;

(2) 真實世界知識的學習困難.雖然目前 RL 應用在一些仿真環境中具有優異表現,如 OpenAI gym[13] , 但這些仿真環境以簡單游戲為主,與真實世界存在較大差異.另外,RL 應用難以避免對環境的過擬合. 當過擬合發生時,模型學到環境的背景信息,而非真正的知識.這導致了兩難的問題,一方面,在真實世 界中訓練 RL 模型通常消耗巨大,另一方面,難以確定在虛擬環境中訓練的模型學到了真實的規律.

(3) 相似任務的策略泛化困難.RL 策略通常與環境存在強耦合,難以被應用到相似環境中.甚至在同樣的 環境下,環境參數的微小變化也會極大影響模型性能.這一問題影響了模型的泛化能力,難以確定模 型在相似任務中的表現.

(4) 對抗攻擊的安全隱患難于應對.對抗攻擊[14] 是一種針對模型輸入的攻擊技術,通過將微小的惡意擾 動加入到模型的輸入中生成對抗樣本.對人而言,對抗樣本不影響判斷,甚至難以察覺,然而對于模型 而言,對抗樣本會使模型的輸出產生極大的偏差.對抗攻擊從深度學習擴展到 RL[15] [16] ,成為 RL 算 法的安全隱患.對抗攻擊的有效性進一步暴露了 RL 缺乏可解釋性的問題,同時也進一步說明 RL 模 型并未學到真正的知識.

解釋對模型的設計者和使用者都具有重要的意義.對于模型的設計者,解釋能體現模型所學的知識,便于 通過人的經驗驗證模型是否學到魯棒的知識,從而使人高效地參與到模型的設計和優化中;對于特定領域的專 家使用者,解釋提供模型的內部邏輯,當模型表現優于人時,便于從模型中提取知識以指導人在該領域內的實 踐.對于普通用戶,解釋呈現模型的決策的原因,從而加深用戶對模型的理解,增強用戶對模型的信心.

強化學習可解釋性(Explainable Reinforcement Learning, XRL),或可解釋強化學習,是人工智能可解釋性 (Explainable Artificial Intelligence, XAI)的子問題,用于增強人對模型理解,優化模型性能,從而解決上述缺乏可 解釋性導致的 4 類問題. XRL 與 XAI 之間存在共性,同時 XRL 具備自身的獨特性.

一方面，XRL 與 XAI 存在共性.首先,提供解釋的對象是智能算法而非機械算法.機械算法,如排序、查找 等,其特點是完備的輸入,固定的解法以及明確的解.而智能算法因為輸入的不完備以及解法的不確定,導致算 法必須在解空間中尋找較優的解;其次,人和模型是兩個直接面對的關鍵實體.與其他技術不同,可解釋性方法 關注人對模型的理解.由于人對大量條例混亂的數據缺乏理解,因此解釋通常對模型內在邏輯的抽象,這一過程 必然伴隨對模型策略的簡化.其中的難點是,如何在向人提供解釋時,保證該解釋與模型主體邏輯的一致性;最 后,解釋的難度是相對的,同時由問題規模和模型結構兩個因素決定,并且這兩個因素在一定條件下相互轉化. 例如,結構簡單的模型(如決策樹、貝葉斯網絡等)在通常可以直觀的展示輸入和輸出之間的邏輯關系,但面對由 大量簡單結構組成的龐大模型,其錯綜復雜的邏輯關系仍然導致模型的整體不可理解.同時,雖然結構復雜的模 型(如神經網絡)通常難以被理解,但當模型被極致約減時(如將神經網絡塌縮為具有少數變量的復合函數),模型本身仍然可以被人所理解。

另一方面,XRL 也具備自身的獨特性.強化學習問題由環境、任務、智能體策略三個關鍵因素組成,因此, 解決 XRL 問題必須同時考慮這三個關鍵因素.由于 XRL 的發展仍處于初步階段,大部分方法直接從 XAI 的研 究中繼承,導致現有研究集中于對智能體策略的解釋,即解釋智能體行為的動機及行為之間的關聯.然而,缺乏 對環境和任務的認識使得一些關鍵問題無從解決:缺乏對環境的認識使人在面臨復雜任務時,缺乏對環境內部 規律的理解,導致對環境狀態進行抽象時忽略有利信息,使智能體難以學到真實的規律;缺乏對任務的解釋使任 務目標與過程狀態序列之間的關聯不明確,不利于智能體策略與環境的解耦合,影響強化學習智能體策略在相 似任務或動態環境中的泛化能力.因此,對環境、任務和策略的解釋存在強關聯,是實現強化學習解釋必然面臨 的問題.

目前,XRL 已經成為 AI 領域的重要議題,雖然研究者們為提高強化學習模型的可解釋性做出了大量工作, 但學術界對 XRL 尚且缺乏一致的認識,導致所提方法也難以類比.為了解決這一問題,本文探索 XRL 的基礎性 問題,并對現有工作進行總結.首先,本文從 XAI 出發,對其通用觀點進行總結,作為分析 XRL 問題的基礎;然后, 分析 XRL 與 XAI 的共同問題,構建出一套可解釋性領域的理論體系,包括界定智能算法和機械算法、定義解釋 的含義、討論影響可解釋性的因素、劃分解釋的直觀性;其次,探討 XRL 問題的獨特性,提出包括環境解釋、任 務解釋和策略解釋的三個 XRL 領域的獨有問題;隨后,對現有 XRL 領域的研究進展進行總結.以技術類別和解 釋效果為依據將對現有方法進行分類,對于每個分類,根據獲取解釋的時間、解釋的范圍、解釋的程度和 XRL 的獨有問題,確定每類方法的屬性;最后,展望了 XRL 領域的潛在研究方向,重點對環境和任務的解釋、統一的 評估標準兩個方向進行展開.

1 人工智能可解釋性的觀點總結

對 XRL 的研究不能脫離 XAI 的基礎.一方面,XRL 是 XAI 的子領域,其方法和定義密切相關,因此 XRL 的 現有研究廣泛借鑒了 XAI 在其他方向(如視覺)的成果;另一方面,XRL 目前仍處于起步階段,對其針對性的討論 較少,而對于 XAI,研究者們長期以來進行了廣泛的研究和討論[17] -[24] ,具有深刻的借鑒意義.基于上述原因, 本文從 XAI 的角度探討可解釋性問題,整理出學術界對 XAI 的共識,以此作為 XRL 的研究基礎.

雖然學者們從不同角度對 XAI 的定義在特定情況下指導著一類研究.然而,缺乏精確而統一的定義使得學 術界對 XAI 的認識存在一定差異.本文對 XAI 相關的定義進行總結,并將其分為形而上的概念描述、形而下的 概念描述兩類.

形而上的概念描述使用抽象概念對可解釋性進行定義[25] -[28] .這些文獻使用抽象的詞描述可解釋性算法,例如可信性(trustworthy),可靠性(reliability)等.其中可信性意味著人以較強的信心相信模型所做的決定,而可 靠性意味著模型不同場景下總是能保持其性能.雖然這樣抽象的概念不夠精確,只能產生直觀的解釋,但仍然可以使人準確了解可解釋性的目標、對象和作用,建立對可解釋性的直覺認知.這些概念表明,可解釋性算法具備 兩個關鍵實體,即人和模型.換而言之,可解釋性是一項以模型為對象,以人為目標的技術.

形而下的概念描述從哲學、數學等的觀點出發,基于解釋的現實意義對其進行定義.如 Páez 等人[17] 從哲 學角度出發,認為解釋所產生的理解并不完全等同于知識,同時理解的過程也不一定建立在真實的基礎上.我們 認為,解釋作為媒介存在,這個媒介通過呈現模型的真實知識或構建虛擬邏輯的方式,增強人對模型的理解.同 時,人對模型的理解不必建立在完全掌握模型的基礎上,只要求掌握模型的主要邏輯,并能對結果進行符合認知 的預測. Doran 等人[29] 認為,可解釋性系統使人們不僅能看到,更能研究和理解模型輸入和輸出之間的數學映 射. 一般而言,AI 算法的本質是一組由輸入到輸出的數學映射,而解釋則是將這樣的數學映射以人類可理解和 研究的方式展現出來.雖然數學映射也是人們為描述世界而創造的一種方式,但對于復雜的數學映射(如用于表 示神經網絡的高維多層嵌套函數),人們卻無法將其與生活中的直觀邏輯相聯系. Tjoa 等人[19] 認為,可解釋性 是用于解釋算法做出的決策,揭示算法運作機制中的模式以及為系統提供連貫的數學模型或推導.這一解釋也 基于數學表達,反映出人們更多地通過模型的決策模式來理解模型,而非數學上的可重現性.

一些觀點與上述文獻存在微小出入,但仍具有借鑒意義.例如,Arrieta 等人[21] 認為可解釋性是模型的被動 特征,指示模型被人類觀察者理解的程度.這個觀點將模型的可解釋性視為被動特征,忽略了模型為了更強的可 解釋性而主動提出解釋的可能. Das 等人[23] 認為,解釋是一種用于驗證 AI 智能體或 AI 算法的方式.這一觀點 傾向于關注模型的結果,其目的是為了確保模型一貫的性能.然而該描述忽略了一個事實,即模型本身意味著知 識,可解釋性不僅是對模型結果的驗證,同時也有助于從模型中提取人們尚未掌握的知識,促進人類實踐的發 展.雖存在較小出入,但上述觀點也提出了獨特的角度,例如,可以將模型的可解釋性視為模型的一個特性,而評 估模型的性能是解釋的重要功能.

雖然對 XAI 的定義眾多,但就整體而言,學術界對 XAI 的基本概念仍然是一致的.本文嘗試提取其中的共 性作為研究 XRL 問題的理論基礎.通過對以上文獻的分析,我們總結出學術界對 XAI 的共識:

(1) 人與模型是可解釋性直接面對的兩個關鍵的實體,可解釋性是一項以模型為對象,以人為目標的技 術; (2) 解釋作為理解的媒介存在,該媒介可以是真實存在的事物,也可以是理想構建的邏輯,亦或是二者并 舉,達到讓人能夠理解模型的目的; (3) 人的對模型的理解不需要建立在完全掌握模型的基礎上; (4) 可準確重現的數學推導不可取代可解釋性,人對模型的理解包括感性和理性的認知; (5) 可解釋性是模型的特性,這一特性可用于驗證模型的性能.

2 強化學習可解釋性與人工智能可解釋性的共同問題

在對 XAI 定義進行總結的基礎上,本節討論 XRL 與 XAI 面臨的共同問題.由于 XRL 與 XAI 之間存在強 耦合,因此本節內容既適用于 XAI,同時也是 XRL 的基礎問題.

2.1 智能算法和機械算法界定

可解釋性的對象是智能算法而非機械算法.傳統認知中的機械算法,如排序、查找等,面對確定的任務目標, 同時具有固定的算法程序.強化學習作為一種智能算法,在與環境動態交互的過程中尋找最優的策略,最大化獲 得的獎賞.界定智能算法和機械算法可用于確定被解釋的對象,進而回答“什么需要被解釋”的問題.一方面,智能 算法與機械算法存在差異,而解釋只在面向智能算法時存在必要性;另一方面,即使對于強化學習,也無需對其 所有過程產生解釋,而應針對其具有智能算法特性的部分進行解釋,如動作生成、環境狀態轉移等.因此,在討論 可解釋性問題前,有必要區分智能算法和機械算法.

本文根據算法對已知條件的獲取程度和建模的完整性,定義“完全知識”和“完全建模”:

完全知識:已知足夠任務相關的有效知識,具備以機械過程獲得最優解的條件;

完全建模:進行完整的問題建模,具備完成任務所需的計算能力;

完全知識是以機械方法確定最優解的前提.例如,求解系數矩陣的秩為 的線性方程組,完全知識表示其增 廣矩陣的秩大于等于系數矩陣的秩,此時可以根據當前知識,獲得確定的解或者確定其無解;完全建模意味著對 現有知識的充分利用,換言之,完全建模從建模者的角度出發,表示在解決任務的過程中有能力(包括程序設計 者的設計能力和硬件的算力)利用所有的知識.例如,在 19×19 圍棋游戲中,存在理論上的最優解法,但目前尚不具備足夠的計算能力在有限時間內獲取最優解.

根據上述對完全知識和完全建模的定義,本文進一步提出“任務完全”的概念來確定機械算法與智能算法 之間的邊界:

任務完全:對特定任務,具備完全知識并進行完全建模.

任務完全必須在完全知識的前提下進行完全建模.滿足任務完全的條件后,算法的優劣取僅決于建模方式 和使用者的實際需求.任務完全的定義考慮了知識和建模兩方面因素(圖 1).

任務完全的概念可以用來區分機械算法和智能算法.機械算法是任務完全的,具體來說,算法已知足夠的 知識,并進行了無簡化的建模.此時,算法具備獲取最優解的條件,因此算法的過程是確定的,獲得的解也是可預期的.例如,經典排序算法、傳統數據查詢、3×3 井字棋游戲算法等都屬于機械算法.智能算法是任務不完全的, 這意味著算法不具備足夠的知識,或者采取了簡化的建模方式.智能算法無法直接獲取最優解,通常在解空間中 尋找較優的解.如基于貪心策略的算法,線性回歸方法,19×19 傳統圍棋策略,機器學習類算法等。

導致任務不完全的可能有二,即知識不完全和建模不完全.在知識不完全的情況下,算法無法直接確定最 優解,因此只能在解空間中逼近最優解.此時,智能算法的實際作用是在解空間中進行解的選擇.導致知識不完 全的因素通常是客觀的,如環境狀態無法被完全觀測,任務目標不可預知,任務評價指標的不可知,任務始終點 不可知等等;在建模不完全的情況下,算法通常忽略某些知識,導致算法過程沒有充分利用知識,從而無法獲得 最優解.建模不完全的原因有客觀和主觀兩方面,客觀原因如建模偏差,不完全建模等,主觀原因包括降低硬件 需求,模型提速等.在強化學習中,并非所有過程具備任務不完全的特點,因此只有部分需要進行解釋,如策略生 成、環境狀態轉移等.

2.2 對“解釋”的定義

在漢語詞典中,解釋有“分析、闡明”的含義.這不僅符合生活中對該詞的理解,同時也與可解釋性研究中“解 釋”的含義相近.然而,具體到可解釋性的研究中,這一含義顯得寬泛.我們希望結合對可解釋性的理解,細化“解 釋”的含義,使之具有更強的指導意義.以強化學習模型為例,模型學習使獎勵最大化的策略,其中包含著環境、獎 勵和智能體之間的隱式知識,而 XRL 算法則是將這些隱式知識顯式地表現出來.本文將多個知識視為集合,稱 為知識體系,從知識體系相互之間關系的角度,對“解釋”做出如下定義:

解釋:知識體系之間的簡潔映射.簡潔映射是在不引入新知識的條件下對目標知識進行表達;

具體來說,解釋是將基于原知識體系的表達轉換為目標知識體系表達的過程,這個過程僅使用目標知識體 系的知識,而不引入新的知識.而 XRL 算法的目的在于產生解釋,從而使原知識體系能夠被目標知識體系簡潔 的表達出來.在 XRL 中,原知識體系通常指代強化學習模型,而目標知識體系通常指人的認知,模型和人是可解 釋性的兩個關鍵實體.本文將原知識體系看作由多個元知識及其推論構成的集合.以 表示元知識, 表示知識 體系,則 .假設智能體習得的知識屬于知識體系 ,而人類能夠理解的知識屬于知識體系 ,則解釋 是將知識體系 轉換為知識體系 表達的過程.對于解釋而言,簡潔映射是必要的,非簡潔的映射可能提升解釋 本身的被理解難度,進而導致解釋本身讓人無法理解(見 2.3 ).

在對知識進行轉換表達的過程中,待解釋的知識可能無法完全通過目標知識體系進行描述,這時只有部分 知識可以被解釋.本文使用“完全解釋”和“部分解釋”的概念描述這一情況:

完全解釋:待解釋的知識完全被目標知識體系表達.其中,被解釋的知識屬于目標知識體系是其必要條件;

部分解釋:待解釋的知識的部分被目標知識體系表達.

具體來說,完全解釋和部分解釋描述的是知識體系之間的包含情況(圖 2).只有當待解釋的知識體系完全 被目標知識體系所包含時,才可能進行完全解釋,否則只能進行部分解釋.在 XRL 中,完全解釋通常是不必要的.

一方面,待解釋知識體系和目標知識體系的邊界難以確定,導致完全解釋難度高且耗費巨大;另一方面,實現對 模型的解釋通常不需要建立在對模型完全掌握的基礎上.因此,部分解釋是大部分可解釋性研究中采用的方法, 即只描述算法的主要決策邏輯.

2.3 可解釋性的影響因素

一個觀點認為,傳統 ML(RL 為其子集)方法是易于解釋的,而深度學習的引入使得可解釋性產生了短板,導 致 ML難于解釋,因此 ML 解釋的本質是對深度學習的解釋[21] .這與可解釋性領域的認知相悖[28] .這一觀點只 關注模型而忽略了人在可解釋性中的地位.對于人而言,即使是理論上可被理解的模型,當規模擴張到一定程度 時,仍然會導致整體的不可理解.本文對可解釋性的影響因素進行如下定義:

透明度:待解釋模型結構的簡潔程度;

模型規模:待解釋模型包含的知識量和知識組合多樣化程度;

本文認為,可解釋性是對模型組件透明度和模型規模的綜合描述.透明度和模型規模是影響可解釋性的兩 個主要因素.具體來說,可解釋性強意味著同時具備高透明度和低復雜度,而單一因素,如復雜度高或透明度低 將導致模型的弱可解釋性(圖 3).

在不同語境下,“透明”一詞具有不同的含義.例如,在軟件結構中,透明指的是對底層過程的抽象程度,意味 著上層程序無需關注底層的實現.類似的,透明度在可解釋性領域也存在不同的含義,如文獻[26] [27] 認為透明 度是模型可以被理解的程度,將透明度與可解釋性等價.以強化學習為例,基于值表的強化學習算法在規模一定 時通常具有更強的可解釋性,而使用深度學習擬合值表則可解釋性更弱,這是因為通過查詢值表而產生策略的 過程符合人的直觀理解,但神經網絡傳播過程僅在數學上可被準確描述,于人而言透明度更低.然而,這一思考 將構建模型的基礎結構作為可解釋性的重點,而忽略了模型規模對解釋帶來的難度,并忽略了解釋的目標—— 人.因此,為突出模型規模對解釋的影響,我們僅將透明度狹義理解為待解釋模型的結構的簡潔程度.

模型規模從人理解能力的角度衡量解釋的難度.具體來說,假設模型中的知識由一系列元知識構成,則模 型規模表示元知識總量和知識之間組合的多樣化程度,而解釋的難度一定程度上取決于模型規模,當模型規模 超過特定范圍(人的理解能力)時模型將無法被理解.例如,線性加性模型、決策樹模型、貝葉斯模型,由于計算過 程簡潔,使我們能夠輕易了解模型基于何因素得到何種結果,因此被認為是易于理解的.然而,當模型規模逐漸 龐大時,各因素之間的邏輯不可避免地相互交織,變得錯綜復雜,使我們最終無法抓住其主從關系.對于以簡潔 結構(如決策樹分支)構成的大規模模型,雖然所有結果在理論上有跡可循,但當模型規模已超越人類的理解能 力,導致系統整體將仍然不具備可解釋性.

2.4 可解釋性的程度劃分

人的學習過程與強化學習過程存在一定的相似性,因此,如果將人腦看作目前最先進的智能模型,則人對 模型的理解不僅僅是人對模型的直觀感受,也是一個先進的智能體對強化學習模型的綜合評估.然而,一個無法 理解的模型不可能被有效評估,因此對模型的解釋成為人理解模型的媒介.作為人和模型之間媒介,可解釋性算 法不同程度的具備兩個相互平衡特點:接近模型和接近人的感知.具體來說,不同的解釋有的更注重準確的描述 模型,而另一些更注重與人的感知一致.基于這一概念,本文將可解釋性分為如下三個層次:

(1) 數學表達: 通過理想化的數學推導解釋模型.數學表達是使用數學語言簡化模型的表達.由于強化學 習模型建立在數學理論的基礎上,因此通過數學表達可以準確地描述和重構模型.雖然數學理論體 系是人描述世界的一種重要方式,但其與人的普遍直覺之間存在較大差異.以深度學習為例,雖然存 在大量文章論證了其在數學上的合理性,但深度學習方法仍然被認為是不可解釋的.因此,數學的表 達能夠在微觀(參數)層面對模型進行描述,但難以遷移至人類知識體系;

(2) 邏輯表達: 通過將模型轉換為顯性的邏輯規律解釋模型.邏輯表達是對模型中主體策略的提取,即忽 略其細微分支,凸顯主體邏輯.一方面,邏輯表達保留了模型的主體策略,因此與模型真實決策結果相 近,解釋本身可以部分重現模型的決策;另一方面,邏輯表達簡化了模型,符合人的認知.邏輯表達是較 為直觀的解釋,但需要人具備特定領域的知識,是面對人類專家的解釋,而對一般用戶尚不夠直觀;

(3) 感知表達: 通過提供符合人類直覺感知的規律解釋模型.感知表達基于模型生成符合人類感知的解 釋,由于不需要人具備特定領域的知識,因此易于理解.例如,可視化關鍵輸入、示例對比等解釋形式 都屬于感知表達的范疇.然而,感知表達通常是對模型策略的極大精簡,因為無法重現模型的決策,導 致其只解釋決策的合理性.

在可解釋性的三個層次中,數學表達作為第一個層次,也是構建強化學習算法的理論基礎.在已知模型所 有參數的情況下,數學表達通常可以較為準確的推斷出模型的結果,然而,數學上的合理性不意味著能被人所理 解;邏輯表達介于數學表達和感知表達之間,是對模型策略的近似,但邏輯表達方法產生的解釋通常要求用戶具 備特定領域的專業知識;感知表達對模型決策的重要因素進行篩選,并使用清晰、簡潔的形式進行呈現,雖然結 果易于理解,但已經不具備重構策略的能力.總而言之,不同的解釋在接近模型和接近人類感知之間存在著平 衡,難以兼顧.

3 強化學習可解釋性的獨有問題

與其他 ML 方法不同,RL 問題由環境、任務、智能體三個關鍵因素組成.其中,環境為給定的具有一定內部規律的黑盒系統;任務為智能體為最大化其平均獎賞的而擬合的目標函數;策略是智能體行為的依據和一系 列行為之間的關聯.根據強化學習的三個關鍵組成因素,本文歸納出 XRL 的三個獨有問題,即環境解釋,任務解 釋,策略解釋.三個獨有問題之間存在著密切的關聯,與整個強化學習過程密不可分,是實現強化學習解釋直接 面臨的問題.

4 強化學習可解釋性研究現狀

由于 XRL 涉及的領域廣泛,學者從各領域的角度出發,導致所提出的方法具有較大差異.因此,本節分兩步 對相關方法進行總結.首先,根據技術類別和解釋的展現形式,將現有方法分為視覺和語言輔助解釋、策略模仿、 可解釋模型、邏輯關系提取和策略分解五個類別.然后,在通用分類方法(即獲取解釋的時間、解釋的范圍)的基 礎上,結合本文所提出的分類依據(即解釋的程度,面對的關鍵科學問題),確定不同類別方法的屬性.

在可解釋性領域中,分類通常基于獲取解釋的時間和解釋的范圍兩個因素[31] .具體而言,根據獲取解釋的 時間,可解釋性方法被分為固有(intrinsic)解釋和事后(post-hoc)解釋.固有解釋通過限制模型的表達,使模型在運 行時生成具備可解釋性的輸出.例如,基于較強可解釋性的原理和組件(決策樹、線性模型等)構造模型,或者通過 增加特定過程使模型生成可解釋性的輸出;事后解釋是通過對模型行為的分析,總結模型的行為模式,從而達到 解釋的目的.通常而言,固有解釋是策略產生過程中的解釋,特定于某個模型,而事后解釋是策略產生后的解釋, 與模型無關.根據解釋的范圍,可解釋性方法被分為全局(global)解釋和局部(local)解釋,全局解釋忽略模型的微 觀結構(如參數、層數等因素),從宏觀層面提供對模型的解釋,局部解釋從微觀入手,通過分析模型的微觀結構獲 得對模型的解釋.

除上述可解釋性的通用分類之外,本文基于解釋與模型和人類感知的符合程度,將可解釋性方法分為數學 表達、邏輯表達和感知表達三類(見 2.4 ).這三類可解釋性方法體現出可解釋性算法在解釋的形式、解釋與模 型結果的近似程度和解釋的直觀度等方面的區別.前文(見 3 )分析了 XRL 面臨的 3 個關鍵問題,即環境解釋, 任務解釋和策略解釋.目前,單個 XRL 方法難以同時解決三類問題,因此,我們也以此為依據,對當前 XRL 方法所 著眼的問題進行區分.

綜上所述,本文以“獲取解釋的時間”、“解釋的范圍”、“解釋的程度”以及“關鍵問題”為依據,對 XRL 方法 進行分類(見表 1).由于算法多樣,表 1 僅顯示大類別算法的特點,部分算法可能不完全符合

總結

本文以 XRL 的問題為中心,討論了該領域的基礎問題,并對現有方法進行總結.由于目前在 XRL 領域,乃至 整個 XAI 領域尚未形成完整、統一的共識,導致不同研究的基礎觀點存在較大差異,難于類比.本文針對該領域 缺乏一致認知的問題,進行了較為深入的研究工作.首先,本文參考 XRL 領域的父問題——XAI,收集 XAI 領域 的現有觀點,并整理出 XAI 領域較為通用的認識;其次,以 XAI 領域的定義為基礎,討論 XAI 與 XRL 面臨的共同 問題;然后,結合強化學習自身的特點,提出 XRL 面臨的獨有問題;最后,總結了相關的研究方法,并對相關方法進 行分類.分類中包括作者明確指出為 XRL 的方法,也包括作者雖未著重強調,但實際對 XRL 有重要意義的方法. XRL 目前尚處于初步階段,因此存在大量亟待解決的問題.本文重點提出環境和任務的解釋、統一的評估標準 兩類問題.本文認為這兩類問題是為類 XRL 領域的基石,是值得重視的研究領域.

人工智能在與人類生活息息相關的場景中自主決策時，正逐漸面臨法律或倫理的問題或風險.可信機器學習是建立安全人工智能系統的核心技術，是人工智能領域的熱門研究方向，而公平性是可信機器學習的重要考量.公平性旨在研究機器學習算法決策對個人或群體不存在因其固有或后天屬性所引起的偏見或偏愛.本文從公平表征、公平建模和公平決策三個角度出發，以典型案例中不公平問題及其危害為驅動，分析數據和算法中造成不公平的潛在原因，建立機器學習中的公平性抽象定義及其分類體系，進一步研究用于消除不公平的機制.可信機器學習中的公平性研究在人工智能多個領域中處于起步階段，如計算機視覺、自然語言處理、推薦系統、多智能體系統和聯邦學習等.建立具備公平決策能力的人工智能算法，是加速推廣人工智能落地的必要條件，且極具理論意義和應用價值.