亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大語言模型（LLMs）通過實現類人文本生成和自然語言理解，徹底改變了人工智能（AI）領域。然而，它們對靜態訓練數據的依賴限制了它們對動態實時查詢的響應能力，導致輸出結果過時或不準確。檢索增強生成（RAG）作為一種解決方案，通過集成實時數據檢索來增強LLM，提供上下文相關且最新的響應。盡管如此，傳統的RAG系統仍受到靜態工作流的限制，缺乏應對多步驟推理和復雜任務管理所需的適應能力。智能體檢索增強生成（智能體RAG）通過將自主AI智能體嵌入到RAG管道中，超越了這些局限性。這些智能體利用智能體設計模式——反思、規劃、工具使用和多智能體協作——動態管理檢索策略、迭代優化上下文理解，并調整工作流以滿足復雜的任務需求。這種集成使智能體RAG系統能夠在各種應用中提供無與倫比的靈活性、可擴展性和上下文感知能力。本綜述全面探討了智能體RAG，從其基礎原理及RAG范式的演變開始，呈現了智能體RAG架構的詳細分類法，突出了醫療、金融和教育等行業中的關鍵應用，并考察了實際實施策略。此外，本文還討論了擴展這些系統、確保倫理決策和優化實際應用性能的挑戰，同時提供了有關實施智能體RAG框架和工具的詳細見解。

---

關鍵詞: 大語言模型（LLMs） · 人工智能（AI） · 自然語言理解 · 檢索增強生成（RAG） · 智能體RAG · 自主AI智能體 · 反思 · 規劃 · 工具使用 · 多智能體協作 · 智能體設計模式 · 上下文理解 · 動態適應性 · 可擴展性 · 實時數據檢索 · 智能體RAG的分類法 · 醫療應用 · 金融應用 · 教育應用 · 倫理AI決策 · 性能優化 · 多步驟推理

1 引言

大語言模型（LLMs）[1, 2] [3]，如OpenAI的GPT-4、Google的PaLM和Meta的LLaMA，憑借其生成類人文本和執行復雜自然語言處理任務的能力，已顯著改變了人工智能（AI）領域。這些模型推動了各個領域的創新，包括對話代理[4]、自動內容創作和實時翻譯。最近的進展已將它們的能力擴展到多模態任務，如文本到圖像和文本到視頻生成[5]，使得從詳細提示生成和編輯視頻和圖像成為可能[6]，從而拓寬了生成式AI的潛在應用范圍。盡管取得了這些進展，大語言模型仍面臨顯著的局限性，主要源于它們依賴于靜態的預訓練數據。這種依賴通常導致信息過時、產生幻覺響應[7]，并且無法適應動態的現實世界場景。這些挑戰突顯了需要集成實時數據、動態調整響應以保持上下文相關性和準確性的系統。檢索增強生成（RAG）[8, 9]作為應對這些挑戰的一個有前景的解決方案應運而生。通過將大語言模型的生成能力與外部檢索機制[10]結合，RAG系統增強了響應的相關性和時效性。這些系統從知識庫[11]、API或網絡等來源檢索實時信息，有效彌合了靜態訓練數據與動態應用需求之間的鴻溝。然而，傳統的RAG工作流仍然受限于其線性和靜態的設計，限制了它們執行復雜多步驟推理、整合深層次上下文理解以及迭代優化響應的能力。智能體[12]的演進進一步增強了AI系統的能力。現代智能體，包括大語言模型驅動的和移動智能體[13]，是能夠感知、推理并自主執行任務的智能實體。這些智能體利用智能體工作流模式，如反思[14]、規劃[15]、工具使用和多智能體協作[16]，使其能夠管理動態工作流并解決復雜問題。檢索增強生成與智能體智能的融合催生了智能體檢索增強生成（智能體RAG）[17]，這一范式將智能體集成到RAG管道中。智能體RAG通過動態檢索策略、上下文理解和迭代優化[18]，實現了信息處理的自適應和高效性。與傳統的RAG不同，智能體RAG通過自主智能體來協調檢索、篩選相關信息并優化響應，在需要精確性和適應性的場景中表現出色。本綜述探討了智能體RAG的基礎原理、分類法和應用。它全面回顧了RAG范式，如樸素RAG、模塊化RAG和圖結構RAG[19]，以及它們向智能體RAG系統演變的過程。主要貢獻包括詳細的智能體RAG框架分類法、在醫療[20, 21]、金融和教育[22]等領域的應用，并提供了實施策略、基準測試和倫理考慮的見解。

本文的結構如下：第2節介紹RAG及其演變，強調傳統方法的局限性。第3節詳細闡述智能體智能及智能體模式的原理。第4節提供智能體RAG系統的分類法，包括單智能體、多智能體和基于圖的框架。第5節探討智能體RAG的應用，第6節討論實施工具和框架。第7節聚焦于基準測試和數據集，第8節總結并展望智能體RAG系統的未來發展方向。

2. 檢索增強生成（RAG）的基礎

2.1 RAG概述

檢索增強生成（RAG）是人工智能領域的一項重要進展，它將大型語言模型（LLMs）的生成能力與實時數據檢索相結合。盡管LLMs在自然語言處理任務中表現出色，但其依賴靜態預訓練數據的特性導致其生成的響應往往過時或不完整。RAG通過從外部數據源動態檢索相關信息并將其整合到生成過程中，提供了更具上下文準確性和時效性的輸出。

2.2 RAG的核心組件RAG系統的架構通常包括三個主要組件：檢索器（Retriever）：負責從外部數據源（如知識庫、API或向量數據庫）中查詢相關信息。先進的檢索器利用密集向量搜索和基于Transformer的模型來提高檢索精度和語義相關性。增強器（Augmentation）：處理檢索到的數據，提取并總結與查詢上下文最相關的信息。生成器（Generation）：將檢索到的信息與LLMs的預訓練知識相結合，生成連貫且上下文相關的響應。

2.3 RAG范式的演進RAG范式經歷了從簡單到復雜的演進過程，逐步適應了現實世界應用中對上下文準確性、可擴展性和多步推理的需求。以下是RAG范式的主要演進階段： 2.3.1 Naive RAGNaive RAG是RAG的最基礎實現，依賴于簡單的關鍵詞檢索技術（如TF-IDF和BM25）從靜態數據集中獲取文檔。盡管Naive RAG易于實現，但其缺乏上下文意識，生成的響應往往過于碎片化或泛化。

2.3.2 Advanced RAGAdvanced RAG在Naive RAG的基礎上引入了語義理解和增強的檢索技術，如密集檢索模型（Dense Passage Retrieval, DPR）和神經排序算法。這些改進使得Advanced RAG能夠處理更復雜的查詢，尤其是在需要高精度和細致理解的場景中。

2.3.3 Modular RAGModular RAG將檢索和生成流程分解為獨立的、可重用的組件，允許根據特定任務進行優化和定制。這種模塊化設計使得Modular RAG能夠靈活應對多領域任務，同時保持高精度和可擴展性。

2.3.4 Graph RAGGraph RAG通過引入圖數據結構，增強了多跳推理和上下文豐富性。圖RAG系統能夠捕捉實體之間的關系和層次結構，從而生成更準確和豐富的輸出，尤其是在需要結構化關系推理的領域（如醫療診斷和法律研究）中表現出色。

2.3.5 Agentic RAGAgentic RAG通過引入自主智能體，實現了動態決策和工作流優化。與靜態系統不同，Agentic RAG能夠根據查詢的復雜性動態調整檢索策略，并通過迭代優化提升響應質量。Agentic RAG在客戶支持、金融分析和自適應學習平臺等需要動態適應性和上下文精確性的領域中表現出色。

3. Agentic RAG的核心原則與背景

Agentic RAG的核心在于其集成了自主智能體，能夠進行動態決策、迭代推理和協作工作流。這些智能體通過以下設計模式來增強系統的適應性和精確性： 3.1 智能體設計模式3.1.1 反思（Reflection）反思是智能體工作流中的基礎設計模式，允許智能體通過自我反饋機制迭代評估和優化其輸出。通過反思，智能體能夠識別并糾正錯誤、不一致性，并改進其性能。在多智能體系統中，反思可以涉及不同角色的智能體，如一個智能體生成輸出，另一個智能體對其進行批判，從而促進協作改進。 3.1.2 規劃（Planning）規劃使智能體能夠將復雜任務分解為更小的子任務，從而在多步推理和動態問題解決中表現出色。通過規劃，智能體能夠動態確定完成任務的步驟序列，確保在不確定和動態環境中保持靈活性。3.1.3 工具使用（Tool Use）工具使用允許智能體通過與外部工具、API或計算資源交互來擴展其能力。通過動態集成工具，智能體能夠適應復雜任務并提供更準確和上下文相關的輸出。 3.1.4 多智能體協作（Multi-Agent Collaboration）多智能體協作通過任務分配和并行處理來提高系統的可擴展性和適應性。每個智能體專注于特定的子任務，并通過通信和共享中間結果來確保整體工作流的高效性和一致性。

4. Agentic RAG系統的分類

Agentic RAG系統可以根據其架構的復雜性和設計原則進行分類，主要包括單智能體架構、多智能體系統和分層智能體架構。每種架構都針對特定的挑戰進行了優化，并在不同的應用中表現出色。4.1 單智能體Agentic RAG：路由器單智能體Agentic RAG系統采用集中式決策機制，由單個智能體負責檢索、路由和信息的整合。這種架構簡化了系統設計，特別適用于工具或數據源數量有限的場景。工作流程查詢提交與評估：用戶提交查詢，協調智能體接收并分析查詢，確定最合適的信息源。知識源選擇：根據查詢類型，協調智能體選擇不同的檢索選項，如結構化數據庫、語義搜索、網絡搜索或推薦系統。數據整合與LLM合成：檢索到的數據傳遞給大型語言模型（LLM），LLM將來自多個源的信息整合成連貫且上下文相關的響應。輸出生成：系統生成綜合性的用戶響應，并以簡潔、可操作的格式呈現。關鍵特性與優勢集中化簡化：單個智能體處理所有檢索和路由任務，簡化了系統設計和維護。效率與資源優化：由于智能體數量較少，系統對計算資源的需求較低，能夠快速處理查詢。動態路由：智能體實時評估每個查詢，選擇最合適的知識源。跨工具的多功能性：支持多種數據源和外部API，適用于結構化和非結構化工作流。 4.2 多智能體Agentic RAG系統多智能體RAG系統通過多個專用智能體處理復雜的工作流和多樣化的查詢類型。每個智能體專注于特定的任務或數據源，從而提高了系統的靈活性和可擴展性。工作流程查詢提交：用戶查詢由協調智能體接收，并根據查詢需求分配給專用檢索智能體。專用檢索智能體**：每個智能體負責特定類型的數據源或任務，如結構化查詢、語義搜索、網絡搜索或推薦系統。工具訪問與數據檢索：每個智能體將查詢路由到其領域內的適當工具或數據源，檢索過程并行執行，以提高效率。數據整合與LLM合成：檢索完成后，所有智能體的數據傳遞給LLM，LLM將信息整合成連貫的響應。輸出生成：系統生成綜合性的響應，并以簡潔、可操作的格式呈現給用戶。關鍵特性與優勢模塊化：每個智能體獨立運行，允許根據系統需求無縫添加或移除智能體。可擴展性：多個智能體并行處理查詢，能夠高效處理高查詢量。任務專業化：每個智能體針對特定類型的查詢或數據源進行優化，提高了檢索的準確性和相關性。效率：通過將任務分配給專用智能體，系統減少了瓶頸，提升了復雜工作流的性能。 4.3 分層智能體Agentic

RAG系統分層智能體RAG系統采用多層次的信息檢索和處理方法，增強了系統的效率和戰略決策能力。智能體按層次組織，高層智能體負責監督和指導低層智能體，確保查詢由最合適的資源處理。工作流程查詢接收：用戶提交查詢，由頂層智能體接收并進行初步評估。戰略決策：頂層智能體評估查詢的復雜性，并決定優先使用哪些子智能體或數據源。任務分配：頂層智能體將任務分配給低層智能體，低層智能體執行其分配的任務。數據整合與合成：低層智能體的結果由高層智能體整合，并生成連貫的響應。響應交付：最終的合成響應返回給用戶，確保響應全面且上下文相關。關鍵特性與優勢戰略優先級：頂層智能體可以根據查詢的復雜性、可靠性或上下文優先選擇數據源或任務。可擴展性：通過將任務分配給多個層次的智能體，系統能夠處理高度復雜或多方面的查詢。增強的決策能力：高層智能體通過戰略監督提高了響應的整體準確性和連貫性。

5. Agentic RAG的應用Agentic RAG系統在多個領域中展示了其變革潛力，尤其是在需要實時數據檢索、生成能力和自主決策的場景中。以下是Agentic RAG在幾個關鍵領域中的應用：

5.1 客戶支持與虛擬助手Agentic RAG系統通過實時、上下文感知的查詢解決，徹底改變了客戶支持。傳統的聊天機器人和虛擬助手通常依賴于靜態知識庫，導致生成通用或過時的響應。相比之下，Agentic RAG系統能夠動態檢索最相關的信息，適應用戶的上下文，并生成個性化的響應。用例：Twitch廣告銷售增強Twitch利用Agentic RAG系統動態檢索廣告商數據、歷史活動表現和受眾 demographics，生成詳細的廣告提案，顯著提升了運營效率。

5.2 醫療與個性化醫療在醫療領域，Agentic RAG系統通過整合患者特定數據和最新的醫學研究，幫助臨床醫生進行診斷和治療規劃。用例：患者病例摘要Agentic RAG系統通過整合電子健康記錄（EHR）和最新的醫學文獻，生成全面的患者病例摘要，幫助臨床醫生更快地做出決策。

5.3 法律與合同分析Agentic RAG系統通過快速文檔分析和決策支持工具，重新定義了法律工作流程。用例：合同審查Agentic RAG系統可以分析合同，提取關鍵條款并識別潛在風險，自動化合同審查過程，確保合規性并降低風險。

5.4 金融與風險分析Agentic RAG系統通過提供實時洞察，徹底改變了金融行業，支持投資決策、市場分析和風險管理。用例：汽車保險理賠處理Agentic RAG系統可以自動化理賠處理，通過檢索保單詳情并結合事故數據，生成理賠建議，同時確保符合監管要求。

5.5 教育與個性化學習Agentic RAG系統在教育領域也取得了顯著進展，通過生成解釋、學習材料和反饋，支持個性化學習。用例：研究論文生成Agentic RAG系統通過從多個來源綜合關鍵發現，幫助研究人員生成研究論文摘要，提升研究效率。

5.6 圖增強的多模態工作流圖增強的Agentic RAG（GEAR）結合了圖結構和檢索機制，特別適用于需要多模態數據的工作流。用例：市場調查生成GEAR能夠生成包含文本、圖像和視頻的詳細市場調查報告，幫助營銷團隊分析市場趨勢和客戶偏好。

6. Agentic RAG的工具與框架

Agentic RAG系統的開發依賴于多種工具和框架，這些工具和框架提供了強大的支持，幫助開發者構建復雜的Agentic RAG系統。以下是一些關鍵的工具和框架：

6.1 LangChain與LangGraphLangChain提供了模塊化組件，用于構建RAG管道，無縫集成檢索器、生成器和外部工具。LangGraph則通過引入基于圖的工作流，支持循環、狀態持久化和人機交互，增強了Agentic RAG系統的復雜性和自校正能力。

6.2 LlamaIndexLlamaIndex的Agentic Document Workflows（ADW）支持端到端的文檔處理、檢索和結構化推理。它引入了元智能體架構，子智能體管理較小的文檔集，頂層智能體負責協調任務，如合規性分析和上下文理解。

6.3 Hugging Face Transformers與QdrantHugging Face提供了預訓練模型，用于嵌入和生成任務，而Qdrant則通過自適應向量搜索能力增強了檢索工作流，允許智能體動態切換稀疏和密集向量方法。

6.4 CrewAI與AutoGen這些框架強調多智能體架構。CrewAI支持分層和順序流程、強大的記憶系統和工具集成。AutoGen則通過多智能體協作，支持代碼生成、工具執行和決策制定。

6.5 OpenAI Swarm框架OpenAI Swarm框架是一個輕量級的多智能體編排框架，強調智能體的自主性和結構化協作。

6.6 Agentic RAG與Vertex AIGoogle的Vertex AI平臺與Agentic RAG無縫集成，提供了構建、部署和擴展機器學習模型的平臺，支持強大的上下文感知檢索和決策工作流。

6.7 Amazon Bedrock for Agentic RAGAmazon Bedrock提供了一個強大的平臺，用于實現Agentic RAG工作流。

6.8 IBM Watson與Agentic RAGIBM的watsonx.ai支持構建Agentic RAG系統，通過集成外部信息和增強響應準確性，回答復雜查詢。

6.9 Neo4j與向量數據庫Neo4j是一個開源的圖數據庫，擅長處理復雜的關系和語義查詢。與Neo4j一起，向量數據庫如Weaviate、Pinecone、Milvus和Qdrant提供了高效的相似性搜索和檢索能力，構成了高性能Agentic RAG工作流的基礎。

7. 基準測試與數據集

當前的基準測試和數據集為評估Agentic RAG系統提供了寶貴的見解。以下是一些關鍵的基準測試和數據集：

7.1 BEIR（信息檢索基準測試）BEIR是一個多功能的基準測試，用于評估嵌入模型在各種信息檢索任務中的表現，涵蓋了生物信息學、金融和問答等多個領域的17個數據集。

7.2 MS MARCO（微軟機器閱讀理解）MS MARCO專注于段落排序和問答任務，廣泛用于RAG系統中的密集檢索任務。

7.3 TREC（文本檢索會議，深度學習賽道）TREC提供了段落和文檔檢索的數據集，強調檢索管道中排序模型的質量。

7.4 MuSiQue（多跳順序問答）MuSiQue是一個多跳推理基準測試，強調從斷開連接的上下文中檢索和綜合信息的重要性。

7.5 2WikiMultihopQA2WikiMultihopQA是一個多跳問答數據集，專注于跨多個來源連接知識的能力。7.6 AgentG（Agentic RAG知識融合）AgentG專為Agentic RAG任務設計，評估跨多個知識庫的動態信息綜合能力。

7.7 HotpotQAHotpotQA是一個多跳問答基準測試，要求對互連的上下文進行檢索和推理，適用于評估復雜的RAG工作流。

7.8 RAGBenchRAGBench是一個大規模、可解釋的基準測試，包含10萬個跨行業領域的示例，提供了可操作的RAG指標。

7.9 BERGEN（檢索增強生成基準測試）BERGEN是一個用于系統化基準測試RAG系統的庫，支持標準化實驗。7.10 FlashRAG工具包FlashRAG工具包實現了12種RAG方法，并包含32個基準測試數據集，支持高效和標準化的RAG評估。

7.11 GNN-RAGGNN-RAG評估圖基RAG系統在節點級和邊級預測任務中的表現，重點關注知識圖譜問答（KGQA）中的檢索質量和推理性能。

8. 結論

Agentic Retrieval-Augmented Generation (Agentic RAG) 代表了人工智能領域的一項重大進步，通過集成自主智能體，克服了傳統RAG系統的局限性。Agentic RAG系統通過動態決策、迭代推理和協作工作流，顯著提升了系統的適應性和精確性，使其能夠應對復雜的現實世界任務。盡管Agentic RAG系統展示了巨大的潛力，但仍面臨一些挑戰，如多智能體架構的協調復雜性、可擴展性和延遲問題，以及倫理決策的確保。未來的研究需要進一步探索這些挑戰，并開發專門的基準測試和數據集，以評估Agentic RAG系統的獨特能力。隨著人工智能系統的不斷發展，Agentic RAG將成為創建自適應、上下文感知和具有影響力的解決方案的基石，滿足快速變化的世界需求。通過解決這些挑戰并探索未來的方向，研究人員和從業者可以充分發揮Agentic RAG系統的潛力，推動跨行業和領域的變革性應用。

人類在復雜的模式識別任務中非常出色。然而，他們通常依賴工具——如書籍、谷歌搜索或計算器——來補充他們的先驗知識，以便得出結論。與人類類似，生成性人工智能模型也可以通過訓練，使用工具來訪問實時信息或建議現實世界中的行動。例如，模型可以利用數據庫檢索工具來訪問特定信息，如客戶的購買歷史，從而生成量身定制的購物推薦。或者，基于用戶的查詢，模型可以進行多次API調用，向同事發送電子郵件回復，或代表用戶完成金融交易。為了實現這一點，模型不僅需要訪問一組外部工具，還需要具備規劃和執行任務的能力，且能夠自我指導。這種推理、邏輯與外部信息訪問能力的結合，與生成性人工智能模型相連，引出了“智能體”的概念——即一種超越生成性人工智能模型獨立功能的程序。本文白皮書將更詳細地探討這些及相關方面。

經典自然語言處理（NLP）的進展主要受到機器學習的推動，這種機器學習通過優化在大規模任務特定的標記示例集上的系統來實現。這種學習范式限制了機器在處理新任務時與人類具有相同能力的能力，因為人類通常可以通過一些示例和任務說明來解決未知任務。此外，對于新任務，我們可能沒有機會準備大量的任務特定示例，因為我們無法預測下一個需要解決的任務以及為此任務進行復雜標注的需求。因此，任務說明充當了一種新穎且有前景的監督資源。本教程呈現了一系列以任務指令為驅動的多樣化NLP研究，試圖回答以下問題：(i) 什么是任務指令？(ii) 如何創建數據集和評估系統的過程是如何進行的？(iii) 如何編碼任務指令？(iv) 有時候為什么會有一些指令效果更好？(v) 在以LLM為驅動的任務遵循中還存在哪些關切？我們將討論一些處理這些挑戰的前沿研究方向，并通過勾畫進一步研究的方向來總結本教程。

介紹(幻燈片) 為什么“從指令中學習”很重要? 什么是“指令”?(面向LLM的指令與面向人的指令) 具有代表性的指令遵循研究 指令遵循的數據集和評估(幻燈片) 人工生成數據集LLM-generated數據集 自動評價與人工評價 方法——促使(幻燈片) 人類啟發的提示技術(推理、增強、驗證、反饋和細化) llm驅動的自動提示工程 方法論——llm中的對齊 人類的價值觀表現為多種形式 LLM不同階段的對齊技術(預訓練，監督微調，基于獎勵的調優，測試時間，部署，工具使用) 指令遵循的挑戰和問題 llm處理否定時的逆標度律 llm很難像人類一樣掌握指令 對抗性指令攻擊 結論和未來方向

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

機器學習是關于基于數據學習、推理和行動的。這是通過構建計算機程序來完成的，這些程序處理數據，提取有用的信息，對未知屬性進行預測，并建議采取行動或做出決定。將數據分析轉化為機器學習的原因是，這個過程是自動化的，計算機程序是從數據中學習的。這意味著使用通用的計算機程序，這些程序根據觀察到的所謂的訓練數據自動調整程序的設置，以適應應用程序特定的情況。因此，可以說機器學習是一種示例編程方式。機器學習的美妙之處在于數據表示的是非常任意的，我們可以設計出適用于不同領域的廣泛實際應用的通用方法。我們通過下面的一系列例子來說明這一點。 本書旨在傳達監督式機器學習的精神，而不要求讀者具備該領域的任何經驗。我們的重點是基礎數學和實踐方面。這本書是教科書;它不是參考工作或編程手冊。因此，它只包含仔細(但全面)選擇的有監督機器學習方法，而沒有編程代碼。到目前為止，已經有許多編寫良好、文檔齊全的代碼包可用。我們堅信，只要讀者對數學及其方法的內部工作有很好的理解，就能將本書與他/她最喜歡的編程語言中的代碼包聯系起來。 本書從統計學的角度出發，從統計特性的角度來討論方法。因此，它需要一些統計學和概率論的知識，以及微積分和線性代數。我們希望從頭到尾閱讀本書，能讓讀者成為機器學習工程師和/或在該主題中進行進一步研究的良好起點。這本書是這樣寫的，可以連續讀。然而，本書還有多種可能的閱讀路徑，根據讀者的興趣有更多的選擇。圖1 - 6說明了這兩章之間的主要依賴關系。特別是，第2章、第3章和第4章討論了最基本的主題。我們建議讀者在閱讀后續章節(第5章至第9章)之前，先閱讀這些章節。第10章將超越機器學習的監督式設置，第11章將重點放在設計一個成功的機器學習解決方案的一些更實際的方面，與前幾章相比技術性較低。最后，第12章(由David Sumpter撰寫)討論了現代機器學習中的一些倫理問題。

深度學習重塑了人工智能的研究和應用。現代深度學習模型主要是為規則結構的數據設計的，如序列和圖像。這些模型是為將這些規則結構的數據作為輸入(例如分類、回歸)、作為輸出(例如生成)或作為結構先驗(例如神經架構設計)的任務而建立的。然而，并非所有形式的數據都是規則結構的。一個值得注意的例子是圖結構數據，這是一種通用而強大的數據結構，它以簡潔的形式表示實體及其關系。雖然圖結構數據在自然和社會科學中無處不在，但它是離散的和非i.i.d的。大自然給現代深度學習模型帶來了獨特的挑戰。本文旨在通過促進深度學習模型將圖作為輸入、輸出和先驗，以圖結構數據為深度學習賦能。我在這三個方向的研究為深度學習的研究開辟了新的前沿:(1)基于深度學習的圖學習。開發了具有表現力的有效深度學習方法，可以將圖作為輸入，促進了圖的學習和理解。(2)基于深度學習的圖生成。用深度學習模型規范了圖的生成過程，促進了圖的發現和設計。(3)圖作為深度學習的先驗。發現圖結構可以作為神經架構和機器學習任務的強大先驗，為深度學習的設計和理解打開了一個新的方向。討論了上述技術的廣泛應用，包括推薦系統、藥物發現、神經架構設計和缺失數據填補。

//stacks.stanford.edu/file/druid:mz469rn9516/PhD_thesis_final_Jiaxuan-augmented.pdf

1.1 動機

在大數據時代，深度學習已經成為從數據中挖掘價值的主要工具。例如，深度學習為人臉識別(使用圖像數據)、機器翻譯(使用文本數據)和語音識別(使用音頻數據)等關鍵應用程序提供了強大的功能。與傳統的機器學習技術相比，深度學習代表了一種基于大規模數據集的自動化學習模式。此外，深度學習得益于指數級增長的計算資源和網絡規模的數據收集。由于這些原因，深度學習在研究和行業中得到了廣泛的普及。

現代深度學習模型主要是為文本和圖像等規則結構數據設計的。例如，遞歸神經網絡(rnn)[38,88]和變壓器[228]設計用于具有確定性排序的序列數據，卷積神經網絡(CNNs)[84,120]設計用于網格類數據。數據規律性的假設不僅導致了專門的高性能深度學習架構，而且簡化了深度學習管道的軟硬件實現，這有助于深度學習的成功。

然而，并不是所有形式的數據都是規則結構的。在本文中，我們特別關注圖結構數據。圖是一種通用的、功能強大的數據結構，它以簡潔的形式表示實體及其關系。圖結構數據在自然科學和社會科學中無處不在。例如，一個分子可以表示為一個圖，其中原子是節點，化學鍵是邊，一個社交網絡可以表示為一個圖，其中成員是節點，他們的友誼關系是邊。盡管圖結構數據無處不在，但它給深度學習模型帶來了獨特的挑戰，總結如下:

復雜的拓撲結構。圖中的節點可以任意地相互連接;因此，深度學習模型必須適應輸入數據的形狀/結構。此外，所有可能圖的空間是巨大的，因為有 個具有n個節點的可能簡單圖;因此，將圖映射到有意義的低維嵌入是極具挑戰性的。

Non-i.i.d。大自然。由于給定節點的語義意義取決于它與整個圖的連通性，因此我們不能將不同的節點視為i.i.d.分布的。因此，深度學習中廣泛采用的標準隨機梯度下降優化方法不能直接作用于圖（對于圖級任務，可以直接使用隨機梯度下降法。在這里，整個圖被視為單個數據點，通常假設為i.i.d）。

排列不變的性質。圖是一個無序的數據對象，它要求所有的深度學習算子對節點的排序不變量。

在本文中，我們的目標是用圖結構數據增強深度學習。我們的愿景是為圖形結構數據構建一個表達性強、使用方便的深度學習框架。我們希望這樣一個框架可以將深度學習在規則結構化數據上的成功轉化為圖結構數據，圖結構數據代表了更通用、更靈活的數據格式。同時，我們將展示一個成功的圖的深度學習框架，進而推動深度學習研究的總體進展。為了實現這些目標，我們建議賦予深度學習框架以能力，使其能夠將圖作為輸入、輸出和先驗。圖1.1總結了三個研究方向。

1. 圖形作為輸入。我們開發了富有表現力和有效的深度學習方法，可以將圖形作為輸入，促進圖形的學習和理解。

2. 作為輸出的圖形。我們使用深度學習模型闡明圖的生成過程，這促進了圖的發現和設計。

3.圖作為先驗。我們發現圖結構可以作為神經結構和機器學習任務的強大先驗，這為深度學習的設計和理解開辟了一個新的方向。

基于深度神經網絡的機器學習方法已經取得了長足的進步，并在許多具有挑戰性的應用領域中表現出最先進的水平，包括計算機視覺、自然語言處理、語音識別和強化學習等等。這些結果通常是通過使用非常深入的神經網絡訓練的大型標記數據集獲得的，這些網絡以分層的方式學習原始數據特征的高度非線性抽象。此外，這些方法經常通過神經結構設計的方式納入歸納偏見，以限制可能的解決方案的集合。例如，卷積神經網絡（CNN）廣泛使用具有小感受野的卷積，在一定程度上模仿靈長類動物視覺系統的神經結構。事實上，已經證明，通過CNN學習的表征與從靈長類視覺系統學習的表征相比更有優勢。由于這些成功，神經網絡方法常常被視為在這些領域建立模型時的事實上的方法。

即使在多個應用領域取得了這些進展，神經網絡方法應用于表格數據的可行性仍有一些不確定性。表格數據包括以（行，列）表格式存儲的數據，其中行包含獨立的實例，列包含不同的特征。此外，表中的每一列/特征可能有不同的可能數據類型（例如，二進制與連續與分類），代表了一種高度異質的數據格式。麥肯錫公司最近的一項研究，調查了19個不同行業的400多個應用領域，顯示這種類型的表格數據是工業中最常用的數據格式之一。在表格數據上建立機器學習分類模型的標準方法一般是以決策樹（DTs）的形式出現，這是一個有監督的機器學習模型系列，它建立了一個樹狀圖，節點代表我們挑選特征子集的地方，并根據這些特征提出決策規則/閾值（例如。如果性別=男性和年齡>40歲，對于一個包含性別和年齡特征的表格數據集）；邊代表這個決策規則的結果；葉子代表輸出，可以是另一個具有另一組輸入特征的決策節點，也可以是預測的感興趣的類別標簽。

基于DT的方法有很多好處，包括它們的基本形式具有很強的可解釋性（例如，通過跟蹤決策節點的層次流），這在許多現實世界的應用中是一個重要的關注點，而且它們的訓練計算速度很快。然而，DT方法也有幾個缺點：1）它們容易過度擬合，導致泛化效果差；2）它們對輸入數據的微小擾動非常敏感（在不同的數據子集上訓練時，可能會學到非常不同的樹）；3）它們很難對非常復雜、高度非線性的決策規則建模。這些缺點開啟了使用神經網絡方法的可能性，因為它們有能力對高度非線性關系進行建模，并且對輸入數據的微小偏差具有更好的魯棒性，這一點在其他幾個應用領域中得到了證明。然而，由于之前提出的神經網絡架構并不適合于表格數據，缺乏適當的歸納偏差往往導致它們無法為表格數據找到最佳解決方案。

在過去的幾年里，人們對構建用于表格數據的神經網絡方法的興趣越來越濃厚。特別是，最近的一項研究比較了幾種不同的神經網絡架構和基于DT的方法，發現在對40個不同的表格式數據集進行評估時，神經網絡方法與基于DT的方法具有競爭力，這些數據集具有不同數量的實例（690-418,000）和特征（5-2000）。在許多情況下，這些神經網絡方法的表現超過了基于DT的方法，這表明現在有可行的神經網絡方法可以應用于表格數據。

在這份報告中，我們描述了我們對表格神經網絡方法進行評估的初步結果，該方法使用可穿戴生理傳感器技術，如心電圖（ECG）和皮膚電化學反應（GSR）進行人類情感狀態分類（如壓力、喚醒）。情感狀態分類是人機交互（HCI）界日益關注的領域，因為模擬和預測人類情感狀態的能力開辟了新的研究方向，側重于改善人類與自主智能系統的互動和團隊。

情感狀態分類的最大挑戰之一是跨個體的穩健表現，在這個領域之前沒有多少工作。然而，在這一領域，由于需要進行人體測試，以及個體間潛在的情感狀態存在很大程度的變異，所以很難收集大量的標記數據集。我們假設，在低標簽數據制度下，對預先提取的特征進行訓練的表格神經網絡方法可能是一種可行的替代方法，可以完全替代傳統上需要大量標簽數據集才能有效訓練的深度神經網絡的端到端訓練（即沒有任何先驗的特征處理）。為了測試這一假設，我們使用了模型框架AutoGluon-Tabular，它是一個易于使用且高度準確的Python庫，用于構建表格數據的神經網絡。本報告總結了我們使用三個公開可用數據集的發現。認知負荷、情感和壓力 認知負荷、情感和壓力（CLAS）、ASCERTAIN和AMIGOS。 我們最初的分析集中在這三個數據集內部和之間的主體間分類，因為這仍然是情感狀態分類的關鍵挑戰之一。

隨著深度學習方法多年來取得了巨大的成功，對這些模型的理解還沒有跟上模型的發展。可解釋機器學習是致力于理解復雜機器學習模型的主要研究領域之一。雖然提出解釋的例子越來越多，但對解釋的評估一直是一個懸而未決的問題。在解釋的開發階段，涉及人類的評估是昂貴的。為了解決解釋設計過程中涉及到人的困難，本文旨在定義客觀標準，允許人們在沒有人的情況下衡量一些好的屬性解釋和相對于客觀標準可取的設計解釋。

在本文中，我們討論了使可解釋AI方法的評估更加客觀的不同標準，其中我們的方法主要可以分為三個方面:(a)忠實導向(b)理論驅動的(c)應用驅動的。面向忠實度的度量通常與模型的解釋應該忠實地“解釋”模型這一核心概念相關聯。理論動機的客觀標準通常具有“當模型和數據滿足某種性質時，解釋應滿足相應的性質”的形式。應用驅動的客觀標準定量模擬解釋如何在沒有人類的情況下幫助某些應用。我們為不同類型的解釋設計客觀標準，并使用這些客觀標準來指導新的解釋的設計。最后，通過一些人體研究來驗證這些新解釋的設計。

Chih-Kuan Yeh

//chihkuanyeh.github.io/ 谷歌Brain的研究科學家。在CMU讀博期間，研究興趣集中在通過更客觀的解釋(可能是功能評價或理論性質)來理解和解釋機器學習模型。最近，對用更少(但更有效)的數據構建更好的大尺度模型感興趣，并通過模型解釋獲得的理解來改進模型。

**引言

可解釋人工智能(XAI)領域關注的是解釋機器學習模型的任務，隨著現代機器學習模型復雜性的增長，這一領域受到了越來越多的關注。解釋機器學習模型復雜的內部工作原理的需求也顯著增加，特別是當機器學習模型被應用于高風險決策時，包括金融、法律、醫療、社會應用和自動駕駛。在這些應用中，對高風險決策的解釋有助于理解和調試模型，增強用戶對模型的信任，明確模型的責任，并與模型就人- ai協作進行溝通。例如，使用人工智能幫助診斷的醫生將通過了解人工智能如何預測來決定是否信任它，從而受益。在社交應用中，理解模型為什么會做出某些決定來檢驗算法是否公平也很關鍵。此外，《通用數據保護條例》聲稱，數據保護當局有權解釋算法的輸出[123]。

解釋機器學習模型的一個關鍵困難是術語“解釋”或“可解釋性”沒有明確定義。目前的大多數解釋都解釋了復雜模型的某些類型的“屬性”，這些屬性可以被人類消化。一些常見的屬性包括但不限于模型使用的最顯著的數據輸入特征，模型使用的最顯著的訓練數據，模型使用的最顯著的人類可理解的概念，以及如何改變數據點的特征來改變模型的預測。然而，有許多不同的解釋和相互矛盾的哲學。例如，給定一個圖像分類器，圖像分類器的關鍵像素可能被認為是對某些用戶的一個很好的解釋，因為它闡明了模型如何進行預測，但也可能被認為是不可解釋的，因為最顯著的特征可能不足以推斷模型的推理原理。可以進行用戶研究和訪談，并要求用戶在給定的一組不同的解釋中選擇最具解釋性的算法，這與公正性的度量啟發有關[27,75]。然而，要求人類選擇最容易解釋的解釋也有其缺陷。眾所周知，人類存在認知偏差，解釋似乎是可以解釋的，但與模型無關。最近的研究甚至表明，許多關鍵的解釋彼此不一致，用戶可以根據個人喜好來決定使用哪種解釋[92]。如何選擇一個復雜機器學習模型的正確“屬性”來解釋?

衡量解釋有效性的另一種方法可能是評估解釋在應用中與人類一起的有用性，這是許多最近的研究提出的。Doshi-Velez和Kim[39]、Murdoch等人[116]提出要評估涉及人類用戶的現實應用中的解釋，并測試解釋如何在現實應用中幫助用戶。類似地，Chen等人。[25]鼓勵可解釋的機器學習問題與目標用例更緊密地聯系起來，并建議考慮基于真實任務的模擬版本的模擬。雖然這種評價是基于實際的應用，但利用這種類型的評價可能代價高昂，特別是在解釋的發展階段，因為這種評價往往需要真正的人參與。因此，合理的基于功能的評估對于設計/選擇要使用的解釋可能是有用的，而應用程序驅動的評估可以用于驗證設計/選擇的解釋可以在真實的應用程序或模擬用例中幫助人類。我們將這類基于功能的評估稱為客觀標準，主要是因為它在評估階段不需要實際的人員參與。

在本文中，我們主要考慮三類客觀標準(基于功能的評價):(1)以忠實度為動機的客觀標準，其動機是解釋對模型的描述能力如何;(2)以應用為動機的客觀標準，其動機是解釋在現實應用中如何被使用;(3)以理論為動機的公理標準，其動機是通過解釋的某些理論特性來幫助解釋的設計。下面，我們將更深入地討論這三類客觀標準。

• 忠實導向的客觀標準

一類基于功能的評價是基于解釋對給定模型的忠實程度，也被稱為解釋的忠實度或描述準確性[116]。解釋的忠實度是至關重要的，因為“忠實度”通常很難用人類來衡量——人類可能更喜歡那些在視覺上有吸引力但與要解釋的模型無關的解釋。客觀標準的一種形式是基于“解釋是否解釋了這個模型?”這個問題。這些評估的核心思想是確定一個忠實的解釋應該滿足的屬性，并在模型-解釋對上執行測試，以驗證屬性是否滿足。Murdoch等人[116]也將其稱為描述性準確性，因為它衡量了解釋解釋模型的準確性。例如，許多解釋是局部鄰域內的線性近似，而忠實度度量度量解釋在局部鄰域內近似模型的程度。Adebayo等人[2]的一個流行例子是為解釋設計一個完整性檢查，即隨機改變模型權重也應該改變結果解釋。令人驚訝的是，并不是所有的解釋都令人信服地通過了這個理性檢查，這可能意味著一些解釋不忠實于模型。

應用驅動客觀標準

另一種形式的客觀標準是基于與解釋相關的應用，特別是那些不需要人工參與或可以自動模擬的應用。例如，尋找有害的訓練例是基于例解釋的一個關鍵應用，而基于例解釋的某些評估涉及到根據解釋刪除有害的訓練例，并對模型進行再訓練，并衡量新模型的性能。由于在這種應用中不需要人工參與，移除和再訓練評估已經成為由現實應用驅動的基于實例的解釋的一個關鍵的客觀標準。

理論動機的客觀標準

基于功能的解釋評估的另一種形式是公理形式的理論性質。公理可以被看作是解釋在特定輸入中應該如何表現的理論約束。如果要解釋的機器學習模型具有某種期望的特性，人們會希望這種期望的特性可以反映在解釋中。這種解釋的約束稱為公理性質。例如，如果機器學習模型在兩個特征上是完全對稱的，并且這兩個特征對于某個給定的輸入具有相同的值，那么這兩個特征對這個輸入的解釋值應該是相同的。這就是被廣泛用于解釋方法的對稱公理。也許將公理融入設計解釋中最常見的工作是Shapley值家族[139]，它起源于合作博弈論社區。

本文的目標是開發和定義有意義的客觀標準，并使用這些客觀標準來幫助我們設計不同類型的解釋。由于不同的解釋類型自然會遵循不同的客觀標準，我們旨在為各種解釋類型設計客觀標準，包括特征重要性解釋、特征集解釋、特征交互重要性解釋、示例重要性解釋和基于概念的解釋。

基于深度學習的圖像理解方法的巨大進展為自主系統提供了新的高級感知功能。然而，現實世界的視覺應用通常需要模型，可以從大量未標記和未策劃的數據中學習，只有少量標記樣本，通常選擇和注釋成本很高。相比之下，典型的監督方法需要大量精心選擇的標記數據，而在實際應用中很少滿足這一條件。自監督學習(SSL)作為一種有前途的研究方向出現，通過使用從數據本身提取的各種監督信號訓練模型，而不需要任何人工生成的標簽，來緩解這一差距。SSL在過去兩年中取得了許多令人興奮的進展，許多新的SSL方法設法達到甚至超過完全監督技術的性能。雖然最流行的SSL方法圍繞著ImageNet等網絡圖像數據集，但也對自動駕駛(AD)的新多樣的自監督形式進行了研究。AD代表了SSL方法的一個獨特沙箱，因為它帶來了社區中最大的公共數據集合，并提供了一些最具挑戰性的計算機視覺任務:目標檢測、深度估計、基于圖像的里程測量和定位等。在這里，規范的SSL通道(即自監督預訓練模型并在下游任務上對其進行調優)被重新訪問和擴展，以學習地面真相注釋難以計算的任務(例如，密集深度)，從而為計算機視覺和機器人技術帶來全新的SSL方法。在本教程中，我們將通過AD的基本感知任務的鏡頭，深入介紹自我監督學習的各種范式(舊的和新的)。具體來說，本教程將涵蓋以下主題:(1)從自動駕駛數據中進行自我監督表示學習，(2)深度估計的自監督學習，(3)三維檢測和跟蹤的自監督學習，(4)里程數測量和定位的自監督學習。

目錄內容：

人工智能 (AI) 有機會徹底改變美國國防部 (DoD) 和情報界 (IC) 應對不斷變化的威脅、數據泛濫和快速行動的挑戰的方式。開發端到端的人工智能系統需要并行開發不同的部分，這些部分必須協同工作，以提供可供決策者、作戰人員和分析人員使用的功能。這些部分包括數據收集、數據調節、算法、計算、強大的人工智能和人機協作。盡管當今的許多流行媒體都圍繞著算法和計算的進步，但大多數現代人工智能系統都利用了許多不同領域的進步。此外，雖然某些組件可能不像其他組件那樣對最終用戶可見，但我們的經驗表明，這些相互關聯的組件中的每一個都在 AI 系統的成功或失敗中發揮著重要作用。

本文旨在重點介紹端到端 AI 系統中涉及的許多技術。本文的目的是為讀者提供術語、技術細節的概述以及學術界、工業界和政府部門的最新亮點。在可能的情況下，我們會指出可用于進一步閱讀和理解的相關資源。