DeepRAG：腾讯微信AI部等联合开发的新型检索增强生成框架

DeepRAG 是由中科院、中科大和腾讯微信AI部联合开发的新型检索增强生成（Retrieval-Augmented Generation, RAG）框架，旨在提升大型语言模型（LLMs）在推理和检索任务中的性能。该框架通过将检索增强推理建模为马尔可夫决策过程（MDP），引入“检索叙事”和“原子决策”两个关键组件，实现了结构化和自适应的检索流程。

DeepRAG功能特点介绍：

1、动态检索决策：DeepRAG 能动态决定在每一步是否需要检索外部知识，或者仅依赖模型自身的参数知识进行推理。这种机制避免了不必要的检索操作，提高了检索效率，同时减少了噪声和推理延迟。

2、结构化检索流程：通过引入“检索叙事”（Retrieval Narrative），DeepRAG 确保检索过程是结构化和自适应的。模型会根据之前检索到的信息生成新的子查询，逐步推进推理过程，更好地处理复杂查询。

3、知识边界校准：DeepRAG 通过“校准链”（Chain of Calibration）方法，帮助模型更准确地识别自身知识的边界。模型能更好地判断何时需要检索外部知识，何时可以依赖自身的知识进行推理，从而提高答案的准确性和可靠性。

4、提高检索效率和答案准确性：实验表明，DeepRAG 在多个开放域问答数据集上显著提高了答案的准确性（平均提升21.99%），同时减少了检索次数，优化了检索效率。

5、泛化能力和鲁棒性：DeepRAG 在时间敏感和分布外的问答任务中表现出良好的泛化能力和鲁棒性，能适应不同的问答场景和数据分布。

6、深度文档理解：DeepRAG 支持多种文件格式（如 PDF、Word、PPT、Excel 等），能够提取文本、表格和图像等信息。它还提供 OCR 功能，支持将图片和 PDF 中的文本识别为可编辑格式。

DeepRAG技术原理：

1、马尔可夫决策过程（MDP）建模：DeepRAG 将检索增强推理过程建模为 MDP，表示对原始问题的部分解决方案。状态包括输入问题和到目前为止的子查询及其中间答案。动作包括终止决策（是否继续生成下一个子查询）和原子决策（是否检索外部知识）。

2、二叉树搜索（Binary Tree Search）：为每个子查询构建二叉树，探索基于参数知识或外部知识库的不同回答策略。通过这种方式，模型不仅分解问题，还彻底检查检索选择对最终答案的影响。

3、模仿学习（Imitation Learning）：使用优先队列高效探索潜在的推理轨迹，优先选择检索成本较低的路径。通过二叉树搜索合成数据，让模型学习有效的检索模式。

4、校准链（Chain of Calibration）：通过合成偏好数据确定何时需要检索，并使用这些数据微调 LLMs，增强其基于内部知识边界的原子决策能力。

DeepRAG应用场景：

1、开放域问答：DeepRAG 擅长处理复杂的多跳问答任务。它能够将复杂问题逐步分解，动态检索与问题相关的多源信息，并通过精准整合生成准确答案，有效应对各类开放性问题。

2、知识库问答：在知识库问答场景中，DeepRAG 能够深度融合外部知识库（如维基百科）与模型自身积累的知识。通过多源知识的协同推理，为用户提供更精准、更全面的答案。

3、智能客服与虚拟助手：DeepRAG 可广泛应用于智能客服系统。凭借其动态检索与推理能力，能够实时精准理解客户问题，并快速提供准确、及时的客户支持，显著提升客户满意度。

4、教育与学习辅助：在教育领域，DeepRAG 为学生和教师提供强大助力。它可以根据学生的学习进度、知识掌握程度和个性化需求，动态生成精准的学习材料和练习题，助力学生高效学习。

5、医疗健康咨询：DeepRAG 可用于医疗健康咨询，通过检索最新的医学研究成果和权威临床指南，结合患者的具体情况，为用户提供科学、准确的健康建议，辅助医疗决策。

标签：