★ FEATURED ARTICLE ### RAG框架对比DSPy 2.5编译器 vs LangChain手写prompt时代LangChain 以 90k GitHub Star 稳坐 LLM 应用框架头把交椅支持 70 LLM 提供商、300 集成。但近两年 RAG 选型的真正分水岭已从生态广度转向优化范式——手写 prompt 还是编译 prompt。斯坦福 NLP 团队开源的 DSPy 2.5 正把后者推向生产环境。这篇文章结合基准数据与可复现代码拆解这场范式之争。#### 编排的尽头是优化LangChain 解决的核心问题是连通性。它的 RunnableSequence 将 retriever、prompt template、parser 像管道一样接好python# LangChain 0.3.x 典型 RAG 管道from langchain_openai import ChatOpenAIfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_chroma import Chromaprompt ChatPromptTemplate.from_template(Answer based on context: {context}Question: {question}Answer:)chain ({context: retriever, question: lambda x: x[question]}| prompt| ChatOpenAI(modelgpt-4o-mini, temperature0.2)| parser)语法上没问题但工程学上有一个隐忧{context} 的填充质量、prompt 的措辞、答案格式的稳定性全部依赖开发者手工调优。社区实践中经常观察到短语级措辞改动就能让任务准确率明显漂移而生产环境里的 prompt 修改往往没有回归测试。DSPy 2.5 将问题框架重构为定义一个带输入输出的模块然后在验证集上自动搜索最优 prompt。它不再把 prompt 当作手稿而是当作可编译程序。论文见 arXiv:2406.12631*DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines*其中使用 ChatGPT 等模型在 HotPotQA 多跳任务上通过 MIPRO 优化相比少样本基线可获得约 30-40% 的 EM 相对提升。这个数字不是模型变强了而是优化器把调 prompt 从玄学变成了可度量目标。#### DSPy 的抽象层Signature, Module, OptimizerDSPy 2.5Apache 2.0 许可Python 3.10的核心抽象有三个- **Signature**声明式字段定义例如 context, question - answer编译器自动生成 prompt 模板- **Module**对标 PyTorch nn.Module支持嵌套组合与复用- **Optimizer**MIPROv2、BootstrapFewShot 等。以验证集指标为目标通过 bootstrapping 生成 demo、探索指令片段并用贝叶斯搜索寻找组合最优。编译流程闭环运行定义模块 → 生成示范 → 评估 → 输出候选程序 → 保留最优。每次运行后程序都会自我改进。下面给出一段完整可跑的 DSPy 2.5 RAG 代码pythonimport dspyfrom dspy.datasets import HotPotQA# 配置 LLMDSPy 2.5 统一了 OpenAI/Anthropic/本地模型接口llm dspy.LM(modelopenai/gpt-4o-mini, temperature0.2)dspy.configure(lmllm)class CompiledRAG(dspy.Module):可编译的检索增强生成模块def __init__(self, k: int 3):super().__init__()self.retrieve dspy.Retrieve(kk)self.generate dspy.ChainOfThought(context, question - answer)def forward(self, question: str) - dspy.Prediction:passages self.retrieve(question).passagesresult self.generate(contextpassages, questionquestion)return dspy.Prediction(answerresult.answer, contextpassages)# 准备训练集HotPotQA 前 500 条trainset [dspy.Example(questionq, answera).with_inputs(question)for q, a in zip(questions[:500], answers[:500])]# 编译器自动优化不再手写 promptoptimizer dspy.MIPROv2(metricdspy.answer_exact_match)optimized_rag optimizer.compile(CompiledRAG(k3),trainsettrainset,max_bootstrapped_demos5,num_candidate_programs8)# 验证优化后的程序pred optimized_rag(Which GPU did OpenAI prioritize in 2025?)print(pred.answer)关键区别隐藏在 ChainOfThought 与 MIPROv2 中。你不再写Take a deep breath and think step by step优化器会基于验证集自行决定是否加入思维链指令、如何组织上下文格式、选用哪些示例。#### 准确率瓶颈不在 prompt在数据DSPy 只解决prompt 怎么写不解决检索什么。企业内部知识问答的准确率上限由索引数据质量决定。如果索引里充满低质量 chunk、重复段落、缺失元数据召回率会很低。此时任何 prompt 优化都像是在给漏水的桶加固。微软 GraphRAG 论文arXiv:2404.16130里有一组值得关注的对比在问答任务上GraphRAG 通过增加社区检测与层次化摘要在回答全局性问题时比普通向量检索prompt 的管线有显著提升。原因不是 prompt 写得更好而是它改变了一个关键变量——**上下文信息的组织方式**。这恰好印证了那句老话检索质量决定生成上限。实践中DSPy 迁移失败的案例几乎都来自坏训练数据。优化器会把验证集中的噪声错误编码进 prompt。用 DSPy 前先回答三个问题训练集是否干净检索器 k 值是否匹配评价指标是否对齐业务目标#### 当下选型建议| 框架 | GitHub Stars | 定位 | 适用场景 ||---|---|---|---|| LangChain | 90k | 通用 LLM 应用 | 快速集成、依赖生态系统 || LlamaIndex | 35k | 数据/索引抽象 | 文档检索复杂、知识库建设 || Haystack | 15k | 生产级 NLP 管道 | 需要成熟的 evaluations 工具 || DSPy 2.5 | 18k | 程序化 prompt 优化 | 高准确率要求、可迭代优化 || LangGraph | 10k | Agent 状态机 | 多智能体协作、复杂工作流 || RAGFlow | 8k | 文档解析深耕 | 非结构化文档、从零搭建知识库 |我的选型决策清单- 已有成熟向量库与文档管线追求两周内上线选 **LangChain**搭配 LangSmith 做可观测性- 答案准确率是第一指标且有干净的验证集选 **DSPy**配合 Elasticsearch 或 Milvus 这类可调参的检索后端- 需要 agent 路由、工具调用、多智能体协作选 **LangGraph**比 AutoGen 更可控但学习曲线陡峭- 非结构化 PDF、表格、扫描件占比高选 **RAGFlow**它的 deepdoc 解析器处理复杂版式文档效果明显优于通用 text splitter。#### 范式终局手写 prompt 正在成为过去时LangChain 的 90k stars 建立在门槛低之上DSPy 的 18k stars 则代表了上限高的路线。两者的差距不会一夜消失但方向已经清晰像深度学习工程师不再手写反向传播一样LLM 开发者终将停止手工微调 prompt。DSPy 2.5 用编译器思路接管 prompt数据管线兜底检索质量。这两层补齐后RAG 系统才有资格谈真正的生产级准确率——而不是依赖某位工程师灵光一现的 prompt 咒语。
阅读完成 · 觉得有帮助？
