LlamaIndex 系列【46】Rag 评估：评估工具库 Ragas

文章目录1. 概述2. 发展历史2023.05 早期雏形0.0.x 预发布版2023.09.26 论文发布arXiv2024 上半年 v0.1.x 稳定版2025.01 v0.2 重大架构升级分水岭版本2025 年 v0.3 系列2025.12 v0.4 重磅重构当前主推新版2026.01 v0.4.3截至目前最新稳定版3. 现状说明慎用1. 概述官网主页官方文档GithubRAGASRetrieval-Augmented Generation Assessment是一款评估工具库能够将AI应用主观、经验式的效果验证转化为标准化的评估迭代闭环。它提供完备的评估能力助力对大语言模型应用开展高效、可信的质量评测。Ragas出身是RAG评估框架现在是以RAG评估为强项、同时支持各类LLM应用评测的通用评估工具库。传统评估指标无法捕捉LLM应用里真正关键的质量维度人工评估又难以规模化。Ragas的解决方案是融合大模型驱动的指标与系统化实验能力搭建持续迭代优化的闭环。核心特性以实验为优先的设计思路通过实验对每一次改动做稳定一致的评估。修改方案、执行评估、观察结果、持续迭代优化你的LLM应用。Ragas评估指标可以用简单装饰器自定义适配业务场景的指标也可以直接使用库内置的指标集。了解更多 Ragas 指标相关内容。易于集成内置数据集管理、评估结果追踪同时支持和LangChain、LlamaIndex等主流框架对接。2. 发展历史2023.05 早期雏形0.0.x 预发布版项目开源上线最初定位专门给RAG做评估的轻量库核心4个经典指标诞生Faithfulness、Answer Relevancy、Context Precision、Context Recall仅支持LangChainAPI简单面向RAG问答场景也就是大家最熟悉的初代RAGAS2023.09.26 论文发布arXiv论文《RAGAS: Automated Evaluation of Retrieval Augmented Generation》上线正式提出无标注参考reference-freeRAG评估方案LLM-as-judge的思路奠定RAGAS理论基础2024 上半年 v0.1.x 稳定版定型经典APIevaluate()HuggingFace Dataset是主流写法内置测试集生成Testset Generation输入文档自动生成问答样本国内大量RAG教程、博客都是基于v0.1版本2025.01 v0.2 重大架构升级分水岭版本定位变化从「RAG专用评估库」升级为「通用 LLM 应用评估框架」不再只局限RAG放弃HuggingFace Dataset自研EvaluationDataset重构Testset生成引入Knowledge Graph、Transforms、Synthesizer成本更低、可断点续跑支持异步指标、结构化输出支持对话、Agent等非RAG场景评估破坏性变更老代码迁移成本高2025 年 v0.3 系列完善指标体系新增Factual Correctness、多轮对话指标、Agent工具评估指标完善自定义指标体系PydanticPrompt自定义提示词完善云端看板app.ragas.io支持实验记录、对比可视化社区生态成熟Langfuse、LlamaIndex、LlamaTrace深度集成2025.12 v0.4 重磅重构当前主推新版核心变革转向「Experiment-first 实验优先架构」是自v0.2以来最大改动不再推荐直接调用evaluate()改用experiment()装饰器围绕实验、版本对比、迭代闭环设计指标迁移到metrics.collections体系统一ascore()接口返回带reason的MetricResultllm_factory()统一LLM入口全厂商通用OpenAI、Anthropic、Azure、本地模型函数式Prompt更易组合、复用支持GPT o系列、结构化输出约束大量旧API标记废弃老v0.1/v0.2代码无法直接跑2026.01 v0.4.3截至目前最新稳定版接入DSPy优化器MIPROv2支持评估 Prompt优化联动增加缓存、系统Prompt支持完善文档llms.txt适配AI读取文档3. 现状说明慎用从GitHub上可以看到最近的一次发版已经是十个月以前了仓库活跃度明显走低大量Issue和PR长期无人响应。在当前AI技术飞速发展迭代的背景下这个信号需要工程使用者重点留意RAGAS已经从早期高速迭代的明星评估框架转入低投入的维持维护阶段。可能原因是核心团队Vibrant Labs战略重心转向长时序Agent仿真与RL训练赛道开源版本不再享有优先研发资源。虽然现有的稳定版本v0.4.3依旧可以跑通经典RAG评估指标能够支撑常规的评测实验但风险也随之显现新的大模型接口、新版依赖库、各类LLM厂商的特性更新很难得到及时适配社区提出的bug修复、指标优化需求推进周期会非常漫长。对于小规模验证、内部实验场景RAGAS仍然是一个成熟好用的选择但如果是生产级、长期迭代的RAG平台就需要提前准备备选方案避免后续踩依赖停滞、无人维护的坑。