★ FEATURED ARTICLE ►顶部微信名片可直接添加市场总监商务咨询、方案沟通即时响应►点击链接了解更新详情演示体验、社群咨询、商务采购https://docs.qq.com/doc/DVHlkSEtvVXVCdEFoAllData数据中台集成开源项目Coze-Loop建设大模型评测平台。Coze-Loop是面向AI Agent全生命周期的一站式评测与运维平台集Prompt开发、多维度评测、全链路观测于一体实现智能体从调试、评估到上线监控的闭环管理。Coze-Loop以开源模式向开发者开放核心基础功能模块通过提供可视化Playground、自动化评估引擎和跨语言SDK平台可打通大模型能力与实际业务场景之间的效果验证壁垒把提示词调试、评测实验、线上追踪整合在同一工作台。形成先调试、后评测、再优化的标准化AI应用迭代流程降低智能体效果量化与持续调优的技术门槛为企业智能问答、业务流程自动化、多模型应用接入提供可量化、可持续的AI运维底座。Coze-Loop开源地址 https://github.com/coze-dev/coze-loopCoze-Loop项目文档https://loop.coze.cn/open/docs/cozeloop/大模型评测平台Coze-Loop-功能实操1、使用流程图示2、Prompr项目统一托管所有提示词模板支持检索、新建、版本管理与操作是Prompt资产的总览清单页面。选择列表中项目可查看项目详细内容。编辑更改后需要点击【提交新版本】进行正式保存。 小知识3个模版引擎各自作用以及选型建议● Normal模板引擎(双大括号 {{}}识别变量)轻量化简单模板引擎仅支持纯变量替换。只识别{{变量名}}占位符渲染时直接把变量值替换进模板文本不支持if条件、for循环、过滤器等逻辑代码。适合绝大多数简单Prompt场景上手最简单政务查询这类基础变量注入首选。● Jinja2模板引擎Python生态标准模板引擎支持完整复杂逻辑。除变量替换外支持if条件分支、for循环、数据过滤器、文本格式化。可根据传入数据动态拼接Prompt 文本适合 RAG、多分支智能体、需要动态裁剪内容的复杂提示词场景。语法使用{% %}写逻辑{{}}输出变量。●GoTemplate模板引擎Go语言生态原生模板引擎同样支持条件判断、循环等复杂逻辑。语法风格是Go体系适合后端使用Golang开发的业务系统和Go应用原生兼容适合Go服务通过SDK拉取Prompt并渲染的场景适合技术栈为Go的项目使用。只做变量替换选Normal需要动态分支逻辑、后端Python技术栈选Jinja2后端Go技术栈选GoTemplate。点击【版本记录】可以查看该项目以往版本支持一键还原历史版本。点击【对比模式】可以增加对照组/对比模式核心目的是2-4组对比测试不同Prompt方案用来直观评估修改Prompt之后大模型回答效果好坏是Prompt调优、评测的核心能力。● 对比方式通过输入同一套测试问题、同一批变量并排展示两边大模型输出结果直接横向对比差异快速判断Prompt优化是否有效。对比模式最多可设置4组。3、Playground这里作为临时实验沙箱用于快速写一段System提示词、配置模型参数立刻调试大模型效果。适合快速做一次性实验、临时验证想法快速试不同指令、调参快速看模型输出。使用流程● 步骤1先在Playground快速编写、调试、A/B 对比Prompt验证提示词效果● 步骤2效果满意后点快捷创建把调试好的Prompt直接生成一个Prompt项目● 步骤3在Prompt项目里继续迭代版本、提交、接入SDK、做批量评测上线业务。小帖士Playground就像草稿本随手写草稿测试Prompt项目是归档文档定稿后存起来、可以对外交付使用、记录每一次修改版本。4、评测管理评测管理依托评测集、评估器、实验三大子功能完成大模型效果的配置、批量评估与对照实验量化模型输出质量。4.1 评测集这里是存放批量测试用例的数据集是评测的 “测试题库”。支持手工新增、批量导入测试样例支持版本管理修改后提交新版本● 业务场景把政务资产查询的各类测试问题、边界用例、敏感提问批量录入用来批量验证Prompt/模型效果准备评测原材料只负责管理测试样本不执行评测。点击列表选择评测集可查看评测数据集的编辑管理页维护测试样例本身和查看所有引用了当前这套评测集的评测实验信息。4.2 评估器这里是存放打分规则/评判标准用来自动或者人工判定模型回答的合格程度支持2种选择评估方式大模型自动打分、人工标注打分。● 评估器本质打分规则定义器用来告诉系统怎么评判大模型回答是否合格。自建评估器存放和管理自行编写评估Prompt和自定义评判标准。评估器类型选型建议01 LLM评估器(大模型裁判评测)依靠大模型实现语义类主观质量评测(如幻觉、正确性、相关性等)● 适用场景侧重内容质量、语义理解类评测。● 特点理解自然语言适合模糊、开放类问答评测可以判断逻辑、事实、风格、安全风险。02 Code评估器(代码规则硬校验)通过固定代码规则完成确定性文本与格式硬校验(如JSON、正则、关键词匹配)。● 适用场景格式、文本规则、结构化输出校验。● 特点结果稳定无随机性适合结构化输出、固定格式、关键词强校验场景只做规则比对不理解语义。预设评估器存放平台内置好的通用评估规则,开箱即用无需自行编写Prompt。4.3 实验这里存放和管理执行评测任务把评测集评估器选定 Prompt 项目组合起来批量跑测。平台会自动批量跑全部测试用例调用大模型生成回答并按照评估器规则自动打分生成汇总评测报告、各项指标。可对比多套 Prompt 版本的总分、错误案例判断哪个Prompt效果更好。⚠️ 评估器实验和Prompt项目运行区分Prompt项目单独运行时只是手动单条测试Prompt效果不自动调用评测集、评估器不会批量打分● 运行结果流向单次对话返回仅实时看模型输出不保存为评测实验报告不会流入 “评测实验结果” 模块。结果可在 Prompt 项目页面查看单次调用内容可接入SDK线上调用。评测实验批量评测才会同时加载评测集Prompt项目评估器完成自动化批量评测打分。● 运行结果流向批量执行所有测试样本自动调用评估器(LLM/Code评估器打分结果存入实验模块生成完整评测实验报告(各项指标、分数、样本明细)。5、观测管理存放和管理真实业务上线后每一次大模型请求的完整执行链路。评测管理是事前批量测评观测管理是线上真实调用的事后全链路监控、日志与调用追踪这里是分布式链路追踪记录线上真实业务请求的完整调用过程不是评测实验。点开单条Trace可查看请求时序、各环节耗时、Token消耗、原始问答与异常信息支持业务标签归类统计快速排查线上问题。点击【过滤器】可以按MessageID、耗时、输入输出、首字延迟、Span名称/类型、请求状态等维度精准筛选 Trace链路。6、标签管理可以统一创建、维护业务标签给Prompt项目、Trace调用链路、评测任务打上分类标记。可以按业务场景、用户类型、模型版本等维度打标签后续在观测管理、评测模块中基于标签快速筛选、分组统计实现大模型各类资源与请求的归类管理。
阅读完成 · 觉得有帮助？
