★ FEATURED ARTICLE 【免费下载链接】skill-upAn evaluation and evolution tool for Agent Skills.项目地址https://gitcode.com/gh_mirrors/sk/skill-up点击查看免费下载skill-up是一款用于 Agent Skill 评测与演进的开源 CLI 工具它把你的评测用例以声明式 YAML 写好驱动真实的 Agent EngineClaude Code、Codex、Qoder CLI 等执行用例自动评分并生成结构化报告。本文带你用 10 分钟完成安装、编写第一个评测配置并跑出第一份评测报告。skill-up 是什么为什么需要 Agent Skill 评测工具Agent Skill 写得再漂亮最终还是要靠跑起来看效果来验证。skill-up 解决的核心问题是让 Skill 的行为可测量、可回归、可持续演进。它的工作方式可以概括为四个环节声明式用例用eval.yamlcases/*.yaml定义评测环境、引擎、模型和用例多引擎执行内置支持claude_code、codex、qodercli、qwen_code也可通过engine.custom接入自定义 Agent⚖️三种评分策略rule_based规则匹配、script脚本评分、agent_judgeAgent 评审灵活覆盖从关键字检查到语义评审的场景结构化报告输出result.json、Anthropic 兼容的grading.json、JUnit XML 和 HTML 报告直接对接本地开发和 CI 流水线。完整流程可以参考 skill-up 中文说明评测与演进闭环的设计见上图左侧 EVALUATE 负责跑用例、评分、出报告右侧 EVOLVE 由skill-upper驱动把失败变成修复、修复变成回归用例。安装 skill-up两条路径任选方式一一键安装脚本在支持 Linux/macOS 的终端执行安装脚本它会自动下载对应平台的二进制curl -fsSL https://raw.githubusercontent.com/alibaba/skill-up/main/install.sh | bash方式二从源码构建如果你更想参与开发或需要自定义编译可以克隆仓库后构建要求 Go 1.25git clone https://gitcode.com/gh_mirrors/sk/skill-up cd skill-up make build # 产物位于 bin/skill-up安装完成后验证一下skill-up --version能看到版本号就说明 CLI 已就绪。核心概念只需要理解两个文件跑评测之前先花 1 分钟理解目录结构——这是理解 skill-up 的钥匙。评测文件统一放在 Skill 的evals/目录下my-skill/ SKILL.md # 你的 Skill 定义 evals/ eval.yaml # 入口配置环境、引擎、全局评分 cases/ # 每个用例一个文件文件名即用例 ID basic-test.yaml edge-case.yaml fixtures/ # 可选仓库模板、评分脚本等测试资源两个关键文件各司其职文件作用eval.yaml入口配置声明运行环境、Agent Engine、模型、用例清单cases/*.yaml单个评测用例发给 Agent 的 prompt、预期输出、评分规则一个实用小技巧当evals/eval.yaml位于包含SKILL.md的目录下时skill-up 会自动安装当前 Skill无需在配置里手动声明。更多字段细节可查阅 Writing Evals 指南。10分钟上手四步跑通第一个评测第 1 步创建 eval.yaml在你的 Skill 目录下创建evals/eval.yaml最小配置只需 5 行schema_version: v1alpha1 environment: type: none # 纯文本类 Skill 无需隔离容器 engine: name: claude_code # 使用 Claude Code 作为 Agent Engine cases: files: - evals/cases/hello-world.yaml省略的字段都会使用默认值如timeout_seconds: 300、parallelism: 1需要覆盖时再加即可。第 2 步编写评测用例创建evals/cases/hello-world.yaml定义 prompt 和预期input: prompt: | 请生成一个 Hello World 程序 expect: must_contain: - Hello - World must_not_contain: - error用例 ID 默认取文件名即hello-world。只有当你需要脚本或 Agent 评分时才需要追加judge块——仓库里的 code-stats 示例用例 展示了一个结合expect规则 script评分的完整写法。第 3 步校验配置可选但推荐skill-up validate成功后会看到类似输出说明配置和用例文件都合法✓ eval.yaml is valid (loaded 1 case(s))第 4 步运行评测skill-up run终端会实时输出执行过程正常时你会看到Running 1 case(s) with agent claude_code [Evaluator] Running case hello-world (with_skill): ... [Evaluator] Case hello-world: PASS (pass_rate: 100.0%) [INFO] Results written to ./skill-name-workspace/iteration-1结果写入skill-name-workspace/iteration-1/目录其中result.json是最核心的结构化结果文件。查看结果读懂 skill-up 的评测报告评测产物不只是通过/失败skill-up 提供多种报告格式result.json始终生成的完整结果包含每个用例的状态、轮次、断言明细report.html加--format html生成浏览器打开即可可视化查看report.xml加--format junit生成供 CI 平台消费。一条命令即可同时产出多种格式skill-up run ./evals/eval.yaml --format html --format junit对 CI 用户还有一个重要细节退出码——0表示全部通过1表示至少一个用例失败可以直接用于流水线判定。完整命令与参数请参考 CLI Reference。进阶让 skill-upper 自动修复和演进你的 Skill跑通评测只是起点。skill-up 仓库内置了skill-upper源码见 skills/skill-upper/SKILL.md它是一个会开车的评测 Skill你可以直接和 AI Agent 对话让它完成创建用例 → 运行 skill-up → 诊断失败 → 修复 Skill → 补充回归用例 → 重新运行的完整闭环。上图就是一次典型的演进证据回归对比报告显示用例从 FAIL 变为 PASS通过率 0% → 100%。而每一次反馈都留有据可查的记录例如把问题归因、正确数据和根因写进观察记录这种报告 → 修复 → 回归用例 → 重跑的循环正是 skill-up 相比一次性测试的核心价值每一轮迭代都让 Skill 和它的评测集同时变强。参考一个完整示例code-stats 项目不想从零写仓库里的 examples/code-stats 是一个可以直接跑的真实可评测 Skill它的结构值得逐行研读eval.yaml演示了 MCP 配置、Skill 安装、retry_policy重试策略、script评分与 benchmark 对比开关check-stats.sh展示评分脚本如何通过EVAL_FINAL_MESSAGE等环境变量读取 Agent 输出并做断言sample-project fixture作为context.repo_fixture注入的测试仓库隔离了每个用例的工作区。在仓库根目录构建后一条命令即可运行整个示例./bin/skill-up run ./examples/code-stats/evals/eval.yaml下一步继续深入 skill-up恭喜你已经跑通第一个 Agent Skill 评测接下来可以按需探索 Getting Started完整上手指南与 skill-upper 工作流 Writing Evalseval.yaml与用例文件的全量字段参考 CLI Referencerun/validate/list-cases/report/import全部命令与 flag Migration 指南已有一份 Anthropic 风格的evals.json用skill-up import一键迁移 User Config 说明用skill-up init生成用户级配置管理遥测与运行时参数。评测集不是一次写死的它是和 Skill 一起生长的资产。用 skill-up 把每次失败都变成一条回归用例你的 Skill 就有了真正的质量基线。赞分享【免费下载链接】skill-upAn evaluation and evolution tool for Agent Skills.项目地址https://gitcode.com/gh_mirrors/sk/skill-up点击查看免费下载相关推荐快速上手Agent Orchestrator15分钟跑通第一个编码Agent任务快速上手Agent Orchestrator15分钟跑通第一个编码Agent任务 Agent Orchestrator简称 AO是一款开源的 编码AgenSpinning Up快速上手10分钟跑通PPO算法Spinning Up快速上手10分钟跑通PPO算法 欢迎来到强化学习的世界 OpenAI的Spinning Up项目是学习深度强化学习 Deep RL人工智能强化学习深度学习机器学习教程KEDA快速上手教程10分钟用RabbitMQ触发器跑通你的第一个ScaledObjectKEDA快速上手教程10分钟用RabbitMQ触发器跑通你的第一个ScaledObject KEDA 是一个 Kubernetes 事件驱动自动扩缩容组件K云原生容器编排创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
