★ FEATURED ARTICLE 【免费下载链接】CliRelaySelf-hosted AI gateway for coding CLIs — one OpenAI/Claude/Gemini/Codex-compatible endpoint, with a multi-tenant web console, request logs, and spend quotas.项目地址https://gitcode.com/gh_mirrors/cl/CliRelay点击查看免费下载CliRelay 是一个自托管的 AI 网关为 Claude Code、Codex、Gemini CLI 等编程命令行工具提供统一的 OpenAI/Claude/Gemini 兼容接入点。本文带你走进它的监控中心与请求日志如何看懂 P50–P99 延迟分布、首 Token 时间TTFT以及如何分析每个模型、渠道和用户的真实成本帮助新手在几分钟内建立完整的 AI 用量观测思路。一、5 分钟看懂 CliRelay 监控中心全景登录 CliRelay 控制台后左侧菜单的Observability → Monitor就是监控中心入口。页面顶部提供 1 小时 / 6 小时 / 24 小时 / 今天 / 7 天 / 14 天 / 30 天七种时间范围以及按门户用户、模型、渠道组合筛选的过滤器。概览区由六个指标卡组成每张卡都带环比变化和迷你趋势线指标卡含义新手关注点请求数 Requests窗口内总请求量是否出现异常突增成功率 Success rate成功请求占比低于 99% 就值得排查P95 延迟95% 请求的完成耗时上限体验是否稳定首 Token 时间流式响应吐出第一个 token 的耗时用户卡不卡的关键Tokens总 token 与缓存命中率缓存命中能显著省钱成本 Cost按模型定价折算的窗口花费账单是否可控左侧的健康评分Health score则把成功率、渠道状态、延迟汇总成一个 0–100 的分值适合每天扫一眼。二、P50–P99 延迟分布为什么不能只看平均值监控中心中部的Latency distribution延迟分布面板展示了 P50 / P90 / P95 / P99 四个分位数和一张直方图P50一半的请求比它快代表日常体验P95 / P99最差的那 5% / 1% 请求比它快代表偶发卡顿。平均值会被极端值拉高或拉低而分位数能回答普通用户实际等多久。例如上图 P50 仅 12.4s但 P99 达到 2m 22s说明大部分请求很快、偶发请求很慢——这正好提示你去查最近的失败与慢请求。实现原理对进阶读者延迟分位数不需要把每一行明细拉进 Go 内存。CliRelay 在 SQL 层把耗时按近似对数分桶100ms、150ms……10s、30s、60s……统计每桶数量与桶内最小/最大值再在桶内线性插值估算分位点单样本桶结果是精确的。相关实现在 monitor_detail.go 中同一套 SQL 兼容 SQLite 与 PostgreSQL。分位数统计只覆盖成功请求且受请求日志保留期限制默认 7 天页面会用coverage_start明确标注实际覆盖范围避免与聚合数据静默不一致。三、首 Token 时间判断流式体验的关键指标首 Token 时间Time to First TokenTTFT指从发出请求到收到第一个 token 的等待时间只有流式请求才会记录。面板中可切换Total / First token两个分布视图Total长而First token短 → 模型推理快只是输出内容多属正常First token就很长 → 排队、上游限流或账号额度紧张需要扩容渠道。指标卡中的 Time to first token P50 给出最直观的日常体感值。统计口径含流式请求数量、首 Token 平均值定义在 monitor_types.go 的MonitorLatency结构中均值只统计真正上报了该测量的请求因此不会被未记录的 0 值稀释。四、模型表现排行与成本分析监控中心下半部分是模型表现表按请求量排序列出每个模型的请求数、成功率、平均延迟、首 Token、速度tokens/s、token 与成本并附迷你趋势成本是怎么算出来的CliRelay 内置model_pricing价格表输入/输出/缓存读取等单价单位每百万 token每笔请求结算时按 token 明细折算成本并写入聚合桶因此排行表里的 Cost 列是逐笔累加的真实花费而不是估算。价格表支持在控制台的 Models 页面直接维护实用分析套路按模型排序看 Cost 列→ 找出最烧钱的模型对比 Tokens 与 Cost→ 判断是用得多还是单价贵考虑换用更便宜的等价模型看缓存命中率→ 命中率高的渠道/前缀策略能直接降低输入 token 成本点击任意一行→ 整页筛选为该模型继续下钻渠道与用户。价格配置的代码入口在 pricing_db.go聚合与环比对比逻辑见 monitor_rollup.go。五、流量流向、热力图与失败下钻把页面继续往下拉还有三块分析视图流量流向图Sankey门户用户 → 模型 → 渠道三层流向一眼看出谁在用哪个模型走哪个渠道低流量项折叠进 Other 节点活跃时段热力图星期 × 小时的请求密度帮你判断高峰期并安排容量失败分析按渠道 / 模型 / 门户用户三个维度定位失败来源下方列出最近的失败请求点 Details 即可打开请求详情渠道健康与门户用户排行各渠道的成功率、平均延迟各用户的请求量、token 与花费。概览数据全部由服务端组装返回任一二级查询失败只降级为空值、不会拖垮整页组装逻辑在 monitor_overview.go 中。六、请求日志逐条检索每一笔 token 与费用监控中心回答整体怎么样Request Logs请求日志则回答这一笔到底发生了什么。日志页顶部汇总了时间范围今天 / 7 天 / 14 天 / 30 天内的记录数、成功率、token 总量、总成本与缓存命中数支持按用户、模型、渠道、状态四组条件下拉筛选。表格逐条展示渠道、用户、缓存读取、输入、输出 token 等列点击任意一行可打开详情弹窗查看该请求的输入指令、模型输出、耗时与费用明细日常排障的典型路径是监控中心看到 P99 抬高 → 失败分析定位渠道 → 请求日志逐条打开详情。查询与导出能力由 request_log_query.go 实现日志按租户隔离并有独立的保留期与清理策略生产环境建议按需调整存储保留天数。七、总结建立自己的观测习惯场景看哪里每天例行巡检健康评分 六张指标卡环比体验变慢延迟分布 P95/P99 首 Token 分布账单上涨模型排行 Cost 列 模型定价页核对单价偶发失败失败分析 最近失败列表下钻具体某笔问题请求日志筛选 详情弹窗CliRelay 的监控中心与请求日志围绕聚合看趋势、明细找原因两层设计聚合数据分钟/小时/天桶支持长达数十天的回看分位数与失败明细则依托请求日志保留窗口。把指标卡 → 分布 → 排行 → 明细这条下钻路径练熟你就能快速定位任何一次变慢或超支的根因。赞分享【免费下载链接】CliRelaySelf-hosted AI gateway for coding CLIs — one OpenAI/Claude/Gemini/Codex-compatible endpoint, with a multi-tenant web console, request logs, and spend quotas.项目地址https://gitcode.com/gh_mirrors/cl/CliRelay点击查看免费下载相关推荐终极基金助手如何在工作中轻松监控你的投资组合终极基金助手如何在工作中轻松监控你的投资组合 你是否曾经在忙碌的工作中想要快速查看自己的基金表现但又担心被老板发现自选基金助手正是为你量身打造的解决方案金融科技前端数据可视化Micro框架HTTP响应时间分布P50、P95与P99指标分析Micro框架HTTP响应时间分布P50、P95与P99指标分析 你是否曾遇到过这样的困惑明明API平均响应时间正常但用户仍抱怨偶发卡顿当系统承载 th后端微服务Web框架CORS中间件监控与日志如何跟踪和分析跨域请求CORS中间件监控与日志如何跟踪和分析跨域请求 在当今的Web开发中 CORS跨域资源共享 已成为前端与后端API通信不可或缺的技术。然而仅仅配置CORS后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
