LangWatch 自定义仪表盘实战：让 AI 应用数据一次看懂

LangWatch 自定义仪表盘实战让 AI 应用数据一次看懂【免费下载链接】langwatchOpen-Source Agent Observability Evals for AI Platform teams. Trace, test, route and govern every agent coding assistant in the company.项目地址: https://gitcode.com/GitHub_Trending/la/langwatchLangWatch 的自定义仪表盘把散落在 Trace 里的请求量、耗时、Token 用量和评估结果变成可保存、可共享的监控视图。跟着本文走一遍你能用 Trace 数据从零搭出一块 AI 应用监控看板并让它对异常自动报警。一、为什么需要一块统一的监控视图AI 应用上线后数据是分散的请求量在日志里延迟在 Trace 里Token 成本要按模型算评估分数在另一套流程里。传统监控工具能画 CPU 和 QPS却回答不了哪个模型的响应变慢了上周评估通过率掉了多少这类问题。开发者通常只能打开多个页面、手动翻 Trace 拼答案既慢又容易漏掉趋势。假设你要为线上 AI 客服搭一块质量看板老板想看对话量和满意度值班工程师想在响应超时或评估掉分时第一时间收到通知。下面就是围绕这个任务把看板一步步搭出来的过程。二、从 Trace 到图表搭出第一块仪表盘LangWatch 的图表构建链路是数据源 → 指标 → 聚合方式 → 图表类型 → 分组维度 → 时间粒度。所有图表的原始数据都来自 Trace每次 LLM 调用的完整记录包含输入输出、耗时、Token 数、元数据等你只需要告诉系统看哪个字段、怎么算、怎么画。选指标在图表构建器里每条数据系列series对应一个指标。比如选metadata.trace_id代表请求量选performance.completion_time代表总耗时。定聚合同一个指标可以有不同算法。数请求用cardinality去重计数看耗时用avg或p95、p99百分位数即 95%、99% 的请求都在这个时间内完成看成本用sum。挑图表类型趋势用折线图累计量用面积图分类对比用柱状图占比用饼图或环形图单值 KPI 用摘要卡片summary需要盯盘告警时用监控图表monitor_graph。设粒度与分组timeScale控制时间桶比如 30 分钟、1 天也可以设为full把整个区间压成一个值groupBy决定横轴按什么切分比如按metadata.model模型名或topics.topics话题拆开看。一个图表可以放多条数据系列。常见手法是在同一条系列上叠filters总量曲线不加过滤错误请求曲线只保留有报错的 Trace流式请求曲线只留metadata.labels含streaming的——三条线叠在一张图上结构一目了然。三、指标怎么选流量、性能、成本、质量构建器内置的指标集中在四类命名上就能看出归属。下面是选型时的业务含义帮你快速判断该看哪条线。指标类别代表指标回答的问题流量metadata.trace_id请求数、metadata.user_id去重用户数、metadata.thread_id会话数规模有多大增长是否异常性能performance.completion_time总耗时、performance.first_token首 token 时间衡量流式体验、performance.tokens_per_second生成速度用户等得久不久成本performance.total_cost、performance.prompt_tokens/performance.completion_tokens输入/输出 Token 量、缓存读写 Token一天烧多少钱钱花在哪质量evaluations.evaluation_pass_rate评估通过率、evaluations.evaluation_score、sentiment.thumbs_up_down用户点赞/点踩输出到底好不好选指标时有一条经验KPI 卡片放绝对值如总成本sum趋势线放相对值如通过率avg、asPercent转成百分比这样看板既好看家也看趋势。评估类指标通常需要key参数指定具体评估器只统计某个质量检查项的结果。四、让图表会报警monitor_graph 与阈值变色普通图表只是能看见monitor_graph类型则面向值守场景。它把一条系列画成一块状态卡片根据当前值自动变色{ graphType: monitor_graph, series: [{ name: 评估通过率, metric: evaluations.evaluation_pass_rate, aggregation: avg, key: quality_check, colorSet: greenTones }], monitorGraph: { isGuardrail: true, disabled: false } }这段配置把quality_check 评估器的平均通过率挂成一块防护栏guardrail卡片值在安全区间显示绿色进入警戒区间转黄色跌破底线变红isGuardrail: true表示它承担门禁职责disabled: false表示启用。在图表上还能直接配 alert设定比较符如、阈值、时间窗口触发后通过邮件或 Slack 通知值班同学。对客服这类业务把满意度或错误率的 alert 阈值调严一点就能实现用户还没投诉工程师先收到通知。五、让报表成为团队资产搭好的图表不是临时的。LangWatch 支持把图表存为命名报表再挂到仪表盘上仪表盘本身由Dashboard与CustomGraph记录持久化团队里每个人打开看到同一份配置。仓库里可以看到仪表盘模块围绕权限做了完整划分读取、创建、更新、重排序是不同操作分别受项目级角色约束——查看者只能看图编辑者可以调配置管理员可以增删和重排布局。分享上有几条现成路径给有权限的同事直接发平台内链接把仪表盘嵌进内部系统仓库中 observability 文档列出了 Embedded Analytics 这一能力也可以只把关键图表作为嵌入组件放到其他页面。再配合报表的周期订阅每天早上把关键指标推到邮箱值班同学就不用守着屏幕。六、几种常用组合客服质量看板摘要卡片放总会话数、平均会话时长、点赞率三个 KPI配一条按天粒度的metadata.thread_id趋势线再加一张sentiment.thumbs_up_down按标签分组的饼图看正面/负面反馈占比。满意度这条线同时挂 monitor_graph 和 alert掉分即告警。多模型性能对比groupBy选metadata.model两条系列分别是performance.total_time_ms的p95和performance.total_cost的sum用堆叠柱状图一眼看出哪个模型慢、哪个贵换模型前心里有数。成本与缓存效率三条系列分别是 prompt、completion 和缓存读取 Token 的sum用堆叠面积图按天铺开。缓存命中上来了绿色区域就会变厚省了多少钱不用算。这些组合的共同点先决定回答什么问题再反推指标和分组而不是先选图表往里填数。收个尾从 Trace 到一块带报警的共享看板全程不需要写查询——指标、聚合、分组、粒度都是选择项配置本身就是文档。这套能力的底层由 ClickHouse 承载Trace 与评估数据近实时入库查询时对聚合表做按需计算前端按需拉取渲染所以看板刷新接近实时。后续方向上报表的跨周期对比、更多可嵌入的外部数据源以及让评估类指标自动派生新口径都是值得关注的演进点。想动手试的话可以从 观测与追踪概览文档 入手先把 Trace 接进来再回来搭第一块看板。【免费下载链接】langwatchOpen-Source Agent Observability Evals for AI Platform teams. Trace, test, route and govern every agent coding assistant in the company.项目地址: https://gitcode.com/GitHub_Trending/la/langwatch创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考