双 11 前的 Token 预算预案：先统一计费单位，再设计降级阈值

大促预算最先该核对的往往不是模型选型而是单位报价按千Token还是百万Token输入与输出是否同价缓存和重试怎样计费。一个小数点错误乘上峰值请求量后就会放大成明显偏差。这是一份双11之前的教学预案没有真实客户大促数据也没有把未来的11月活动写成已发生。以下价格仅为演算假设不是任何供应商现价采购时应使用实际合同与账单规则。一次任务可能包含多次调用假设输入每千Token0.05元输出每千Token0.10元。2700个输入Token的费用是0.135元400个输出Token是0.04元一次调用合计0.175元。若失败后又调用一次失败调用可能也有费用不能只按最后那条成功回答计算。图中Retries表示追加调用产生的账目若输入、输出Token已经汇总了全部尝试就不能再加一次“重试费”。用十进制数让单位显式出现下面按调用记录汇总教学任务费用字段分别保存输入、输出Token。真实接入还需区分缓存输入、推理Token、批处理和不同模型不能默认都按这两项价格收费。from decimal import Decimal as D rates {input_per_1000: D(0.05), output_per_1000: D(0.10)} calls [{task: t1, input: 2700, output: 400}, {task: t1, input: 500, output: 100}] def cost(row): if row[input] 0 or row[output] 0: raise ValueError(negative tokens) return (D(row[input])*rates[input_per_1000] D(row[output])*rates[output_per_1000])/D(1000) assert cost(calls[0]) D(0.175) total sum((cost(x) for x in calls), D(0)) assert total D(0.210) print(hypothetical yuan per task including both calls, total)AWS在10月21日的Agent可观测性文章中把成本归因映射到Agent、请求、模型和Region。这里值得借鉴的是可追溯的维度设计本文没有部署它的EKS方案也没有复制厂商性能数据。官方文章阈值要对应一种可以执行的动作情况可以事先约定的响应单任务超预算停止后续自动调用保留已完成结果重试频繁暂停该路径转人工或只读说明旗舰路径拥堵对适合的任务用经评估的备用路径资料不足明确无法确认不为完成率反复生成总预算接近上限限流、关闭低优先级任务并告知负责人降级不能只验证便宜还要检查错答、越权、延迟和人工负担。核心任务是否允许切换模型应提前经过回归不能在流量到来后随机挑一个型号。Google Cloud10月22日将细粒度Token与成本治理列为本季计划preview能力之一。它提供了方向参考但未来预告不是当前可用性或我们项目的交付保证。发布说明一份能用的预算预案应连着账本、报警和停止动作。本文只运行了费用算术没有真实计费调用、峰值压测或大促复盘。