一次 AI 应用成本排查：先看请求链路，再换模型

演示复盘：这里没有虚构生产节省比例，重点展示复盘需要保留的证据。

问题与目标

当单次交互包含多次模型调用时，只看最终回答的 token 数无法解释整体账单。先为请求链路加标识，把检索、改写、规划、生成分别记录。

关键取舍

追踪输入输出长度、模型、耗时、重试次数与缓存命中。日志里不保留用户原始敏感内容，必要时仅记录长度和经处理的元数据。

改进顺序

先消除重复调用和不必要的上下文，再评估小模型替代与缓存。质量评估和成本评估一起进行，保留相同测试集的对照结果。

值得继续做的事

在版本变更时比较每个步骤的成本分布。对长尾请求单独分析，确保预算限制可以被用户理解，而不只是突然终止任务。