项目复盘推理与部署精选
一次 AI 应用成本排查:先看请求链路,再换模型
问题与目标 当单次交互包含多次模型调用时,只看最终回答的 token 数无法解释整体账单。先为请求链路加标识,把检索、改写、规划、生成分别记录。 关键取舍 追踪输入输出长度、模型、耗时、重试次数与缓存命中。日志里不保留用户原始敏感内容,必要时仅记录长度和经处理的元数据。 改进顺序 先消除重复调用和不
分享实战教程,交流技术难题,记录项目背后的思考。
问题与目标 当单次交互包含多次模型调用时,只看最终回答的 token 数无法解释整体账单。先为请求链路加标识,把检索、改写、规划、生成分别记录。 关键取舍 追踪输入输出长度、模型、耗时、重试次数与缓存命中。日志里不保留用户原始敏感内容,必要时仅记录长度和经处理的元数据。 改进顺序 先消除重复调用和不
我们想解决什么 代码生成速度提高后,评审需要更清楚地描述变更目的、行为和验证结果。把一次大的生成任务拆成可以独立审查的小变更。 评审重点 关注权限边界、错误路径、外部依赖和持久化行为。要求变更说明给出可复现的触发条件,不把模型的自述当作运行证据。 验证与复盘 根据实际风险选择检查:核心业务行为做集成