实战教程RAG 与知识库精选
从检索到回答:搭建一个可评估的 RAG 知识库
目标与效果 知识库能够回答问题只是起点。我们还需要知道检索是否命中正确材料,以及最终回答是否忠实于证据。这个示例把检索与生成分开评估,让每次优化都有依据。 环境与数据准备 准备一组不含敏感信息的文档,并手工整理一批问题与对应证据。记录分块策略、嵌入模型版本、检索条数与提示词。实验之间只改变一个变量。
分享实战教程,交流技术难题,记录项目背后的思考。
目标与效果 知识库能够回答问题只是起点。我们还需要知道检索是否命中正确材料,以及最终回答是否忠实于证据。这个示例把检索与生成分开评估,让每次优化都有依据。 环境与数据准备 准备一组不含敏感信息的文档,并手工整理一批问题与对应证据。记录分块策略、嵌入模型版本、检索条数与提示词。实验之间只改变一个变量。
工具不是总会成功 网络超时、参数错误、资源不存在都应成为显式结果。把可重试错误与不可重试错误分开,避免模型一遍遍重复同一个失败动作。 明确输入与执行边界 工具参数通过 schema 校验。为查询和写操作设置不同权限,写操作提供幂等键与审计标识。重试上限、总时长和预算由服务端约束。 type Tool
先定义任务 清楚写下模型应改进的行为,再决定是否需要微调。将训练集、验证集和独立测试集分开,按来源或时间划分能帮助发现泄漏。 检查数据 统计重复、缺失、过长和格式错误的样本;检查输出风格是否一致,以及是否包含不能用于训练的个人或企业信息。保留数据许可和处理记录。 建立基线 先保存原始模型与提示词方案