实战教程模型与微调
微调前的数据检查:比增加样本量更早的一步
先定义任务 清楚写下模型应改进的行为,再决定是否需要微调。将训练集、验证集和独立测试集分开,按来源或时间划分能帮助发现泄漏。 检查数据 统计重复、缺失、过长和格式错误的样本;检查输出风格是否一致,以及是否包含不能用于训练的个人或企业信息。保留数据许可和处理记录。 建立基线 先保存原始模型与提示词方案
分享实战教程,交流技术难题,记录项目背后的思考。
先定义任务 清楚写下模型应改进的行为,再决定是否需要微调。将训练集、验证集和独立测试集分开,按来源或时间划分能帮助发现泄漏。 检查数据 统计重复、缺失、过长和格式错误的样本;检查输出风格是否一致,以及是否包含不能用于训练的个人或企业信息。保留数据许可和处理记录。 建立基线 先保存原始模型与提示词方案