实战教程模型与微调
微调前的数据检查:比增加样本量更早的一步
演示教程:模型与数据领域的内容示例。
先定义任务
清楚写下模型应改进的行为,再决定是否需要微调。将训练集、验证集和独立测试集分开,按来源或时间划分能帮助发现泄漏。
检查数据
统计重复、缺失、过长和格式错误的样本;检查输出风格是否一致,以及是否包含不能用于训练的个人或企业信息。保留数据许可和处理记录。
建立基线
先保存原始模型与提示词方案的评估结果。微调后使用相同测试集检查目标能力与退化项,并记录模型版本、数据版本和训练参数。
演示教程:模型与数据领域的内容示例。
清楚写下模型应改进的行为,再决定是否需要微调。将训练集、验证集和独立测试集分开,按来源或时间划分能帮助发现泄漏。
统计重复、缺失、过长和格式错误的样本;检查输出风格是否一致,以及是否包含不能用于训练的个人或企业信息。保留数据许可和处理记录。
先保存原始模型与提示词方案的评估结果。微调后使用相同测试集检查目标能力与退化项,并记录模型版本、数据版本和训练参数。
交流与讨论 0
登录后参与讨论,让实践碰撞出更多思路。
还没有讨论,来分享第一个思路吧。