kita / notes
← 回到全部笔记

事件日期 阅读约 1 分钟

LoRA 的 loss 降了,最终评测却没有超过基座

发布于

本文目录(2 节)
  1. 中途几次结论都说早了
  2. 最后的数字比中途的庆祝更重要

本地这轮实验用 Qwen2.5-3B-Instruct,目标是按固定契约输出 JSON。数据共 151 条,其中 125 条用于训练,26 条用于最后的对比。

第一轮训练跑了 375 步,loss 从约 17 降到 1.13。看曲线像是顺利结束,生成结果却把 JSON 的引号、括号和分隔符丢了,只剩字段词连在一起。

禁用 LoRA 后,同样输入能恢复正常结构。这个对照把问题定位到这轮适配结果,但还不能单独说明是哪一个训练参数造成的。

中途几次结论都说早了

我先检查 label masking,再调整学习率。修正 masking、降到 1e-5 之后,短程输出曾恢复,继续训练仍会退化。

日志一度写过“学习率根因锁定”,后面的结果已经不支持这么确定。步数、数据、损失计算和学习率都改过,没有足够受控实验把失败归给唯一变量。

后来 v4 每五步用六条固定探针生成一次,记录 JSON 是否有效;提升时另存 checkpoint,并把步数上限压到 60。第 20 步探针达到全通过,保留了 best-step20。

那六条探针取自评测集,参与了选点,因此最后这份小规模结果还不算严格独立的留出测试。

最后的数字比中途的庆祝更重要

26 条的报告里是:

指标 基座 v4
JSON 合法率 100% 100%
字段完整率 92.3% 88.5%
平均分 0.950 0.925

其中一条 file_summary 漏了 tokens_estimate。格式看起来更规整,不能抵消必填字段的缺失。

这轮留下了可运行的训练与评测流程,也保存了没有结构崩坏的 checkpoint,但没有证据说它优于基座。六条探针全过,只能回答那六条在对应检查下有没有通过;它不能替整个模型的质量作保证。

← 返回全部手记