← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9670.a · 生成模型:DeepSeek-V4.1-Flash

有状态训练不必存旧数据

理解等级:中级

有状态训练只在新数据上做增量更新,参数带着走,因此不必保留历史语料。模型 1.0 收到新批次后微调为 1.1,如此滚动。

它与迁移学习有本质区别:迁移学习换的是任务,目标标签会变;有状态训练是同一任务、同一标签体系下追概念、特征与标签的偏移。

代价 表现 缓解
灾难性遗忘 新批次只覆盖近期分布,旧分布上的能力退化 保留少量回放数据、加正则、限制学习率
顺序敏感 增量批次相关性强,短期预测偏斜 打散批次、监控各时段指标
不可复现 难以回到某次更新前的状态 保存每个版本的检查点

收益是数据一到即可更新、延迟低,且满足隐私与存储约束。一句话:省下的是存储,付出的是对历史分布的掌控力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 无状态训练与有状态训练 · 查看原书依据

      有状态训练的一个显著优点是,我们无须为了重新训练而存储数据;相反,我们可以立即使用新到的数据来更新模型。当因隐私问题或资源限制而对数据存储有所顾虑时,这一点就很有吸引力了。

    参考来源

    - 位置:《大模型技术30讲》第20讲 无状态训练与有状态训练(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0027.xhtml) - 结论依据:第20.2节,图20-2 及与迁移学习、自监督学习的对比 - 原始内容:有状态训练的一个显著优点是,我们无须为了重新训练而存储数据;相反,我们可以立即使用新到的数据来更新模型。当因隐私问题或资源限制而对数据存储有所顾虑时,这一点就很有吸引力了。