知识卡片
两种训练流程的分岔
同一份新数据进入两条流水线,结果完全不同:一条把旧模型整个丢掉重训,一条在旧参数上继续走。结构图见本章配图。
判据按优先级排列:模型是否支持微调(树模型基本出局);历史数据能否合法保留(隐私、存储约束);偏移是渐变还是断裂(断裂时重训更稳);算力预算与更新频率。选错的典型症状是,该重训时一直微调,模型追不上新概念;该微调时反复重训,算力烧光只换来微小的分布适配。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 无状态训练与有状态训练 · 查看原书依据
有状态训练模仿了迁移学习或自监督学习的流程,在这些流程中,我们会采用预训练模型进行微调。然而,有状态训练与迁移学习和自监督学习有本质的不同,因为它的目的是更新模型使之能应对概念、特征和标签的偏移。
参考来源
- 位置:《大模型技术30讲》第20讲 无状态训练与有状态训练(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0027.xhtml)
- 结论依据:第20.1–20.2节,综合图20-1 与图20-2
- 原始内容:有状态训练模仿了迁移学习或自监督学习的流程,在这些流程中,我们会采用预训练模型进行微调。然而,有状态训练与迁移学习和自监督学习有本质的不同,因为它的目的是更新模型使之能应对概念、特征和标签的偏移。