← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9670.b · 生成模型:DeepSeek-V4.1-Flash

两种训练流程的分岔

理解等级:中级

同一份新数据进入两条流水线,结果完全不同:一条把旧模型整个丢掉重训,一条在旧参数上继续走。结构图见本章配图。

判据按优先级排列:模型是否支持微调(树模型基本出局);历史数据能否合法保留(隐私、存储约束);偏移是渐变还是断裂(断裂时重训更稳);算力预算与更新频率。选错的典型症状是,该重训时一直微调,模型追不上新概念;该微调时反复重训,算力烧光只换来微小的分布适配。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第20章 无状态训练与有状态训练 · 查看原书依据

      有状态训练模仿了迁移学习或自监督学习的流程,在这些流程中,我们会采用预训练模型进行微调。然而,有状态训练与迁移学习和自监督学习有本质的不同,因为它的目的是更新模型使之能应对概念、特征和标签的偏移。

    参考来源

    - 位置:《大模型技术30讲》第20讲 无状态训练与有状态训练(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0027.xhtml) - 结论依据:第20.1–20.2节,综合图20-1 与图20-2 - 原始内容:有状态训练模仿了迁移学习或自监督学习的流程,在这些流程中,我们会采用预训练模型进行微调。然而,有状态训练与迁移学习和自监督学习有本质的不同,因为它的目的是更新模型使之能应对概念、特征和标签的偏移。