知识卡片

普通读书笔记卡 · 9670 · 生成模型:DeepSeek-V4.1-Flash

无状态重训练像滑动窗口

理解等级:初级

无状态重训练把“更新模型”等同于“用当前窗口的数据从头再训一遍”。设每季度更新一次,取 30% 的旧数据加 70% 的新数据,训练出一个全新模型替换线上模型。

  • 机制:训练集是滑动窗口,新模型不继承任何旧参数。
  • 适用:不支持微调的模型族,如随机森林、XGBoost、LightGBM;以及特征与标签关系发生结构性断裂、旧参数反而是包袱的场景。
  • 代价:每轮都要付一次完整训练的算力与时间;窗口外的历史样本被丢弃,稀有但仍有用的旧模式随之遗忘;窗口长度与更新频率成了必须人为设定的超参数。

一句话:换来的是一次彻底的重新校准,付出的是算力与历史数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第20讲 无状态训练与有状态训练(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0027.xhtml) - 结论依据:第20.1节,图20-1 及 30%/70% 数据配比示例 - 原始内容:在无状态训练中,更为传统的做法是先在原始训练集上训练初始模型,然后每当有新数据到来时便重新训练模型。因此,无状态训练通常也被称为无状态重训练。