知识卡片
无状态重训练像滑动窗口
无状态重训练把“更新模型”等同于“用当前窗口的数据从头再训一遍”。设每季度更新一次,取 30% 的旧数据加 70% 的新数据,训练出一个全新模型替换线上模型。
- 机制:训练集是滑动窗口,新模型不继承任何旧参数。
- 适用:不支持微调的模型族,如随机森林、XGBoost、LightGBM;以及特征与标签关系发生结构性断裂、旧参数反而是包袱的场景。
- 代价:每轮都要付一次完整训练的算力与时间;窗口外的历史样本被丢弃,稀有但仍有用的旧模式随之遗忘;窗口长度与更新频率成了必须人为设定的超参数。
一句话:换来的是一次彻底的重新校准,付出的是算力与历史数据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第20章 无状态训练与有状态训练 · 查看原书依据
在无状态训练中,更为传统的做法是先在原始训练集上训练初始模型,然后每当有新数据到来时便重新训练模型。因此,无状态训练通常也被称为无状态重训练。
参考来源
- 位置:《大模型技术30讲》第20讲 无状态训练与有状态训练(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0027.xhtml)
- 结论依据:第20.1节,图20-1 及 30%/70% 数据配比示例
- 原始内容:在无状态训练中,更为传统的做法是先在原始训练集上训练初始模型,然后每当有新数据到来时便重新训练模型。因此,无状态训练通常也被称为无状态重训练。