知识卡片
模型实时性的更新策略
模型实时性由弱到强的训练方式是全量更新、增量更新与在线学习。全量更新用某时间段全部样本训练,最常用但需等数据落盘、耗时最长、实时性最差。增量更新只把新样本喂给模型继续做SGD,效率高但往往找不到全局最优点,实践中常每做几轮增量后在全量数据上纠正累积误差。在线学习获得一个新样本就更新一次模型,实时性最强,但工程要求高,且SGD相比batch容易产生大量小权重、削弱稀疏性、增大上线体积,FOBOS与FTRL是兼顾稀疏性的代表方案。还有局部更新思路:如GBDT每天训练、LR实时训练,或Embedding预训练后上层网络高频更新,以不同频率平衡效率与效果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 多角度审视推荐系统 · 查看原书依据
增量更新的缺点是:增量更新的模型往往无法找到全局最优点,因此在实际的推荐系统中,经常采用增量更新与全局更新相结合的方式,在进行了几轮增量更新后,在业务量较小的时间窗口进行全局更新,纠正模型在增量更新过程中积累的误差。
参考来源
- 位置:《深度学习推荐系统》第5章 多角度审视推荐系统(源文件:extracted/深度学习推荐系统/_epub-src/text/part0009_split_003.html)
- 结论依据:原文按实时性由弱到强列出三种训练方式,并给出增量更新的全局最优问题与在线学习的稀疏性代价。
- 原始内容:增量更新的缺点是:增量更新的模型往往无法找到全局最优点,因此在实际的推荐系统中,经常采用增量更新与全局更新相结合的方式,在进行了几轮增量更新后,在业务量较小的时间窗口进行全局更新,纠正模型在增量更新过程中积累的误差。