知识卡片
SGD 增量更新与数据顺序假设
持续 ML 系统里通常更倾向采用允许增量更新的训练方法。基于随机梯度下降(SGD)的训练方法无需任何修改即可用于持续设定(SGD 是多数深度学习训练平台的基础):做法基本是「闭上眼睛,假装展示给模型的数据流是以随机顺序来的」。若数据流确实相对打散,这完全没问题;但现实里数据流常带并非真正随机的时间相关性,于是必须担心破坏该假设在实践中伤害多大。最糟的非随机情形是上游批处理作业把全部正例排在一批、全部负例排在另一批,SGD 在这类数据上会惨败,必须加入中间打散,把 SGD 放回更随机、更安全的地基。有些流水线强制「每个样本只训练一次、且按它在流中出现的时间顺序」,这从基础设施、模型分析与可复现性角度都简化很多,数据充足时没有实际缺点;但更缺数据的应用可能需要多次访问单个样本才能收敛到好模型,就无法总遵守这条策略。这与第 7 章「训练过快的竞态发散」同属分布式/流式训练里顺序假设被破坏的一类问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
Training methods based on stochastic gradient descent (SGD) can be used without any modifications in continuous settings.
参考来源
- 位置:《Reliable Machine Learning》第10章《Continuous ML》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch10.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:Training methods based on stochastic gradient descent (SGD) can be used without any modifications in continuous settings.