知识卡片

普通读书笔记卡 · 9908.h · 生成模型:Hunyuan

同步阻断与异步更新取舍

理解等级:高级

同步阻断式梯度下降等所有节点算完梯度再统一更新,结果与串行训练严格一致,但最慢节点会拖住全部节点。Parameter Server 改用异步非阻断式:某 worker 在上一轮 push/pull 尚未完成时就拿着旧参数继续算下一轮梯度,各节点互不等待、始终并行。代价是模型一致性下降,训练结果与单点串行不一致,可能影响收敛速度。实践中这是超参数式的取舍:视模型对一致性的敏感度决定同步还是异步,也可设“最大延迟”限制异步程度,例如限定三轮内必须完成一次参数更新,超时则停下等待 pull。论文实验显示异步策略计算时间占比更高、收敛反而更快,说明一致性损失的影响往往没有想象中大。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_003.html) - 结论依据:原文对比了同步阻断与异步非阻断的差异,指出异步以一致性换速度并提出用最大延迟折中,同时引用论文实验证明异步收敛更快。 - 原始内容:异步梯度更新的方式虽然大幅加快了训练速度,但带来的是模型一致性的损失。也就是说,并行训练的结果与原来的单点串行训练的结果是不一致的,这样的不一致会对模型收敛的速度造成一定影响。