原书出处
深度学习推荐系统
06 第6章 深度学习推荐系统的工程实现
不会被其他节点阻断。 图6-11 一个 worker节点多次迭代计算梯度的过程 当然,任何技术方案都有“取”也有“舍”,
异步梯度更新的方式虽然大幅加快了训练速度,但带来的是模型一致性的损失。也就是说,并行训练的结果与原来的单点串行训练的结果是不一致的,这样的不一致会对模型收敛的速度造成一定影响。
所以最终选取同步更新还是异步更新取决于不同模型对一致性的敏感程度。这类似于一个模型超参数选取的问题,需要针对具体问题进行
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习推荐系统/_epub-src/text/part0010_split_003.html
EPUB SHA-256:2cd732704a51828ea5c0ec7decb8861b35f44e5e16d9af11fbc68f7084f63382