知识卡片
异步SGD与参数服务器
当单机资源不足时,训练可通过数据并行与模型并行分摊到多台机器。数据并行的推断很容易,因为每个样本独立;但梯度下降本质串行,第t步梯度依赖第t-1步参数,简单增大批量并不能带来线性回报。异步随机梯度下降打破这一串行约束:多个处理器核无锁读取共享参数、计算梯度并无锁更新,虽因相互覆盖降低单步收益,却因更新步数速率提高而加快整体学习。进一步的工程方案是用参数服务器集中管理参数,而非依赖共享内存,这一形式被工业界广泛采用。理解这张卡的关键是区分“硬件并行”与“算法并行”:前者可分样本,后者需容忍参数陈旧性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 应用
原书出处 · 1 处
- 第12章 应用 · 查看原书依据
由于一些核把其他的核所更新的参数覆盖了,因此这种方法减少了每一步梯度下降所获得的平均提升。但因为更新步数的速率增加,总体上还是加快了学习过程。
参考来源
- 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:12.1.3指出梯度下降标准定义是串行过程,并给出异步无锁更新与参数服务器方案,说明其以单步质量换取步数速率。
- 原始内容:由于一些核把其他的核所更新的参数覆盖了,因此这种方法减少了每一步梯度下降所获得的平均提升。但因为更新步数的速率增加,总体上还是加快了学习过程。