返回主题:学习范式与泛化边界

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2795

分布式学习三瓶颈

理解等级:未标注

分布式机器学习要应对三类瓶颈:计算量过大,可用共享内存、多线程、多机并行计算;训练数据过大,可把数据划分给多个工作节点各自训练子模型,再整合成全局模型;模型规模过大,可把模型分配到不同节点训练,节点之间通信并协调整体工作。先判断瓶颈类型,再选并行方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第6章《机器学习算法与分布式改进》(源文件:_epub-src/OEBPS/Text/chapter6-4.xhtml) - 结论依据:原文列出分布式机器学习要解决的三类问题及方法:计算量过大用共享内存、多线程、多机并行;训练数据过大用数据划分、多工作节点训练子模型再整合为全局模型;模型规模过大则分配模型到不同节点训练、节点间通信并整合协调。 - 原始内容:对计算量过大的问题,可以采用以下方法解决。……·节点训练局部数据容量限制,训练子模型;……·分配模型到不同工作节点训练;