返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2829

分布训练动因

理解等级:未标注

分布式训练不是为了显得复杂,而是单机同时撞上数据量、参数量、训练时效和在线更新压力。只有把数据、模型或训练过程切开,才能把内存墙、计算墙和通信墙分别转化为可调度的系统问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第1章《分布式机器学习》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_005.html) - 结论依据:原文列出样本、特征、训练性能和实时上线四类挑战,并指出单机计算与内存无法满足需求,可推出分布式训练的必要性。 - 原始内容:在大数据和互联网时代,机器学习又遇到了新的挑战,具体如下。• 样本数据量大:训练数据越来越多,在大型互联网场景下,每天的样本数据量是百亿级别。• 特征维度多:由于样本数据量巨大而导致机器学习模型参数越来越多,特征维度可以达到千亿甚至万亿级别。