返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2795.a

数据切分保持同分布

理解等级:未标注

按样本划分训练数据时,要让每个节点的局部数据保持原数据的分布。书中给出两种方法:随机采样,按各节点容量有放回地抽样分配;置乱切分,先打乱数据再按节点数切分,各节点训练一段时间后重新全局打乱、再次分配,以获得更好的随机采样效果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第6章《机器学习算法与分布式改进》(源文件:_epub-src/OEBPS/Text/chapter6-4.xhtml) - 结论依据:原文介绍数据并行的数据划分方法:随机采样法按节点容量有放回地采样,保证每台机器的局部数据是原数据的独立分布;置乱切分法打乱数据按节点数划分,训练一段时间后再次全局打乱和分配,形成更有效的随机采样效果。 - 原始内容:保证每台机器的局部训练数据是原数据的独立分布情况。……各节点先根据自己的数据进行训练,一段时间后,再次进行全局打乱和数据分配,形成更有效的随机采样效果。