知识卡片
数据切分保持同分布
按样本划分训练数据时,要让每个节点的局部数据保持原数据的分布。书中给出两种方法:随机采样,按各节点容量有放回地抽样分配;置乱切分,先打乱数据再按节点数切分,各节点训练一段时间后重新全局打乱、再次分配,以获得更好的随机采样效果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第6章《机器学习算法与分布式改进》(源文件:_epub-src/OEBPS/Text/chapter6-4.xhtml)
- 结论依据:原文介绍数据并行的数据划分方法:随机采样法按节点容量有放回地采样,保证每台机器的局部数据是原数据的独立分布;置乱切分法打乱数据按节点数划分,训练一段时间后再次全局打乱和分配,形成更有效的随机采样效果。
- 原始内容:保证每台机器的局部训练数据是原数据的独立分布情况。……各节点先根据自己的数据进行训练,一段时间后,再次进行全局打乱和数据分配,形成更有效的随机采样效果。