← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9552.d · 生成模型:DeepSeek-V4.1-Flash

分布式采样器切分数据

理解等级:中级

分布式采样器解决的是”多进程别抢同一条数据”的问题。它接收数据集、进程总数与当前进程编号,把索引按进程数切成互不重叠的片,每个进程只遍历自己那一片。一轮训练下来,所有进程合起来正好覆盖全量数据一次,既不重复也不遗漏。

它与普通随机采样的差别在随机性的来源:划分的随机性由种子统一控制,每个轮次需要更新种子,否则所有轮次的划分完全相同,模型会反复看到同一顺序的样本。

当样本数不能被进程数整除时,采样器会对少数样本做补齐,使各进程拿到的批次数一致。这不是为了”凑整好看”,而是配合集合通信的同步语义:只要有一个进程少发一批,梯度同步就会挂起等待。这条细节揭示分布式训练的隐含约束——各进程的迭代步数必须对齐。

边界是:它只负责划分索引,不负责批次大小。全局批次等于单卡批次乘以进程数,改动进程数时若不同步调整批次或学习率,等效更新幅度会跟着变。参见 [[分布式训练的五步骨架]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0002.xhtml) - 结论依据:原文说明采样器对数据集做划分,使各进程获得独立的数据批次,从而避免重复、提高效率。 - 原始内容:(2)数据采样:通过DistributedSampler对数据集进行划分,以确保各个进程能够获得独立的数据批次。此方法避免了数据重复,提高了训练效率。