← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9552.j · 生成模型:DeepSeek-V4.1-Flash

三条显存优化路径的分工

理解等级:中级

本章的三类优化针对三种不同瓶颈,混用之前先判断卡在哪里。

混合精度削减的是单个算子与张量的显存和带宽开销,属于”同样硬件做更多事”,收益取决于半精度友好算子的占比,不改变训练语义。分布式训练扩展的是设备数量:数据并行换吞吐、模型并行换容量,代价是引入进程管理与卡间通信,规模越大通信占比越高。梯度累积扩展的是”名义批次”,用串行的小批次换取大批次的梯度质量,不增加算力也不增加设备,代价是训练时间变长。

由此得到一条可操作的判断顺序:显存不够先上混合精度,仍不够再上梯度累积,单卡吞吐到顶才上多卡;多卡之后全局批次变大,又需要回头重算学习率与累积步数,三者是联动的而不是可随意叠加的开关。

反过来,如果瓶颈在数据加载或单步计算量太小,这三种手段都帮不上忙——它们优化的都是”计算与显存的配比”,而不是”数据供给”。参见 [[混合精度的精度分工]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型性能优化:混合精度训练与分布式训练 · 查看原书依据

      通过混合精度训练,可以有效利用显存资源,显著提高训练效率。分布式训练则通过数据并行与模型并行方案,解决了大规模模型在多设备环境中的训练需求。梯度累积技术允许在小批量数据下实现与大批量训练相似的效果,降低了显存消耗,提升了模型的稳定性与收敛性。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第7章《模型性能优化:混合精度训练与分布式训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter011_0004.xhtml) - 结论依据:本章小结并列给出三条技术的各自作用:混合精度提升显存与效率、分布式解决多设备训练需求、梯度累积在小批量下获得大批量效果。 - 原始内容:通过混合精度训练,可以有效利用显存资源,显著提高训练效率。分布式训练则通过数据并行与模型并行方案,解决了大规模模型在多设备环境中的训练需求。梯度累积技术允许在小批量数据下实现与大批量训练相似的效果,降低了显存消耗,提升了模型的稳定性与收敛性。