知识卡片

普通读书笔记卡 · 9552.l · 生成模型:GPT-6

混合精度的范围与舍入

理解等级:中级

混合精度在合适运算中使用较低精度,并保留部分较高精度计算或参数,以节省存储、利用硬件吞吐。低精度动态范围与有效位数有限,过大数值可能溢出,绝对值过小可能下溢,微小更新也可能被舍入;高精度累加可缓解部分误差,但不保证消除所有数值问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第12章《工业级深度学习框架》,12.7 混合精度训练(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_103.html`) - 结论依据:原文给出实验、框架机制或工程方案;卡片对条件、数值边界和性能外推作限定。 - 原始内容:混合精度训练存在几个严重的问题。