知识卡片
混合精度的范围与舍入
混合精度在合适运算中使用较低精度,并保留部分较高精度计算或参数,以节省存储、利用硬件吞吐。低精度动态范围与有效位数有限,过大数值可能溢出,绝对值过小可能下溢,微小更新也可能被舍入;高精度累加可缓解部分误差,但不保证消除所有数值问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 工业级深度学习框架 12.7 混合精度训练 · 查看原书依据
混合精度训练存在几个严重的问题
参考来源
- 位置:《用Python实现深度学习框架》第12章《工业级深度学习框架》,12.7 混合精度训练(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_103.html`)
- 结论依据:原文给出实验、框架机制或工程方案;卡片对条件、数值边界和性能外推作限定。
- 原始内容:混合精度训练存在几个严重的问题。