知识卡片
Float16与MPS加速推理
在粗排时效性不足时,可以利用英伟达图灵架构对 Float16/Int8 矩阵乘法的额外加速,把部分计算从 Float32 降到 Float16。但 Float16 会损失精度,需要兜底。
两种解决方式:一是混合精度,BN 层仍用 Float32、非 BN 层用 Float16;二是归一化,用 linear_log() 函数把 Float32 数值压到合适范围,放在模型初始层,确保输入落在 Float16 的值域内(实践中对 COLD 效果基本无影响)。即便如此,Float16 下 CUDA 核启动时间反而成了新瓶颈,于是再用 MPS(多进程服务)摊薄核启动开销。整体看,Float16 + MPS 能带来接近两倍的 QPS 提升。
边界:Float16 是”用精度换速度”的权衡,精度敏感的头层/BN 层要保留 Float32,否则可能悄悄掉效果。相关卡见 [[粗排并行化与列计算加速]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 粗排层的样本选择和模型选择 9.2 工程优化 · 查看原书依据
所以如果将linear_log()放到模型的初始层,就可以确保网络的输入参数在Float16的值域范围内
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第9章《工程优化》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/123.html;src-057)
- 结论依据:原文说明图灵架构对Float16有加速,给出混合精度与linear_log()两种精度兜底方案,并指出用MPS解决核启动瓶颈,Float16与MPS合计带来近两倍QPS提升。
- 原始内容:所以如果将linear_log()放到模型的初始层,就可以确保网络的输入参数在Float16的值域范围内