知识卡片
粗排并行化与列计算加速
粗排的时延压力除了靠模型蒸馏缓解,也能靠工程优化直接压下来。参考阿里 COLD 的思路,两类关键手段是并行化和列计算转换。
并行化:粗排对同一个用户的不同物料打分是相互独立的,天然可拆分。于是把计算拆成多个并行请求同时算,最后合并结果;特征计算走多线程进一步加速,网络计算放到 GPU 上。
列计算转换:用户特征和物料特征可视为两个稀疏矩阵(行是 batch_size,列是特征群)。原本逐个物料、逐特征群地算,存在冗余遍历和查找;改成”列计算”后,把同一列(同一特征群)的稀疏数据连续存储,再用 MKL 优化单特征计算、用 SIMD 优化组合特征算子,消除冗余、提升吞吐。
用途:这两类优化不改动模型结构,只改计算组织方式,适合”模型已经够小、但算力/延时仍吃紧”的落地阶段。相关卡见 [[Float16与MPS加速推理]]、[[近离线计算缓解粗排压力]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 粗排层的样本选择和模型选择 9.2 工程优化 · 查看原书依据
在实际的计算过程中,因为同一个特征群的计算方法相同,因此可以利用这个特性将行计算重构成列计算,对同一列上的稀疏数据进行连续存储,之后利用MKL优化单特征计算,使用SIMD(Single Instruction Multiple Data,单指示多数据)优化组合特征算子,以达到加速
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第9章《工程优化》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/123.html;src-057)
- 结论依据:原文提出粗排不同物料计算相互独立故可并行拆分并用多线程与GPU加速,以及将行计算重构为列计算、以MKL和SIMD优化单特征与组合特征算子来加速。
- 原始内容:在实际的计算过程中,因为同一个特征群的计算方法相同,因此可以利用这个特性将行计算重构成列计算,对同一列上的稀疏数据进行连续存储,之后利用MKL优化单特征计算,使用SIMD(Single Instruction Multiple Data,单指示多数据)优化组合特征算子,以达到加速