知识卡片
批量推理可摊薄权重读取
同组输入复用已取出的权重,可提高每次内存读取支持的运算量,并让计算组织为矩阵形式。批量也引入等待、激活存储和延迟约束;32个输入的理想权重摊销例不表示端到端内存流量必减到1/32,低延迟服务也未必适合大批量。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 异构加速
原书出处 · 1 处
- 异构加速 · 查看原书依据
在从一组输入内存中获取权重后重新使用权重,从而提高有效的操作强度。例如,图像处理DNN可能一次处理一组32张图像,以将提取权重的有效成本降低至1/32。另外,可以将批处理当作一系列输入行向量,将操作当作矩阵操作,从而进行并行处理。 相比于许多其他应用,DNN对数字精度的要求并不高。例如,双
参考来源
- 位置:《软硬件融合 (黄朝波 著)》第7章《异构加速》(来源项目book-sources;源文件:extracted/软硬件融合 (黄朝波 著)/_epub-src/OEBPS/Text/chapter014.xhtml)
- 结论依据:该项对“同组输入复用已取出的权重,可提高每次内存读取支持的运算量,并让计算组织为矩阵形式”给出定义、对比、案例或条件;保留论证范围,不将启发式当无条件定律。
- 原始内容:在从一组输入内存中获取权重后重新使用权重,从而提高有效的操作强度。例如,图像处理DNN可能一次处理一组32张图像,以将提取权重的有效成本降低至1/32。另外,可以将批处理当作一系列输入行向量,将操作当作矩阵操作,从而进行并行处理。 相比于许多其他应用,DNN对数字精度的要求并不高。例如,双