知识卡片

普通读书笔记卡 · 2334.b.4

批量推理可摊薄权重读取

理解等级:中级

同组输入复用已取出的权重,可提高每次内存读取支持的运算量,并让计算组织为矩阵形式。批量也引入等待、激活存储和延迟约束;32个输入的理想权重摊销例不表示端到端内存流量必减到1/32,低延迟服务也未必适合大批量。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 异构加速 · 查看原书依据

      在从一组输入内存中获取权重后重新使用权重,从而提高有效的操作强度。例如,图像处理DNN可能一次处理一组32张图像,以将提取权重的有效成本降低至1/32。另外,可以将批处理当作一系列输入行向量,将操作当作矩阵操作,从而进行并行处理。 相比于许多其他应用,DNN对数字精度的要求并不高。例如,双

    参考来源

    - 位置:《软硬件融合 (黄朝波 著)》第7章《异构加速》(来源项目book-sources;源文件:extracted/软硬件融合 (黄朝波 著)/_epub-src/OEBPS/Text/chapter014.xhtml) - 结论依据:该项对“同组输入复用已取出的权重,可提高每次内存读取支持的运算量,并让计算组织为矩阵形式”给出定义、对比、案例或条件;保留论证范围,不将启发式当无条件定律。 - 原始内容:在从一组输入内存中获取权重后重新使用权重,从而提高有效的操作强度。例如,图像处理DNN可能一次处理一组32张图像,以将提取权重的有效成本降低至1/32。另外,可以将批处理当作一系列输入行向量,将操作当作矩阵操作,从而进行并行处理。 相比于许多其他应用,DNN对数字精度的要求并不高。例如,双