知识卡片
TPU首代把矩阵计算靠近缓冲
原书首代TPU经主机发指令,把权重经FIFO送入矩阵乘单元,将结果累加、激活后回到片内统一缓冲。核心与局部数据存储相配合,减少每次运算从主机取数,不说明全部模型始终驻留或后续TPU架构相同。历史8位运算率不能统一记作浮点TFLOPS。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 异构加速
原书出处 · 1 处
- 异构加速 · 查看原书依据
矩阵乘法单元是TPU的核心,它包含256×256 MAC,可以对有符号或无符号整数执行8位乘法,16位乘积收集在矩阵乘法单元下方的4MB 32位累加器(4MB可容纳4096个256元素的32位累加器)中。矩阵乘法单元每个时钟周期产生一个256个元素的部分和。 矩阵乘法单元在每个时钟周期读写
参考来源
- 位置:《软硬件融合 (黄朝波 著)》第7章《异构加速》(来源项目book-sources;源文件:extracted/软硬件融合 (黄朝波 著)/_epub-src/OEBPS/Text/chapter014.xhtml)
- 结论依据:该项对“原书首代TPU经主机发指令,把权重经FIFO送入矩阵乘单元,将结果累加、激活后回到片内统一缓冲”给出定义、对比、案例或条件;保留论证范围,不将启发式当无条件定律。
- 原始内容:矩阵乘法单元是TPU的核心,它包含256×256 MAC,可以对有符号或无符号整数执行8位乘法,16位乘积收集在矩阵乘法单元下方的4MB 32位累加器(4MB可容纳4096个256元素的32位累加器)中。矩阵乘法单元每个时钟周期产生一个256个元素的部分和。 矩阵乘法单元在每个时钟周期读写