知识卡片
Warp是GPU调度的最小捆绑单位
CUDA 把 32 个线程捆绑成一组同时调度执行,这个组被称为 Warp(借用纺织术语”经线”,因为 经线的数量决定了织物的幅面,隐喻并行度)。Warp 是 GPU 硬件调度的最小粒度:哪怕一个线程块 只有不到 32 个线程,硬件依然会按 32 个来分配,多出的部分闲置浪费。发散:这解释了为什么 CUDA 编程里”线程块大小尽量是 32 的整数倍”是常识性优化建议——不是软件层面的偏好,而是 硬件调度粒度决定的,任何小于这个粒度的并行请求都会被向上取整、浪费掉多余的硬件资源, 理解调度粒度是理解一切并行硬件性能特性的起点。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
《软件调试(第2版)卷1:硬件基础》第9章《Nvidia GPU及其调试设施》