知识卡片

专业/工作 · 1353.a

Warp是GPU调度的最小捆绑单位

理解等级:未标注

CUDA 把 32 个线程捆绑成一组同时调度执行,这个组被称为 Warp(借用纺织术语”经线”,因为 经线的数量决定了织物的幅面,隐喻并行度)。Warp 是 GPU 硬件调度的最小粒度:哪怕一个线程块 只有不到 32 个线程,硬件依然会按 32 个来分配,多出的部分闲置浪费。发散:这解释了为什么 CUDA 编程里”线程块大小尽量是 32 的整数倍”是常识性优化建议——不是软件层面的偏好,而是 硬件调度粒度决定的,任何小于这个粒度的并行请求都会被向上取整、浪费掉多余的硬件资源, 理解调度粒度是理解一切并行硬件性能特性的起点。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    《软件调试(第2版)卷1:硬件基础》第9章《Nvidia GPU及其调试设施》