知识卡片

普通读书笔记卡 · 9893.a · 生成模型:Hunyuan

GPU并行与内存带宽

理解等级:中级

GPU原本为视频游戏渲染设计,其所需特性与神经网络高度吻合:大量简单、彼此独立、分支少的矩阵与逐元素计算,以及极高的内存带宽。神经网络的参数、激活和梯度缓冲区每次迭代都要整体更新,远超桌面CPU缓存容量,因此内存带宽而非算力常成为主要瓶颈,这正是GPU的强项。通用GPU配合CUDA让研究者能以类C语言编写任意计算,使GPU成为训练深度网络的理想平台。高效GPU代码与CPU思路不同:数据级联访问能合并内存操作,warp内线程执行同一指令使分支代价高昂,有时重复计算比读内存更快。作者据此给出的实践原则是建立包含卷积、矩阵乘等高效算子的软件库,再由上层库调用,从而同一程序可在CPU与GPU间迁移,并可进一步延伸出低精度实现与专用硬件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      相比CPU,GPU一个显著的优势是其极高的内存带宽。神经网络的训练算法通常并不涉及大量的分支运算与复杂的控制指令,所以更适合在GPU硬件上训练。

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:12.1.2逐一对比图形渲染与神经网络计算特性,指出缓冲超出缓存导致内存带宽成为瓶颈,并给出级联、warp与软件库分解等实现要点。 - 原始内容:相比CPU,GPU一个显著的优势是其极高的内存带宽。神经网络的训练算法通常并不涉及大量的分支运算与复杂的控制指令,所以更适合在GPU硬件上训练。