知识卡片
共享变量绕开GPU数据传输开销
GPU算得快,但数据若每次都从CPU内存复制到GPU内存,大量复制开销会让GPU反而不比CPU快。Theano的解决办法是把大数据声明为theano.shared()共享变量:构建时一次性把整个数据集复制到GPU,之后GPU直接从本地共享变量读取任意片段,不再逐次向CPU取数,复制开销被绕过。训练时把数据、标签都设为共享变量,再用索引乘batch_size在给定切片上取一个小批量,就能高效按批访问。标签通常要转回int32作索引,而数据保持floatX浮点格式,这种类型区分也服务于GPU存储的约定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 认知计算与深度学习 · 查看原书依据
如果不使用共享变量,数据就需要从CPU的内存复制到GPU的内存,在运行中由于大量的复制开销,GPU的执行速度不会比CPU更快(甚至更慢)。而如果把数据放在Theano的共享变量中,当共享变量在构建时,初始化调用仅会一次性地将全部数据集复制到GPU的内存中。
参考来源
- 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html)
- 结论依据:原文对比了不用共享变量时逐次复制的开销与共享变量一次性复制、本地读取的做法,并以MNIST的shared_dataset说明按batch_size访问与标签转int32的技巧。
- 原始内容:如果不使用共享变量,数据就需要从CPU的内存复制到GPU的内存,在运行中由于大量的复制开销,GPU的执行速度不会比CPU更快(甚至更慢)。而如果把数据放在Theano的共享变量中,当共享变量在构建时,初始化调用仅会一次性地将全部数据集复制到GPU的内存中。