← 返回卡片

原书出处

深度学习详解

17 网络压缩 17.1 网络剪枝

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.561Z

网络形状不规则导致的最大的问题就是不好实现. 在 PyTorch 中,当定义第一个网络的时候,需要指出输入有几个神经元,输出又有几个神经元;或者输入是多长的向量,输出又是多长的向量. 这种形状不固定的网络不好实现,而且就算把这种形状不规则的网络实现出来,用 GPU 也很难加速.GPU 在加速的时候,是把网络 的计算看成矩阵的乘法,但是当网络不规则的时候,不太容易用矩阵的乘法来进行加速. 因为用 GPU 很难进行加速,所以实际在做权重剪枝的时候,我们可能会对那些修剪掉的权重直接补零. 换言之,修剪掉的权重不是不存在,只是值为零.这样做的好处是比较容易实现,也比较容易用 GPU 进行加速;坏处是网络没有变小,虽然权重是零,但还是在内存里面存储了这些参数.这就是以参数为单位做剪枝的时候,在实现上会遇到的问题.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc