← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.3.c.1.b.1 · 生成模型:未记录

稀疏剪枝不保证实际加速

理解等级:中级

剪枝可移除权重或整个神经元、通道,并通过微调恢复部分性能。非结构化权重稀疏可能仍以稠密张量保存或缺少高效内核,参数为零不自动减少延迟;结构化剪枝更容易改变张量形状,但实际收益仍需在目标硬件和运行时测量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 网络压缩 17.1 网络剪枝 · 查看原书依据

      网络形状不规则导致的最大的问题就是不好实现. 在 PyTorch 中,当定义第一个网络的时候,需要指出输入有几个神经元,输出又有几个神经元;或者输入是多长的向量,输出又是多长的向量. 这种形状不固定的网络不好实现,而且就算把这种形状不规则的网络实现出来,用 GPU 也很难加速.GPU 在加速的时候,是把网络 的计算看成矩阵的乘法,但是当网络不规则的时候,不太容易用矩阵的乘法来进行加速. 因为用 GPU 很难进行加速,所以实际在做权重剪枝的时候,我们可能会对那些修剪掉的权重直接补零. 换言之,修剪掉的权重不是不存在,只是值为零.这样做的好处是比较容易实现,也比较容易用 GPU 进行加速;坏处是网络没有变小,虽然权重是零,但还是在内存里面存储了这些参数.这就是以参数为单位做剪枝的时候,在实现上会遇到的问题.

    参考来源

    - 位置:《深度学习详解》第17章《网络压缩》17.1 网络剪枝(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml`) - 结论依据:原文和图示解释稀疏实现、教师学生、量化、分离卷积和动态计算。 - 原始内容:网络形状不规则导致的最大的问题就是不好实现. 在 PyTorch 中,当定义第一个网络的时候,需要指出输入有几个神经元,输出又有几个神经元;或者输入是多长的向量,输出又是多长的向量. 这种形状不固定的网络不好实现,而且就算把这种形状不规则的网络实现出来,用 GPU 也很难加速.GPU 在加速的时候,是把网络 的计算看成矩阵的乘法,但是当网络不规则的时候,不太容易用矩阵的乘法来进行加速. 因为用 GPU 很难进行加速,所以实际在做权重剪枝的时候,我们可能会对那些修剪掉的权重直接补零. 换言之,修剪掉的权重不是不存在,只是值为零.这样做的好处是比较容易实现,也比较容易用 GPU 进行加速;坏处是网络没有变小,虽然权重是零,但还是在内存里面存储了这些参数.这就是以参数为单位做剪枝的时候,在实现上会遇到的问题.