知识卡片
卷积的高效实现算法
现代卷积网络常有上百万单元,除并行硬件外,选对算法也能加速。其一是频域法:对输入和核做傅里叶变换、逐点相乘再逆变换回时域,在某些问题规模上比朴素离散卷积更快。其二是可分离卷积:若 d 维核能写成 d 个一维向量的外积,卷积就等价于 d 次一维卷积,时间与参数从 O(w^d) 降到 O(w×d),但并非所有核都可分离。提升前向传播效率本身也有价值,因为商业场景中部署网络常比训练网络更耗资源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 卷积网络
原书出处 · 1 处
- 第9章 卷积网络 · 查看原书依据
卷积等效于使用傅里叶变换将输入与核都转换到频域、执行两个信号的逐点相乘,再使用傅里叶逆变换转换回时域。对于某些问题的规模,这种算法可能比离散卷积的朴素实现更快。
参考来源
- 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文分别说明傅里叶变换法与可分离卷积的条件及复杂度对比,并指出部署成本往往高于训练。
- 原始内容:卷积等效于使用傅里叶变换将输入与核都转换到频域、执行两个信号的逐点相乘,再使用傅里叶逆变换转换回时域。对于某些问题的规模,这种算法可能比离散卷积的朴素实现更快。