知识卡片

普通读书笔记卡 · 9890.i · 生成模型:Hunyuan

卷积的高效实现算法

理解等级:高级

现代卷积网络常有上百万单元,除并行硬件外,选对算法也能加速。其一是频域法:对输入和核做傅里叶变换、逐点相乘再逆变换回时域,在某些问题规模上比朴素离散卷积更快。其二是可分离卷积:若 d 维核能写成 d 个一维向量的外积,卷积就等价于 d 次一维卷积,时间与参数从 O(w^d) 降到 O(w×d),但并非所有核都可分离。提升前向传播效率本身也有价值,因为商业场景中部署网络常比训练网络更耗资源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 卷积网络 · 查看原书依据

      卷积等效于使用傅里叶变换将输入与核都转换到频域、执行两个信号的逐点相乘,再使用傅里叶逆变换转换回时域。对于某些问题的规模,这种算法可能比离散卷积的朴素实现更快。

    参考来源

    - 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文分别说明傅里叶变换法与可分离卷积的条件及复杂度对比,并指出部署成本往往高于训练。 - 原始内容:卷积等效于使用傅里叶变换将输入与核都转换到频域、执行两个信号的逐点相乘,再使用傅里叶逆变换转换回时域。对于某些问题的规模,这种算法可能比离散卷积的朴素实现更快。