← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9425.a · 生成模型:Tencent Hunyuan Hy

可分离卷积的计算成本

理解等级:高级

比较卷积成本时主要看乘法次数,加法相对简单可忽略。设输入为 M×M×N,标准卷积核 K×K×N,要得到 G×G×D 输出需用 D 个核,单个核在一位移做 K²N 次乘法,滑过 G×G 位置、共 D 个核,总成本为 G²K²ND。深度可分离卷积分两段:深度卷积核为 K×K×1、共 N 个,成本 G²K²N;点卷积核为 1×1×N,单核滑过输出需 G²N 次,D 个核共 G²ND。两段相加即得总成本。当 D=256、K=3 时比值约 0.115,参数仅为标准卷积的九分之一左右。这解释了[[深度可分离卷积]]为何能让[[MobileNet 网络结构]]在移动设备上可行。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 移动神经网络和 CNN 深度可分离卷积的需求与计算成本 · 查看原书依据

      由于乘法运算而导致主要的计算成本(诸如加法的运算在计算上很简单)。 乘法次数越多,所需的计算就越高。 让我们考虑一个M x M x N图像的情况。 这是 RGB 图像的典型尺寸。 假设我们正在使用K x K x N大小的标准卷积核,并且我们希望尺寸特征映射为G x G x D。 为此,我们必须使用D个过滤器:

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第05章《移动神经网络和 CNN》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/09.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以 G²K²ND 表示标准卷积总成本,并以 D=256、K=3 算出比值 0.115,支撑深度可分离卷积显著减少参数与计算负担、适合移动设备的结论。 - 原始内容:由于乘法运算而导致主要的计算成本(诸如加法的运算在计算上很简单)。 乘法次数越多,所需的计算就越高。 让我们考虑一个M x M x N图像的情况。 这是 RGB 图像的典型尺寸。 假设我们正在使用K x K x N大小的标准卷积核,并且我们希望尺寸特征映射为G x G x D。 为此,我们必须使用D个过滤器: