知识卡片

普通读书笔记卡 · 9847.r · 生成模型:Hunyuan

卷积池化类与维度变换

理解等级:中级

LeNetConvPoolLayer把卷积、最大池和维度传播封装成一层:先用fan_in与fan_out算出初始化边界W_bound,随机生成卷积核W,再以卷积核个数初始化一维偏置b;前向时依次做conv2d卷积与max_pool_2d池化,把结果加偏置后过tanh。这里有个维度细节:池化输出是四维张量,而b是一维向量,直接相加形状不符。dimshuffle按置换维度返回张量,用’x’标记需要传播的轴,于是b.dimshuffle(‘x’,0,‘x’,‘x’)把(10,)变成(1,10,1,1),可与四维特征图逐通道广播相加。fan_in/fan_out来自核的空间大小与池化因子,保证初始化尺度合适。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html) - 结论依据:原文给出卷积类中W、b的初始化、conv2d与max_pool_2d的调用,并用dimshuffle的'x'传播说明一维偏置如何变成四维与特征图相加。 - 原始内容:dimshuffle函数的功能是按置换(传播)维度返回张量。通常模式包括整型的0,1,…,ndim-1,并且含有'x'字符的维度会被传播。