← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9847.j · 生成模型:Hunyuan

多层感知器:隐含层与非线性变换

理解等级:高级

MLP可看作在Logistic分类器前加一层非线性变换Φ的架构:Φ把输入投射到一个线性可分的空间,这个中间层就是隐含层。带单隐层的MLP形式为f(x)=G(b²+W²·s(b¹+W¹x)),其中s是隐含层激活、G是输出层SoftMax;参数集θ={W¹,b¹,W²,b²}。隐藏层先做X与W¹的线性组合再过s,输出层再把隐含表示送进G。虽然单隐层已足以成为通用逼近器,多加隐含层会带来更大好处,这正是深度学习的前提。这里s选tanh而非Logistic,因为它在训练中运算更快;隐含单元的权重应按激活函数的对称区间初始化,保证信息向前激活、向后传播梯度都顺畅。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html) - 结论依据:原文给出MLP作为带Φ变换的Logistic分类器、函数式与参数集,说明单隐层是通用逼近器、多隐层是深度学习前提,并解释选tanh与按激活函数初始化区间的原因。 - 原始内容:虽然单隐层足以使MLPs成为通用的逼近器,实际上这种架构完全可以扩展到多个隐含层。我们会在后面看到,使用多个隐含层会有很大的好处,这也是深度学习的前提。