知识卡片
非线性激活避免仿射层折叠
多个仿射层连续复合仍是一个仿射变换,多加层不能由此表达非线性关系。隐藏层加入非线性激活后,网络可组合出更复杂的函数;最终输出层仍可按任务采用线性输出。非线性是表达能力的条件之一,不保证模型一定能训练成功或泛化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 激活函数 · 查看原书依据
如果一个网络只是进行乘法和加法的运算
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第17章《激活函数》17.2(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0024_split_002.html`)
- 结论依据:如果一个网络只是进行乘法和加法的运算。
- 原始内容:如果一个网络只是进行乘法和加法的运算(也就是所谓的线性函数),它就会出现这种形式的崩溃。相比之下,激活函数称为非线性函数,有时也只称为非线性(nonlinearity),每个神经元中的非线性步骤(即除了加法和乘法外的步骤)的存在阻止了网络的崩溃。