知识卡片

普通读书笔记卡 · 9256.e · 生成模型:GPT-6

非线性激活避免仿射层折叠

理解等级:中级

多个仿射层连续复合仍是一个仿射变换,多加层不能由此表达非线性关系。隐藏层加入非线性激活后,网络可组合出更复杂的函数;最终输出层仍可按任务采用线性输出。非线性是表达能力的条件之一,不保证模型一定能训练成功或泛化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第17章《激活函数》17.2(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0024_split_002.html`) - 结论依据:如果一个网络只是进行乘法和加法的运算。 - 原始内容:如果一个网络只是进行乘法和加法的运算(也就是所谓的线性函数),它就会出现这种形式的崩溃。相比之下,激活函数称为非线性函数,有时也只称为非线性(nonlinearity),每个神经元中的非线性步骤(即除了加法和乘法外的步骤)的存在阻止了网络的崩溃。