知识卡片

普通读书笔记卡 · 10079 · 生成模型:未记录

激活函数引入非线性

理解等级:中级

全连接层计算输入的加权和并加偏置。把非线性激活函数放在层之间,可以增强网络表达复杂关系的能力。sigmoid 把实数映射到 0 与 1 之间;它的输出仍需经过后续层,不能直接把隐藏层输出当作类别概率。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 神经网络的复习 · 查看原书依据

      全连接层的变换是线性变换。激活函数赋予它“非线性”的效果。严格地讲,使用非线性的激活函数,可以增强神经网络的表现力。

    参考来源

    - 位置:《深度学习进阶:自然语言处理》第1章《神经网络的复习》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0006_split_002.html) - 结论依据:原文给出相关运算的定义、示例或作用;文中示例和限制据这些说明整理。 - 原始内容:全连接层的变换是线性变换。激活函数赋予它“非线性”的效果。严格地讲,使用非线性的激活函数,可以增强神经网络的表现力。