知识卡片
激活函数引入非线性
全连接层计算输入的加权和并加偏置。把非线性激活函数放在层之间,可以增强网络表达复杂关系的能力。sigmoid 把实数映射到 0 与 1 之间;它的输出仍需经过后续层,不能直接把隐藏层输出当作类别概率。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 神经网络的复习 · 查看原书依据
全连接层的变换是线性变换。激活函数赋予它“非线性”的效果。严格地讲,使用非线性的激活函数,可以增强神经网络的表现力。
参考来源
- 位置:《深度学习进阶:自然语言处理》第1章《神经网络的复习》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0006_split_002.html)
- 结论依据:原文给出相关运算的定义、示例或作用;文中示例和限制据这些说明整理。
- 原始内容:全连接层的变换是线性变换。激活函数赋予它“非线性”的效果。严格地讲,使用非线性的激活函数,可以增强神经网络的表现力。