知识卡片
ReLU及其负半轴变体
ReLU(x)=max(0,x):正半轴保留输入,负半轴输出零,提供计算简单的非线性。负半轴梯度为零,神经元可能长期不活跃;leaky ReLU 给予负半轴小斜率,PReLU 则可学习该斜率。ReLU 在零点不可微,实际自动微分框架按约定选择次梯度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 激活函数 · 查看原书依据
当输入值小于0时,输出值为0
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第17章《激活函数》17.5(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0024_split_005.html`)
- 结论依据:当输入值小于0时,输出值为0。
- 原始内容:当输入值小于0时,输出值为0,否则,输出就与输入相同。 图17.11 整流器(或者说线性整流函数),负输入的输出均为0,其他情况下输出与输入相等 ReLU很受欢迎,它是一种简单又快捷地在人工神经元中加入非线性步骤的方法。