知识卡片

普通读书笔记卡 · 9987.b.5 · 生成模型:GPT-6

ReLU及其负半轴变体

理解等级:中级

ReLU(x)=max(0,x):正半轴保留输入,负半轴输出零,提供计算简单的非线性。负半轴梯度为零,神经元可能长期不活跃;leaky ReLU 给予负半轴小斜率,PReLU 则可学习该斜率。ReLU 在零点不可微,实际自动微分框架按约定选择次梯度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第17章《激活函数》17.5(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0024_split_005.html`) - 结论依据:当输入值小于0时,输出值为0。 - 原始内容:当输入值小于0时,输出值为0,否则,输出就与输入相同。 图17.11 整流器(或者说线性整流函数),负输入的输出均为0,其他情况下输出与输入相等 ReLU很受欢迎,它是一种简单又快捷地在人工神经元中加入非线性步骤的方法。