知识卡片
平滑激活函数的选择
Softplus 是 ReLU 的平滑近似,ELU 在负半轴采用指数形式,swish 将输入与 sigmoid 相关的门控相乘;它们提供与分段线性函数不同的梯度和输出形状。平滑不保证更好,计算成本、初始化和任务表现都应通过实验比较。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 激活函数 · 查看原书依据
softplus是将ReLU做了简单的平滑处理
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第17章《激活函数》17.6(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0024_split_006.html`)
- 结论依据:softplus是将ReLU做了简单的平滑处理。
- 原始内容:softplus是将ReLU做了简单的平滑处理,如图17.16所示。 图17.16 softplus是ReLU的平滑版本 我们也可以将移位ReLU进行平滑处理,称之为指数式ReLU(exponential ReLU)或ELU [Clevert16],如图17.17所示。