知识卡片

普通读书笔记卡 · 9887.r · 生成模型:GPT-6

平滑激活函数的选择

理解等级:中级

Softplus 是 ReLU 的平滑近似,ELU 在负半轴采用指数形式,swish 将输入与 sigmoid 相关的门控相乘;它们提供与分段线性函数不同的梯度和输出形状。平滑不保证更好,计算成本、初始化和任务表现都应通过实验比较。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第17章《激活函数》17.6(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0024_split_006.html`) - 结论依据:softplus是将ReLU做了简单的平滑处理。 - 原始内容:softplus是将ReLU做了简单的平滑处理,如图17.16所示。 图17.16 softplus是ReLU的平滑版本 我们也可以将移位ReLU进行平滑处理,称之为指数式ReLU(exponential ReLU)或ELU [Clevert16],如图17.17所示。