知识卡片
DNN激活函数选择
激活函数决定信息能否传递,没有它 DNN 就退化为多层线性模型、泛化差。按用途选:
① 输出层二分类:Sigmoid,把输出压到 0~1 以概率形式展现;中间层用得少。
② 中间层:Tanh 把输出映射到 -1~1,空间比 Sigmoid 大、信息传递更好,值得尝试;ReLU 映射到 0~+∞,无梯度饱和、计算快,是性价比最高的中间层默认选择(推荐系统常用)。
③ 解决 Dead ReLU(输入为负时梯度恒为0、学不到东西):Leaky ReLU 给负梯度加衰减值 α≈0.01,扩大范围消除零梯度,但实操未证总是优于 ReLU,出现 Dead ReLU 时可用;ELU 也解决 Dead ReLU,且输出可正可负(以0为中心加快收敛)、非线性更好、负数平稳提升稳定性,作者经验 ELU 略优于 ReLU 且输出分布更平稳。
④ Mish:自正则非单调平滑激活,让信息更深入网络、提升准确性与泛化,可缓解梯度消失/爆炸,对 ReLU 不满意时可试。
易错点:ReLU 负数区失效、且输出不以0为中心;以0为中心的函数(Tanh/ELU)收敛更快。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 神经网络模型调参 6.1 怎么对DNN调参 · 查看原书依据
整个Tanh的分布如图6-3所示,具体函数公式如下: 图6-3 Tanh的分布 Tanh相对于Sigmoid,值域的范围从0~1变到了-1~1,映射的空间大了很多,信息传递性比Sigmoid更好
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第6章《神经网络模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/56.html;src-037)
- 结论依据:原文逐一列出 Sigmoid/Tanh/ReLU/Leaky ReLU/ELU/Mish 的值域、用途与优缺点(尤其 Dead ReLU、不以0为中心、性价比),直接支撑本卡按用途分组与易错点。
- 原始内容:整个Tanh的分布如图6-3所示,具体函数公式如下: 图6-3 Tanh的分布 Tanh相对于Sigmoid,值域的范围从0~1变到了-1~1,映射的空间大了很多,信息传递性比Sigmoid更好