知识卡片
非线性激活扩展表达
多层仿射变换如果之间没有非线性,连续相乘和偏置仍可合并成一次仿射变换;仅增加层数不能突破线性分类边界。插入非线性激活后,中间层可构造分段或弯曲的表示,再由后续层组合,从而表达更复杂的关系。表达能力增加并不保证训练成功或泛化更好,仍要检查数据、优化和评估。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 全面连接困何处,卷积网络显神威 12.6 · 查看原书依据
如果全连接层没有非线性部分
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第12章《全面连接困何处,卷积网络显神威》,12.6(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter17_0006.xhtml#txt012_20)
- 结论依据:原文以连续线性组合退化为一层说明非线性的重要性。
- 原始内容:如果全连接层没有非线性部分