知识卡片
激活层与ReLU
卷积层的输出本质是线性结果,而纯线性组合无论叠多少层仍是线性,网络表达能力有限。激活层用非线性函数逐元素处理特征图,让网络获得非线性映射能力,从而能拟合任意函数。它还顺带缓解过拟合:通过设阈值“抓大放小”,若某区域特征强度没超过阈值,就认为该卷积核在此提取不到特征,从而消除影响不大的细节(比如训练桌多为木纹、绿色时,避免模型死记这些偶然属性)。激活函数形式很多,最常用的是 ReLU,因计算简单、速度快、实际效果好。边界在于:阈值过高会丢掉弱但有用的特征。启发是——非线性是模型表达力的来源,“过滤噪声”与“保留信号”需权衡。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 图像识别与卷积神经网络 11.2.2 什么是卷积神经网络 · 查看原书依据
在BP神经网络中,如果神经元与神经元的连接都是基于权值的线性组合,那么组合之后的结果依然是线性的,这样网络的表达能力就非常有限。因此在模型中需要设计一个非线性的激活函数,将原本的线性函数变换为非线性函数。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第11章《图像识别与卷积神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00016.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文论证线性组合仍是线性、表达能力有限,需非线性激活函数变换,并说明激活函数可设阈值消除不重要特征、ReLU 因简单快速最常用,支撑本卡结论。
- 原始内容:在BP神经网络中,如果神经元与神经元的连接都是基于权值的线性组合,那么组合之后的结果依然是线性的,这样网络的表达能力就非常有限。因此在模型中需要设计一个非线性的激活函数,将原本的线性函数变换为非线性函数。