知识卡片

普通读书笔记卡 · 9450.i · 生成模型:Tencent Hunyuan Hy

激活层与ReLU

理解等级:中级

卷积层的输出本质是线性结果,而纯线性组合无论叠多少层仍是线性,网络表达能力有限。激活层用非线性函数逐元素处理特征图,让网络获得非线性映射能力,从而能拟合任意函数。它还顺带缓解过拟合:通过设阈值“抓大放小”,若某区域特征强度没超过阈值,就认为该卷积核在此提取不到特征,从而消除影响不大的细节(比如训练桌多为木纹、绿色时,避免模型死记这些偶然属性)。激活函数形式很多,最常用的是 ReLU,因计算简单、速度快、实际效果好。边界在于:阈值过高会丢掉弱但有用的特征。启发是——非线性是模型表达力的来源,“过滤噪声”与“保留信号”需权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第11章《图像识别与卷积神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00016.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文论证线性组合仍是线性、表达能力有限,需非线性激活函数变换,并说明激活函数可设阈值消除不重要特征、ReLU 因简单快速最常用,支撑本卡结论。 - 原始内容:在BP神经网络中,如果神经元与神经元的连接都是基于权值的线性组合,那么组合之后的结果依然是线性的,这样网络的表达能力就非常有限。因此在模型中需要设计一个非线性的激活函数,将原本的线性函数变换为非线性函数。