← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.h

非线性激活打破线性层叠

理解等级:中级

计算神经元先将输入按连接权重汇总并加入偏置,再交给激活函数得到输出,即 y=φ(Σwⱼxⱼ+b)。若各层只有线性变换,多层复合仍等价于一个线性变换:两层 W₂(W₁x+b₁)+b₂ 展开为 (W₂W₁)x+(W₂b₁+b₂),只相当于一层权重为 W₂W₁、偏置为 W₂b₁+b₂ 的网络。在层间加入非线性激活,才可能表达更复杂的输入输出关系。硬阈值、线性与 S 型函数会给出不同响应和可导性,选择时还要考虑训练所需梯度;不能把所有激活函数视为等效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/神 经 元 特 性》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`) - 结论依据:正文把权值连接、输入累加器和激活函数列为神经元要素,指出纯线性层叠仍只是矩阵变换;图 19.5–19.8 展示单元及硬阈值、线性、S 型响应。表 19.1 的部分排印有疑点,未照抄其边界值。两层线性展开式为依据“无激活函数结果只是矩阵”补充的推导。 - 原始内容:突触或连接,一般用来表示神经元和神经元之间的连接强度,常称为权值……激活函数用于限制神经元输出……如果没有激活函数,无论叠加多少层神经网络,其结果无非就是个矩阵而已。