知识卡片
偏置并入权重向量
每个神经元除权重外还有偏置,若分开存放,前向就要写两轮加法和两套循环。书里的做法是把偏置追加到权重向量末尾,同时给输入向量末尾补一个恒为 1 的分量,于是偏置变成“第 n+1 个权重”,一次点积同时处理两项。这样神经元只是一个比输入多一维的向量,一层是若干神经元的列表,网络就是层的列表——表示被压成“向量的列表的列表”,feed_forward 只需逐层变换、把本层输出当下层输入。代价是手工填权重时必须记得多写一位,顺序是权重在前、偏置在后;漏掉补 1 不会报错,只会安静地算出错误结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 神经网络 · 查看原书依据
就像在感知器中一样,每个(非输入)神经元的输入和偏差都有一个权重。为了简化表示,我们将偏差添加到权重向量的末尾,并让每个神经元的偏差的输入始终等于 1。
参考来源
- 位置:《数据科学入门(第2版)》第18章 神经网络(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0022.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「就像在感知器中一样,每个(非输入)神经元的输入和偏差都有一个权重……」
- 原始内容:就像在感知器中一样,每个(非输入)神经元的输入和偏差都有一个权重。为了简化表示,我们将偏差添加到权重向量的末尾,并让每个神经元的偏差的输入始终等于 1。