知识卡片
输入预处理决定训练效果
MNIST 图像是 28×28 的二维数组,而线性层只吃一维输入,所以先展平成 784 维;像素原本是 0~255,除以 256 压到 0~1,避免大数值直接把激活推入饱和区;再把所有像素减去训练集均值,使输入均值接近 0,梯度下降走得更稳(与 sigmoid 非零中心的问题同源)。目标侧做独热编码,把标签变成 10 维 0/1 向量,才能与 softmax 输出的概率向量对齐算交叉熵。这些步骤不改模型结构,却直接决定能不能训起来,是“同一模型、不同结果”的隐形变量。注意均值只能用训练集统计,用测试集算就构成又一次数据泄漏。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 深度学习 · 查看原书依据
每个图像都是 28 像素×28 像素,但线性层只能处理一维输入,因此我们将其展平(也要除以 256,以使值范围在 0~1)。此外,如果输入的均值为 0,神经网络会训练得更好,因此每个值都要减去均值
参考来源
- 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「每个图像都是 28 像素×28 像素,但线性层只能处理一维输入,因此我们将其展平……」
- 原始内容:每个图像都是 28 像素×28 像素,但线性层只能处理一维输入,因此我们将其展平(也要除以 256,以使值范围在 0~1)。此外,如果输入的均值为 0,神经网络会训练得更好,因此每个值都要减去均值