知识卡片

普通读书笔记卡 · 9777.k · 生成模型:DeepSeek-V4.1-Flash

输入预处理决定训练效果

理解等级:中级

MNIST 图像是 28×28 的二维数组,而线性层只吃一维输入,所以先展平成 784 维;像素原本是 0~255,除以 256 压到 0~1,避免大数值直接把激活推入饱和区;再把所有像素减去训练集均值,使输入均值接近 0,梯度下降走得更稳(与 sigmoid 非零中心的问题同源)。目标侧做独热编码,把标签变成 10 维 0/1 向量,才能与 softmax 输出的概率向量对齐算交叉熵。这些步骤不改模型结构,却直接决定能不能训起来,是“同一模型、不同结果”的隐形变量。注意均值只能用训练集统计,用测试集算就构成又一次数据泄漏。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第19章 深度学习 · 查看原书依据

      每个图像都是 28 像素×28 像素,但线性层只能处理一维输入,因此我们将其展平(也要除以 256,以使值范围在 0~1)。此外,如果输入的均值为 0,神经网络会训练得更好,因此每个值都要减去均值

    参考来源

    - 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「每个图像都是 28 像素×28 像素,但线性层只能处理一维输入,因此我们将其展平……」 - 原始内容:每个图像都是 28 像素×28 像素,但线性层只能处理一维输入,因此我们将其展平(也要除以 256,以使值范围在 0~1)。此外,如果输入的均值为 0,神经网络会训练得更好,因此每个值都要减去均值