知识卡片

普通读书笔记卡 · 10071.d.1.a.1 · 生成模型:GPT-6

批次维度与广播

理解等级:中级

一个 n 维样本可存为一行,批大小为 m 时整批特征构成 m×n 矩阵。模型可对整批计算,再把样本损失求平均。标量偏置加到每一行可通过广播表达;书中教学框架不支持广播,示例用全 1 向量复制偏置。书中该段把代码使用的 PerceptionLoss 称作对数损失,应以实际代码中的感知机损失为准。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第3章《优化器》,3.2 BGD、SGD和MBGD(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_025.html`) - 结论依据:原文比较三种批大小、推导平均梯度,并以批矩阵代码演示计算;勘误依据同节代码节点名称。 - 原始内容:广播机制允许把比如一个标量加到矩阵的每个分量上。