← 返回刚才阅读的位置

知识卡片

结构图卡 · 9836.d · 生成模型:DeepSeek-V4.1-Flash

前向传播逐层算到输出

理解等级:中级

前向传播是从输入一路算到输出,不更新参数,只把每层的线性组合与激活依次作用。写成矩阵形式非常紧凑:

z(l) = W(l)o(l−1) + b(l),o(l) = σ(z(l))

其中 o(1) = x。第 l 层有 K_l 个神经元时,W(l) 是 Kl × K{l−1} 的矩阵,b(l) 与 o(l) 都是 K_l 维列向量。矩阵形状自洽:上一层的输出维数必须等于这一层权重的列数,这也常是调试网络时第一个要核对的地方。

算法只有两步:

  1. 令 o(1) = x,初始化各层 W、b。
  2. 对 l = 2..L 依次计算 o(l) = σ(W(l)o(l−1) + b(l)),最后的 o(L) 就是预测输出,拿去和真实值算损失。

两个容易忽略的细节:

  • 激活是逐元素作用。σ 作用在向量上时,是对每个分量分别计算,不混合分量之间的信息;混合只发生在矩阵乘法里。
  • 上标表示层,下标表示元素。原文特别提示这套记号约定,因为后面反向传播的 δ(l)、W(l) 都沿用同一套编号,读错上标就会把层与样本搞混。

代价:每层一次矩阵乘法,计算量正比于相邻两层神经元数的乘积;深度带来的不是单层变慢,而是串行链变长——前向要走完 L 层,反向也要再走一遍,这是深层网络训练慢的直接原因。

结构图:

flowchart LR
    X["输入 x = o(1)"] --> Z2["z(2)=W(2)o(1)+b(2)"] --> A2["o(2)=σ(z(2))"] --> Z3["z(3)=W(3)o(2)+b(3)"] --> A3["o(3)"] --> L["损失 L(o(L), y)"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 深度神经网络模型 15.2.1 前向传播 · 查看原书依据

      上面其实就是神经网络前向传播的通用表达式,写成矩阵和向量的表示形式,其实是十分简捷的。大家注意式中各个矩阵或向量的含义,以及其构成。比如上标在这里始终对应的是神经网络的层,下标则一般对应矩阵或向量的元素编号。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文给出第 2 层、第 3 层到第 l 层的前向公式及二维推广,并说明矩阵/向量维度与记号约定。 - 原始内容:上面其实就是神经网络前向传播的通用表达式,写成矩阵和向量的表示形式,其实是十分简捷的。大家注意式中各个矩阵或向量的含义,以及其构成。比如上标在这里始终对应的是神经网络的层,下标则一般对应矩阵或向量的元素编号。