知识卡片
BP误差逆传播算法
BP算法解决多层网络参数求解的计算量问题,包含正向传播与误差反向传播两个过程:信号从输入层经隐藏层到输出层,若输出与预期不符,则把误差从输出层反向传回,用梯度下降调节各层权值与偏置。其关键是逐层用后一层误差估计前一层误差,相当于求偏导数。步骤为初始化参数、输入样本算误差、反向推算各层误差、梯度下降调参、检查精度,循环至误差可接受。用途是训练多层网络。边界是可能陷入局部极小、速度较慢。迁移启发:复杂系统的参数可用误差逐层回传来分配责任。
结构图:
graph LR
A[初始化参数] --> B[正向传播算输出与误差]
B --> C{误差达标?}
C -- 否 --> D[误差反向逐层估计]
D --> E[梯度下降调权值]
E --> B
C -- 是 --> F[输出最终参数]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模拟人类思考过程:神经网络 7.3.2 巧用BP算法解决计算问题 · 查看原书依据
将误差从输出层反向传至输入层,并通过梯度下降算法来调节连接权值与偏置值,修正各层单元的权值,直到误差减小到可接受程度。此过程的关键点在于利用输出后的误差来估计输出层前一层的误差,再用这层误差来估计更前一层误差,通过这种方式获取各层误差。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第7章《模拟人类思考过程:神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00012.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文说明BP把误差从输出层反向传至输入层并用梯度下降调权,还列出五个执行步骤,支撑了BP通过反向传播求解各层参数的结论。
- 原始内容:将误差从输出层反向传至输入层,并通过梯度下降算法来调节连接权值与偏置值,修正各层单元的权值,直到误差减小到可接受程度。此过程的关键点在于利用输出后的误差来估计输出层前一层的误差,再用这层误差来估计更前一层误差,通过这种方式获取各层误差。