知识卡片
反向传播不算真反馈
反向传播常被误当成“大脑式的反馈”,两者其实不同。运行时无回路:它只在训练阶段把误差从输出层传回输入层,一旦训练完成、网络正常工作,信息就只朝一个方向走。无时间维度:每次只把一个静态输入映射成静态输出,内部不保留刚才发生过什么,因而没有历史。结构过浅:典型形态只有输入层、隐藏层、输出层,无法对应皮质的重复层次。所以“学习时反向”不等于“工作时反馈”。这个混淆容易发生,因为两处都带“反向”二字。判据:看网络在正常运行时是否存在回传通路,以及是否保留随时间变化的状态。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第2章 神经网络
原书出处 · 1 处
- 第2章 神经网络 · 查看原书依据
首先,虽然“反向传播”网络在学习时,会发生错误信息的反向传播,但是当网络经过训练能够正常工作时,信息传播就只有一个方向了,即从输入层到输出层。
参考来源
- 位置:《新机器智能》第2章《神经网络》(源文件:extracted/新机器智能/_epub-src/OEBPS/Text/part0013.xhtml)
- 结论依据:原文用这三点逐一排除反向传播:训练后单向传播、不具备时间概念、架构远浅于皮质的层次结构。
- 原始内容:首先,虽然“反向传播”网络在学习时,会发生错误信息的反向传播,但是当网络经过训练能够正常工作时,信息传播就只有一个方向了,即从输入层到输出层。