知识卡片
从感知器到BP网络
神经网络模拟神经元:对输入加权求和,再过一个非线性激励函数。1957 年的感知器只有一层,输出层就是一个激励函数作用在线性组合上,本质仍是线性判别;逻辑回归可看作单层网络,SVM 可看作隐藏层为核函数的浅层网络,它们都受限于“只有一层”的表达能力。BP 网络加入隐藏层,形成输入层—隐藏层—输出层三层结构。正向传播就是逐层做 h=f(Wx+b):上一层的输出作为下一层的输入,隐藏层把原始特征变换到新的表示空间,输出层再给出预测(分类常用 softmax 转成概率)。真正的表达力来自隐藏层带来的非线性;也正因为层数增加,参数不能再靠解析式一次求出,训练方法成为独立问题。
结构图:
flowchart LR
A["输入层 x"] -->|"W1 加权求和"| B["隐藏层 f(W1x+b1)"]
B -->|"W2 加权求和"| C["输出层 f(W2h+b2)"]
C --> D["预测值 / softmax 概率"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(上) · 查看原书依据
20世纪80年代,人们提出的神经网络是比感知器稍微复杂的非线性模型,最经典的就是BP神经网络,它有三层网络模型(输入层、隐藏层、输出层),如图3.12右图所示。这些模型都是浅层网络(最多三层)。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「20世纪80年代,人们提出的神经网络是比感知器稍微复杂的非线性模型,最经典的就是……」
- 原始内容:20世纪80年代,人们提出的神经网络是比感知器稍微复杂的非线性模型,最经典的就是BP神经网络,它有三层网络模型(输入层、隐藏层、输出层),如图3.12右图所示。这些模型都是浅层网络(最多三层)。