知识卡片
XOR与特征空间变换
XOR 是两个二进制输入的异或:恰有一个为 1 时输出 1,否则输出 0。线性模型无法表示它:当 x1=0 时要求输出随 x2 增大而增大,当 x1=1 时又要求随 x2 增大而减小,而线性模型对 x2 只能用固定系数,因此最小二乘解只会处处输出 0.5。解决办法是引入一个隐藏层去学习新的特征空间,把两个应输出 1 的输入折叠到同一点,使问题在新空间里线性可分。具体网络先用仿射变换加 ReLU 得到隐藏表示 h,输出层再对 h 做线性回归。这个例子完整展示了表示学习如何把不可分问题变成分离问题,并说明非线性激活不可或缺。边界:它只关心拟合四个训练点,尚未涉及统计泛化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
在这个空间中,所有的样本都处在一条斜率为1的直线上。当我们沿着这条直线移动时,输出需要从0升到1,然后再降回0。线性模型不能实现这样一种函数。
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文用线性模型在原始空间失败、在隐藏层特征空间成功的对照说明表示的作用,并给出带两个 ReLU 隐藏单元、输出层为线性回归的具体网络。
- 原始内容:在这个空间中,所有的样本都处在一条斜率为1的直线上。当我们沿着这条直线移动时,输出需要从0升到1,然后再降回0。线性模型不能实现这样一种函数。