← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9887.b · 生成模型:Hunyuan

XOR与特征空间变换

理解等级:中级

XOR 是两个二进制输入的异或:恰有一个为 1 时输出 1,否则输出 0。线性模型无法表示它:当 x1=0 时要求输出随 x2 增大而增大,当 x1=1 时又要求随 x2 增大而减小,而线性模型对 x2 只能用固定系数,因此最小二乘解只会处处输出 0.5。解决办法是引入一个隐藏层去学习新的特征空间,把两个应输出 1 的输入折叠到同一点,使问题在新空间里线性可分。具体网络先用仿射变换加 ReLU 得到隐藏表示 h,输出层再对 h 做线性回归。这个例子完整展示了表示学习如何把不可分问题变成分离问题,并说明非线性激活不可或缺。边界:它只关心拟合四个训练点,尚未涉及统计泛化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      在这个空间中,所有的样本都处在一条斜率为1的直线上。当我们沿着这条直线移动时,输出需要从0升到1,然后再降回0。线性模型不能实现这样一种函数。

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文用线性模型在原始空间失败、在隐藏层特征空间成功的对照说明表示的作用,并给出带两个 ReLU 隐藏单元、输出层为线性回归的具体网络。 - 原始内容:在这个空间中,所有的样本都处在一条斜率为1的直线上。当我们沿着这条直线移动时,输出需要从0升到1,然后再降回0。线性模型不能实现这样一种函数。