知识卡片

普通读书笔记卡 · 9836.b · 生成模型:DeepSeek-V4.1-Flash

单层感知机切不开异或

理解等级:中级

感知机做的事很朴素:把输入做一次线性组合,再取符号作为输出。

h(x) = sign(w·x + b)

它的决策边界是超平面 w·x + b = 0——二维就是一条直线。所以它只能切出”能被一条直线分开的两类”,本质是一种线性组合方式。

异或问题正好卡在这里:两个输入相同(0,0)(1,1) 时输出 0,不同(0,1)(1,0) 时输出 1。把四个点画在平面上,两类点呈对角分布,任何一条直线都无法把它们分到两侧。这不是参数没调好,而是表示能力不足:给再多数据、训练再久,感知机也画不出这条线。

后果在历史上很重:原文说这一发现”极大地打击了研究者们的信心”,第一次人工智能低潮随之而来,停滞近 20 年。

出路不是换优化算法,而是换结构:在输入与输出之间插入隐藏层,并用 Sigmoid 做非线性映射,把原空间变换到新空间后再线性分割。1986 年的 MLP 加反向传播正是这样解决了异或,也说明”深度”的价值首先来自分层带来的新表示,而不是层数本身。

边界:单层感知机的局限常被误读为”线性模型都没用”。实际上线性模型在特征已经可分时依然高效;问题只出在特征空间不可分而又没有非线性变换的时候。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文指出感知机无法解决异或问题,只能做线性切割、本质是线性组合,并说明这引发了第一次人工智能低潮。 - 原始内容:这意味着感知机模型只能做线性切割任务,其本质是一种线性组合方式,无法解决复杂的非线性问题,这极大地打击了研究者们的信心,第一次人工智能的低潮也随之来临,人工智能因此一度停滞近20年。