返回主题:神经网络基础单元与训练

知识卡片

普通读书笔记卡 · 3788.c

单层感知器受线性分割限制

理解等级:中级

单层感知器把输入按可调权重汇总后,经阈值或激活规则输出类别;它形成的是线性判别边界(二维时是一条直线),因此不能直接表示异或这类线性不可分关系。

异或在两输入相同时输出 0、不同时输出 1:(0,0)→0,(0,1)→1,(1,0)→1,(1,1)→0。推导(补充):设当 w₁x₁+w₂x₂+b>0 时输出 1。由 (0,0)→0 得 b≤0;由 (0,1)、(1,0)→1 得 w₂+b>0、w₁+b>0,相加得 w₁+w₂+b>−b≥0,于是 (1,1) 也会输出 1,与异或矛盾。所以没有任何一条直线能分开这两类点。

训练能调整权重,却不能改变单层线性模型的表达能力。遇到训练失败时,应先检查目标是否可线性分割,再考虑增加非线性特征或隐藏层,而非仅延长迭代。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 180 项《1 9 . 1 . 2 神 经 网 络 算 法 发 展 历 程》(源文件:`_epub-src/EPUB/xhtml/chapter19_0003.xhtml`) - 结论依据:正文描述感知器的可调权值与分类用途,并以异或说明简单线性感知器的限制;图 19.2 展示加权输入、求和与激活函数。异或真值与不可分的四行推导为依据原书“异或线性不可分”论断补充的教学推导,非书中原文。 - 原始内容:这是一种具有连续可调权值向量的神经网络模型,经过训练可以达到对一定的输入向量模式进行分类和识别的目的……简单的线性感知器的功能是有限的,它无法解决线性不可分的两类样本的分类问题,例如简单的“异或”问题。