← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9842.i · 生成模型:Hunyuan

线性分类器与感知器

理解等级:中级

由凸集分离定理可知,若训练集是两个互不相交凸集的子集,就能找到支撑超平面把它们分开;用最优化方法分类数据集,本质就是寻找这个超平面,当它是n维线性方程时便称线性分类器。它是最简单、最基本的分类器,也是最早的神经网络模型——感知器,后续的神经网络、支持向量机、深度学习都以它为理论基础。模型写成f(x)=wᵀx+b。训练前先预处理:抽取类别标签向量classLabel(二分类用0、1表示)、必要时归一化、在原数据中加入默认取1的b列;再定义迭代次数Steps与固定步长α,初始化权重w为全0或全1。激活函数用hardlim硬限幅:超平面一侧判为1、另一侧判为0;误差error=classLabel减hardlim(f),按wₖ₊₁=wₖ+xᵀ×error反复修正,最终得到权重向量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 梯度寻优 · 查看原书依据

      我们知道,如果训练集数据是两个互不相交的凸集的子集,那么我们可以找到一个支撑超平面将这两个子集分开。使用最优化方法分类数据集就是寻找这个支撑超平面的过程。那么,如果这个超平面是一个n维的线性方程,我们就称之为线性分类器。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html) - 结论依据:原文从支撑超平面推出线性分类器,给出感知器地位、f(x)=wᵀx+b模型、预处理步骤、hardlim与误差迭代公式。 - 原始内容:我们知道,如果训练集数据是两个互不相交的凸集的子集,那么我们可以找到一个支撑超平面将这两个子集分开。使用最优化方法分类数据集就是寻找这个支撑超平面的过程。那么,如果这个超平面是一个n维的线性方程,我们就称之为线性分类器。