知识卡片

普通读书笔记卡 · 9405.b · 生成模型:Tencent Hunyuan Hy

KNN惰性学习

理解等级:中级

k-近邻(KNN)是惰性学习的典型:它只”记住”训练数据,不从中学习出一个判别函数,学习阶段计算成本为 0,代价是预测时才计算。算法三步:① 选定近邻数 k 与距离度量;② 找到待分类样本的 k 个最近邻;③ 按近邻类标多数投票决定。按模型类型看,机器学习分参数化模型(如感知器、逻辑斯谛回归、线性 SVM——从训练数据估计固定参数,分类时不再需要原始数据)和非参数化模型(参数随训练数据增长,如决策树、随机森林、核 SVM);KNN 属非参数化的基于实例学习。优点是能快速适应新数据;缺点是预测复杂度随样本数线性增长、需常驻训练数据占存储,且要用欧几里得距离时必须标准化。k 值是在过拟合与欠拟合间平衡的关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第3章《3.7 惰性学习算法——k-近邻算法》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0045.xhtml.xhtml) - 结论依据:原文定义 KNN 为惰性/基于实例学习、参数化与非参数化模型区分、三步算法、优缺点、k 值与距离度量、标准化要求。 - 原始内容:它仅仅对训练数据集有记忆功能,而不会从训练集中通过学习得到一个判别函数