知识卡片

普通读书笔记卡 · 9406.g · 生成模型:Tencent Hunyuan Hy

SBS序列后向选择

理解等级:高级

降维分特征选择(挑原始特征子集)与特征提取(构造新特征子空间)。序列后向选择(SBS)是特征选择的经典贪心算法:从全部 d 个特征出发,每步删除那个“删掉后分类性能损失最小”的特征,直到剩下 k 个目标特征。它是穷举搜索的高效近似,能在剔除噪声/不相关特征的同时提高计算效率、降低泛化误差,对不支持正则化的模型(如 KNN)尤其有效。步骤:① k=d 初始化;② 找使准则 J 最大的待删特征;③ 删除它,k-1;④ k 达目标则停,否则回到②。葡萄酒数据集上 SBS 把 KNN 特征从 13 降到 5,测试准确率反而提高、过拟合缓解——呼应维度灾难。scikit-learn 未内置 SBS,需自行实现。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第4章《4.5.2 序列特征选择算法》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0060.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:序列后向选择算法(Sequential Backward Selection,SBS),其目的是在分类性能衰减最小的约束下,降低原始特征空间上的数据维度,以提高计算效率