知识卡片
特征选择三方法的比较
特征选择是从特征集中挑出真正有用子集的过程,依据有二:特征是否发散(取值过于集中的特征方差近零,难提供信息,如放贷客户都在同一天办理,“日期”无价值)、特征与目标的相关性(越相关越优先)。具体有三类方法:过滤法按发散性/相关性给各特征打分、设阈值筛选,通用、快、适合大规模数据,但忽略特征间关联;封装法把子集选择当搜索优化问题,用模型性能评价每个子集,效果通常更好却计算昂贵、换算法需重选;嵌入法把特征选择嵌入训练,由模型权值(如决策树的信息增益)决定取舍,效果最佳且快,但需深厚调参背景。边界:特征选择是重复迭代过程,每次都应用模型验证;特征过多还会引发稀疏与泛化下降。可迁移启发:先用过滤法粗筛,再用嵌入/封装法精挑。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据的准备工作 2.2.4 特征选择 · 查看原书依据
(2)封装法(Wrapper):使用算法训练模型,根据目标模型计算的预测效果评分,每次选择若干特征,或者排除若干特征。 (3)嵌入法(Embedded):首先使用算法训练模型,得到各个特征的权值系数,再根据系数从大到小选择特征。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第2章《数据的准备工作》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00007.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文给出“特征是否发散”“特征与目标的相关性”两条依据,以及过滤法、封装法、嵌入法三类方法的定义与优劣,支撑本卡的比较。
- 原始内容:(2)封装法(Wrapper):使用算法训练模型,根据目标模型计算的预测效果评分,每次选择若干特征,或者排除若干特征。 (3)嵌入法(Embedded):首先使用算法训练模型,得到各个特征的权值系数,再根据系数从大到小选择特征。