知识卡片
特征既是输入也是上限
特征是提供给模型的任何输入。原始数据常常不能直接喂给模型:一封邮件对模型只是一个文本集合,需要先转成“是否含 Viagra”(0/1)、“字母 d 出现多少次”(计数)、“发件人域名”(离散类别)这类可计算的东西。编码形式反过来限制可用模型:朴素贝叶斯吃布尔特征,回归要数值特征,决策树两种都能处理。
特征数量同样是双刃剑。特征不足,模型无法捕获数据中的规律,必然欠拟合;特征过多,模型容易记住样本的偶然组合而过拟合。后者的两种解法是降维,把几百维压到少数重要维度,或用正则化对使用过多特征的模型施加惩罚。至于选哪些特征、要不要加平方项和立方项,没有通用公式,靠领域知识与反复试验。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 机器学习 · 查看原书依据
在这种情况下,可能适合降维,提炼到少数几个重要维度(见 10.8 节)并仅使用这些少量的特征。或者最好使用一种技术(如正则化,15.8 节将介绍)对使用过多特征的模型进行惩罚。
参考来源
- 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「在这种情况下,可能适合降维,提炼到少数几个重要维度(见 10.8 节)并仅使用这……」
- 原始内容:在这种情况下,可能适合降维,提炼到少数几个重要维度(见 10.8 节)并仅使用这些少量的特征。或者最好使用一种技术(如正则化,15.8 节将介绍)对使用过多特征的模型进行惩罚。