← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9769.h · 生成模型:DeepSeek-V4.1-Flash

特征既是输入也是上限

理解等级:中级

特征是提供给模型的任何输入。原始数据常常不能直接喂给模型:一封邮件对模型只是一个文本集合,需要先转成“是否含 Viagra”(0/1)、“字母 d 出现多少次”(计数)、“发件人域名”(离散类别)这类可计算的东西。编码形式反过来限制可用模型:朴素贝叶斯吃布尔特征,回归要数值特征,决策树两种都能处理。

特征数量同样是双刃剑。特征不足,模型无法捕获数据中的规律,必然欠拟合;特征过多,模型容易记住样本的偶然组合而过拟合。后者的两种解法是降维,把几百维压到少数重要维度,或用正则化对使用过多特征的模型施加惩罚。至于选哪些特征、要不要加平方项和立方项,没有通用公式,靠领域知识与反复试验。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 机器学习 · 查看原书依据

      在这种情况下,可能适合降维,提炼到少数几个重要维度(见 10.8 节)并仅使用这些少量的特征。或者最好使用一种技术(如正则化,15.8 节将介绍)对使用过多特征的模型进行惩罚。

    参考来源

    - 位置:《数据科学入门(第2版)》第11章 机器学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0015.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「在这种情况下,可能适合降维,提炼到少数几个重要维度(见 10.8 节)并仅使用这……」 - 原始内容:在这种情况下,可能适合降维,提炼到少数几个重要维度(见 10.8 节)并仅使用这些少量的特征。或者最好使用一种技术(如正则化,15.8 节将介绍)对使用过多特征的模型进行惩罚。