知识卡片
特征处理:量纲与编码
特征处理的目标只有一个:把清洗后的数据改造成”你准备用的那个模型能吃得下、且吃得公平”的形式。数值型特征一般做归一化、标准化、离散化,类别型特征一般做 one-hot 编码。
为什么要统一量纲。书上举的例子很典型:同一张表里 f5 与 f288 的取值完全不在一个量级。若直接训练线性模型 h(x) = w₁x⁽¹⁾ + … + w_Nx⁽ᴺ⁾ + b,两个特征对应的权重系数量纲也随之不同。而权重的大小常被用来判断特征重要性——量纲不统一时,比较权重是无意义的,甚至结论相反。
归一化(min-max):x′ = (x − x_min) / (x_max − x_min),把所有取值压到 [0,1]。注意 min、max 要从训练集算,再原样套到测试集上,否则两边的尺度不一致。
标准化(z-score):x′ = (x − μ) / σ,μ 为均值、σ 为标准差。结果不落在 [0,1],而是把数据变成均值 0、标准差 1 的形态。它的前提假设是原始特征近似服从正态分布。
两者怎么选,书中给了一条简洁的指导原则:标准化不会改变特征取值的分布,归一化会改变特征取值的分布。需要保留原始分布形态时用标准化;只关心相对位置、且希望压缩到固定区间时用归一化。
离散化:把连续值切成若干区间变成类别。最简单是等宽均分(1~100 分 10 段),但更常见的是按业务含义切:年龄 0~18 为”未成年”、19~36 为”青壮年”、37~48 为”中年”。切分依据应该是业务上的质性差异——比如做血糖预测,不同年龄段的血糖特性不同,按生理阶段切就比等宽切更有意义。
one-hot 编码:类别型特征(如”男/女”)不能直接当数值喂给线性模型,因为模型要给每个特征乘一个权重,而”男=1、女=2”会凭空造出大小和距离关系。one-hot 把每个类别变成一个独立的 0/1 维度:性别 2 类 + 年龄 7 级共 9 维,某样本”年龄-3、性别-男”就编码为 [0,1,0,0,1,0,0,0,0]。代价是维度膨胀,类别很多时(如用户 ID)要谨慎。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.3.2 特征工程 · 查看原书依据
特征处理的主要目的是结合我们后续所使用模型的特点(不同模型对输入数据类型的要求可能不一样),将清洗后的数据进行相应的转化。比如,数值型特征一般需要进行归一化、标准化、离散化等处理,类别型特征一般可以进行one-hot编码处理。