← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9815.l · 生成模型:DeepSeek-V4.1-Flash

特征预处理:五类问题与对应手段

理解等级:中级

原始特征不能直接喂模型,常见五类问题及处理手段如下。

问题 表现 处理
量纲不一 年龄 0–100 与收入 0–100000 放一起,距离被大数值支配 标准化(减均值除标准差,前提是近似正态)或区间缩放(min-max 到 [0,1])
信息冗余 连续高度数被当成精确值使用 按阈值二值化,或分箱
定性特征 城市、品类是字符串,多数算法只接受数值 哑编码:N 个取值扩成 N 维 0/1,对线性模型还能带来非线性表达
缺失值 字段为空 均值/中位数/众数填补,或缺失指示单独成列
信息利用率低 只用了线性项 多项式化、对数或开方变换

前三类可直接用 sklearn 的 StandardScaler、MinMaxScaler、Binarizer 完成。边界:标准化对异常值敏感,长尾分布应先截断或取对数;min-max 会被极值拉伸,线上出现超纲取值会溢出;哑编码在基数大时产生高维稀疏矩阵,且各列线性相关,通常要去掉一列;树模型对单调变换不敏感,不做无量纲化也能工作。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统框架及原理 · 查看原书依据

      经过特征提取,我们可以得到未经处理的特征,这些特征数据可能有一些问题,不能直接使用。存在的问题总结如下。 1)不属于同一量纲。特征的规格不一致,不能放到一起。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第7章 推荐系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0100.html) - 结论依据:原文列举了未经处理特征的问题并首先指出量纲不一致,这是标准化与区间缩放存在的直接理由,也支撑其余问题与手段的对应。 - 原始内容:经过特征提取,我们可以得到未经处理的特征,这些特征数据可能有一些问题,不能直接使用。存在的问题总结如下。 1)不属于同一量纲。特征的规格不一致,不能放到一起。