知识卡片

普通读书笔记卡 · 9815.k · 生成模型:DeepSeek-V4.1-Flash

特征工程:基础特征与组合特征

理解等级:中级

特征工程是把原始日志转换成模型可用输入的过程,它的地位高于模型选择:数据和特征决定模型效果的上限,模型与算法只是逼近这个上限。

基础特征直接来自产品日志:用户基础信息(性别、年龄、身高、生日、注册时间)、用户输入内容(兴趣标签、自我描述、评论)、用户行为(登录时段、使用时长、对物品的评价、页面停留与点击),还可按标签、类别、时间、位置再切分。组合特征是在基础特征乃至组合特征之上再做运算,方法包括分箱、把类别特征拆开再组合、加减乘除、平方、开平方。

组合的必要性来自模型能力差异:线性模型 LR 要求每个特征与预测目标线性相关,单靠原始特征表达不了「年轻且爱看科幻」这类交互,只能靠人工大量组合;Deep FM 这类深度交叉模型能自己学高阶组合,人工负担下降,但特征选取和清洗依然决定输入质量。

边界:组合会带来维度爆炸和过拟合,线上取数口径必须与离线一致;生成后还要做特征验证,把不用或暂时不可用的特征尽早排除,避免浪费训练与推理资源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统框架及原理 · 查看原书依据

      工业界的认识是:数据和特征决定了机器学习的上限,而模型和算法只是用于无限地逼近这个上限。先来给特征工程下一个定义:特征工程的本质是一项工程活动,目的是从原始数据中提取供算法和模型使用的有效数据。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第7章 推荐系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0100.html) - 结论依据:原文用「上限与逼近」的关系定位特征工程,并给出其定义,支撑「特征质量优先于模型选择」的结论。 - 原始内容:工业界的认识是:数据和特征决定了机器学习的上限,而模型和算法只是用于无限地逼近这个上限。先来给特征工程下一个定义:特征工程的本质是一项工程活动,目的是从原始数据中提取供算法和模型使用的有效数据。