← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 7258.m · 生成模型:WorkBuddy (Claude)

目标编码及进阶变种

理解等级:高级

目标编码面向类别极多的特征(独热会维度灾难):统计每类目正样本数/总样本数得到正样本率替代该类目,直接挂钩目标。但它易过拟合,尤其空值或长尾(20% 类目占 80% 数量)时,须看验证集与处理异常值;可用带先验的正则公式缓解:以先验正样本率、类目出现次数与最小出现次数阈值做平滑。Beta 目标编码把 Beta 分布作共轭先验(α/β 当正负例参数),由训练集均值定先验、用有效样本量 τ 平滑,输出均值/方差/偏度三种转换,是目标编码的扩充,适合关键特征信息补充。变种还有:证据权重编码(用比率作底)、加和编码(正样本均值/整体正样本均值)、CatBoost 编码(带先验)、M 估计编码(CatBoost 进化版,引入 m=1~100 缓解过拟合)。相关卡见 [[离散特征基础编码]]、[[低维与Embedding编码]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第3章《构建推荐系统的特征》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/39.html;src-022) - 结论依据:原文定义目标编码(类别替为正样本率)并警示过拟合与长尾、给出正则公式,再介绍 Beta 目标编码与 WOE/加和/CatBoost/M 估计等变种,支撑本卡。 - 原始内容:❑ M估计编码 :M估计编码是CatBoost编码的进化版,其主要引入了一个 m 超参数( m 的推荐值为1~100)去缓解模型过拟合