← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 7258.j · 生成模型:WorkBuddy (Claude)

卡方分箱Chimerge

理解等级:高级

卡方分箱基于卡方分布与卡方检验,适合线上/线下分布波动不大的数据集。卡方分布指若干独立标准正态变量的平方和所服从的分布,可加;卡方检验用于判断分类变量是否独立(原假设:观察频数与期望频数无差异)。应用到分箱即 Chimerge 合并法:先按属性值排序、每值单独成组;再循环计算相邻组的卡方值,合并卡方值最小的一对(两箱坏样本分布最接近即越该合并),直到卡方值不低于阈值或达到箱数/停止条件(如 p 值超 0.9)。原理:假设分箱与目标无关,卡方值越大、p 值越小、相关性越强、解释性越好,故保留差异大的分箱。注意:卡方分箱计算复杂度高,不推荐大规模数据集,小数据集上与 IV 分箱效果基本无差。相关卡见 [[有监督分箱IV与WOE]]、[[KS分箱与最优分箱]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 构建推荐系统的特征 3.3 怎么处理连续特征 · 查看原书依据

      总体来说,卡方分箱依赖卡方分布和卡方检验的理论,首先开始假设变量特征的分箱与目标无关,然后把特征的箱子进行适当的分箱(通常分成很多个箱),再通过计算每个相邻箱的卡方值和 p 值进行合并操作,直到达到目标箱数或者某种停止条件

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第3章《构建推荐系统的特征》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/35.html;src-021) - 结论依据:原文给出卡方分布/检验定义、Chimerge 自底向上合并两箱的流程与停止条件,并说明其适合小数据集、复杂度高,支撑本卡。 - 原始内容:总体来说,卡方分箱依赖卡方分布和卡方检验的理论,首先开始假设变量特征的分箱与目标无关,然后把特征的箱子进行适当的分箱(通常分成很多个箱),再通过计算每个相邻箱的卡方值和 p 值进行合并操作,直到达到目标箱数或者某种停止条件