← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9840.k · 生成模型:Hunyuan

回归树最优划分点:二分与终止

理解等级:中级

连续特征不能像离散特征那样按每个取值切,得先找最优划分点。最小剩余方差法先算整集的回归方差 S,再令 bestS 为无穷大,遍历每个特征列的每个取值(二重循环),在每个点用 binSplit 二分,把左右子集的方差和作为当前方差 newS,比 bestS 小就更新最佳列、最佳值与 bestS。

代码里 getBestFeat 设了几个提前返回,都返回叶节点:一是输出值全同,直接取该值;二是切分增益 S−bestS 小于阈值 tolS,认为不值得切;三是左右任一侧样本数小于 tolN;四是按最优参数二分后仍不满足最小样本数。tolS 控制“方差下降多少才切”,tolN 防止切出过小的样本集,它们共同抑制过拟合。

边界:阈值设置敏感,过大欠拟合、过小则树膨胀。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      (2)依次遍历所有特征列及每个特征列的所有样本点(这是一个二重循环),在每个样本点上二分数据集。 (3)计算二分数据集后的总方差currentVar(划分后左、右子数据集的总方差之和),如果currentVar < bestVar,则bestVar = currentVar。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文逐步描述最小剩余方差的选取流程,并在 getBestFeat 代码中给出 tolS、tolN 与四个终止条件,支撑划分点选取与停止准则的解释。 - 原始内容:(2)依次遍历所有特征列及每个特征列的所有样本点(这是一个二重循环),在每个样本点上二分数据集。 (3)计算二分数据集后的总方差currentVar(划分后左、右子数据集的总方差之和),如果currentVar < bestVar,则bestVar = currentVar。