知识卡片

普通读书笔记卡 · 9412.i · 生成模型:Tencent Hunyuan Hy

决策树与随机森林回归

理解等级:中级

随机森林回归是多棵决策树的集成,可理解为分段线性函数的集成——决策树把输入空间细分为更小区域。决策树回归无需特征转换即可处理非线性:节点不纯度用 MSE(节点内方差)替代分类时的熵,分裂准则称方差缩减;目标预测取样本均值。局限是无法给出连续可导的预测,树深要合适以免过/欠拟合。随机森林集成多树、用随机性降方差,泛化更好、对异常值不敏感、参数调优少(只需实验确定树的数量),回归时用 MSE 生成每棵树、以所有树预测均值作输出。例中测试 R²=0.871。SVM 也可用于非线性回归(SVR)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第10章《10.7.2 使用随机森林处理非线性关系》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0135.xhtml.xhtml`) - 结论依据:原文直接支撑上述要点。 - 原始内容:分裂标准常称为方差缩减