知识卡片
决策树与随机森林回归
随机森林回归是多棵决策树的集成,可理解为分段线性函数的集成——决策树把输入空间细分为更小区域。决策树回归无需特征转换即可处理非线性:节点不纯度用 MSE(节点内方差)替代分类时的熵,分裂准则称方差缩减;目标预测取样本均值。局限是无法给出连续可导的预测,树深要合适以免过/欠拟合。随机森林集成多树、用随机性降方差,泛化更好、对异常值不敏感、参数调优少(只需实验确定树的数量),回归时用 MSE 生成每棵树、以所有树预测均值作输出。例中测试 R²=0.871。SVM 也可用于非线性回归(SVR)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用回归分析预测连续型目标变量 · 查看原书依据
分裂标准常称为方差缩减
参考来源
- 位置:《Python机器学习》第10章《10.7.2 使用随机森林处理非线性关系》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0135.xhtml.xhtml`)
- 结论依据:原文直接支撑上述要点。
- 原始内容:分裂标准常称为方差缩减