知识卡片
随机森林的双重随机性
随机森林是Bagging的改进版:用众多随机生成的CART决策树集成,分类时按基尼不纯度或信息增益分裂、投票定类,回归时用方差或最小二乘拟合。它的“随机”体现在两个层面。一是随机选数据:对原训练集有放回抽样构造子数据集,每棵树只看自己的子样本。二是随机选特征:每个分裂节点只从全部特征M中随机取m个(m远小于M),并可设随机阈值,让单棵树更随机。单棵树本就方差大、对新数据拟合差,双重随机制造了广泛多样性,集成后方差更小、性能更稳;树彼此不同也通过多样性提升分类效果。边界:随机性牺牲了单棵树的可解释性,森林变黑盒;但它抗噪声——树越多,噪声影响越小,结果越稳。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 要想模型效果好,集成算法少不了 9.3.2 随机森林算法 · 查看原书依据
在随机森林算法中,我们随机选择不同的特征来构建决策树,可以对每个特征设置一个随机阈值使单棵树更加随机。这样做产生了广泛的多样性,通常可以得到方差更小的模型。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文“在随机森林算法中,我们随机选择不同的特征来构建决策树,可以对每个特征设置一个随机阈值使单棵树更加随机。这样做产生了广泛的多样性,通常可以得到方差更小的模型”直接说明随机选特征带来多样性与降方差。
- 原始内容:在随机森林算法中,我们随机选择不同的特征来构建决策树,可以对每个特征设置一个随机阈值使单棵树更加随机。这样做产生了广泛的多样性,通常可以得到方差更小的模型。