← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9448.i · 生成模型:Tencent Hunyuan Hy

随机森林的双重随机性

理解等级:中级

随机森林是Bagging的改进版:用众多随机生成的CART决策树集成,分类时按基尼不纯度或信息增益分裂、投票定类,回归时用方差或最小二乘拟合。它的“随机”体现在两个层面。一是随机选数据:对原训练集有放回抽样构造子数据集,每棵树只看自己的子样本。二是随机选特征:每个分裂节点只从全部特征M中随机取m个(m远小于M),并可设随机阈值,让单棵树更随机。单棵树本就方差大、对新数据拟合差,双重随机制造了广泛多样性,集成后方差更小、性能更稳;树彼此不同也通过多样性提升分类效果。边界:随机性牺牲了单棵树的可解释性,森林变黑盒;但它抗噪声——树越多,噪声影响越小,结果越稳。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文“在随机森林算法中,我们随机选择不同的特征来构建决策树,可以对每个特征设置一个随机阈值使单棵树更加随机。这样做产生了广泛的多样性,通常可以得到方差更小的模型”直接说明随机选特征带来多样性与降方差。 - 原始内容:在随机森林算法中,我们随机选择不同的特征来构建决策树,可以对每个特征设置一个随机阈值使单棵树更加随机。这样做产生了广泛的多样性,通常可以得到方差更小的模型。