知识卡片
集成学习的本质
集成学习不是一种单独的学习算法,而是一种“元”方法:先训练出多个个体学习器,再按某种规则把它们的输出整合起来,得到比任一单模型更好的结果。它通常用复杂度低、速度快但单独效果一般的弱学习器(如决策树、逻辑回归、简单神经网络、朴素贝叶斯)作为基学习器,靠“博采众长”放大整体能力。若集成中全是同类学习器称同质集成(如随机森林全是决策树),其中的个体学习器称为基学习器;若混合SVM、逻辑回归、朴素贝叶斯等不同算法则称异质集成。边界在于:个体学习器不能都太强,否则投票会变成“一言堂”,强学习器会主导结果、压制其他成员,反而失去集成意义;同时不同学习器要犯不同的错,决策边界互补才能减少整体错误。可迁移启发是:团队决策、专家会诊等场景,与其找一个全知全能者,不如组合多个各有所长的普通判断者并设计好汇总规则。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 要想模型效果好,集成算法少不了 9.1.1 三个臭皮匠赛过诸葛亮 · 查看原书依据
集成学习是一种使用多个“弱学习器”进行学习,并使用某种规则将各个学习结果进行整合,从而获得更好的学习效果的机器学习方法。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文“集成在这里的意思就是把简单的算法组织起来,就像在现实生活中,我们会通过投票与开会的方式,做出更加可靠的决策”点明集成的本质是组织弱学习器并通过投票式汇总提升可靠性;并以随机森林全为决策树为例界定同质集成。
- 原始内容:集成学习是一种使用多个“弱学习器”进行学习,并使用某种规则将各个学习结果进行整合,从而获得更好的学习效果的机器学习方法。