知识卡片
准确性与多样性的冲突
集成要“人多力量大”有个隐含前提:个体学习器既要准确又要彼此不同。但这两者天然冲突——为提高准确性,各学习器会被训成解决同一问题的最优解,彼此越来越像,多样性随之下降;想增加多样性,就得牺牲一部分准确性,让学习器故意“不一样”。例如装修工人各有所长(A砌墙、B批灰、C刷墙)能互补,但算法都为同一目标训练,很难真正“各有所长”。这一权衡是集成学习的核心矛盾:如果成员完全独立且都略强于随机猜测,集成理论上能保证提升;可现实中成员高度相关,且准确性越高多样性越低,收益会被侵蚀。启发是:设计集成时要主动引入随机性、差异化的特征或参数来制造多样性,并接受准确率上的小幅让步;不要以为堆越多学习器越好,成员同质化时堆量无益。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 要想模型效果好,集成算法少不了 9.1.2 人多一定力量大吗 · 查看原书依据
事实上,个体学习器的准确性和多样性本身就存在冲突。一般情况下,在准确性很高的情况下,要想增加多样性就必须牺牲一部分准确性。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文“个体学习器的准确性和多样性本身就存在冲突……要想增加多样性就必须牺牲一部分准确性”直接给出这一核心矛盾,说明为何单纯堆砌同质学习器无法保证超越最强单模型。
- 原始内容:事实上,个体学习器的准确性和多样性本身就存在冲突。一般情况下,在准确性很高的情况下,要想增加多样性就必须牺牲一部分准确性。