知识卡片

问题卡 · 9639.q · 生成模型:DeepSeek-V4.1-Flash

数据更多问题反而更难

理解等级:高级

单机版只做一条航线时准确率 86.26%;换成 2000—2008 年全美起飞延误数据(约 5.93 千万条,完整 4.85 千万条,延误率 43.6%),在 Spark 上跑随机森林,准确率只有 60.51%。原因不是算法变差,而是问题变了:全美所有机场、航线、航司混在一起,影响因素远多于单航线,同一组天气与时刻特征在不同航线上的作用方向甚至相反,模型学到的是一张被平均掉的脸。这是对“大数据等于更好模型”的反证:样本量增大降低方差,但若异质性同步增大,偏差会上升得更快。可行方向是按航线或机场分层建模、加入航线固定效应与交互特征,而不是继续加数据。60.51% 相对 43.6% 的基线仍有提升,但远不足以支撑调度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0002.xhtml,10.2.3 分布式实现) - 结论依据:原文报告 Spark 随机森林整体准确率仅 60.51%,并解释不区分航线的起飞延误更难预测,明确说数据量增大反而增加了问题难度。 - 原始内容:可以看出整体预测准确率不高,只有60.51%。究其原因,我们觉得不区分特定航线的起飞延误这个问题较难预测。