知识卡片
数据更多问题反而更难
单机版只做一条航线时准确率 86.26%;换成 2000—2008 年全美起飞延误数据(约 5.93 千万条,完整 4.85 千万条,延误率 43.6%),在 Spark 上跑随机森林,准确率只有 60.51%。原因不是算法变差,而是问题变了:全美所有机场、航线、航司混在一起,影响因素远多于单航线,同一组天气与时刻特征在不同航线上的作用方向甚至相反,模型学到的是一张被平均掉的脸。这是对“大数据等于更好模型”的反证:样本量增大降低方差,但若异质性同步增大,偏差会上升得更快。可行方向是按航线或机场分层建模、加入航线固定效应与交互特征,而不是继续加数据。60.51% 相对 43.6% 的基线仍有提升,但远不足以支撑调度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 大数据案例分析 · 查看原书依据
可以看出整体预测准确率不高,只有60.51%。究其原因,我们觉得不区分特定航线的起飞延误这个问题较难预测。
参考来源
- 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0002.xhtml,10.2.3 分布式实现)
- 结论依据:原文报告 Spark 随机森林整体准确率仅 60.51%,并解释不区分航线的起飞延误更难预测,明确说数据量增大反而增加了问题难度。
- 原始内容:可以看出整体预测准确率不高,只有60.51%。究其原因,我们觉得不区分特定航线的起飞延误这个问题较难预测。