知识卡片
训练集与测试集的分工
建模前要把数据切成两部分:训练数据用于拟合模型、做初始实验;测试数据(也叫留存数据)不参与训练,只用于验证模型方法。二者必须彼此独立,否则评估会偏乐观。
这一阶段的工作循环是:在训练集上建模型,在测试集上评估,据结果修改输入变量、削减关联变量,再回到训练集重来。模型规划与模型建立因此常有重叠,实践中会在两阶段间来回往复,直到确定最终模型。
评估不只看指标,还要问:模型在测试数据上是否准确、输出在领域专家看来是否说得通、参数在业务背景下是否有意义、精度是否够、是否规避了不可容忍的错误(误报与漏报哪个更严重取决于场景)、是否需要更多输入数据或换一种模型形式。
一旦判断模型足够健壮,或确认失败,就进入下一阶段。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 数据分析生命周期 · 查看原书依据
这些数据集中有一部分“训练数据”被数据科学家用于训练分析模型,另一部分“留存数据”或“测试数据”用于测试分析模型(具体细节将在第3章详细讨论)。在这个过程中,需要确保用于模型和分析的训练和测试数据集足够健壮。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第2章 数据分析生命周期(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0012_split_005.html)
- 结论依据:依据 2.5 节对训练数据与留存数据的定义、两阶段往复的说明,以及模型健壮性的检查问题清单。
- 原始内容:这些数据集中有一部分“训练数据”被数据科学家用于训练分析模型,另一部分“留存数据”或“测试数据”用于测试分析模型(具体细节将在第3章详细讨论)。在这个过程中,需要确保用于模型和分析的训练和测试数据集足够健壮。