知识卡片

结构图卡 · 9632.c · 生成模型:DeepSeek-V4.1-Flash

模型选择与模型评价的分工

理解等级:中级

两件常被混为一谈的事:模型选择是估计若干候选模型各自的表现,从中挑出最好的;模型评价是对已经选定的模型,估计它在新数据上的推广误差。前者要比较,后者要报数。数据量足够时最干净的做法是随机三分:训练集拟合模型,验证集估计预测误差并承担选择,测试集只用于最后的评价,比例常取 2∶1∶1。关键纪律是测试集只能用一次——若反复用它挑模型,它就被「用旧」了,报出的误差会偏乐观。训练集要多大没有通则,取决于问题的信噪比和待拟合模型的复杂程度;数据不够三分时,才用理论准则或重采样方法来近似验证集的作用。

结构图:

flowchart LR
  D["全部数据"] --> A["训练集 拟合模型"]
  D --> B["验证集 估误差并选择"]
  D --> C["测试集 只做最终评价"]
  B --> E["选定模型"]
  E --> C
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 模型评价与选择 · 查看原书依据

      需要强调的是,我们有以下两个目的: ● 模型选择:估计不同模型的表现,从中选择最好的。 ● 模型评价:对于已选择的模型,估计它在新的数据集上的推广预测误差。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0001.xhtml,4.1.1 各种误差的定义) - 结论依据:原文并列给出模型选择与模型评价两个目的,随后说明三分数据的用途与 2∶1∶1 比例,强调测试集只在最后阶段使用。 - 原始内容:需要强调的是,我们有以下两个目的: ● 模型选择:估计不同模型的表现,从中选择最好的。 ● 模型评价:对于已选择的模型,估计它在新的数据集上的推广预测误差。