← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9847.h · 生成模型:Hunyuan

提前终止:用验证集防止过拟合

理解等级:中级

提前终止在测试集之外再划出验证集:它不参与训练、也不是测试集,却被当作未来测试样本的替身,用来监测训练是否过拟合。每当训练到设定的验证频率,就计算验证集误差;只要它低于历史最佳,就更新best_validation_loss并在必要时复制当前参数为best_params。停止时刻可由主观判断或阈值决定,Theano用基于patience的策略:若改善超过improvement_threshold(如0.995倍)就延长patience继续训练,否则一旦迭代数超过patience便终止。这样既利用了训练数据,又不至于在验证指标停滞时继续过拟合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 认知计算与深度学习 · 查看原书依据

      提前终止正则化的创新在于,除了在测试集上保证精度,还提供了一个新的数据集——验证集,通过监测验证集上的指标来防止过拟合。验证集是一些原始的样本集合,但它不属于测试集。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html) - 结论依据:原文说明验证集的独立来源与代理作用、patience与patience_increase的级数增长策略,以及用improvement_threshold判断是否延长等待并保存最佳参数。 - 原始内容:提前终止正则化的创新在于,除了在测试集上保证精度,还提供了一个新的数据集——验证集,通过监测验证集上的指标来防止过拟合。验证集是一些原始的样本集合,但它不属于测试集。