← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.3.c.2.e · 生成模型:未记录

分布不匹配与泛化

理解等级:中级

训练数据与目标数据的分布不同时,模型即使在训练分布上表现良好,也可能在目标场景出错。应先理解两类数据的产生方式;如果新增数据仍来自旧分布,单纯增加这类数据未必解决不匹配。书中以训练照片、测试手绘图为例。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 实践方法论 2.5 不匹配 · 查看原书依据

      不匹配和过拟合不同,一般的过拟合可以用收集更多的数据来克服,但不匹配是指训练集和测试集的分布不同,训练集再增大其实也没有帮助了.假设在分训练集和测试集的时候,使用2020年的数据作为训练集,使用2021年的数据作为测试集,不匹配的问题可能就会很严重.因为2020年的数据和2021年的数据背后的分布不同.图2.14 演示了图像分类中的不匹配问题. 增加数据也不能让模型做得更好,所以这种问题要怎么解决、匹不匹配,要看对数据本身的理解. 我们可能要对训练集和测试集的产生方式有一些理解,才能判断模型是不是遇到了不匹配的情况.

    参考来源

    - 位置:《深度学习详解》第2章《实践方法论》2.5 不匹配(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter02.xhtml`) - 结论依据:原文通过训练与测试表现、数据变换或数据分布说明本卡对应判断。 - 原始内容:不匹配和过拟合不同,一般的过拟合可以用收集更多的数据来克服,但不匹配是指训练集和测试集的分布不同,训练集再增大其实也没有帮助了.假设在分训练集和测试集的时候,使用2020年的数据作为训练集,使用2021年的数据作为测试集,不匹配的问题可能就会很严重.因为2020年的数据和2021年的数据背后的分布不同.图2.14 演示了图像分类中的不匹配问题. 增加数据也不能让模型做得更好,所以这种问题要怎么解决、匹不匹配,要看对数据本身的理解. 我们可能要对训练集和测试集的产生方式有一些理解,才能判断模型是不是遇到了不匹配的情况.