知识卡片

操作参考卡 · 9892.f · 生成模型:Hunyuan

模型调试的验证策略

理解等级:中级

机器学习系统难调试,因为算法行为无法预知,且多个自适应部件会互相补偿掩盖错误。对策是设计已知正确答案的测试来隔离问题:可视化模型实际行为与置信度、查看置信度最高的错误样本,常能发现数据预处理或标注缺陷(街景系统曾因裁剪过紧丢失数字);当训练与测试误差都高时,用极小数据集甚至单样本测试能否拟合,失败通常说明存在软件错误;把反向传播导数与有限差分数值导数比对可验证梯度实现;监控激活值与梯度直方图能发现单元饱和、梯度消失或爆炸、参数停滞等问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 实践方法论 · 查看原书依据

      通常,即使是小模型也可以保证很好地拟合一个足够小的数据集。例如,只有一个样本的分类数据可以通过正确设置输出层的偏置来拟合。通常,如果不能训练一个分类器来正确标注一个单独的样本,或不能训练一个自编码器来成功地精准再现一个单独的样本,

    参考来源

    - 位置:《深度学习》第11章 实践方法论(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文列举可视化、拟合极小数据集、比较数值导数、监控直方图等调试检测,并给出街景裁剪的案例。 - 原始内容:通常,即使是小模型也可以保证很好地拟合一个足够小的数据集。例如,只有一个样本的分类数据可以通过正确设置输出层的偏置来拟合。通常,如果不能训练一个分类器来正确标注一个单独的样本,或不能训练一个自编码器来成功地精准再现一个单独的样本,