知识卡片
模型比较必须固定评估协议
比较算法先固定目标、数据划分、预处理和指标,再分别调参。书中反复在所谓测试集选择lambda和k,实际上把它用作验证集;最小错误率会乐观,需另留最终测试集或采用嵌套交叉验证。训练折拟合词表、标准化等预处理以避免泄漏,并记录随机种子、任务类型和搜索预算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 模型比较 算法比较 · 连续片段1 · 查看原书依据
交叉验证的过程中有一点的“偷懒”,只在同一份测试集上测试不同的lambda值,而不再对每个不同的lambda值重新进行一次拆分。严格地说,这并不是标准的交叉验证,你不应该学我们这么“偷懒”,不过,我们把标准的交叉验证过程作为练习留给你去完成了。当前,我们只是尝试不同的lambda
参考来源
- 位置:《机器学习:实用案例解析》第12章《算法比较 · 连续片段1》(来源项目book-sources;源文件:extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part3125.html,spine3231)
- 结论依据:原文的案例步骤与解释支持所述机制;R包、外部API与数据接口限定于本书出版时环境,不作为当前兼容性承诺。
- 原始内容:交叉验证的过程中有一点的“偷懒”,只在同一份测试集上测试不同的lambda值,而不再对每个不同的lambda值重新进行一次拆分。严格地说,这并不是标准的交叉验证,你不应该学我们这么“偷懒”,不过,我们把标准的交叉验证过程作为练习留给你去完成了。当前,我们只是尝试不同的lambda