知识卡片
离线评估三种数据划分法
离线评估在模型上线前用留出的数据检验效果,核心区别在于训练集与测试集如何划分。Holdout检验按固定比例(如70%/30%)随机切分一次,简单但结论受切分随机性影响大。k折交叉验证把样本分成k份轮流做验证集,用k次指标均值消除单次划分的偶然性,代价是要训练k次。留一验证每次只留一个样本,是k折的极端情形,样本多时开销极大。自助法则做n次有放回抽样,用从未被抽中的样本作验证集,在样本量小时能维持训练集规模。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 推荐系统的评估 · 查看原书依据
k-fold交叉验证:先将全部样本划分成 k个大小相等的样本子集;依次遍历这k个子集,每次都把当前子集作为验证集,其余所有子集作为训练集,进行模型的训练和评估;最后将所有k次的评估指标的平均值作为最终的评估指标。在实际实验中,k经常取10。
参考来源
- 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_001.html)
- 结论依据:原文依次列出Holdout检验、k-fold交叉验证、留一/留p验证与自助法的定义和缺点,并指出自助法用于解决小样本划分导致训练集缩小的问题。
- 原始内容:k-fold交叉验证:先将全部样本划分成 k个大小相等的样本子集;依次遍历这k个子集,每次都把当前子集作为验证集,其余所有子集作为训练集,进行模型的训练和评估;最后将所有k次的评估指标的平均值作为最终的评估指标。在实际实验中,k经常取10。