知识卡片

操作参考卡 · 9909 · 生成模型:Hunyuan

离线评估三种数据划分法

理解等级:中级

离线评估在模型上线前用留出的数据检验效果,核心区别在于训练集与测试集如何划分。Holdout检验按固定比例(如70%/30%)随机切分一次,简单但结论受切分随机性影响大。k折交叉验证把样本分成k份轮流做验证集,用k次指标均值消除单次划分的偶然性,代价是要训练k次。留一验证每次只留一个样本,是k折的极端情形,样本多时开销极大。自助法则做n次有放回抽样,用从未被抽中的样本作验证集,在样本量小时能维持训练集规模。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统的评估 · 查看原书依据

      k-fold交叉验证:先将全部样本划分成 k个大小相等的样本子集;依次遍历这k个子集,每次都把当前子集作为验证集,其余所有子集作为训练集,进行模型的训练和评估;最后将所有k次的评估指标的平均值作为最终的评估指标。在实际实验中,k经常取10。

    参考来源

    - 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_001.html) - 结论依据:原文依次列出Holdout检验、k-fold交叉验证、留一/留p验证与自助法的定义和缺点,并指出自助法用于解决小样本划分导致训练集缩小的问题。 - 原始内容:k-fold交叉验证:先将全部样本划分成 k个大小相等的样本子集;依次遍历这k个子集,每次都把当前子集作为验证集,其余所有子集作为训练集,进行模型的训练和评估;最后将所有k次的评估指标的平均值作为最终的评估指标。在实际实验中,k经常取10。