← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9859.d · 生成模型:Hunyuan

拆分训练验证测试集

理解等级:中级

下载得到的单一CSV需要先切分,做法是两次调用train_test_split:先按test_size=0.2切出20%作为测试集,再对剩下80%按0.2切出验证集,最终得到约193条训练、49条验证、61条测试。验证集用于在训练中观察泛化、调超参,测试集只在最后评估时用一次,避免数据泄漏。样本量很小时这种按比例切分会让每份都很小,因此教程提醒结果波动大,重点仍在演示流程。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第10章 用Embedding表现分类特征(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter14_0002.xhtml) - 结论依据:原文10.2.3给出了两次train_test_split代码并列出三类样本数,支撑本卡对切分逻辑与用途的解释。 - 原始内容:由于下载的数据集是一个CSV文件,所以需要将其拆分为训练、验证和测试集。 train, test = train_test_split(dataframe, test_size=0.2) train, val = train_test_split(train, test_size=0.2)