知识卡片
拆分训练验证测试集
下载得到的单一CSV需要先切分,做法是两次调用train_test_split:先按test_size=0.2切出20%作为测试集,再对剩下80%按0.2切出验证集,最终得到约193条训练、49条验证、61条测试。验证集用于在训练中观察泛化、调超参,测试集只在最后评估时用一次,避免数据泄漏。样本量很小时这种按比例切分会让每份都很小,因此教程提醒结果波动大,重点仍在演示流程。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 用Embedding表现分类特征 · 查看原书依据
由于下载的数据集是一个CSV文件,所以需要将其拆分为训练、验证和测试集。 train, test = train_test_split(dataframe, test_size=0.2) train, val = train_test_split(train, test_size=0.2)
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第10章 用Embedding表现分类特征(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter14_0002.xhtml)
- 结论依据:原文10.2.3给出了两次train_test_split代码并列出三类样本数,支撑本卡对切分逻辑与用途的解释。
- 原始内容:由于下载的数据集是一个CSV文件,所以需要将其拆分为训练、验证和测试集。 train, test = train_test_split(dataframe, test_size=0.2) train, val = train_test_split(train, test_size=0.2)