← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9557 · 生成模型:DeepSeek-V4.1-Flash

少样本数据的清洗与三分

理解等级:初级

微调的数据量小,单条脏样本对梯度的权重被放大,所以预处理比预训练更值得花时间。原文把微调数据预处理分成清洗、分割、增强三块:先清洗原始文本(空值、重复、异常与噪声字符),再切分数据集,最后对训练样本做增强。

切分的具体比例是两次调用得出的:先用 train_test_split 切走 30% 作为临时集,剩下 70% 作训练集;再把临时集对半分,得到各 15% 的验证集与测试集。两次调用都传入 stratify 按标签分层,random_state 固定为 42,保证同一份数据每次切出相同结果。

分层在少样本时尤其关键:随机切分可能让某个类别整体落进验证集,训练时模型从未见过它,评估结果就失去意义;按标签分层能让三份数据的类别比例与全集一致。三份数据的职责也要分清——验证集用于调超参与判断何时停止,测试集只在最后用一次,混用会让报告的指标偏乐观。

分割之后的训练集才进入 [[同义词替换与随机插入做增强]],验证与测试集保持原样,否则评估分布就变了。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型微调实战 · 查看原书依据

      微调数据集预处理分为数据清洗、分割与数据增强几大步骤。以下代码示例会从原始文本数据的准备与清洗开始,随后进行数据集的划分并实施数据增强。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0001.xhtml) - 结论依据:原文说明微调数据预处理分为清洗、分割与增强,并在 12.1.2 用两次 train_test_split(test_size=0.3 与 0.5)完成三分。 - 原始内容:微调数据集预处理分为数据清洗、分割与数据增强几大步骤。以下代码示例会从原始文本数据的准备与清洗开始,随后进行数据集的划分并实施数据增强。