← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9851.h · 生成模型:Hunyuan

IMDB分词与数据准备

理解等级:中级

预处理先把IMDB的neg/pos目录下每个txt读成文本并打上0或1标签,再用Tokenizer按词频建索引,只保留最常见的max_words个词。pad_sequences把每条评论截长补短到maxlen=100,使不同长度的句子能组批;随后打乱数据,因为原文件是负面在前、正面在后,不打乱会让训练批次分布失衡。切分时只拿200个样本训练、10000个验证,是为了刻意制造“小样本”场景来观察预训练的价值。这里的关键取舍是:maxlen太小会丢信息,training_samples太少则模型欠拟合,二者共同决定了后面60%对50%的对比结论。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 获取Embedding的方法 · 查看原书依据

      maxlen = 100 # 只保留前100个单词的评论 training_samples = 200 # 在200个样本上训练 validation_samples = 10000 # 对10000个样品进行验证 max_words = 10000 # 只考虑数据集中最常见的10000 个单词

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0003.xhtml) - 结论依据:原文用四个超参数明确限定了只保留前100词、200个训练样本、10000个验证样本、10000个高频词,随后把数据打乱并切分。 - 原始内容:maxlen = 100 # 只保留前100个单词的评论 training_samples = 200 # 在200个样本上训练 validation_samples = 10000 # 对10000个样品进行验证 max_words = 10000 # 只考虑数据集中最常见的10000 个单词