知识卡片

普通读书笔记卡 · 9861.b · 生成模型:Hunyuan

数据下载与数据集划分

理解等级:中级

WMT2019的zh-en数据集含多个子源:联合国uncorpus_v1、维基标题wikititles_v1、新闻评论newscommentary_v14。本章只取newscommentary_v14,因为联合国数据过于庞大、维基标题太短,新闻评论在长度与规模上较均衡。下载用tfds.builder与WmtConfig指定language_pair和subsets,tfds自动完成下载、解压、逐行读取、过滤、shuffle与转TFRecord。即便只取一个子源仍有三十余万句对,故用tfds.Split.subsplit按20/1/79切为训练、验证与弃用三部分,以缩短训练时间。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 用Transformer实现英译中 · 查看原书依据

      虽然大量数据对训练神经网络很有帮助,但为了节省训练Transformer所需的时间,这里我们只选择一个数据源当作数据集。那么要选哪个数据源呢?联合国的数据非常庞大,而维基百科标题通常内容很短,所以新闻评论感觉是一个相对适合的选择。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0002.xhtml) - 结论依据:原文说明为节省训练时间只选一个数据源,并给出train_perc=20、val_prec=1的划分代码。 - 原始内容:虽然大量数据对训练神经网络很有帮助,但为了节省训练Transformer所需的时间,这里我们只选择一个数据源当作数据集。那么要选哪个数据源呢?联合国的数据非常庞大,而维基百科标题通常内容很短,所以新闻评论感觉是一个相对适合的选择。