知识卡片

普通读书笔记卡 · 9861.a · 生成模型:Hunyuan

输入数据格式与预处理步骤

理解等级:中级

Transformer接收的是定长、带BOS/EOS标记、以0填充的整数索引张量,而非原始字符串。英汉各有自己的最大长度与BOS/EOS索引,例如英文为8135/8136、中文为4201/4202,于是批次大小为2时可拼成图12-1所示的二维矩阵。要得到这种格式需五步:用tfds下载预处理、用SubwordTextEncoder建词典、加BOS/EOS并补0、转为tf.Tensor、构建管道并划分训练与验证集。边界在于BOS/EOS索引必须避开真实子词索引,填充0也不能与有效词冲突,否则模型会把标记当作词来学。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0002.xhtml) - 结论依据:原文给出输入长度8、目标长度10及补0等具体设定,并列出五条转换步骤。 - 原始内容:如何把输入或目标输入语句转换为Transformer模型的格式?假设这里有两对语句。输入语句最大长度为8,不足的语句用0填补。目标语句的最大长度为10,不足的语句用0填补。