知识卡片
输入数据格式与预处理步骤
Transformer接收的是定长、带BOS/EOS标记、以0填充的整数索引张量,而非原始字符串。英汉各有自己的最大长度与BOS/EOS索引,例如英文为8135/8136、中文为4201/4202,于是批次大小为2时可拼成图12-1所示的二维矩阵。要得到这种格式需五步:用tfds下载预处理、用SubwordTextEncoder建词典、加BOS/EOS并补0、转为tf.Tensor、构建管道并划分训练与验证集。边界在于BOS/EOS索引必须避开真实子词索引,填充0也不能与有效词冲突,否则模型会把标记当作词来学。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
如何把输入或目标输入语句转换为Transformer模型的格式?假设这里有两对语句。输入语句最大长度为8,不足的语句用0填补。目标语句的最大长度为10,不足的语句用0填补。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0002.xhtml)
- 结论依据:原文给出输入长度8、目标长度10及补0等具体设定,并列出五条转换步骤。
- 原始内容:如何把输入或目标输入语句转换为Transformer模型的格式?假设这里有两对语句。输入语句最大长度为8,不足的语句用0填补。目标语句的最大长度为10,不足的语句用0填补。