知识卡片

普通读书笔记卡 · 9861.d · 生成模型:Hunyuan

编码与长度过滤

理解等级:中级

encode函数在句子首尾拼接BOS/EOS索引,直接用vocab_size作BOS、vocab_size+1作EOS,巧妙避开真实子词索引区间。由于Dataset.map在图模式下执行、张量没有numpy属性,需用tf.py_function把encode包装为eager操作并声明输出为tf.int64,否则无法在变换中调用numpy()。为简化训练,filter_max_length用tf.logical_and丢弃英汉任一序列超过40个字符的样本;这一上限会牺牲长句信息换取批次规整与速度,是质量与效率的权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0002.xhtml) - 结论依据:原文定义encode时说明用vocab_size作BOS索引,并写明将去掉所有长度超过40个标识符的序列。 - 原始内容:在处理序列数据时我们时常会在一个序列的前后各加入一个特殊的标识符,以标记该序列的开始与结束,如前文多次提到的开始/结束标识符(BOS/EOS)。