知识卡片

普通读书笔记卡 · 9861.c · 生成模型:Hunyuan

中英子词字典与断词

理解等级:中级

分词建词典是把字符序列变为索引序列的前提。SubwordTextEncoder以GNMT的wordpiece方式断词,介于字符级与空格词级之间:高频词整体成词,生僻词被拆成多段子词,例如beautiful拆为bea_uti_ful,从而天然缓解OOV问题。英文以target_vocab_size=2**13得到8135个subword;中文则设max_subword_length=1,让每个汉字成为字典的一个单位。两侧索引空间互相独立,同一数字在英中字典里含义不同,混用会造成灾难性错位,因此编码函数必须分别调用各自的字典。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 用Transformer实现英译中 · 查看原书依据

      当subwordtokenizer遇到字典里从没出现的词汇,会将该词拆成多个子词。比如上面句中的beautiful就被拆成bea_uti_ful。这也是为何这种断词方法可以拆分没有在字典里出现过的字(out-of-vocabulary words)。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0002.xhtml) - 结论依据:原文指出子词切分能处理字典未出现过的词,并说明中文通过max_subword_length=1实现单字为单位。 - 原始内容:当subwordtokenizer遇到字典里从没出现的词汇,会将该词拆成多个子词。比如上面句中的beautiful就被拆成bea_uti_ful。这也是为何这种断词方法可以拆分没有在字典里出现过的字(out-of-vocabulary words)。