知识卡片
中英子词字典与断词
分词建词典是把字符序列变为索引序列的前提。SubwordTextEncoder以GNMT的wordpiece方式断词,介于字符级与空格词级之间:高频词整体成词,生僻词被拆成多段子词,例如beautiful拆为bea_uti_ful,从而天然缓解OOV问题。英文以target_vocab_size=2**13得到8135个subword;中文则设max_subword_length=1,让每个汉字成为字典的一个单位。两侧索引空间互相独立,同一数字在英中字典里含义不同,混用会造成灾难性错位,因此编码函数必须分别调用各自的字典。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
当subwordtokenizer遇到字典里从没出现的词汇,会将该词拆成多个子词。比如上面句中的beautiful就被拆成bea_uti_ful。这也是为何这种断词方法可以拆分没有在字典里出现过的字(out-of-vocabulary words)。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0002.xhtml)
- 结论依据:原文指出子词切分能处理字典未出现过的词,并说明中文通过max_subword_length=1实现单字为单位。
- 原始内容:当subwordtokenizer遇到字典里从没出现的词汇,会将该词拆成多个子词。比如上面句中的beautiful就被拆成bea_uti_ful。这也是为何这种断词方法可以拆分没有在字典里出现过的字(out-of-vocabulary words)。