知识卡片
WordPiece词块切分
BERT 采用 Google NMT 提出的 WordPiece 词块标记法:先按字典把单词拆成更小的子词单元,使不在字典里的词也能被表示。在中文里它近似单字分词,带 ## 前缀的标识符表示它是某个词的后半段、不能独立成词。这样做既压缩词表,又缓解未登录词问题,是从 bert-base-chinese 的 tokenizer 走向 id 序列的第一步。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 用BERT实现中文语句分类 · 查看原书依据
BERT使用Google NMT提出的词块标记法(WordPiece Tokenization),将原先的单词拆成更小粒度的词块,有效处理不在字典里头的词汇。中文的话就相当于单词级分词,而有 ##前缀的标识符即为词块。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0001.xhtml)
- 结论依据:14.1.1 节用随机抽出的 ##san、##and 等 token 展示词块,并说明 WordPiece 的拆分动机与 ## 前缀含义。
- 原始内容:BERT使用Google NMT提出的词块标记法(WordPiece Tokenization),将原先的单词拆成更小粒度的词块,有效处理不在字典里头的词汇。中文的话就相当于单词级分词,而有 ##前缀的标识符即为词块。