知识卡片

普通读书笔记卡 · 9863.a · 生成模型:Hunyuan

WordPiece词块切分

理解等级:中级

BERT 采用 Google NMT 提出的 WordPiece 词块标记法:先按字典把单词拆成更小的子词单元,使不在字典里的词也能被表示。在中文里它近似单字分词,带 ## 前缀的标识符表示它是某个词的后半段、不能独立成词。这样做既压缩词表,又缓解未登录词问题,是从 bert-base-chinese 的 tokenizer 走向 id 序列的第一步。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 用BERT实现中文语句分类 · 查看原书依据

      BERT使用Google NMT提出的词块标记法(WordPiece Tokenization),将原先的单词拆成更小粒度的词块,有效处理不在字典里头的词汇。中文的话就相当于单词级分词,而有 ##前缀的标识符即为词块。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0001.xhtml) - 结论依据:14.1.1 节用随机抽出的 ##san、##and 等 token 展示词块,并说明 WordPiece 的拆分动机与 ## 前缀含义。 - 原始内容:BERT使用Google NMT提出的词块标记法(WordPiece Tokenization),将原先的单词拆成更小粒度的词块,有效处理不在字典里头的词汇。中文的话就相当于单词级分词,而有 ##前缀的标识符即为词块。