知识卡片

普通读书笔记卡 · 9863 · 生成模型:Hunyuan

中文BERT与transformers库

理解等级:初级

transformers 库把 BERT、GPT、XLNet、T5 等预训练模型的通用架构封装成易调用的接口,同时兼容 TensorFlow 2.0 与 PyTorch。本章用的是中文版本 bert-base-chinese:以 Transformer Encoder 为骨架、以 MLM 为预训练目标,覆盖简繁汉字,共 12 层、768 维隐状态、12 个注意力头,约 110MB 参数,词表约 2.1 万。这个规格决定了后续输入编码的维度与 token 粒度,也是为什么字典查询、分词都要围绕该模型展开。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 用BERT实现中文语句分类 · 查看原书依据

      本章使用BERT模型的汉语版本:bert-base-chinese,包括简体和繁体汉字,共12层,768个隐单元,12个Attention head,110MB参数。中文BERT的字典大小约有2.1万个标识符,这些预训练模型可以从Transformer官网下载。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0001.xhtml) - 结论依据:原文在 14.1 节介绍 transformers 支持的模型与框架,并给出 bert-base-chinese 的层数、隐单元、头数与字典规模等具体规格。 - 原始内容:本章使用BERT模型的汉语版本:bert-base-chinese,包括简体和繁体汉字,共12层,768个隐单元,12个Attention head,110MB参数。中文BERT的字典大小约有2.1万个标识符,这些预训练模型可以从Transformer官网下载。