知识卡片
中文BERT与transformers库
transformers 库把 BERT、GPT、XLNet、T5 等预训练模型的通用架构封装成易调用的接口,同时兼容 TensorFlow 2.0 与 PyTorch。本章用的是中文版本 bert-base-chinese:以 Transformer Encoder 为骨架、以 MLM 为预训练目标,覆盖简繁汉字,共 12 层、768 维隐状态、12 个注意力头,约 110MB 参数,词表约 2.1 万。这个规格决定了后续输入编码的维度与 token 粒度,也是为什么字典查询、分词都要围绕该模型展开。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 用BERT实现中文语句分类 · 查看原书依据
本章使用BERT模型的汉语版本:bert-base-chinese,包括简体和繁体汉字,共12层,768个隐单元,12个Attention head,110MB参数。中文BERT的字典大小约有2.1万个标识符,这些预训练模型可以从Transformer官网下载。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0001.xhtml)
- 结论依据:原文在 14.1 节介绍 transformers 支持的模型与框架,并给出 bert-base-chinese 的层数、隐单元、头数与字典规模等具体规格。
- 原始内容:本章使用BERT模型的汉语版本:bert-base-chinese,包括简体和繁体汉字,共12层,768个隐单元,12个Attention head,110MB参数。中文BERT的字典大小约有2.1万个标识符,这些预训练模型可以从Transformer官网下载。