知识卡片
批量填充与掩码张量
同批次句子长短不一,create_mini_batch 用 pad_sequence 把 tokens 与 segments 补到等长,再由 token 是否为 0 生成 masks_tensor:非零位置置 1、填充位置留 0。这样 GPU 能并行运算,而自注意力不会去关注补出来的 [PAD]。实测一个 batch 里除 label_ids 外,其余张量尾部大多为 0,正是这一机制的结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 用BERT实现中文语句分类 · 查看原书依据
建立BERT用的mini-batch时最需要注意的就是0填充。你可以发现除了lable_ids以外,其他3个张量的每个样本的最后大部分都为0,这是因为每个样本的标识符序列基本上长度都会不同,需要补0。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0003.xhtml)
- 结论依据:14.3.5 节的 create_mini_batch 用 masked_fill 生成掩码,14.3.6 节用一个 batch 样例说明尾部补 0 的现象。
- 原始内容:建立BERT用的mini-batch时最需要注意的就是0填充。你可以发现除了lable_ids以外,其他3个张量的每个样本的最后大部分都为0,这是因为每个样本的标识符序列基本上长度都会不同,需要补0。