← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9863.c · 生成模型:Hunyuan

掩码填词预测实例

理解等级:中级

把带 [MASK] 的句子送进 bertForMaskedLM,可让模型在词表上给出被遮掩位置的概率分布。做法是把 token 与 segment 张量一起传入模型,取 [MASK] 位置的 logits 做 softmax,再用 topk 选出概率最高的若干候选并映射回 token。示例句子中,模型关注“这”“桌”后以 83% 的概率预测“张”,说明上下文足以把 2 万多个候选收敛到合理答案。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0002.xhtml) - 结论依据:14.2.1 节给出完整预测代码与 Top 1/2/3 输出,并在结尾点明模型靠关注“这”“桌”选出“张”。 - 原始内容:BERT透过关注“这”“桌”这两个字,从2万多个词块的可能值中选出“张”作为这个情境下[MASK]标识符的预测值,效果还是不错的。