知识卡片
BERTScore的语义对齐
六步:生成候选文本;把候选与参考分词(尽量用 BERT 的分词器);用预训练 BERT 为两边所有词元取上下文嵌入;候选每个词元与参考所有词元算余弦相似度;为每个词元取最高相似度者对齐;对候选全部词元的最高分求平均。
换掉了什么:不再数字符是否相同,而在嵌入空间里比方向。因此“猫坐在垫子上”与“垫子上有只猫”可以拿到高分,BLEU/ROUGE 会给低分。代价是要多跑一遍 BERT,比纯字符串统计贵得多。
边界:结果不对称——交换候选与参考可能得到不同分数(因为只对候选侧取平均),工程上常双向计算再取平均或取 F1;仍然依赖参考文本,没有参考就无法评分;嵌入相似不等于事实正确,反义或数字错误可能被高分掩盖。它是比 BLEU/ROUGE 更好的语义代理,但仍需与人工判断并用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 评测生成式大模型 · 查看原书依据
BERTScore通过BERT模型(第17章讨论的编码器风格的Transformer)生成的上下文嵌入,来衡量候选文本和参考文本之间的相似性。
参考来源
- 位置:《大模型技术30讲》第19讲 评测生成式大模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0025.xhtml)
- 结论依据:19.1.4 节与图19-3:给出 BERTScore 的六步计算、用 BERT 上下文嵌入与余弦相似度对齐的原理,说明其对改述更稳健、成本更高,并指出需与人工判断结合;练习19-2 提到其不对称性。
- 原始内容:BERTScore通过BERT模型(第17章讨论的编码器风格的Transformer)生成的上下文嵌入,来衡量候选文本和参考文本之间的相似性。