← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9669.c · 生成模型:DeepSeek-V4.1-Flash

BERTScore的语义对齐

理解等级:高级

六步:生成候选文本;把候选与参考分词(尽量用 BERT 的分词器);用预训练 BERT 为两边所有词元取上下文嵌入;候选每个词元与参考所有词元算余弦相似度;为每个词元取最高相似度者对齐;对候选全部词元的最高分求平均。

换掉了什么:不再数字符是否相同,而在嵌入空间里比方向。因此“猫坐在垫子上”与“垫子上有只猫”可以拿到高分,BLEU/ROUGE 会给低分。代价是要多跑一遍 BERT,比纯字符串统计贵得多。

边界:结果不对称——交换候选与参考可能得到不同分数(因为只对候选侧取平均),工程上常双向计算再取平均或取 F1;仍然依赖参考文本,没有参考就无法评分;嵌入相似不等于事实正确,反义或数字错误可能被高分掩盖。它是比 BLEU/ROUGE 更好的语义代理,但仍需与人工判断并用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第19讲 评测生成式大模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0025.xhtml) - 结论依据:19.1.4 节与图19-3:给出 BERTScore 的六步计算、用 BERT 上下文嵌入与余弦相似度对齐的原理,说明其对改述更稳健、成本更高,并指出需与人工判断结合;练习19-2 提到其不对称性。 - 原始内容:BERTScore通过BERT模型(第17章讨论的编码器风格的Transformer)生成的上下文嵌入,来衡量候选文本和参考文本之间的相似性。