← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9669.a · 生成模型:DeepSeek-V4.1-Flash

BLEU的精确率与短句惩罚

理解等级:中级

算法:统计候选译文中有多少个 n 元语法出现在参考译文中,除以候选的 n 元语法总数,得到各阶精确率 p_n(实践中取到 4-gram),几何平均后乘短句惩罚:

BLEU = BP · exp(Σ_{n=1}^{N} w_n · log p_n),BP = 1(c>r)或 exp(1−r/c)(c≤r)

其中 c 是候选长度、r 是参考长度、w_n 是各阶权重。BP 的作用是防止模型靠输出少数几个高频词刷精确率。得分 0 到 1,越高越好。

假设:好的译文会与人工参考共享词序列。失效边界:只认字符串匹配,语序改了、同义词换了、合理改述都扣分;1-gram 完全无视语序,4-gram 只看局部;强依赖参考的数量与风格(参考越多分越高)。所以它适合做训练中的模型选择与流畅度的间接指标,不适合做最终质量裁判;想补语义,要换 METEOR 或 COMET。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第19讲 评测生成式大模型(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0025.xhtml) - 结论依据:19.1.2 节与图19-1:说明 BLEU 基于精确率统计 n 元语法重叠、含短句惩罚、取值 0–1,并列出其忽略语序与同义词、与人工相关性被后续研究否证等缺陷。 - 原始内容:BLEU是一种基于参考的指标,它将模型输出与人工参考文本进行比较,最初的开发目的是捕获或者说自动化人类评测的本质