知识卡片
未知词概率应非零且随长度衰减
语料库未收录某词不代表它不可能出现,把未知词概率设为零会令含它的整条候选序列归零。可给未知词非零的平滑估计,并按词长降低概率,避免任意长随机字符串获得过高分。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 自然语言语料库数据 · 查看原书依据
即使是在包含了10000亿个单词的语料库中,这种情况有时也会发生,因此把概率当做0返回是错误的。
参考来源
- 位置:《数据之美》第14章《自然语言语料库数据》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0393.xhtml)
- 结论依据:原文说明超大语料仍会遗漏词项;对未知词设零会抹掉候选概率,并用随字符长度下降的估计减少长随机串被误认成词的风险。
- 原始内容:即使是在包含了10000亿个单词的语料库中,这种情况有时也会发生,因此把概率当做0返回是错误的。