知识卡片

普通读书笔记卡 · 9693.b · 生成模型:DeepSeek-V4.1-Flash

语料代表性与语言识别落差

理解等级:中级

多语言模型常用维基百科做训练源,但各语言版本的条目数与该语言的使用人数并不成比例:英语每千人约 16 篇,德语使用人数更少却条目更多,印度语言使用人数远大于若干欧洲语言,条目却少得多。结果是对资源丰富语言过度代表,对使用广泛但资源匮乏的语言欠代表。这不是模型架构问题,是语料生产的社会经济条件被写进了覆盖度。

语言识别看似早已解决,实际只在“标准书面语”上解决。遇到方言、语码转换、俚语和非常规拼写,性能明显下降:某些国家用户书写的英语检出准确率只有 70%~80%,而人类发展指数高的地区接近 95%。

值得警惕的是这类任务的位置:语言识别常是医疗、教育、健康类系统的前置管道,第一步判错,后面的模型再好也无用。评价一个多语言系统时,先问训练语料覆盖了谁的写法,再问指标是在谁身上测的。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文该段以「例如,英语每千人有16篇文章,而德语的使用人数较少但文章数量较多,以…」为中心展开,本卡的核心判断「多语言模型常用维基百科做训练源,但各语言版本的条目数与该语言的使用人数并不成比例:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:例如,英语每千人有16篇文章,而德语的使用人数较少但文章数量较多,以印度语言撰写的文章数量较少,但与某些欧洲语言相比,印度语言的使用人数要多得多。