知识卡片
语料代表性与语言识别落差
多语言模型常用维基百科做训练源,但各语言版本的条目数与该语言的使用人数并不成比例:英语每千人约 16 篇,德语使用人数更少却条目更多,印度语言使用人数远大于若干欧洲语言,条目却少得多。结果是对资源丰富语言过度代表,对使用广泛但资源匮乏的语言欠代表。这不是模型架构问题,是语料生产的社会经济条件被写进了覆盖度。
语言识别看似早已解决,实际只在“标准书面语”上解决。遇到方言、语码转换、俚语和非常规拼写,性能明显下降:某些国家用户书写的英语检出准确率只有 70%~80%,而人类发展指数高的地区接近 95%。
值得警惕的是这类任务的位置:语言识别常是医疗、教育、健康类系统的前置管道,第一步判错,后面的模型再好也无用。评价一个多语言系统时,先问训练语料覆盖了谁的写法,再问指标是在谁身上测的。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 减少偏见和有害性 · 查看原书依据
例如,英语每千人有16篇文章,而德语的使用人数较少但文章数量较多,以印度语言撰写的文章数量较少,但与某些欧洲语言相比,印度语言的使用人数要多得多。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文该段以「例如,英语每千人有16篇文章,而德语的使用人数较少但文章数量较多,以…」为中心展开,本卡的核心判断「多语言模型常用维基百科做训练源,但各语言版本的条目数与该语言的使用人数并不成比例:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:例如,英语每千人有16篇文章,而德语的使用人数较少但文章数量较多,以印度语言撰写的文章数量较少,但与某些欧洲语言相比,印度语言的使用人数要多得多。