原书出处
大语言模型-基础与前沿 (熊涛)
10 第10章 减少偏见和有害性
模型是在大约100个不同的维基百科上训练出来的。但是,维基百科上以特定语言撰写的文章数量并不总是与该语言的使用人数一致。
例如,英语每千人有16篇文章,而德语的使用人数较少但文章数量较多,以印度语言撰写的文章数量较少,但与某些欧洲语言相比,印度语言的使用人数要多得多。
因此,维基百科可能会对使用广泛的语言代表性不足,而对那些由于社会经济条件等其他原因而资源丰富的语言代表性过高。 语言识别
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d