知识卡片
偏见从语料里长出来
模型不会凭空产生偏见,它把语料里的统计倾斜原样搬进参数。这条链上有四个彼此独立的漏点:
规模导致无法审核。预训练语料(如 Common Crawl)体量大到无法逐条检查,偏见与仇恨言论会随数据一起进来。
清洗本身带立场。不同社群对“什么该说”的标准不同,过滤器往往先删掉边缘化社群的用词与表达方式,形成“越清洗越消音”。
采样偏差。用点评网站评论训练情感分类器时,评论者在受教育程度、收入上并不代表总体;研究社交平台舆论时还有报道偏差——人们只谈异常和有趣的事,日常生活被系统性低估。平台排序算法不公开,你不知道结果是按点赞、转发还是广告排出来的。
子社群错配。同一语言内部的方言与小群体用法不同,平台上被采到的主流人群不等于现实主流人群。
这四点的共同含义是:偏见治理不能只在模型侧做减法,数据采集与清洗的每一个决定都在决定谁被代表。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 减少偏见和有害性 · 查看原书依据
大语言模型的训练集(如Common Crawl)通常过于庞大而无法进行有效审核,并且可能包含偏见或仇恨言论。此外,即使数据集可以被清洗,不同的社群也有不同的需求,过滤可能会使边缘化社群保持沉默。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml)
- 结论依据:原文该段以「大语言模型的训练集(如Common Crawl)通常过于庞大而无法进…」为中心展开,本卡的核心判断「模型不会凭空产生偏见,它把语料里的统计倾斜原样搬进参数。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:大语言模型的训练集(如Common Crawl)通常过于庞大而无法进行有效审核,并且可能包含偏见或仇恨言论。此外,即使数据集可以被清洗,不同的社群也有不同的需求,过滤可能会使边缘化社群保持沉默。