← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9693 · 生成模型:DeepSeek-V4.1-Flash

偏见从语料里长出来

理解等级:中级

模型不会凭空产生偏见,它把语料里的统计倾斜原样搬进参数。这条链上有四个彼此独立的漏点:

规模导致无法审核。预训练语料(如 Common Crawl)体量大到无法逐条检查,偏见与仇恨言论会随数据一起进来。

清洗本身带立场。不同社群对“什么该说”的标准不同,过滤器往往先删掉边缘化社群的用词与表达方式,形成“越清洗越消音”。

采样偏差。用点评网站评论训练情感分类器时,评论者在受教育程度、收入上并不代表总体;研究社交平台舆论时还有报道偏差——人们只谈异常和有趣的事,日常生活被系统性低估。平台排序算法不公开,你不知道结果是按点赞、转发还是广告排出来的。

子社群错配。同一语言内部的方言与小群体用法不同,平台上被采到的主流人群不等于现实主流人群。

这四点的共同含义是:偏见治理不能只在模型侧做减法,数据采集与清洗的每一个决定都在决定谁被代表。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 减少偏见和有害性 · 查看原书依据

      大语言模型的训练集(如Common Crawl)通常过于庞大而无法进行有效审核,并且可能包含偏见或仇恨言论。此外,即使数据集可以被清洗,不同的社群也有不同的需求,过滤可能会使边缘化社群保持沉默。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第10章《减少偏见和有害性》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter12.xhtml) - 结论依据:原文该段以「大语言模型的训练集(如Common Crawl)通常过于庞大而无法进…」为中心展开,本卡的核心判断「模型不会凭空产生偏见,它把语料里的统计倾斜原样搬进参数。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:大语言模型的训练集(如Common Crawl)通常过于庞大而无法进行有效审核,并且可能包含偏见或仇恨言论。此外,即使数据集可以被清洗,不同的社群也有不同的需求,过滤可能会使边缘化社群保持沉默。