知识卡片
算法不中立
内容
机器学习会从语料和历史数据中继承偏见,并在推荐、招聘、搜索和城市系统中放大这些偏差。发散:公平性不是上线后的修补项,而应进入数据、模型、界面和治理设计。
参考来源
- 位置:《架构启示录》第7章《建造智能的世界》正文,引Donna Haraway及Eli Pariser的过滤气泡效应(源文件:_chapter-text/chapter09.txt,对应OEBPS/Text/chapter49.xhtml)
- 结论依据:文中指出机器学习算法依赖的语料库本身并不中立,会把创立者的偏见与偏差带入模型,并以过滤气泡效应为例说明算法会强化用户既有偏好并压缩信息多样性,支持“算法不中立”。
- 原始内容:机器学习算法要根据语料库来学习,而且还要反复地学习,可是语料库所收集到的数据并不中立,它们还是会把创立者的偏见与创立过程中产生的偏差给带进去。……Eli Pariser用filter bubble(过滤气泡)效应为例来提醒我们注意这个问题。