知识卡片

普通读书笔记卡 · 2280.s.22

算法监狱与反馈循环

理解等级:未标注

预测天气与预测某人是否再犯、违约不同,后者直接影响个人生活。机构拒错的代价小于放错,自然倾向于存疑就拒绝;算法决策普及后,被标为有风险的人可能被系统性地排除在工作、保险、租房、金融之外,几乎无从申诉,这被称为算法监狱,与无罪推定相悖。算法是黑盒,输入有偏见就会学习并放大偏见,邮政编码、IP 地址等特征可能与种族高度相关。更危险的是反馈循环:账单逾期拉低信用分,求职更难,更加贫困,信用分继续恶化。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十二章《数据系统的未来》"预测性分析""偏见与歧视""反馈循环"(源文件:_epub-src/ch12_split_005.html) - 结论依据:原文说明算法决策的"存疑说不"倾向导致算法监狱式的社会排斥,指出算法可能学习并放大数据中的系统性偏见(如邮政编码与种族关联),并用信用分-失业-更差信用分的例子说明自我强化的反馈循环,直接支撑本卡片结论。 - 原始内容:然而,随着算法决策变得越来越普遍,被某种算法(准确地或错误地)标记为有风险的某人可能会遭受大量这种“No”的决定。……如果算法的输入中存在系统性的偏见,则系统很有可能会在输出中学习并放大这种偏见……由于不能按期付账单,你的信用分会受到影响,进而导致找到工作更为困难。