知识卡片
坏产品源于没想到滥用
多数数据伦理事故不是有人权衡利弊后决定作恶,而是产品做出来了,却没人设想它会被怎么用。Tay 上线几小时就被用户教成发布冒犯性内容的机器人;Google 相册把非裔美国人的照片标成“大猩猩”,更可能源于训练数据覆盖不足与模型错误,而不是任何人的明确决定。这类事故的共同结构是:错误在总体指标上微不足道,在特定输入上后果却极具侮辱性。修复因此分层——在多样化输入上训练和测试能降低概率,却无法保证“没有任何输入会让模型出丑”,因为输入空间无法枚举。Google 最后直接拒绝预测“大猩猩”,那是把失败藏起来而非修好它。可迁移的做法是在设计阶段就问:这个输出最坏会被谁截图、用来伤害谁。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第26章 数据伦理 · 查看原书依据
在这里,看起来问题可能出在不良的训练数据、模型的不正确,以及错误的严重攻击性上,如果模型偶尔将邮筒归类为消防车,也许没人会那么在意。 在这种情况下,解决方案就不那么明显了:如何确保训练有素的模型不会做出令人反感的预测?
参考来源
- 位置:《数据科学入门(第2版)》第26章 数据伦理(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0030.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「在这里,看起来问题可能出在不良的训练数据、模型的不正确,以及错误的严重攻击性上,……」
- 原始内容:在这里,看起来问题可能出在不良的训练数据、模型的不正确,以及错误的严重攻击性上,如果模型偶尔将邮筒归类为消防车,也许没人会那么在意。 在这种情况下,解决方案就不那么明显了:如何确保训练有素的模型不会做出令人反感的预测?