知识卡片
坏数据过滤与对抗性军备竞赛
只要允许模型直接从世界里的行为学习,就要承担「世界把一些我们不希望模型学的行为一并送来」的风险:垃圾信息发送者或骗子可能发出大量不购买的假查询,试图让某些商品显得比实际更不受用户欢迎;恶意行为者也可能反复在聊天窗口输入冒犯文本,试图让原本乐于助人的 yarnit.ai chatbot 学会粗鲁。这类攻击必须被检测并处理;不那么恶意但同样有害的坏数据也可能来自流水线故障或 bug。所有情形下都要在训练前把这类坏数据从流水线里移除,使模型训练不被影响。而有效剔除垃圾或受损数据是件难事:需要自动化异常检测方法,甚至需要以「检测坏数据」为主要用途的模型;试图不当影响模型的恶意方与试图检测、过滤这些企图的运维团队之间,常会出现某种军备竞赛,有效率的组织往往有完全专门的团队,只负责从持续 ML 流水线里过滤坏数据。这与第 7 章「数据不可用是否有偏」、第 9 章「数据质量检查抓硬失败」构成同一条防线的不同层。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
Filtering Out Bad Data Whenever we allow our models to learn directly from behavior in the world, we run the risk that the world will send along behaviors that we wish our model did not have to learn from.
参考来源
- 位置:《Reliable Machine Learning》第10章《Continuous ML》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch10.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:Filtering Out Bad Data Whenever we allow our models to learn directly from behavior in the world, we run the risk that the world will send along behaviors that we wish our model did not have to learn from.