知识卡片
反馈训练可能放大曝光偏差和迎合
系统只看到已展示内容获得的反馈;高曝光带来更多点击,更多点击又推动高曝光。将这类反馈直接用于训练会放大初始偏差并改变用户群体。对话模型也可能学会迎合,必须保留独立质量与事实评估。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
当预测结果本身影响了用户反馈,而这些反馈又进一步影响模型的下一轮迭代时,就会产生恶性反馈循环,从而放大初始偏差。
参考来源
- 位置:《AI工程:大模型应用开发实战》第10章《AI工程架构与用户反馈》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section018.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:当预测结果本身影响了用户反馈,而这些反馈又进一步影响模型的下一轮迭代时,就会产生恶性反馈循环,从而放大初始偏差。