知识卡片
探索与利用的权衡
探索(Exploration)是尝试没展示过的物品以获取新信息,利用(Exploitation)是按当前估计选回报最高的物品。要准确估计物品的响应率,必须把它展示给一部分用户并收集反馈;但展示有机会成本——流量给了低质候选,用户当下就损失体验。
只利用不探索,模型会被早期数据锁死:未展示的物品永远没有数据、估计永远为零,形成反馈回路与局部最优;只探索不利用,则把流量浪费在明显差的物品上,收敛慢、短期指标难看。所以 EE 的核心不是「多探索」或「少探索」,而是在准确性与多样性之间找长期收益最高、但短期奖励可能受损的策略。
形式化工具是多臂赌博机(MAB):每台老虎机吐钱分布未知,每次只能拉一个臂,目标是最小化 T 次选择后的累积遗憾,即「一直拉最优臂的期望总奖励」与「实际策略总奖励」之差。极小极大思路下的 UCB 用置信上界做乐观探索,把最差性能压在有界范围内;贝叶斯方法可求理论最优解,但求解成本极高。边界:经典 Bandit 假设各臂回报独立平稳,而用户兴趣会漂移、物品在不同上下文效果不同,落地要用上下文 Bandit,并把频控、多样性写进奖励。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 推荐系统框架及原理 · 查看原书依据
如果利用太多,那么模型比较容易陷入局部最优,但是探索太多,模型收敛速度太慢,这就是EE的困境。EE问题的核心是平衡推荐系统的准确性和多样性。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第7章 推荐系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0094.html)
- 结论依据:原文给出 EE 困境的两个失败方向——利用过多陷入局部最优、探索过多收敛慢,并点明核心是平衡准确性与多样性。
- 原始内容:如果利用太多,那么模型比较容易陷入局部最优,但是探索太多,模型收敛速度太慢,这就是EE的困境。EE问题的核心是平衡推荐系统的准确性和多样性。