知识卡片
探索与利用
老虎机问题揭示序贯学习的基本矛盾:继续选择当前最好选项,还是尝试不确定但可能更好的选项。没有探索就会固化早期误判,探索过多又会牺牲收益。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 做复杂决策 17.3 老虎机问题 · 查看原书依据
在连续的赌博中,赌徒必须在每次投币前决定拉动哪个杠杆——是奖励最多的那个,还是还没试过的那个?这是一个普遍存在于日常生活中的关于权衡的例子,即利用当前的最佳动作来获得奖励,还是探索之前未知的状态和动作来获得信息,这在某些情况下可以转化为更好的策略和更好的长期奖励之间的权衡。
参考来源
- 位置:《人工智能:现代方法(第4版)(上下册)》第17章《做复杂决策》(源文件:`extracted/人工智能:现代方法(第4版)(上下册)/_epub-src/text/part0036_split_003.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:老虎机问题揭示序贯学习的基本矛盾:继续选择当前最好选项,还是尝试不确定但可能更好的选项。原文从「17.3 老虎机问题」处给出对应机制与依据,支撑本卡结论。
- 原始内容:在连续的赌博中,赌徒必须在每次投币前决定拉动哪个杠杆——是奖励最多的那个,还是还没试过的那个?这是一个普遍存在于日常生活中的关于权衡的例子,即利用当前的最佳动作来获得奖励,还是探索之前未知的状态和动作来获得信息,这在某些情况下可以转化为更好的策略和更好的长期奖励之间的权衡。