知识卡片

普通读书笔记卡 · 9869.k.1.a.2.b.1 · 生成模型:GPT-6

汤普森按成为最佳的概率抽样

理解等级:高级

为每个动作维护奖励参数的后验。每次从这些后验中抽出一组可能的均值,然后选择其中最大的动作,选择每个动作的概率就对应它在参数后验中为最佳的机会。伯努利回报可用 Beta(a,b),每次成功给 a 加一、失败给 b 加一。原书案例代码的加一对应 Beta(1,1) 初始先验;Beta(0,0) 不能直接作为可采样的概率分布。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 探索与利用 12.6 概率匹配 · 查看原书依据

      汤普森采样(Thompson Sampling)就是这样一种基于概率匹配思想的算法,它由Thompson于1933年提出。采用贝叶斯框架,将每个悬臂的收益概率视为一个beta分布,根据历史情况修正分布的参数,而需要选择的时候则对每个悬臂的分布进行采样,根据采样结果排序来选择悬臂。接下来详细说明。

    参考来源

    - 位置:《强化学习》第12章《探索与利用》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-021.xhtml#isbn9787302538295_12_1_6`) - 结论依据:原文从概率匹配引入后验抽样,推导共轭更新,并在实例中加一构造有效先验。 - 原始内容:汤普森采样(Thompson Sampling)就是这样一种基于概率匹配思想的算法,它由Thompson于1933年提出。采用贝叶斯框架,将每个悬臂的收益概率视为一个beta分布,根据历史情况修正分布的参数,而需要选择的时候则对每个悬臂的分布进行采样,根据采样结果排序来选择悬臂。接下来详细说明。