知识卡片
MCMC采样方法
当采样空间维数很高时,拒绝采样和重要性采样都难以找到合适的提议分布、效率很差;MCMC(马尔科夫链蒙特卡罗)不需要提议分布,只从一个初始点出发,按转移概率由当前样本产生下一个样本,循环往复,链条收敛后样本服从目标分布。理论依据有两点:目标分布是某条马氏链的平稳分布,且转移矩阵满足细致平稳条件。构造转移概率的做法是先取任意转移矩阵 Q,再乘一个接受率 α 决定是否接受转移;把 α 取成对称形式即 Metropolis-Hastings 算法,可提高接受率、让样本更分散。它是 [[采样估计期望]] 在高维复杂分布下的延伸工具。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 基于蒙特卡罗的强化学习方法 · 查看原书依据
MCMC 的方法则不需要提议分布,只需要一个随机样本点,下一个样本会由当前的随机样本点产生,如此循环源源不断地产生很多样本点。最终,这些样本点服从目标分布。
参考来源
- 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html)
- 结论依据:原文说明 MCMC 与拒绝采样、重要性采样的本质区别,给出平稳分布与细致平稳条件作为原理,并说明接受率与 Metropolis-Hastings 算法的改写。
- 原始内容:MCMC 的方法则不需要提议分布,只需要一个随机样本点,下一个样本会由当前的随机样本点产生,如此循环源源不断地产生很多样本点。最终,这些样本点服从目标分布。