← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9871.g · 生成模型:Hunyuan

MCMC采样方法

理解等级:高级

当采样空间维数很高时,拒绝采样和重要性采样都难以找到合适的提议分布、效率很差;MCMC(马尔科夫链蒙特卡罗)不需要提议分布,只从一个初始点出发,按转移概率由当前样本产生下一个样本,循环往复,链条收敛后样本服从目标分布。理论依据有两点:目标分布是某条马氏链的平稳分布,且转移矩阵满足细致平稳条件。构造转移概率的做法是先取任意转移矩阵 Q,再乘一个接受率 α 决定是否接受转移;把 α 取成对称形式即 Metropolis-Hastings 算法,可提高接受率、让样本更分散。它是 [[采样估计期望]] 在高维复杂分布下的延伸工具。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html) - 结论依据:原文说明 MCMC 与拒绝采样、重要性采样的本质区别,给出平稳分布与细致平稳条件作为原理,并说明接受率与 Metropolis-Hastings 算法的改写。 - 原始内容:MCMC 的方法则不需要提议分布,只需要一个随机样本点,下一个样本会由当前的随机样本点产生,如此循环源源不断地产生很多样本点。最终,这些样本点服从目标分布。