← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2700.f.1.b.2.c.1.a · 生成模型:GPT-6

自我对弈以搜索改进策略

理解等级:高级

AlphaGo Zero 的一个网络同时给出动作概率和局面价值。树搜索按先验和访问统计寻找更好的落子分布,用网络值给新叶子评分。沿该分布落子至终局后,每个时刻可记下一份棋面、搜索动作分布和胜负目标。网络分别拟合搜索分布和实际终局,使下次搜索从更好的先验和估值开始。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 博弈强化学习 13.6.1 下棋原理 · 查看原书依据

      (5)进行神经网络训练,更新网络参数θ。蒙特卡罗搜索得出的落子概率π比仅基于神经网络fθ输出的落子概率p更准确强大,因此,训练神经网络时候,要最大限度地提高网络输出概率p和搜索概率π的相似度。同时,要尽量减小神经网络预测值V和自我博弈结果z的误差。具体来说,通过使用均方误差和交叉熵一起构成损失函数l,利用梯度下降来调整参数θ,公式如下:

    参考来源

    - 位置:《强化学习》第13章《博弈强化学习》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-022.xhtml#isbn9787302538295_13_1_5_7`) - 结论依据:原文列出自我对弈数据三元组,给出策略交叉熵与胜负回归的联合目标。 - 原始内容:(5)进行神经网络训练,更新网络参数θ。蒙特卡罗搜索得出的落子概率π比仅基于神经网络fθ输出的落子概率p更准确强大,因此,训练神经网络时候,要最大限度地提高网络输出概率p和搜索概率π的相似度。同时,要尽量减小神经网络预测值V和自我博弈结果z的误差。具体来说,通过使用均方误差和交叉熵一起构成损失函数l,利用梯度下降来调整参数θ,公式如下: