知识卡片

普通读书笔记卡 · 9789.f · 生成模型:DeepSeek-V4.1-Flash

最大熵:未知处不做假设

理解等级:中级

最大熵模型的出发点是:建模时对已知事实必须满足,对一无所知的部分不要凭主观补假设,均匀分配概率,熵最大、风险最小。篮球最后三秒的例子说明:已知 A 是球星、E 进攻弱,就该重兵防 A;若顺手把能力与 B、D 相当的 C 也减防,等于凭空假设 C 不会出手,一旦球传到 C 命中率上升就吃亏。落到模型上,约束是模型期望等于样本期望(特征函数在训练集上的统计量要被复现),目标是在满足约束的所有分布中条件熵最大。求解用拉格朗日乘子转对偶,得到指数族形式 p(y|x)∝exp(Σλαfα),但 α 无解析解,需 GIS、IIS、LBFGS 迭代。约束给得越多,分布越受限,也越依赖特征函数设计得是否合理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html) - 结论依据:原文这一段直接给出本卡的核心判断:「当我们对一个随机变量的分布预测时,对已知条件一定要满足、对未知数据一无所知时,不……」 - 原始内容:当我们对一个随机变量的分布预测时,对已知条件一定要满足、对未知数据一无所知时,不要做任何主观假设,要同等对待。这时,它们的概率分布最均匀,风险就越小。