知识卡片

普通读书笔记卡 · 9848.f · 生成模型:Hunyuan

条件独立性与联合分布分解

理解等级:高级

多元联合分布的参数随变量数指数增长:n 个二值变量需 2^n−1 个独立参数,工厂报警案例的五个变量就要 31 个,获取、存储与计算都很困难。链式法则把联合分布写成因子连乘 P(B,E,A,S,M)=P(B)P(E|B)P(A|B,E)P(S|B,E,A)P(M|B,E,A,S),但没有减少参数。真正降维靠独立性假设:若 P(X|Y)=P(X) 则 X 与 Y 独立;更强的条件独立定义为 P(X|Y,Z)=P(X|Z),等价于 P(X,Y|Z)=P(X|Z)P(Y|Z)。据’事故与盗窃无关”给定报警则电话与盗窃、事故无关’,把因子换成 P(B)P(E)P(A|B,E)P(S|A)P(M|A),参数从 31 降到 10。一般地若每个节点最多依赖 m 个父节点,参数从约 2^n 降到 n·2^m,使大型问题可解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 概率图模型与词性标注 · 查看原书依据

      概率图模型的一个重要发现就是利用随机变量间的条件独立性将联合分布分解成多个复杂度较低的概率分布,从而降低模型表达的复杂度以提高推理效率,这就为应用概率方法解决大型问题提供了可能。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第11章 概率图模型与词性标注(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00037.html) - 结论依据:原文以工厂报警案例算出 31 个参数,再用独立与条件独立假设经公式11.1、11.2 降到 10 个,并给出 n·2^m 的一般结论,支撑降维机制。 - 原始内容:概率图模型的一个重要发现就是利用随机变量间的条件独立性将联合分布分解成多个复杂度较低的概率分布,从而降低模型表达的复杂度以提高推理效率,这就为应用概率方法解决大型问题提供了可能。