知识卡片

结构图卡 · 9884.g · 生成模型:Hunyuan

结构化概率模型

理解等级:中级

当模型涉及大量随机变量时,用单个函数描述整个联合分布无论在计算上还是统计上都极其低效。结构化概率模型把联合分布分解为若干低维因子的乘积:每个因子的参数数目随其变量数呈指数增长,所以把分布拆成变量更少的因子能大幅降低表示成本。这种分解用图来表示,节点对应随机变量,边表示变量之间的直接作用。有向模型用带箭头的边和条件概率表示分解,每个变量的条件概率由它的父节点决定;无向模型用无向边和一组非负势函数表示分解,联合概率与所有团因子的乘积成正比,需除以归一化常数 Z 才是合法分布。关键边界是:有向或无向不是分布本身的属性,而是描述方式的属性,任何分布都能用两种语言描述。本章把它当作一门语言,为后续算法提供描述直接概率关系的手段。

结构图:

flowchart TB
  subgraph directed[有向模型-条件概率连乘]
    DA[a] --> DB[b] --> DC[c]
    DC --> DE[e]
  end
  subgraph undirected[无向模型-团因子连乘]
    UA[x] --- UB[y] --- UC[z]
    UC --- UA
  end
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 概率与信息论 · 查看原书依据

      使用单个函数来描述整个联合概率分布是非常低效的(无论是计算上还是统计上)。 我们可以把概率分布分解成许多因子的乘积形式,而不是使用单一的函数来表示概率分布。

    参考来源

    - 位置:《深度学习》第3章 概率与信息论(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html) - 结论依据:原文指出用单一函数描述联合分布低效,并提出用因子分解与图模型来表示分布,还说明有向无向只是描述方式。 - 原始内容:使用单个函数来描述整个联合概率分布是非常低效的(无论是计算上还是统计上)。 我们可以把概率分布分解成许多因子的乘积形式,而不是使用单一的函数来表示概率分布。