← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9887.i · 生成模型:Hunyuan

混合密度网络与多峰回归

理解等级:高级

多峰回归要求对同一个 x 预测在 y 空间有多个峰值的条件分布,单一高斯无法表达。混合密度网络用高斯混合作为输出:网络给出混合权重(用 softmax 保证为正且和为 1)、各分量的均值(通常无约束)和协方差(常用对角阵以避免行列式计算)。最大似然会自动按每个分量产生该样本的概率加权,把责任分配给各分量,无需事先知道是哪个分量生成的。参数化时常用精度而非方差,因为对数似然只涉及乘、加与取对数,梯度表现好,避免除法带来的不稳定。用途:语音生成、物理运动等需要多模式输出的领域。边界:除以很小的方差会造成巨大梯度而不稳定,可用梯度截断或启发式缩放缓解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度前馈网络 · 查看原书依据

      高斯混合输出在语音生成模型(Schuster,1999)和物理运动(Graves,2013)中特别有效。混合密度策略为网络提供了一种方法来表示多种输出模式,并且控制输出的方差,这对于在这些实数域中获得高质量的结果是至关重要的。

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文定义了多峰回归与混合密度网络,列出三类输出的约束与最大似然的责任分配机制,并指出除法引起的不稳定及梯度截断等对策。 - 原始内容:高斯混合输出在语音生成模型(Schuster,1999)和物理运动(Graves,2013)中特别有效。混合密度策略为网络提供了一种方法来表示多种输出模式,并且控制输出的方差,这对于在这些实数域中获得高质量的结果是至关重要的。