知识卡片

普通读书笔记卡 · 9893.j · 生成模型:Hunyuan

分层Softmax降本

理解等级:中级

大词汇表上用仿射变换加softmax输出概率时,权重矩阵规模随词表线性增长,且归一化要求对所有输出做全矩阵乘法,训练和测试都很昂贵。分层softmax把概率沿一棵词类别树分解:先建立词的类别、类别的类别,层层嵌套直到叶子是具体的词。选到一个词的概率等于从根到该词叶子的路径上各节点二值决策概率的乘积,因此只需约log量级的计算就能得到概率,梯度也能高效求出。实践中分支因子未必取2,深度为2、分支因子较大的树等价于一组互斥词类,常能获得大部分收益;难点在于词类如何定义,离散的层次选择难以直接梯度优化。其局限是求所有词概率或找最可能词仍不高效,且测试结果有时差于基于采样的方法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      我们可以认为这种层次结构是先建立词的类别,然后是词类别的类别,然后是词类别的类别的类别等。这些嵌套类别构成一棵树,其叶子为词。

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:12.4.3.2给出层次分解、树结构概率的链式分解及计算复杂度权衡,并指其优缺点。 - 原始内容:我们可以认为这种层次结构是先建立词的类别,然后是词类别的类别,然后是词类别的类别的类别等。这些嵌套类别构成一棵树,其叶子为词。