知识卡片

结构图卡 · 9835.c · 生成模型:DeepSeek-V4.1-Flash

哈夫曼树把V分类降为logV

理解等级:高级

输出层要从 V 个词里给出正确的那一个。最直接的做法是 softmax:每个词配一个输出向量,一次预测要算 V 次内积再归一化;V 是十万级时,单样本的计算量无法接受。Hierarchical Softmax 的思路是把”V 选 1”改写为”从根走到叶子的一串二分类”。

构造与记号:先统计语料词频,按频次建一棵哈夫曼树,高频词靠近根、低频词沉在深处;叶子对应词,每个内部节点带一个可学习向量 θ。对目标词 W,记根到其叶子的路径为 Pw、路径上节点数为 Lw,路径上第 j 个节点给出编码 0 或 1,表示走左还是走右。

预测时沿路径逐节点做 logistic 二分类,目标词的概率是这一串条件概率的连乘;取对数后连乘变连加,再用随机梯度下降更新路径上的 θ 与输入词向量。因为哈夫曼树近似平衡,路径长度约为 log₂V,一次预测的代价从 O(V) 降到 O(log V);而且高频词路径更短、更新更频繁,这正好符合”高频词要学得更准”的直觉。

代价与边界:树由语料词频决定,换语料要重建,词表变化也要重建;低频词路径长,单样本更新次数多,但出现次数少,整体仍偏弱;实现比负采样复杂,工程上负采样更常见(见 [[负采样把多分类变二分类]])。

结构图:

flowchart TD
    X["上下文词向量求和 Xw"] --> R["根节点:一次二分类"]
    R -->|编码 0| N1["内部节点"]
    R -->|编码 1| N2["内部节点"]
    N1 --> L1["叶子:词 A"]
    N1 --> L2["叶子:词 B"]
    N2 --> L3["叶子:目标词 W"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文先按词频生成 Huffman 树与编码,再定义路径 Pw、路径节点数 Lw、内部节点向量与 0/1 编码,并沿路径用 Sigmoid 求各节点概率。 - 原始内容:假设没有一批文本语料,我们首先可以对其进行分词,分词后统计语料中各个词的出现次数,然后根据各个词在整个语料中的频次生成一棵 Huffman 树并进行Huffman编码。