← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9835.f · 生成模型:DeepSeek-V4.1-Flash

Word2Vec的选型取舍

理解等级:中级

Word2Vec 有两个正交的选择轴:架构(CBOW / Skip-Gram)和训练算法(Hierarchical Softmax / Negative Sampling)。四者组合出四种实现,原书把它们的影响整理成了一张取舍表:

选择项 选项 A 选项 B 影响
架构 Skip-Gram:慢,对罕见字有利 CBOW:快 决定训练速度与低频词质量
训练算法 Hierarchical Softmax:对罕见字有利 Negative Sampling:对常见词和低维向量有利 决定每次更新的代价与词频偏好
是否负采样 用:准确率提高,速度变慢 不用:非常快,但准确性不高 精度与吞吐的权衡
高频词欠采样 采样阈值 1e−3 ~ 1e−5 不采样 提高结果准确性和速度
窗口 window Skip-Gram 常在 10 附近 CBOW 常在 5 附近 语义 vs 语法的偏向

几条可直接用的判断:

  1. 先看语料规模。语料小、含大量生僻词,选 Skip-Gram + 分层 Softmax;语料大、追求吞吐,选 CBOW + 负采样。
  2. 再看向量维度。维度低(几十维)时负采样更有优势;维度高、词表大时分层 Softmax 的路径优势更明显。
  3. 高频词要压。功能词(”的”“是”)出现过多,提供的共现信息却很弱,欠采样能同时提速和提纯。

边界:这些是经验结论,不是定理;窗口大小还与”学语法还是学主题”有关——窗口小偏向功能相似,窗口大偏向主题相关,需按下游任务验证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文"Word2Vec 需要注意的点"逐条比较了两种架构、两种训练算法、是否负采样、欠采样与窗口大小的差异。 - 原始内容:● 使用负例采样准确率提高,但速度会慢;不使用 Negative Sampling 的Word2Vec本身非常快,但是准确性不高。