← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9850.f · 生成模型:Hunyuan

Skip-Gram实现全流程

理解等级:高级

Skip-Gram 的实现是一条完整流水线:先把语料分词并数值化(通常转为独热编码),再按 window_size 生成中心词—上下文样本对;接着定义权重矩阵 W1、W2(W 常被称为查找表 look-up table),完成输入层到隐藏层的内积、隐藏层到输出层的 Softmax 预测;然后计算预测与真实的损失,最后用反向传播更新 W1 与 W2。矩阵维度中 V 是词表大小、N 是词嵌入维度、C=2×window_size 是输出上下文个数。走通这一流程,就能理解词向量究竟是怎样从数据中“学”出来的,也能看清大语料下的计算瓶颈。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 万物皆可嵌入 · 查看原书依据

      前面我们简单介绍了Skip-Gram的原理及架构,至于Skip-Gram如何把输入转换为词嵌入、其间有哪些关键点、面对大语料库可能出现哪些瓶颈等,并没有展开说明。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0002.xhtml) - 结论依据:原文按“预处理语料—模型架构—生成数据集—生成训练数据—正向传播—反向传播”六个步骤逐步展示了 Skip-Gram 的实现细节与关键公式。 - 原始内容:前面我们简单介绍了Skip-Gram的原理及架构,至于Skip-Gram如何把输入转换为词嵌入、其间有哪些关键点、面对大语料库可能出现哪些瓶颈等,并没有展开说明。