知识卡片
GloVe词向量矩阵构建
把GloVe文本转成可加载的权重分两步:先逐行解析成“单词→100维向量”的字典,再按Tokenizer给出的word_index把每个词的行号对应到嵌入矩阵的第i行。矩阵形状是(max_words, embedding_dim),即10000×100,初始化为全零,只有能在GloVe字典里查到的词才写入其向量,查不到的保持为零向量。这带来一个实际后果:未登录词在模型里等价于“什么信息都没有”,而且它们对应的行在冻结嵌入层后永远不会被修正。因此词表对齐不是机械的下标赋值,而是决定哪些词能享受到迁移收益的关键步骤。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 获取Embedding的方法 · 查看原书依据
embedding_vector = embeddings_index.get(word) if i < max_words: if embedding_vector is not None: # 在嵌入索引(embedding index)找不到的词,其嵌入向量都设为0 embedding_matrix[i] = embedding_vector
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0003.xhtml)
- 结论依据:原文给出按word_index填充embedding_matrix的循环,并注明在嵌入索引里找不到的词其嵌入向量都设为0。
- 原始内容:embedding_vector = embeddings_index.get(word) if i < max_words: if embedding_vector is not None: # 在嵌入索引(embedding index)找不到的词,其嵌入向量都设为0 embedding_matrix[i] = embedding_vector