← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9551.i · 生成模型:DeepSeek-V4.1-Flash

词向量生成与PCA降维

理解等级:中级

分词之后要把离散单元变成向量,模型才能计算。常见路线有三条:Word2Vec 用上下文预测目标(或反向预测)训练固定维度词向量;GloVe 走全局共现统计;BERT 一类模型给出随上下文变化的动态嵌入。三者都把语义相似性编码成向量距离。

生成的向量维度往往很高,直接观察与计算都不方便,因此常接一步降维。用 PCA 把上百维压到二维,保留方差最大的方向,把词画在平面上,语义相近的词会聚在一起。降维的代价是丢失细节:只保留主要结构,细微差别被抹平,所以它适合可视化与粗筛,不适合替代原始向量喂给模型。

超参数上,vector_size 决定向量维度,window 决定上下文窗口,二者共同影响语义关系能否被捕捉:窗口过小只看近邻,过大则把无关词也算进上下文。分词质量决定了输入单元,见 [[BPE的迭代合并机制]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 数据处理与数据增强 · 查看原书依据

      嵌入向量的生成是将分词后的文本转换为模型可以处理的数值形式,使其能捕获词汇的语义关系。常用的生成方法包括词向量(Word2Vec)、全局向量(GloVe)以及基于深度学习的上下文嵌入(例如BERT)。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第6章《数据处理与数据增强》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter010_0003.xhtml) - 结论依据:原文列出 Word2Vec、GloVe 与 BERT 三类嵌入来源,并说明以 vector_size=100、window=5 训练词向量后用 PCA 降至二维可视化语义距离。 - 原始内容:嵌入向量的生成是将分词后的文本转换为模型可以处理的数值形式,使其能捕获词汇的语义关系。常用的生成方法包括词向量(Word2Vec)、全局向量(GloVe)以及基于深度学习的上下文嵌入(例如BERT)。