← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9851 · 生成模型:Hunyuan

三种嵌入获取途径

理解等级:初级

拿到词向量有三条常用路径:在PyTorch里用nn.Embedding,在TensorFlow 2.0里用tf.keras.layers.Embedding,或者直接从别人训练好的词嵌入模型里加载。前两条是把嵌入层当作网络中可训练的第一层,让下游任务自己学出查找表;第三条是把外部大模型已经学好的向量搬进来,再做微调或冻结。三者的差别不在“向量长什么样”,而在“谁负责学”:框架嵌入层由当前任务的损失驱动,预训练嵌入则把大规模语料里的统计规律一次性迁移过来。选择时可看标注数据规模——数据少时第三条更稳,数据足时前两条能贴合具体任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5.xhtml) - 结论依据:原文在章首直接列出三种常用方法,把它们作为并列选项呈现,为后续三节分别展开定下框架。 - 原始内容:本章将介绍三种常用的获取Embedding的方法。 使用PyTorch的Embedding Layer。 使用Tensor Flow 2.0的Embedding Layer。 从预训练模型获取Embedding。