知识卡片
三种嵌入获取途径
拿到词向量有三条常用路径:在PyTorch里用nn.Embedding,在TensorFlow 2.0里用tf.keras.layers.Embedding,或者直接从别人训练好的词嵌入模型里加载。前两条是把嵌入层当作网络中可训练的第一层,让下游任务自己学出查找表;第三条是把外部大模型已经学好的向量搬进来,再做微调或冻结。三者的差别不在“向量长什么样”,而在“谁负责学”:框架嵌入层由当前任务的损失驱动,预训练嵌入则把大规模语料里的统计规律一次性迁移过来。选择时可看标注数据规模——数据少时第三条更稳,数据足时前两条能贴合具体任务。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 获取Embedding的方法 · 查看原书依据
本章将介绍三种常用的获取Embedding的方法。 使用PyTorch的Embedding Layer。 使用Tensor Flow 2.0的Embedding Layer。 从预训练模型获取Embedding。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5.xhtml)
- 结论依据:原文在章首直接列出三种常用方法,把它们作为并列选项呈现,为后续三节分别展开定下框架。
- 原始内容:本章将介绍三种常用的获取Embedding的方法。 使用PyTorch的Embedding Layer。 使用Tensor Flow 2.0的Embedding Layer。 从预训练模型获取Embedding。