← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9851.g · 生成模型:Hunyuan

迁移学习与GloVe背景

理解等级:高级

当标注数据太小、单靠当前语料学不出好向量时,可以把大规模语料上预训练好的词嵌入直接当作模型第一层的权重,再决定是冻结还是微调。本章实例用IMDB影评做情感分析,嵌入来源是2014年英文维基百科上算出的GloVe:压缩包822MB,含40万个单词的100维向量。做法是把这些向量灌进嵌入层并冻结,只训练上面的分类层,这样少量样本也能借用外部语料积累的语义知识。边界在于预训练词表与任务词表的覆盖度:没被覆盖的词只能拿到零向量或随机初始化,生僻词、领域词尤其容易踩坑。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 获取Embedding的方法 · 查看原书依据

      本节基于数据集IMDB进行情感分析,做预测之前需要先对数据集进行预处理,把词转换为词嵌入。这里我们采用迁移学习的方法来提升模型的性能,并使用2014年英文维基百科的预计算词嵌入数据集。该数据集文件名为glove.6B.zip,大小为822MB,里面包含400000个单词的100维嵌入向量。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0003.xhtml) - 结论依据:原文说明面对大规模标注困难时采用迁移学习,并交代IMDB情感分析任务、GloVe数据规模及其作为第一层权重并冻结的用法。 - 原始内容:本节基于数据集IMDB进行情感分析,做预测之前需要先对数据集进行预处理,把词转换为词嵌入。这里我们采用迁移学习的方法来提升模型的性能,并使用2014年英文维基百科的预计算词嵌入数据集。该数据集文件名为glove.6B.zip,大小为822MB,里面包含400000个单词的100维嵌入向量。