知识卡片

操作参考卡 · 9851.j · 生成模型:Hunyuan

加载并冻结嵌入层

理解等级:中级

模型用Sequential搭成嵌入层、Flatten、带relu的32维 Dense、带sigmoid的1维输出四层,嵌入层依旧是首层。构建完之后做两件事:set_weights把刚刚拼好的GloVe矩阵写进第一层,再把trainable设为False把它冻结。冻结的含义是这一层的权重不再参与梯度更新,训练压力全部落到上层分类器;好处是少量样本也不会破坏预训练向量,坏处是领域语义无法回写进词向量。随后用rmsprop、二元交叉熵编译并按批次32迭代10次即可训练。若领域语料充足且和预训练语料差异大,可以改为不冻结、用很小学习率微调。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0003.xhtml) - 结论依据:原文先给出Sequential的模型结构,随后明确用set_weights加载GloVe矩阵并把第一层trainable设为False,再给出编译与训练参数。 - 原始内容:model.layers[0].set_weights([embedding_matrix]) model.layers[0].trainable = False 2.3.6 训练模型 这里,我们设置训练批次大小为32,共迭代10次,代码如下: