知识卡片
加载并冻结嵌入层
模型用Sequential搭成嵌入层、Flatten、带relu的32维 Dense、带sigmoid的1维输出四层,嵌入层依旧是首层。构建完之后做两件事:set_weights把刚刚拼好的GloVe矩阵写进第一层,再把trainable设为False把它冻结。冻结的含义是这一层的权重不再参与梯度更新,训练压力全部落到上层分类器;好处是少量样本也不会破坏预训练向量,坏处是领域语义无法回写进词向量。随后用rmsprop、二元交叉熵编译并按批次32迭代10次即可训练。若领域语料充足且和预训练语料差异大,可以改为不冻结、用很小学习率微调。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 获取Embedding的方法 · 查看原书依据
model.layers[0].set_weights([embedding_matrix]) model.layers[0].trainable = False 2.3.6 训练模型 这里,我们设置训练批次大小为32,共迭代10次,代码如下:
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0003.xhtml)
- 结论依据:原文先给出Sequential的模型结构,随后明确用set_weights加载GloVe矩阵并把第一层trainable设为False,再给出编译与训练参数。
- 原始内容:model.layers[0].set_weights([embedding_matrix]) model.layers[0].trainable = False 2.3.6 训练模型 这里,我们设置训练批次大小为32,共迭代10次,代码如下: