知识卡片
生成ELMo词嵌入
经过双向语言模型后,每个词会得到2L+1个表征:一个基础词嵌入,加上L层里每层的正向与反向输出。ELMo用混合层把它们线性组合成单个向量,以兼容只接受固定输入的下游模型;最简单也最常用的变体是只取最高层,更一般的做法则给每层学一组Softmax归一化权重,再用γtask做整体放缩。γtask的存在很重要:不同任务对语境信息的依赖程度不同,放缩因子让下游可以调节ELMo向量的幅度。训练阶段模型在超大纯文本语料上进行,不需要任何标签;训练完成后,输入一个新句子即可得到其中每个词在该语境下的向量,这就是“预训练模型+按需生成”的完整闭环。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 从Word Embedding到ELMo · 查看原书依据
为了兼容下游模型,ELMo线性组合所有层的R为一个向量:ELMo k=E(R k;Θe)。其中最常用的合并方式就是只选择最高层:。一般情况使用如下公式: 其中:γtask是放缩常量,是Softmax的正则化权重。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml)
- 结论依据:原文说明biLMs产生2L+1个表征、ELMo对所有层做线性组合并常用最高层,给出γtask与Softmax权重,并点明预训练无需标签、使用时按语境生成向量。
- 原始内容:为了兼容下游模型,ELMo线性组合所有层的R为一个向量:ELMo k=E(R k;Θe)。其中最常用的合并方式就是只选择最高层:。一般情况使用如下公式: 其中:γtask是放缩常量,是Softmax的正则化权重。