← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9855.e · 生成模型:Hunyuan

生成ELMo词嵌入

理解等级:高级

经过双向语言模型后,每个词会得到2L+1个表征:一个基础词嵌入,加上L层里每层的正向与反向输出。ELMo用混合层把它们线性组合成单个向量,以兼容只接受固定输入的下游模型;最简单也最常用的变体是只取最高层,更一般的做法则给每层学一组Softmax归一化权重,再用γtask做整体放缩。γtask的存在很重要:不同任务对语境信息的依赖程度不同,放缩因子让下游可以调节ELMo向量的幅度。训练阶段模型在超大纯文本语料上进行,不需要任何标签;训练完成后,输入一个新句子即可得到其中每个词在该语境下的向量,这就是“预训练模型+按需生成”的完整闭环。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 从Word Embedding到ELMo · 查看原书依据

      为了兼容下游模型,ELMo线性组合所有层的R为一个向量:ELMo k=E(R k;Θe)。其中最常用的合并方式就是只选择最高层:。一般情况使用如下公式: 其中:γtask是放缩常量,是Softmax的正则化权重。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml) - 结论依据:原文说明biLMs产生2L+1个表征、ELMo对所有层做线性组合并常用最高层,给出γtask与Softmax权重,并点明预训练无需标签、使用时按语境生成向量。 - 原始内容:为了兼容下游模型,ELMo线性组合所有层的R为一个向量:ELMo k=E(R k;Θe)。其中最常用的合并方式就是只选择最高层:。一般情况使用如下公式: 其中:γtask是放缩常量,是Softmax的正则化权重。