← 返回刚才阅读的位置

知识卡片

结构图卡 · 9855.b · 生成模型:Hunyuan

ELMo整体处理流程

理解等级:中级

ELMo的处理链是一条逐层加工流水线:输入句子按B×W×C组织,先在字符编码层把每个词的字符序列压成一个D维词表示,得到B×W×D;再送入双向语言模型,把正向与反向表征拼接并和各层输出一起堆积成(L+1)×B×W×2D;最后混合层对这些表示做线性融合,产出最终维度为(B, W, 2D)的ELMo向量。其中+1是把最初的嵌入层也算进来,类似残差连接,让模型既保留底层特征又纳入高层语境。理解这条维度变化主线,就能把字符编码、双向LM和混合层串成一个整体。

结构图:

classDiagram
    class InputSentence {
        +Tensor shape BxWxC
        +padding()
    }
    class CharEncodeLayer {
        +charEmbedding
        +multiScaleCNN()
        +highwayNet()
        +linearProjection()
    }
    class BiLM {
        +forwardLM()
        +backwardLM()
        +concat()
    }
    class ScalarMixer {
        +linearCombine()
        +ELMoVector
    }
    InputSentence --> CharEncodeLayer : BxWxC
    CharEncodeLayer --> BiLM : BxWxD
    BiLM --> ScalarMixer : L+1 stacks
    ScalarMixer --> ELMoVector : BxWx2D
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 从Word Embedding到ELMo · 查看原书依据

      对字符级语句编码后,该句子会经过双向语言模型(Bi-LSTM),模型内部先分开训练了两个正向和反向的语言模型,而后将其表征进行拼接,最终得到的输出维度为(L+1)*B*W*2D。这里+1实际上是加上了最初的Embedding层,有点儿像残差连接。 4. 混合层 得到各个层的表征之后,会经过一个混合层(Scalar Mixer),它会对前面这些层的表示进行线性融合,得出最终的ELMo向量,维度为(B,W,2D)。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml) - 结论依据:原文按输入句子、字符编码层、双向语言模型、混合层四步描述ELMo流程,并给出各步的维度变化与拼接方式。 - 原始内容:对字符级语句编码后,该句子会经过双向语言模型(Bi-LSTM),模型内部先分开训练了两个正向和反向的语言模型,而后将其表征进行拼接,最终得到的输出维度为(L+1)*B*W*2D。这里+1实际上是加上了最初的Embedding层,有点儿像残差连接。 4. 混合层 得到各个层的表征之后,会经过一个混合层(Scalar Mixer),它会对前面这些层的表示进行线性融合,得出最终的ELMo向量,维度为(B,W,2D)。