知识卡片
ELMo整体处理流程
ELMo的处理链是一条逐层加工流水线:输入句子按B×W×C组织,先在字符编码层把每个词的字符序列压成一个D维词表示,得到B×W×D;再送入双向语言模型,把正向与反向表征拼接并和各层输出一起堆积成(L+1)×B×W×2D;最后混合层对这些表示做线性融合,产出最终维度为(B, W, 2D)的ELMo向量。其中+1是把最初的嵌入层也算进来,类似残差连接,让模型既保留底层特征又纳入高层语境。理解这条维度变化主线,就能把字符编码、双向LM和混合层串成一个整体。
结构图:
classDiagram
class InputSentence {
+Tensor shape BxWxC
+padding()
}
class CharEncodeLayer {
+charEmbedding
+multiScaleCNN()
+highwayNet()
+linearProjection()
}
class BiLM {
+forwardLM()
+backwardLM()
+concat()
}
class ScalarMixer {
+linearCombine()
+ELMoVector
}
InputSentence --> CharEncodeLayer : BxWxC
CharEncodeLayer --> BiLM : BxWxD
BiLM --> ScalarMixer : L+1 stacks
ScalarMixer --> ELMoVector : BxWx2D
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 从Word Embedding到ELMo · 查看原书依据
对字符级语句编码后,该句子会经过双向语言模型(Bi-LSTM),模型内部先分开训练了两个正向和反向的语言模型,而后将其表征进行拼接,最终得到的输出维度为(L+1)*B*W*2D。这里+1实际上是加上了最初的Embedding层,有点儿像残差连接。 4. 混合层 得到各个层的表征之后,会经过一个混合层(Scalar Mixer),它会对前面这些层的表示进行线性融合,得出最终的ELMo向量,维度为(B,W,2D)。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml)
- 结论依据:原文按输入句子、字符编码层、双向语言模型、混合层四步描述ELMo流程,并给出各步的维度变化与拼接方式。
- 原始内容:对字符级语句编码后,该句子会经过双向语言模型(Bi-LSTM),模型内部先分开训练了两个正向和反向的语言模型,而后将其表征进行拼接,最终得到的输出维度为(L+1)*B*W*2D。这里+1实际上是加上了最初的Embedding层,有点儿像残差连接。 4. 混合层 得到各个层的表征之后,会经过一个混合层(Scalar Mixer),它会对前面这些层的表示进行线性融合,得出最终的ELMo向量,维度为(B,W,2D)。