原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
06 第6章 从Word Embedding到ELMo
beautiful,即使不了解这两个词的上下文,双向语言模型也能够识别出它们在一定程度上的相关性。 3. 双向语言模型
对字符级语句编码后,该句子会经过双向语言模型(Bi-LSTM),模型内部先分开训练了两个正向和反向的语言模型,而后将其表征进行拼接,最终得到的输出维度为(L+1)*B*W*2D。这里+1实际上是加上了最初的Embedding层,有点儿像残差连接。 4. 混合层 得到各个层的表征之后,会经过一个混合层(Scalar Mixer),它会对前面这些层的表示进行线性融合,得出最终的ELMo向量,维度为(B,W,2D)。
6.2.1 字符编码层 字符编码层的输入维度是(B,W,C),输出维度是(B,W,D),具体结构如图6-2所示。 图6
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da