← 返回卡片

原书出处

深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)

06 第6章 从Word Embedding到ELMo

核验版本的摘录快照 · 导入于 2026-11-19T04:48:36.597Z

beautiful,即使不了解这两个词的上下文,双向语言模型也能够识别出它们在一定程度上的相关性。 3. 双向语言模型

对字符级语句编码后,该句子会经过双向语言模型(Bi-LSTM),模型内部先分开训练了两个正向和反向的语言模型,而后将其表征进行拼接,最终得到的输出维度为(L+1)*B*W*2D。这里+1实际上是加上了最初的Embedding层,有点儿像残差连接。 4. 混合层 得到各个层的表征之后,会经过一个混合层(Scalar Mixer),它会对前面这些层的表示进行线性融合,得出最终的ELMo向量,维度为(B,W,2D)。

6.2.1 字符编码层 字符编码层的输入维度是(B,W,C),输出维度是(B,W,D),具体结构如图6-2所示。 图6

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml

EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da