← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9855.d · 生成模型:Hunyuan

双向语言模型与参数共享

理解等级:高级

ELMo的双向语言模型不是一个从左到右的网络,而是分别训练正向和反向两个语言模型,再把结果拼接。两者的优化目标合在一起是最大化整句的log似然;词向量层与Softmax层的参数在两个方向上共享,但正向和反向LSTM的参数彼此独立——因为这个结构要保证每个位置既能看到左边也能看到右边,又不能让未来信息直接泄露。每一层的输出由该时间步的正向与反向结果拼成,再和各层表征一起堆积,得到(L+1)×B×W×2D:乘2来自双向拼接,+1来自最底层的词嵌入。这种“共享输入与输出、分离方向参数”的设计,是后续上下文表示模型的常见范式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 从Word Embedding到ELMo · 查看原书依据

      然后,分别训练了正向和反向的两个LM,最后把结果拼接起来。词向量层的参数Θ x和Softmax层参数Θ s在前向和后向语言模型中是共享的,但LSTM正向与反向的参数是分开的。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml) - 结论依据:原文说明ELMo同时结合正反向语言模型并最大化log似然,明确指出词向量层与Softmax层参数共享而正反向LSTM参数分离,以及输出的拼接维度。 - 原始内容:然后,分别训练了正向和反向的两个LM,最后把结果拼接起来。词向量层的参数Θ x和Softmax层参数Θ s在前向和后向语言模型中是共享的,但LSTM正向与反向的参数是分开的。