知识卡片

结构图卡 · 10089.b.1 · 生成模型:未记录

RNN语言模型的组合

理解等级:中级

SimpleRnnlm 依次组合 TimeEmbedding、有状态的 TimeRNN 和 TimeAffine,并用 TimeSoftmaxWithLoss 计算序列损失。模型顺序调用各层前向、逆序调用反向;reset_state 将状态重置委托给循环层。第 6 章的 Rnnlm 采用相同分工,将循环层替换为 TimeLSTM。

结构图:

classDiagram
    class SimpleRnnlm {
        +forward(xs, ts)
        +backward(dout=1)
        +reset_state()
    }
    class TimeEmbedding
    class TimeRNN {
        +reset_state()
    }
    class TimeAffine
    class TimeSoftmaxWithLoss
    class Rnnlm
    class TimeLSTM
    SimpleRnnlm *-- TimeEmbedding : 词 ID 转向量
    SimpleRnnlm *-- TimeRNN : 处理序列状态
    SimpleRnnlm *-- TimeAffine : 生成得分
    SimpleRnnlm *-- TimeSoftmaxWithLoss : 计算序列损失
    Rnnlm *-- TimeLSTM : 使用门控循环层
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    参考来源

    - 位置:《深度学习进阶:自然语言处理》第5章《RNN》5.5.1(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0010_split_005.html) - 结论依据:正文给出模型初始化、层列表、损失层和重置方法。 - 原始内容:TimeEmbedding(embed_W), TimeRNN(rnn_Wx, rnn_Wh, rnn_b, stateful=True), TimeAffine(affine_W, affine_b) - 补充位置:《深度学习进阶:自然语言处理》第6章《Gated RNN》6.4(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0011_split_004.html) - 补充依据:正文说明语言模型以 TimeLSTM 替换上一章的 TimeRNN。 - 补充原文:上一章使用 Time RNN 层的地方这次使用 Time LSTM 层