知识卡片
RNN语言模型的组合
SimpleRnnlm 依次组合 TimeEmbedding、有状态的 TimeRNN 和 TimeAffine,并用 TimeSoftmaxWithLoss 计算序列损失。模型顺序调用各层前向、逆序调用反向;reset_state 将状态重置委托给循环层。第 6 章的 Rnnlm 采用相同分工,将循环层替换为 TimeLSTM。
结构图:
classDiagram
class SimpleRnnlm {
+forward(xs, ts)
+backward(dout=1)
+reset_state()
}
class TimeEmbedding
class TimeRNN {
+reset_state()
}
class TimeAffine
class TimeSoftmaxWithLoss
class Rnnlm
class TimeLSTM
SimpleRnnlm *-- TimeEmbedding : 词 ID 转向量
SimpleRnnlm *-- TimeRNN : 处理序列状态
SimpleRnnlm *-- TimeAffine : 生成得分
SimpleRnnlm *-- TimeSoftmaxWithLoss : 计算序列损失
Rnnlm *-- TimeLSTM : 使用门控循环层
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- RNN · 查看原书依据
TimeEmbedding(embed_W), TimeRNN(rnn_Wx, rnn_Wh, rnn_b, stateful=True), TimeAffine(affine_W, affine_b)
- Gated RNN · 查看原书依据
上一章使用 Time RNN 层的地方这次使用 Time LSTM 层
参考来源
- 位置:《深度学习进阶:自然语言处理》第5章《RNN》5.5.1(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0010_split_005.html)
- 结论依据:正文给出模型初始化、层列表、损失层和重置方法。
- 原始内容:TimeEmbedding(embed_W), TimeRNN(rnn_Wx, rnn_Wh, rnn_b, stateful=True), TimeAffine(affine_W, affine_b)
- 补充位置:《深度学习进阶:自然语言处理》第6章《Gated RNN》6.4(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0011_split_004.html)
- 补充依据:正文说明语言模型以 TimeLSTM 替换上一章的 TimeRNN。
- 补充原文:上一章使用 Time RNN 层的地方这次使用 Time LSTM 层