知识卡片
Seq2seq的类组合
Seq2seq 组合 Encoder、Decoder 和 TimeSoftmaxWithLoss。编码器输出末时刻隐藏状态,解码器将它作为初始状态并输出各步得分,损失层比较目标;反向传播时,解码器将初始隐藏状态的梯度交回编码器。
结构图:
classDiagram
class Seq2seq {
+forward(xs, ts)
+backward(dout=1)
+generate(xs, start_id, sample_size)
}
class Encoder {
+forward(xs)
+backward(dh)
}
class Decoder {
+forward(xs, h)
+backward(dscore)
+generate(h, start_id, sample_size)
}
class TimeSoftmaxWithLoss
Seq2seq *-- Encoder : 编码输入
Seq2seq *-- Decoder : 生成得分
Seq2seq *-- TimeSoftmaxWithLoss : 计算损失
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 基于 RNN 生成文本 · 查看原书依据
这里需要做的只是将 Encoder 类和 Decoder 类连接在一起,然后使用 Time Softmax with Loss 层计算损失而已。
参考来源
- 位置:《深度学习进阶:自然语言处理》第7章《基于 RNN 生成文本》7.3(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0012_split_003.html)
- 结论依据:正文分别给出 Encoder、Decoder、Seq2seq 的组合和前后向方法。
- 原始内容:这里需要做的只是将 Encoder 类和 Decoder 类连接在一起,然后使用 Time Softmax with Loss 层计算损失而已。