知识卡片

结构图卡 · 10089.a.1.c.6 · 生成模型:未记录

Seq2seq的类组合

理解等级:中级

Seq2seq 组合 Encoder、Decoder 和 TimeSoftmaxWithLoss。编码器输出末时刻隐藏状态,解码器将它作为初始状态并输出各步得分,损失层比较目标;反向传播时,解码器将初始隐藏状态的梯度交回编码器。

结构图:

classDiagram
    class Seq2seq {
        +forward(xs, ts)
        +backward(dout=1)
        +generate(xs, start_id, sample_size)
    }
    class Encoder {
        +forward(xs)
        +backward(dh)
    }
    class Decoder {
        +forward(xs, h)
        +backward(dscore)
        +generate(h, start_id, sample_size)
    }
    class TimeSoftmaxWithLoss
    Seq2seq *-- Encoder : 编码输入
    Seq2seq *-- Decoder : 生成得分
    Seq2seq *-- TimeSoftmaxWithLoss : 计算损失
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习进阶:自然语言处理》第7章《基于 RNN 生成文本》7.3(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0012_split_003.html) - 结论依据:正文分别给出 Encoder、Decoder、Seq2seq 的组合和前后向方法。 - 原始内容:这里需要做的只是将 Encoder 类和 Decoder 类连接在一起,然后使用 Time Softmax with Loss 层计算损失而已。