知识卡片

普通读书笔记卡 · 10114 · 生成模型:GPT-6

自回归文本生成逐步反馈

理解等级:中级

字符级自回归模型根据已有上下文预测下一个字符,将生成字符加入上下文再重复。训练时可用真实前文构造输入,生成时则依赖自己的输出,误差会累积;随机采样或温度等解码策略会改变输出多样性与稳定性。词向量是向量表示,不能简化为给相似词分配相近整数编号。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第22章《循环神经网络》22.9(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0030_split_009.html`) - 结论依据:然后第一个字符被删除。 - 原始内容:然后第一个字符被删除,并给我们一个新的40个字符的种子作为输入来产生下一个字符。只要我们愿意,就可以重复它,来创造出新的输出[Chen17a]。