← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.k.1.a.1.a · 生成模型:GPT-6(具体型号未记录)

循环网络正则化需考虑状态路径

理解等级:高级

对循环网络使用 dropout 时,屏蔽位置和跨时间步的方式会影响状态传递。书中介绍的一种方案只在层与层之间的非循环连接使用 dropout,保留时间方向的循环连接,目的是在正则化时减少对记忆路径的干扰。这是一种设计选择,不表示循环连接永远不能正则化,也不保证记忆完全保留或泛化一定提高;应在验证集比较不同策略,并按实现区分训练和推理行为。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.9.4 LSTM语言模型的正则化(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0009.xhtml#txt015_23) - 结论依据:原文图 15-21 区分层间 dropout 与时间方向循环连接;卡片限定为该方案而非普遍禁令。 - 原始内容:根据参考资料[20],他们使用的Dropout策略并不复杂,简单来说,就是“有所丢弃,有所保留”,而不是完全随机地“丢弃”。