知识卡片
模型组装与训练技巧
make_model用copy.deepcopy复用注意力与前馈模块,组装出EncoderDecoder对象,并对维度大于1的参数做Xavier均匀初始化。训练侧还有三件关键工具:NoamOpt实现先warmup再衰减的学习率调度,LabelSmoothing用KL散度把部分置信度分摊到全词表以缓解过拟合,Batch类负责生成掩码并统计token数。这些技巧共同决定Transformer能否稳定收敛,光有架构还不够,优化与正则同样重要。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
首先把copy.deepcopy命名为c,这样可以使下面的代码简洁一点。然后构造Multi-HeadedAttention、PositionwiseFeedForward和PositionalEncoding对象。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml)
- 结论依据:原文展示make_model的组装与Xavier初始化,并给出NoamOpt学习率、LabelSmoothing标签平滑与Batch掩码的实现。
- 原始内容:首先把copy.deepcopy命名为c,这样可以使下面的代码简洁一点。然后构造Multi-HeadedAttention、PositionwiseFeedForward和PositionalEncoding对象。