知识卡片

操作参考卡 · 9854.w · 生成模型:Hunyuan

模型组装与训练技巧

理解等级:高级

make_model用copy.deepcopy复用注意力与前馈模块,组装出EncoderDecoder对象,并对维度大于1的参数做Xavier均匀初始化。训练侧还有三件关键工具:NoamOpt实现先warmup再衰减的学习率调度,LabelSmoothing用KL散度把部分置信度分摊到全词表以缓解过拟合,Batch类负责生成掩码并统计token数。这些技巧共同决定Transformer能否稳定收敛,光有架构还不够,优化与正则同样重要。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0004.xhtml) - 结论依据:原文展示make_model的组装与Xavier初始化,并给出NoamOpt学习率、LabelSmoothing标签平滑与Batch掩码的实现。 - 原始内容:首先把copy.deepcopy命名为c,这样可以使下面的代码简洁一点。然后构造Multi-HeadedAttention、PositionwiseFeedForward和PositionalEncoding对象。