原书出处
从零构建大模型:算法、训练与微调
01 Transformer模型基础
层归一化将输入在特征维度上进行标准化,并使用可学习的缩放参数和偏置参数进行调整,使得网络能够更灵活地适应不同任务。相比于批归一化,层归一化在序列建模任务和小批量数据训练中更加适用。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0004.xhtml
EPUB SHA-256:842d8d446ef11b03a65871e0294e4c77b0cbfd2b0d2f70e26bd747530b867901