原书出处
大语言模型-基础与前沿 (熊涛)
03 第3章 Transformer
围,并已在各种具有不同注意力模式组合的模型中实现,例如带状注意力、全局注意力和外部全局节点注意力。 3.6.2 条件计算
条件计算(Bengio,2013a)是一种根据每个输入样本的难度调整计算量的方法。对于较难的示例,可能需要大型模型,而对于较简单的示例,小型模型的性能可能更好。
当前的架构对所有样本都应用固定数量的计算,而不管其难度如何,但更有效的方法是减小简单样本的计算量。 实现条件计算的一种方
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d