← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

03 第3章 Transformer

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.826Z

量时间和内存,并且可能受限于硬件而不可行。但是,通过改进Transformer架构,可以在推理时更好地支持更长的上下文。

第一个改进是使用额外的内存,改进后的Transformer可以访问查看过的上下文并将其合并到预测中。第二个改进是设计具有更好的上下文外推能力的模型,使其能够根据较少的可用上下文做出更准确的预测。第三个改进是将循环机制合并到模型中,允许信息在处理过的段之间流动,并捕捉数据中的长期依赖关系。

这可以提高模型在给定有限上下文的情况下预测每个段中的前几个词元的能力。 1. Transformer-XL 基本的Tra

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d