原书出处
大语言模型-基础与前沿 (熊涛)
01 第1章 大语言模型:辩论、争议与未来发展方向
进一步扩展LLM,一种名为稀疏专家模型(sparse expert model)的新方法在人工智能界受到越来越多的关注。
稀疏专家模型的运行方式与密集模型不同,它们只能调用最相关的参数子集来响应给定的查询。这与密集模型形成了鲜明对比,在密集模型中,每次模型运行时都会激活所有参数。
由于稀疏专家模型的特点是能够只激活必要的参数来处理给定的输入,因此,与密集模型相比,稀疏专家模型的计算能力更强。稀疏专家
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d