原书出处
大语言模型-基础与前沿 (熊涛)
05 第5章 上下文学习和轻量级微调
igh Bandwidth Memory,HBM)的成本高昂,单GPU的内存仅增加了不到10倍,达到80GB。这意味着,
虽然模型规模的扩展速度几乎比计算资源快两个数量级,但要根据下游任务针对这些庞大的模型进行微调对大多数人来说是不可行的,对每个人来说也是不切实际的。
因此,上下文学习(In-Context Learning,ICL)作为新常态,成为根据下游任务数据调整1B规模的语言模型
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter7.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d