知识卡片
条件计算:按难度分配算力
动机:固定层数对所有输入一视同仁,但简单样本(标点、填充词、与问题无关的段落)并不需要满额计算。
混合专家:每个词元只激活少数专家,计算图变稀疏,推理时间相对于总参数量几乎不变;难点在负载均衡与专家间的通信。
自适应计算时间:循环地精炼表征,直到停止概率超过阈值,并对迭代次数计费,防止无限计算;代价是对这个“思考成本”很敏感,速度与精度的权衡全由它控制。通用 Transformer 用共享层反复迭代,具备图灵完备性,也能泛化到更长序列;深度自适应 Transformer 改为每层不同,匹配基线性能的同时省下约四分之三计算。
长文档路由:CoLT5 让所有词元过轻量层,只把路由判定为重要的词元送入重型注意力与前馈层,因为长文档中大量内容与当前任务无关。
另一条路:神经架构搜索自动寻找更轻结构,但搜索本身耗算力;手工设计(卷积与注意力并行、SwiGLU、并行子层)往往更划算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
条件计算(Bengio,2013a)是一种根据每个输入样本的难度调整计算量的方法。对于较难的示例,可能需要大型模型,而对于较简单的示例,小型模型的性能可能更好。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「条件计算(Bengio,2013a)是一种根据每个输入样本的难度调整…」为中心展开,本卡的核心判断「动机:固定层数对所有输入一视同仁,但简单样本(标点、填充词、与问题无关的段落)并不需要满额计算。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:条件计算(Bengio,2013a)是一种根据每个输入样本的难度调整计算量的方法。对于较难的示例,可能需要大型模型,而对于较简单的示例,小型模型的性能可能更好。