知识卡片
大模型技术的四段演进
大模型不是突然出现的产物,它沿着一条能力与限制相互推动的路线演进,每一段都在解决上一段暴露的短板:
- 规则与统计学习:早期靠专家编写的语法规则和句法树解析文本,扩展性差、人工成本高;20 世纪 90 年代的 HMM、CRF 转向数据驱动,用概率分布建模序列依赖,在词性标注、命名实体识别上有效,但对复杂上下文理解有限。
- 神经网络与深度学习:RNN 用循环结构建模序列,LSTM、GRU 再用门控缓解梯度消失;瓶颈是必须逐步迭代、无法并行,CNN 引入 NLP 后又受固定窗口限制。
- Transformer:以自注意力替代循环结构,同时获得并行计算与任意位置直连的能力。
- 预训练与微调:在海量数据上先学通用语言表示,再用少量标注适配下游任务,把”每个任务从零训练”变成”一次预训练、多次微调”。
这条线索的实用价值在于判断技术选型的理由:某项设计为何被淘汰,往往不是效果不够,而是它无法扩展或无法并行。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 引言
原书出处 · 1 处
- 引言 · 查看原书依据
20世纪90年代,统计学习方法兴起,如Hidden Markov Model(HMM)和Conditional Random Field(CRF),标志着人工智能开始从经验规则走向数据驱动的范式。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》引言《大模型技术的发展与开发环境》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter004.xhtml)
- 结论依据:原文按"基于规则和统计学习—神经网络与深度学习—Transformer—预训练模型"四阶段叙述,并逐段指出各阶段的局限。
- 原始内容:20世纪90年代,统计学习方法兴起,如Hidden Markov Model(HMM)和Conditional Random Field(CRF),标志着人工智能开始从经验规则走向数据驱动的范式。