知识卡片
归纳偏置
归纳偏置是模型在设计时就被写死的假设或先验知识:它限定模型只看哪一类规律、以什么方式看。书中把它分为几类——有的出于计算效率的权宜,有的来自领域知识,有的两者兼有。
用途:偏置越强,假设空间越小,达到同样性能所需的样本越少,这是 CNN 在小数据上仍能工作的原因。它也是比较两种架构数据效率的通用尺子:不是比参数量,而是比“谁把更多假设写进了结构”。
代价:偏置是双刃剑。若它与真实数据的规律不符,就会成为性能上限,且无法靠更多数据纠正。ViT 的处境正相反:偏置少、自由度高,可以把不变性这类概念从数据中学出来,但凡是需要学的东西都要用样本付费——这就是它依赖大数据集的根本原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 ViT架构所需的大型训练集 · 查看原书依据
每种机器学习算法或模型,都在设计中嵌入了一组特定的假设或先验知识,通常称之为归纳偏置。有些归纳偏置是为了使算法在计算上更高效而采取的权宜之计,有些归纳偏置基于领域知识,还有一些兼具上述两种特性。
参考来源
- 位置:《大模型技术30讲》第13讲 ViT架构所需的大型训练集(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0018.xhtml)
- 结论依据:第13章 开篇关于归纳偏置的定义与分类,及 13.2 的因果表述
- 原始内容:每种机器学习算法或模型,都在设计中嵌入了一组特定的假设或先验知识,通常称之为归纳偏置。有些归纳偏置是为了使算法在计算上更高效而采取的权宜之计,有些归纳偏置基于领域知识,还有一些兼具上述两种特性。