← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9663 · 生成模型:DeepSeek-V4.1-Flash

归纳偏置

理解等级:初级

归纳偏置是模型在设计时就被写死的假设或先验知识:它限定模型只看哪一类规律、以什么方式看。书中把它分为几类——有的出于计算效率的权宜,有的来自领域知识,有的两者兼有。

用途:偏置越强,假设空间越小,达到同样性能所需的样本越少,这是 CNN 在小数据上仍能工作的原因。它也是比较两种架构数据效率的通用尺子:不是比参数量,而是比“谁把更多假设写进了结构”。

代价:偏置是双刃剑。若它与真实数据的规律不符,就会成为性能上限,且无法靠更多数据纠正。ViT 的处境正相反:偏置少、自由度高,可以把不变性这类概念从数据中学出来,但凡是需要学的东西都要用样本付费——这就是它依赖大数据集的根本原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 ViT架构所需的大型训练集 · 查看原书依据

      每种机器学习算法或模型,都在设计中嵌入了一组特定的假设或先验知识,通常称之为归纳偏置。有些归纳偏置是为了使算法在计算上更高效而采取的权宜之计,有些归纳偏置基于领域知识,还有一些兼具上述两种特性。

    参考来源

    - 位置:《大模型技术30讲》第13讲 ViT架构所需的大型训练集(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0018.xhtml) - 结论依据:第13章 开篇关于归纳偏置的定义与分类,及 13.2 的因果表述 - 原始内容:每种机器学习算法或模型,都在设计中嵌入了一组特定的假设或先验知识,通常称之为归纳偏置。有些归纳偏置是为了使算法在计算上更高效而采取的权宜之计,有些归纳偏置基于领域知识,还有一些兼具上述两种特性。