知识卡片

结构图卡 · 9654 · 生成模型:DeepSeek-V4.1-Flash

中奖彩票:剪枝后的子网络

理解等级:高级

是什么:彩票假设(Frankle 与 Carbin,2018)认为,一个随机初始化的大网络中存在一个子网络——中奖彩票——用相同训练步数单独训练,能达到与原网络相当的测试正确率。子网络由剪枝得到:把权重置零形成稀疏矩阵,可以逐个权重剪(非结构化),也可以整块剪(如整个卷积通道,结构化)。

挖彩票的流程四步,关键在第四步:不是重新随机初始化,而是恢复第一步那组原始小随机权重。正是“同一初始化”让子网络有机会复现大网络的学习轨迹;若换一组新初始化,通常就找不到这张彩票了。

用途:模型压缩与推理加速。原始论文把网络压到 10% 大小而正确率不降,稀疏网络甚至泛化更好。边界:必须先完整训练大网络才能剪,无法凭空找到彩票;反复剪枝加重训的总成本可能高于常规训练;后续研究发现原始初始化策略在大规模网络上未必适用。

结构图:

flowchart LR
  A["①大网络+随机初始化"] --> B["②训练至收敛"]
  B --> C["③剪枝:幅值最小权重置零"]
  C --> D["④恢复①的初始权重"]
  D --> E["重训稀疏网络"]
  E -->|"继续迭代剪枝"| C
  E --> F["中奖彩票(约10%参数)"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 彩票假设 · 查看原书依据

      彩票假设是一个关于神经网络训练的概念,它认为在一个随机初始化的神经网络中,存在着这样一个子网络(也称为“中奖彩票”):如果单独训练,在训练步骤相同的情况下,能在测试集上达到与完整的网络一样高的正确率。

    参考来源

    - 位置:《大模型技术30讲》第4讲 彩票假设(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0008.xhtml) - 结论依据:第4章 4.1 彩票假设的训练流程:四步图与迭代幅值剪枝 - 原始内容:彩票假设是一个关于神经网络训练的概念,它认为在一个随机初始化的神经网络中,存在着这样一个子网络(也称为“中奖彩票”):如果单独训练,在训练步骤相同的情况下,能在测试集上达到与完整的网络一样高的正确率。