知识卡片

问题卡 · 9654.a · 生成模型:DeepSeek-V4.1-Flash

彩票假设的收益与代价

理解等级:中级

问题:如果彩票假设为真,它能省下多少成本?

收益侧: - 训练:更小的子网络意味着更低的显存与算力需求——前提是能直接训练子网络。 - 推理:稀疏网络参数少,部署成本低,原始实验压到 10% 参数而正确率不降。 - 泛化:稀疏的中奖彩票在原论文中表现出比稠密网络更好的泛化性。

代价侧: - 发现成本:至今没有办法在不训练原网络的情况下识别彩票,必须先训大的。 - 流程成本:迭代幅值剪枝要重复“剪—重置—重训”,算总账可能比常规训练更贵。 - 可复现性:后续研究发现原始权重初始化在大规模网络上不适用,剪枝后的初始权重需要额外实验。

结论:彩票假设目前的价值主要在存在性证明与推理阶段——训练完之后可以拿稀疏子网络去高效部署;它还不是一种能降低训练总成本的即用方法。这与第5、6章同向:都在压缩模型的有效容量,只是入口分别是数据与参数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 彩票假设 · 查看原书依据

      然而,到目前为止,仍没有办法在不训练原始网络的情况下找到这些中奖彩票。如果算上剪枝步骤,这个训练过程甚至可能比常规过程成本还高。

    参考来源

    - 位置:《大模型技术30讲》第4讲 彩票假设(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0008.xhtml) - 结论依据:第4章 4.2 实际意义与局限性:降本收益、无法免训练识别、成本更高、初始化争议 - 原始内容:然而,到目前为止,仍没有办法在不训练原始网络的情况下找到这些中奖彩票。如果算上剪枝步骤,这个训练过程甚至可能比常规过程成本还高。