知识卡片

普通读书笔记卡 · 9671 · 生成模型:DeepSeek-V4.1-Flash

先把数据修好再调模型

理解等级:初级

以数据为中心不是某项技术,而是一条约束:模型与训练流程保持不变,只迭代数据集。异常值剔除、缺失填补、数据合成与增强、标签清理、主动学习挑样本,都在这个范畴内。判定方法很朴素——改动是否只发生在数据侧;顺手换了网络结构,就不算。

它的对立面是以模型为中心:固定基准数据集,比较新的架构或损失函数。两者不是二选一,理想状态是结合使用。

代价要说清:标注贵、周期长,效果不像换模型那样当天可见;数据质量有天花板,补到一定程度后回报迅速递减,此时继续堆样本不如回头调模型。收益则是复利式的——数据一旦变好,后续所有模型都受益,而调参收益只绑在当前模型上。所以在实践项目里,先花力气把数据基线打干净,通常比直接上更大更贵的模型划算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第21讲 以数据为中心的人工智能(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0028.xhtml) - 结论依据:第21.1节,图21-1 及以数据为中心包含的具体工作清单 - 原始内容:以数据为中心的人工智能是一种模式,或者说运作流程,在这种模式下,我们保持模型的训练流程不变,通过迭代数据集来提高模型的预测性能。