知识卡片
先把数据修好再调模型
以数据为中心不是某项技术,而是一条约束:模型与训练流程保持不变,只迭代数据集。异常值剔除、缺失填补、数据合成与增强、标签清理、主动学习挑样本,都在这个范畴内。判定方法很朴素——改动是否只发生在数据侧;顺手换了网络结构,就不算。
它的对立面是以模型为中心:固定基准数据集,比较新的架构或损失函数。两者不是二选一,理想状态是结合使用。
代价要说清:标注贵、周期长,效果不像换模型那样当天可见;数据质量有天花板,补到一定程度后回报迅速递减,此时继续堆样本不如回头调模型。收益则是复利式的——数据一旦变好,后续所有模型都受益,而调参收益只绑在当前模型上。所以在实践项目里,先花力气把数据基线打干净,通常比直接上更大更贵的模型划算。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 以数据为中心的人工智能 · 查看原书依据
以数据为中心的人工智能是一种模式,或者说运作流程,在这种模式下,我们保持模型的训练流程不变,通过迭代数据集来提高模型的预测性能。
参考来源
- 位置:《大模型技术30讲》第21讲 以数据为中心的人工智能(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0028.xhtml)
- 结论依据:第21.1节,图21-1 及以数据为中心包含的具体工作清单
- 原始内容:以数据为中心的人工智能是一种模式,或者说运作流程,在这种模式下,我们保持模型的训练流程不变,通过迭代数据集来提高模型的预测性能。