知识卡片
一次只改一个变量
以数据和以模型为中心可以并用,但探索阶段同时动两边,就失去了归因能力:涨点了,你说不清是新增的标注起了作用,还是换掉的损失函数起了作用。
可操作的节奏是串行:先冻结模型,只清洗和补充数据,记录每一版数据集的基线;数据稳定后冻结数据,再调模型结构与超参。每轮只留一个自变量,指标变化才能挂到具体动作上。
代价是实验串行、总周期变长,而且现实中数据与模型存在交互效应——为旧模型清洗的数据,未必适合新架构,交替优化的路径可能错过两者的联合最优点。折中办法是保留小规模的并行探索分支做假设生成,但把进入主线的结论都用单变量实验复验一遍。没有归因的涨点无法复用,这是这条纪律真正的价值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 以数据为中心的人工智能 · 查看原书依据
若要达到最佳预测效果,理想情况下应结合运用这两种方法。然而,在科研中或是在实践性项目的探索阶段,同时处理过多变量会显得杂乱无章。倘若同时改动模型和数据,会很难确定是哪一变动提升了模型性能。
参考来源
- 位置:《大模型技术30讲》第21讲 以数据为中心的人工智能(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0028.xhtml)
- 结论依据:第21.1节末段关于同时改动模型与数据难以归因的论述
- 原始内容:若要达到最佳预测效果,理想情况下应结合运用这两种方法。然而,在科研中或是在实践性项目的探索阶段,同时处理过多变量会显得杂乱无章。倘若同时改动模型和数据,会很难确定是哪一变动提升了模型性能。