知识卡片
识破基准测试的三种花招
作者用一个比喻开场:在 787 公务机(航程近万海里、巡航 0.85 马赫)和特斯拉 Model S Plaid(百公里加速 2.1 秒)之间比“性能”是荒谬的——一个为洲际飞行设计,一个是电动超跑。数据库领域却一直在做这种比较:要么比较为完全不同用例优化的数据库,要么用与真实需求毫无相似之处的测试场景。
供应商之间爆发了新一轮基准战争;许多供应商从合同中删除了禁止公开基准的 DeWitt 条款是好事,但数据领域仍充满无意义的基准。三种常见花招:
| 花招 | 做法 | 如何识破 |
|---|---|---|
| “20 世纪 90 年代的大数据” | 声称支持 PB 级,却用能放进智能手机的小数据集测试;依赖缓存的系统让数据完全驻留在 SSD 或内存中,重复查询同样数据显得超快;小数据集还能压低内存和 SSD 成本,在价格对比中占优 | 模拟预期的真实数据量和查询规模,按自己需求评估查询性能与资源成本 |
| 无意义的成本比较 | 很多 MPP 系统即使在云上也难以创建和删除,一经配置就连续运行多年;把它们与按查询或按秒计费、可动态计算的数据库按每秒成本比较 | 临时与非临时系统按每秒成本比较没有意义 |
| 非对称优化 | 用高度规范化数据上的复杂连接查询,比较行存 MPP 与列存数据库——规范化模型对行存最有利;还给自家系统加预索引连接等优化,却不给对手做匹配的调优(如把连接放进物化视图) | 检查测试模型与调优是否对双方都公平 |
结论:买者自负。先做功课,不要盲目依赖供应商基准来评估和选择技术。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 根据数据生命周期选择技术 · 查看原书依据
与数据技术中的所有事物一样,买家要当心。要先做功课去了解,以避免盲目依赖供应商基准来评估和选择技术。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第04章《第4章 根据数据生命周期选择技术》4.10 优化、性能和基准战争(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0009.xhtml,来源项目 book-sources)
- 结论依据:4.10节以公务机与电动超跑比较的荒谬说明数据库基准的问题,介绍DeWitt条款的删除,列出用小数据集冒充大数据、比较临时与长期运行系统的每秒成本、非对称优化三种花招及应对,结论是买者自负。
- 原始内容:与数据技术中的所有事物一样,买家要当心。要先做功课去了解,以避免盲目依赖供应商基准来评估和选择技术。