知识卡片

普通读书笔记卡 · 2280.h.1.a.9.i

识破基准测试的三种花招

理解等级:中级

作者用一个比喻开场:在 787 公务机(航程近万海里、巡航 0.85 马赫)和特斯拉 Model S Plaid(百公里加速 2.1 秒)之间比“性能”是荒谬的——一个为洲际飞行设计,一个是电动超跑。数据库领域却一直在做这种比较:要么比较为完全不同用例优化的数据库,要么用与真实需求毫无相似之处的测试场景。

供应商之间爆发了新一轮基准战争;许多供应商从合同中删除了禁止公开基准的 DeWitt 条款是好事,但数据领域仍充满无意义的基准。三种常见花招:

花招 做法 如何识破
“20 世纪 90 年代的大数据” 声称支持 PB 级,却用能放进智能手机的小数据集测试;依赖缓存的系统让数据完全驻留在 SSD 或内存中,重复查询同样数据显得超快;小数据集还能压低内存和 SSD 成本,在价格对比中占优 模拟预期的真实数据量和查询规模,按自己需求评估查询性能与资源成本
无意义的成本比较 很多 MPP 系统即使在云上也难以创建和删除,一经配置就连续运行多年;把它们与按查询或按秒计费、可动态计算的数据库按每秒成本比较 临时与非临时系统按每秒成本比较没有意义
非对称优化 用高度规范化数据上的复杂连接查询,比较行存 MPP 与列存数据库——规范化模型对行存最有利;还给自家系统加预索引连接等优化,却不给对手做匹配的调优(如把连接放进物化视图) 检查测试模型与调优是否对双方都公平

结论:买者自负。先做功课,不要盲目依赖供应商基准来评估和选择技术。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第04章《第4章 根据数据生命周期选择技术》4.10 优化、性能和基准战争(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0009.xhtml,来源项目 book-sources) - 结论依据:4.10节以公务机与电动超跑比较的荒谬说明数据库基准的问题,介绍DeWitt条款的删除,列出用小数据集冒充大数据、比较临时与长期运行系统的每秒成本、非对称优化三种花招及应对,结论是买者自负。 - 原始内容:与数据技术中的所有事物一样,买家要当心。要先做功课去了解,以避免盲目依赖供应商基准来评估和选择技术。