知识卡片

问题卡 · 6084

样本规模会掩盖随机查询成本

理解等级:中级

随机广告查询在少量样本上很快,不代表能扩展到生产规模。若算法每次都处理全部候选,增长后的总成本才会显现。诊断需要有代表性的规模与分布,并把“随机返回”进一步说明为是否需要每条等概率;性能与抽样正确性要同时评估。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • · 查看原书依据

      生产环境上的数据库要比你的测试样本大得多得多。于是你用了一个同等规模的数据库重新进行测试,发现问题出在广告选择的那个查询上。随着广告的数量越来越多,随机选择的性能直线下降。你已经发现了这个扩展性很差的查询,这就迈出了重要的第一步。 你要怎么在网站丢失所有的读者和赞助商之前,重新设计这个随机选择广告的查询?

    • · 查看原书依据

      由于数据量较小,获取随机样本的查询语句工作得很好。但随着真实数据的增长,它也逐渐变得缓慢。没什么数据库调优方案、索引或者缓存能够提升它的扩展性。 “我要怎么增加我的程序的可使用内存大小?我要获取所有的记录然后随机选择一个。” 你不应该将所有数据载入到程序内存中,这么做非常浪费资源。除此之外,数据库的数据会不断增长直到程序内存完全不够用。 “你是不是也觉得有些

    参考来源

    - 位置:《SQL反模式 (图灵程序设计丛书 48)》第16章《第16章 随机选择》(spine2;extracted/SQL反模式 (图灵程序设计丛书 48)/_epub-src/OEBPS/text00000.html;u211-ch16-001)。 - 结论依据:原文在“生产环境上的数据库要比你的测试样本大得多得多”附近的定义、例子或代码支撑本卡核心说明:随机广告查询在少量样本上很快,不代表能扩展到生产规模。边界按已读前提解释;示例未执行。 - 原始内容:生产环境上的数据库要比你的测试样本大得多得多。于是你用了一个同等规模的数据库重新进行测试,发现问题出在广告选择的那个查询上。随着广告的数量越来越多,随机选择的性能直线下降。你已经发现了这个扩展性很差的查询,这就迈出了重要的第一步。 你要怎么在网站丢失所有的读者和赞助商之前,重新设计这个随机选择广告的查询? - 位置:《SQL反模式 (图灵程序设计丛书 48)》第16章《16.3 如何识别反模式》(spine2;extracted/SQL反模式 (图灵程序设计丛书 48)/_epub-src/OEBPS/text00000.html;u214-ch16-001)。 - 结论依据:数据增长暴露算法成本的识别信号。 - 原始内容:由于数据量较小,获取随机样本的查询语句工作得很好。但随着真实数据的增长,它也逐渐变得缓慢。没什么数据库调优方案、索引或者缓存能够提升它的扩展性。 “我要怎么增加我的程序的可使用内存大小?我要获取所有的记录然后随机选择一个。” 你不应该将所有数据载入到程序内存中,这么做非常浪费资源。除此之外,数据库的数据会不断增长直到程序内存完全不够用。 “你是不是也觉得有些