知识卡片

普通读书笔记卡 · 5214.e.1

单机方案的数量级估算

理解等级:中级

问题:为每个 AdWords 广告和搜索词计算点击率(CTR = 点击数 ÷ 展示数),展示在广告主仪表板上。SLO:99.9% 的仪表板查询 < 1 秒;99.9% 的时间显示 5 分钟内的 CTR 数据。负载假设:每秒 50 万次搜索、1 万次点击。数据来自两份日志:查询日志(时间、query_id、搜索词、展示的广告 ID)和点击日志(时间、query_id、ad_id)。(为什么不把搜索词放进点击日志?点击日志来自有长度限制的 URL,且 CTR 只是众多分析之一,单独的查询日志更可扩展。)

一台机器:用在 query_id 和 search_term 上建索引的 SQL 数据库,按 query_id 连接两份日志、按搜索词分组即可。估算:查询日志每条按 2 KB 宽裕计(时间、ID 各 8 字节,三个广告 ID,搜索词最多 500 字节,其他元数据 500–1000 字节);点击率 2%,点击日志很小。 - 每天查询日志:5×10^5 次/秒 × 8.64×10^4 秒/天 × 2×10^3 字节 = 86.4 TB/天,加索引取整为约 100 TB; - IOPS 是瓶颈:普通 4 TB 硬盘约 200 IOPS,每条日志一次写入就需要 5×10^5 ÷ 200 = 2500 块磁盘;即使 10:1 批量写,最好也要数百块; - 改用内存:100 TB ÷ 64 GB/台 ≈ 1563 台机器(标准机:16 核、64 GB 内存、1 Gbps)。 (用科学计数法可以避免单位混乱。)

评估:即使装得下,单机有一长串单点故障(CPU、内存、存储、电源、网络、散热),一次电源重启就会严重影响用户——不可行,但这一步揭示了系统约束,并非白费。

MapReduce:定期对累积日志做批处理连接,按 ad_id 产出每个搜索词的点击汇总——能水平扩展、不会耗尽磁盘和内存;但批处理达不到“5 分钟内”的新鲜度:小批量运行时,查询在第 1 批、点击在第 2 批的记录永远连不上——它适合独立批次,不适合这种连接。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第12章《第12章 介绍非抽象大型系统设计》12 AdWords示例;初始要求;一台机器;MapReduce(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/18.html,来源项目 book-sources) - 结论依据:第12章以AdWords点击率仪表板为例给出两条SLO与负载假设,单机方案估算出每天86.4TB(约100TB)日志、按IOPS需2500块磁盘、按内存需1563台机器,并指出单点故障使其不可行;MapReduce可扩展但小批次无法连接跨批数据,达不到5分钟新鲜度。 - 原始内容:(5×10^5 查询/秒)/(200 IOPS/磁盘)= 2.5×10^3 磁盘或2,500磁盘