知识卡片

普通读书笔记卡 · 7176.k · 生成模型:Tencent Hunyuan Hy

并行PV计数的热点倾斜

理解等级:高级

用Storm做url的PV统计时,spout从ActiveMQ按行读日志发射tuple,中间bolt切出请求地址,下游bolt累加各页面访问次数并写存储。原文点出一个失败边界:Topology常在多机多线程并行运行,累加是并发修改,必须借外部存储并用原子操作才能保证计数准确;由于Hash算法,同一页面的计数落在相同key上,写入被映射到同一台存储,访问量巨大时可能被压垮,导致实时统计不可用。正确性风险来自两处——并发竞态导致的丢失更新,以及热点key导致的写入倾斜;前者靠原子操作,后者要靠key打散或分片分摊。访问量越大,越要评估存储能否抗住并发写入。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.3 流式数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_003.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `524d45f53e3708c2e9ae9081179ef43d2307d57e2db36e300581752c268fae8c`) - 结论依据:原文『同一个页面的访问,累加计数所存储的key值相同,最终写入操作被映射到一台存储设备,从而将该设备压垮』直接揭示热点倾斜边界,同段『需要借助原子操作来完成页面访问的累加』支撑并发正确性要求。 - 原始内容:很多时候由于Hash算法的问题,同一个页面的访问,累加计数所存储的key值相同,最终写入操作被映射到一台存储设备,从而将该设备压垮,导致实时统计数据不可用。