知识卡片
单键热点靠应用拆分
[[哈希分区与复合键]]缓解不了单键热点:名人发帖时,大量读写集中在同一个 ID 上,同一个键的哈希永远一样,加节点也没用。多数系统无法自动补偿,需要应用层给热键加随机后缀,如两位随机数把一个键拆成 100 个键分散到各分区。代价是读取要查全部 100 个键再合并,且只应对真正的热键这么做,还要机制跟踪哪些键被拆分。分区只能保证统计上的均匀,访问极度集中时,负载均衡的责任要部分转给应用层。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第六章:分区
原书出处 · 1 处
- 第六章:分区 · 查看原书依据
任何读取都必须要做额外的工作,因为他们必须从所有100个主键分布中读取数据并将其合并。
参考来源
- 位置:《数据密集型应用系统设计》第六章《分区》"负载偏斜与热点消除"(源文件:_epub-src/ch6_split_003.html)
- 结论依据:原文说明拥有数百万追随者的名人事件会导致同一键的大量读写、哈希策略
无法应对,解法是应用层给热主键加随机数拆分成多个键,但会增加读取合并的额外
工作、且只应对真正的热点键使用,直接支撑本卡片结论。
- 原始内容:一个拥有数百万追随者的名人用户在做某事时可能会引发一场风暴……哈希策略不起作用,因为两个相同ID的哈希值仍然是相同的……一个简单的方法是在主键的开始或结尾添加一个随机数……任何读取都必须要做额外的工作,因为他们必须从所有100个主键分布中读取数据并将其合并。