知识卡片

普通读书笔记卡 · 2280.m

分区目标是均匀

理解等级:未标注

数据量或吞吐量超出单机能力时,仅靠[[复制的三种架构]]不够,要把数据切成分区,每条记录只属于一个分区,理论上 10 个节点能处理 10 倍的数据和吞吐。前提是分区公平:分布不均称为偏斜,负载集中的分区称为热点,此时加节点无济于事。随机分配能均匀分布,但读取时不知数据在哪,只能查询所有节点。对按主键访问的键值模型,可以让键本身决定分区,使位置可推导,这正是键范围分区与哈希分区的共同出发点。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第六章《分区》"键值数据的分区"(源文件:_epub-src/ch6_split_003.html) - 结论依据:原文说明分区目标是均匀分布数据和查询负载、理论上10个节点能处理10倍 负载,若分区不公平则称为偏斜、导致热点,随机分配记录能避免偏斜但需要并行查询 所有节点才能读取,直接支撑本卡片结论。 - 原始内容:分区目标是将数据和查询负载均匀分布在各个节点上……如果分区是不公平的……我们称之为偏斜……不均衡导致的高负载的分区被称为热点……避免热点最简单的方法是将记录随机分配给节点……当你试图读取一个特定的值时,你无法知道它在哪个节点上,所以你必须并行地查询所有的节点。