知识卡片

普通读书笔记卡 · 1716.c.1.f.7

前置分片与索引表切片

理解等级:中级

分片位置: - 前置分片:数据产生时就切分,业务表增加分片字段并建索引,分片节点直接按字段取数。开发更简单、速度更快,但要维护额外的分片字段或索引表; - 后置分片:数据产生时不处理,各节点取数时再筛选,往往无法充分利用索引。 海量数据推荐前置分片。

两种切片方法: 1. 分片字段:如 100 万用户每 10 万条一组生成分片编码 S1、S2……,节点 1 只处理 S1、节点 2 只处理 S2。缺点是改变业务表结构; 2. 索引表:在业务数据和分片标志之间建关联表,对原表无侵入,更适合开发框架级组件;处理时与原表关联筛选,为提效可把索引表放内存或列式数据库。

分布式批处理的两个问题: - 数据一致性:各分片只处理部分数据,可能部分成功部分失败,需要详细日志和消息预警支撑; - 分布式事务:单机时整个流程可在一个事务中,拆到不同分片后要在强事务和柔性事务间取舍。

架构闭环:完整的分布式批处理调度不能孤立存在,要与监控、消息、日志服务打通形成闭环。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》11.4 分布式批处理架构设计(3–5)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_4.xhtml,来源项目 book-sources) - 结论依据:11.4节第3–5部分比较前置分片与后置分片并推荐前者,介绍改表结构的分片字段切片与无侵入的索引表切片,指出分布式批处理的数据一致性与分布式事务问题,并主张与监控、消息、日志体系打通形成闭环;11.6节练习复述了其优缺点。 - 原始内容:对于海量数据的处理,推荐采用前置分片的处理方式,能够带来更好的性能。