知识卡片
任务分片支撑扩容
单实例任务有单点故障,也难以加机器扩容。分布式任务框架靠两个机制解决:失效转移,实例挂掉后任务转给存活实例;任务分片,把任务预先切成固定数量的分片(如按 id%10 分 10 片),机器增加时自动重新分配,1 台机器处理全部 10 片,2 台时各处理 5 片。分片数固定、执行节点可变,是加机器就能扩容的关键。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《亿级流量网站架构核心技术》第14章《如何扩容》"14.7.2 分布式任务""14.7.4 Elastic-Job-Lite功能与架构"(源文件:_epub-src/EPUB/text00001.html,navPoint playOrder 254、256)
- 结论依据:原文说明"使用分布式任务后,当一个实例失效,则可以将任务转移到其他实例进行处理。分布式任务支持任务分片,当任务处理遇到瓶颈,可以扩充任务实例来提升任务处理能力",并举例"现在有1台服务器……可以将数据分片为10份,如id % 10,那么会有10个线程并发处理这些任务……如果有两台服务器,并且还将数据分片为10份……机器1会处理1,3,5,7,9;机器2会处理0,2,4,6,8;每台机器是5个线程并发处理任务。通过任务分片可以实现任务并发处理,通过增加机器可以实现动态扩容/缩容",直接支撑本卡片结论。版本语境:本书为 2017 年前后的实现,迁移前以当前官方文档与压测复核。
- 原始内容:如果有两台服务器,并且还将数据分片为10份,如id % 10,那么机器1会处理1,3,5,7,9;机器2会处理0,2,4,6,8;每台机器是5个线程并发处理任务。通过任务分片可以实现任务并发处理,通过增加机器可以实现动态扩容/缩容。