知识卡片
分片节点按取模领数据
为什么升级:单机和集群的每个节点都只能处理相同的数据,集群解决了可用性却浪费大量资源。
分布式批处理调度:去中心化,每个节点同时工作,可执行相同或不同任务、协作完成大批量计算。调度中心是唯一控制中心(可多机高可用),负责注册、选举、任务定义和调度;每个分片节点只处理一部分数据,又与其他节点组成集群、用选举模式保证故障转移;一个任务的从节点同时可以是其他任务的主节点,提高资源复用。
思想:一台跑不动用两台,两台跑不动用四台——让批处理也支持无限水平扩展。例:1000 万条,单机 100 线程 vs 3 台各 100 线程共 300 线程;算力不够继续加节点。
关键:不能重复处理。直接把集群每个节点都跑起来、程序不改,就会重复:给 100 万用户发生日祝福,3 个节点各查到 100 万条,每个用户可能收到 3 条短信。
分片取数:与分库分表的分片思想相同。按用户 ID 对分片数取余,分片 n 只取 mod(UserID,3)=n-1 的数据(SQL:select * from t_user where mod(UserID,3)=(分片ID-1));ID 不是整数就先做整数哈希再取模;加一个节点改为对 4 取模,数据自动重新平衡——这就是分布式分片计算的核心思想。还可按范围、时间、类型分片(如一个节点只处理男性用户、一个只处理女性用户)。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 批处理调度架构设计 · 查看原书依据
分片节点处理数据要保证数据不能重复处理,如果直接将集群架构的每个节点都运行起来,程序上没有任何改动,就会造成重复处理。
参考来源
- 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》11.4 分布式批处理架构设计(1、2)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_4.xhtml,来源项目 book-sources)
- 结论依据:11.4节第1、2部分说明分布式批处理让每个分片节点只处理部分数据并组成集群故障转移,以生日短信重复发送为例强调分片节点不能重复处理,介绍按用户ID取模或哈希取模领取数据及按范围、时间、类型分片的方法。
- 原始内容:分片节点处理数据要保证数据不能重复处理,如果直接将集群架构的每个节点都运行起来,程序上没有任何改动,就会造成重复处理。