知识卡片
海量数据先分片
背景:Oracle、MySQL、SQL Server 长期占据数据库排名前三,关系型数据库仍是各类系统的核心存储。很多功能数据量小时没问题,数据量一大就爆发性能问题——查询、插入、更新变慢,还间接导致连接无法释放、连接池被迅速占满。从 1 万条里查 10 条与从 1000 万条里查 10 条差异巨大,单纯从索引和程序角度往往很难解决,需要在架构设计时就充分考量。
核心思想一:分片处理——把海量数据拆成多批小量数据,单线程变多线程、单进程变多进程、单服务器变多服务器。
算一笔账:1000 万条数据,单服务器单线程循环,每条 2 毫秒需约 5.6 小时,每条 20 毫秒需约 56 小时(还不可能一次性加载到内存,只能分页查询,效率极低)。分片后:拆成 5 组每组 200 万 → 每组分给两个处理服务各 100 万 → 每个服务 50 个线程,每线程 2 万条。相当于 10 台服务器、500 个线程并行,即使每条仍 20 毫秒,也只需约 6.7 分钟。
代价:需要较多服务器资源,以及并发安全的控制。
线程不是越多越好(练习):多线程轮流抢占 CPU,带来大量上下文切换,线程被频繁挂起唤醒;单 CPU 服务器上开多线程处理海量数据反而可能变慢,多 CPU 才能更好利用,但也不是越多越好。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 关系型大数据架构设计 · 查看原书依据
海量数据处理的核心思想是分片处理(图10-2),将海量数据拆分为多批次的小量数据处理,将单线程变为多线程处理,单进程变为多进程处理,单服务器变为多服务器处理。
参考来源
- 位置:《架构基础:从需求到架构》第10章《第10章 关系型大数据架构设计》第10章导语;10.1 海量数据处理的核心思想(分片)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_10_1.xhtml,来源项目 book-sources)
- 结论依据:第10章导语说明关系型数据库仍是核心存储、数据量增大会引发性能和连接池问题需在架构阶段考量;10.1节以1000万条数据为例比较单线程与分片到10台服务器500线程的耗时,指出分片需要资源和并发安全控制;10.5节练习说明线程数并非越多越快。
- 原始内容:海量数据处理的核心思想是分片处理(图10-2),将海量数据拆分为多批次的小量数据处理,将单线程变为多线程处理,单进程变为多进程处理,单服务器变为多服务器处理。