知识卡片
串行耗时n乘t
两种处理方式: - 串行:逐条循环,逻辑简单,总耗时 n·t(n 为数据量,t 为单条处理时长); - 并行:异步线程池处理,要考虑结果汇总和线程安全,理想总耗时 n/m·t(m 为线程数)。例:100 万条每条 1 秒,串行 100 万秒,10 线程 10 万秒。
并非都能并行:并发编程和业务复杂,常常要先串行、再并行、再串行。
怎样选:先对业务数据量有准确认识。经验上小于 5 万条基本可以串行,大于 5 万条考虑并行;更精准的是按时间复杂度预估——单条时长乘总量,串行太久就做并行优化。
提高效率的三种选择: 1. 降低数据量:由业务决定,一般不能减; 2. 增加线程数:服务器能开的线程有限,超过承受压力的临界点性能会急剧下降,只能提升 CPU、内存、存储配置——要找线程数的合理范围,不能一味增加; 3. 降低单条处理时长:优化算法、程序逻辑、索引和 SQL。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 批处理调度架构设计 · 查看原书依据
所以,需要找到线程数的合理取值范围,而不是一味地增加线程数。
参考来源
- 位置:《架构基础:从需求到架构》第11章《第11章 批处理调度架构设计》11.2.2 串行与并行设计(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_11_2.xhtml,来源项目 book-sources)
- 结论依据:11.2.2节比较串行n·t与并行n/m·t的耗时模型,指出并行需处理汇总与线程安全且常需串并结合,给出5万条的经验阈值与按时间复杂度预估的方法,以及降低数据量、增加线程数、缩短单条时长三种提效选择及线程数临界点。
- 原始内容:所以,需要找到线程数的合理取值范围,而不是一味地增加线程数。