线程池要有边界
线程池的关键不是把任务丢进去,而是容量边界:核心/最大线程数、队列长度决定过载走向。Executors 快捷方法把边界隐藏了——newFixedThreadPool 用无界队列,堆积会把压力藏进内存直到 OOM;newCachedThreadPool 最大线程数无限制。应显式用 ThreadPoolExecutor 构造器设边界,见 [[拒绝策略决定过载去向]]。
主题对照
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
线程池的关键不是把任务丢进去,而是容量边界:核心/最大线程数、队列长度决定过载走向。Executors 快捷方法把边界隐藏了——newFixedThreadPool 用无界队列,堆积会把压力藏进内存直到 OOM;newCachedThreadPool 最大线程数无限制。应显式用 ThreadPoolExecutor 构造器设边界,见 [[拒绝策略决定过载去向]]。
线程数应按瓶颈与实测调优。IO 等待占比高时,增加线程可能利用等待空档;Netty Reactor 以“核数两倍”作为可配置默认值,仅是框架示例,不能泛化为所有 IO 池。CPU 密集型线程数通常接近可用核心数,过多线程增加切换开销。混合负载的等待/计算比例公式只可作为起点,再测吞吐、延迟与资源。
[[线程池要有边界]] 关注容量,本卡关注拒绝后果。队列已满且线程达到上限,或执行器已关闭,都会触发拒绝策略。默认 AbortPolicy 抛异常,DiscardPolicy 丢弃,DiscardOldestPolicy 丢队首;CallerRunsPolicy 仅在执行器未关闭时由提交线程执行以减速,关闭后也丢弃。选择策略要明确哪些任务可丢。
不显式传执行器时,runAsync()、supplyAsync() 通常使用公共 ForkJoinPool;慢 IO 可能长期占用共享执行资源,拖慢其他任务。应按负载隔离或选择合适执行器。公共池并行度可配置,低于2时 Java 8 实现还会为每个异步任务新建线程,不能断言线程数恒等于 CPU 核数。
线程池用受控线程数处理大量任务,把不可控的“来一个请求建一个线程”改成队列调度。它解决的是资源峰值管理,不自动解决慢任务;任务长期阻塞时,队列只会把压力延后暴露。
ThreadPool 本身不知道要处理什么任务,只持有一组工作线程和一个 WorkQueue 列表;具体的任务容器、入队/出队逻辑、处理函数都由调用方继承 WorkQueue 自行实现(_enqueue/_dequeue/_process 是纯虚函数)。一个线程池可以同时挂多个工作队列,工作线程从上次访问的队列开始轮询取任务处理。这种设计把”线程怎么调度”和”任务是什么、怎么处理”彻底解耦:紧急、高频的任务类型独享线程池,不紧急的后台任务可以合并挂到同一个线程池共享资源,调度策略不需要为每种任务类型重新实现。
Servlet 容器(如 Tomcat)处理 HTTP 请求的默认方式是每个请求独占一个线程,直到返回响应为止;如果处理过程涉及 I/O(比如查数据库),这个线程会一直阻塞等着,这就是”同步阻塞”模型的由来。线程池里线程的数量因此直接划定了系统能同时处理多少请求的上限——线程都被占满时,新请求只能排队等,这也是排查性能问题时最先该看的地方。云原生场景下遇到这个上限,倾向于加实例做水平扩展而不是调大线程池数字,因为线程池调优没有万能公式,纯粹增加线程数在阻塞式模型下边际收益有限。发散:这个模型的本质缺陷是”线程在等 I/O 结果的时候被白白占着不能干别的事”,第8章要讲的响应式编程/事件循环模型正是冲着这一点去的——用少量线程处理海量并发连接,代价是编程模型变复杂。
单线程串行系统中吞吐量与响应时间严格反比。引入并发后这个反比关系失效——理发店从一人包办改三人流水线分工后,同时服务顾客变多(吞吐量提升),但单顾客等待切换时间反而变长(响应时间也增长)。系统存在”最佳并发数”和”最大并发数”两阈值,超过后者吞吐量不增反降。发散:容量规划不能只看QPS,必须同时看响应时间,两者要一起权衡。
容量规划公式:机器数=预估流量/单机压测容量,预估流量须取历史峰值乘余量系数(2~3倍)而非均值——峰值往往是均值数倍,虽持续短暂但系统必须为其常备足够机器,导致大部分时间闲置。云计算弹性伸缩正是要把”为峰值常备资源”的浪费降到最低。发散:需保证体验不崩溃的系统规划基准应是最坏情况而非日常平均,”按均值规划按峰值验收”是最常见的危险错误。
消除并发系统里的资源竞争热点不是一次性解决的工程任务,而是打地鼠式的持续过程——解决一个瓶颈,压力会自然转移到另一个共享资源上,新热点会在别处冒出来。真正务实的目标不是彻底消灭竞争,而是持续压制到可接受水平:细粒度锁、乐观锁、允许部分数据松散一致、能不共享就不共享,都是分散或降低压力的手段。发散:抱着”修完就一劳永逸”的心态做并发调优,本身就是对问题性质的误判。
硬件规格里额外预留的处理能力、内存、磁盘、带宽(净空,headroom)本质上是在为”未来会不会用到”下注:留少了,系统一遇峰值或增长就撑不住,得临时升级甚至引发故障;留多了,就是可能为闲置容量持续付费。这不是一次性算出来的数字,而是需要在”对未来增长的乐观估计”和”当下的成本约束”之间找一个均衡点——本质上和任何”要不要提前为将来扩容”的资源规划决策是同一个问题。
Ceph没有集中式I/O入口,客户端可并发访问多个OSD,因此单机队列调度无法直接保证全局QoS。流控必须在分散节点上达成近似公平和限速。发散:去中心化提升吞吐,也会把资源隔离问题从一个调度器扩散到一组协同调度器。
mClock用reservation、limit和weight同时表达最低保障、最高限制和剩余资源分配权重,再用时间标签决定请求出队顺序。发散:QoS不是单一优先级排序,而是把“保底、封顶、共享”三种诉求放进同一个调度模型。
本书Luminous时代探索的dmClock把mClock改造成分布式版本:每台服务器运行改进的mClock-server,客户端统计各服务器完成的请求并据此调整,力求总体达到QoS目标,而不必汇聚到中心队列。新版本Ceph的生产配置以OSD的mClock profile为主,应查当前文档。发散:分布式调度是让局部决策带着全局约束。
本书对RBD存储卷QoS的探索中,把存储卷作为dmClock的client粒度,比按连接或进程更贴近租户资源边界;为此需改造RBD客户端和消息以传递QoS参数。这属于Luminous时代的实验方案,当前版本应以官方QoS机制为准。发散:限流粒度不是技术细节,而是资源模型在I/O路径上的投影。
不加控制地并行启动任务,可能一次打开上千个文件、URL 或数据库查询,耗尽文件描述符等资源,Web 应用还会暴露可被利用的拒绝服务漏洞。做法是先启动不超过上限的任务,每完成一个再补上一个。它是顺序与并行的混合:一个 next() 迭代器在循环里补足任务,完成回调检查是否全部结束。
在每次调用内部限流并不够:网络蜘蛛每页限 2 个并发,但每个页面又各自再开 2 个,总下载数仍指数增长。要限制的是全局并发,办法是一个共享的任务队列(TaskQueue):维护运行计数和待处理队列,允许动态加入新任务,由这一个中央实体控制所有调用共享的并发上限。async.queue 提供同样的能力。
每个数据块的处理若是耗时的独立异步操作,可以在 _transform 里启动任务后立即调用 done 放行下一个块,靠计数跟踪进行中的任务,并把 _flush 的回调推迟到全部完成时调用。代价是输出顺序不再与输入一致,所以只适用于块间无关联的对象流,二进制流几乎不能用。加并发上限可防止上万个 URL 同时连接。
每次请求都新开进程既慢又费资源,书中实现了一个进程池:保持进程常驻复用,维护空闲池、活动列表和等待队列,达到上限时请求排队,进程释放后优先分配给排队者。上限既节省 CPU,也避免被拒绝服务攻击拖垮。生产中还应回收长时间空闲的进程以释放内存,并重启无响应或崩溃的进程。
consumeThreadMax名为最大消费线程数,但客户端把消费线程池的工作队列设成Integer.MAX_VALUE的无界队列;线程池只有队列满了才会扩到最大线程数,队列永远不满,consumeThreadMax也就永远不起作用。实际起作用的是consumeThreadMin,调吞吐时设它即可。参数看似可调,要连同队列策略一起看。
并发消费不是把回调函数随意丢进线程池,而是把消息、[[ProcessQueue快照]] 和 MessageQueue 封装成 ConsumeRequest 再提交。这样每个并发任务都带着必要上下文,便于失败重试、位点提交和状态清理。
顺序消费的并发度是消息队列:一个队列同一时刻只被一个线程消费。若一个任务要把队列消息处理完才结束,耗时批次会长期占住线程。RocketMQ不按条数而按时长切分任务,连续消费超过上限就结束本次任务,让其他线程接着处理。工作量不可预测时,时间片比等任务结束更公平。
Lambda的弹性建立在一个简单假设上:同一时间一个实例只处理一个请求,并发请求数上限就是实例数上限。这种单一维度的调度易于理解,也不受业务逻辑因素干扰,所以能无负担地横向扩展。代价是请求很轻时实例资源用不满,高并发场景浪费明显,见[[共享与独占并发]]。
并发控制有两个目的:限单实例并发,防止突发流量压垮实例引发雪崩;限函数总并发,间接保护下游数据库。模式有两种:共享模式一个实例同时处理多个请求,适合大多数轻请求微服务;独占模式一实例一请求,适合单请求开销很大或代码有不支持并发的共享状态的服务,超时控制也更严格,否则资源浪费明显。
MQ触发器最初用固定数量的并发消费,但各函数处理能力不同,固定值不是不够就是过多。改为动态并发池:来一条消息取一个空闲Worker,没有就新建,到上限就阻塞;空闲过久的Worker回收节约资源。并发数由实际负载自然决定,而不是靠人猜,但它只会加不懂停,需要配合[[错误驱动的反压]]。
Linkerd底层的Finagle服务端是一条按顺序生效的模块链:先观测,再并发限制(超过最大并发加队列容量就拒绝新请求),然后是请求最后期限、请求超时、会话终止(回收超时或空闲过久的连接)。设计目标是在高并发下保护自己:宁可显式拒绝,也不让无效请求把服务拖入过载。要注意的是默认服务端和客户端都不设超时,需按业务显式配置。
若对多个下游的调用共用一个线程池,一个慢或宕机的下游会占满全部线程,对健康下游的调用也拿不到线程,整个服务被拖垮。舱壁模式给每个下游分配专用的线程池:某个下游挂了,最多让它自己的线程池不可用,对其他服务的调用不受影响。代价是隔离越细,总资源占用和管理成本越高,见[[线程池还是信号量]]。
舱壁有两种实现:线程池隔离另开专用线程执行调用,Web容器的IO线程可立刻脱身,代价是线程调度开销(书中引用评估称多数情况下仅几毫秒);信号量隔离只限制并发数,调用仍在IO线程里执行,开销小,但慢的网络调用会长时间占住IO线程,甚至拖垮容器。所以远程调用宜用线程池,非网络或耗时很短的调用用信号量更划算。
一个服务要调用多个远程资源时,若共用一批线程,任一资源变慢都会占满线程、拖累其他调用,就像船没有水密舱,一处破损就整船沉没。舱壁模式给每个远程资源分配独立的线程池:某个资源变慢,只有它的线程池饱和,其他调用不受影响。代价是资源利用率低于完全共享,且线程切换会丢失上下文,见[[线程隔离丢失上下文的代价]]。
多个服务共用一个 Tomcat 线程池时,一个服务的下游变慢,处理它的线程长时间阻塞,最终占满线程池,拖垮同容器里的其他服务,这就是级联故障。Hystrix 这类工具给每个依赖分配独立的线程池或信号量,额度用尽就快速失败,并配合降级返回托底数据、按失败率熔断,把故障限定在最初出问题的地方。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
分布式存储系统类
书籍类型:未标注
清单覆盖 7/7
47 张卡片
来源书籍
源码分享类
书籍类型:未标注
清单覆盖 8/8
110 张卡片
来源书籍
框架类
书籍类型:未标注
清单覆盖 8/8
122 张卡片
来源书籍
编程语言类
书籍类型:未标注
清单覆盖 6/9
80 张卡片
来源书籍
编程语言类
书籍类型:经典原理
类别清单尚未核对
191 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 8/8
45 张卡片
来源书籍
JavaScript运行时与服务端工程类
书籍类型:工程实践
清单覆盖 5/6
174 张卡片
来源书籍
数据库/存储引擎类
书籍类型:工程实践
清单覆盖 5/5
114 张卡片
来源书籍
消息中间件产品实战类
书籍类型:工程实践
清单覆盖 6/8
35 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
76 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
35 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 7/7
74 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 8/8
24 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 8/8
42 张卡片
来源书籍
框架类
书籍类型:经典原理
清单覆盖 8/8
43 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
100 张卡片
来源书籍
系统架构类
书籍类型:未标注
清单覆盖 6/6
92 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
39 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
70 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
44 张卡片
来源书籍
Serverless架构类
书籍类型:工程实践
清单覆盖 6/6
51 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 5/5
52 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
书籍类型:未标注
389 张卡片
来源书籍
数据库/存储引擎类
书籍类型:工程实践
清单覆盖 5/5
48 张卡片
来源书籍
书籍类型:未标注
54 张卡片
来源书籍
系统架构类
书籍类型:未标注
类别清单尚未核对
317 张卡片
来源书籍
架构师职业方法论类
书籍类型:经典原理
清单覆盖 7/7
166 张卡片
来源书籍
书籍类型:未标注
357 张卡片
来源书籍
书籍类型:工程实践
58 张卡片
来源书籍
系统架构类
书籍类型:未标注
清单覆盖 6/6
146 张卡片
来源书籍
软件架构方法论类
书籍类型:未标注
类别清单尚未核对
334 张卡片
来源书籍
高可用与云架构风险管理类。依据:全书主要处理服务拆分后的可用性、依赖故障、双活、演练与运行观测;云迁移并非本书核心内容,清单中未讲的维度如实记缺口。第13章虽提及Kubernetes和Service Mesh,本书并非以容器编排平台上的交付与运维为主要目标,故不按“云原生微服务实战类”核对。
书籍类型:工程实践
清单覆盖 6/7
379 张卡片
来源书籍
系统架构类
书籍类型:工程实践
类别清单尚未核对
67 张卡片
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较容器隔离与镜像理念、Kubernetes 的资源模型与控制器、应用封装方案,以及容器存储的抽象与扩展机制。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
主题索引
无服务器平台在 Kubernetes 之上补齐的原语:构建、请求路由、事件交付与伸缩至零,以及事件格式标准化。
与 2 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类