并发要设上限
不加控制地并行启动任务,可能一次打开上千个文件、URL 或数据库查询,耗尽文件描述符等资源,Web 应用还会暴露可被利用的拒绝服务漏洞。做法是先启动不超过上限的任务,每完成一个再补上一个。它是顺序与并行的混合:一个 next() 迭代器在循环里补足任务,完成回调检查是否全部结束。
主题对照
环形缓冲与乒乓缓冲怎样吸收速率差,有界队列的空满约束与 FIFO 余量,生产消费模型如何做限流与并发上限,以及缓冲只能吸收有限速差、不能替代背压。
不加控制地并行启动任务,可能一次打开上千个文件、URL 或数据库查询,耗尽文件描述符等资源,Web 应用还会暴露可被利用的拒绝服务漏洞。做法是先启动不超过上限的任务,每完成一个再补上一个。它是顺序与并行的混合:一个 next() 迭代器在循环里补足任务,完成回调检查是否全部结束。
在每次调用内部限流并不够:网络蜘蛛每页限 2 个并发,但每个页面又各自再开 2 个,总下载数仍指数增长。要限制的是全局并发,办法是一个共享的任务队列(TaskQueue):维护运行计数和待处理队列,允许动态加入新任务,由这一个中央实体控制所有调用共享的并发上限。async.queue 提供同样的能力。
另一种限制并发的方式是固定数量的 worker:每个 worker 是一个无限循环的 generator,yield 等待队列里的下一个任务;没有任务时,它的回调被放进消费者队列而进入空闲,pushTask 进来新任务就唤醒一个空闲 worker,否则放进任务队列。worker 数就是并发上限。这说明 generator 可以像线程一样协作。
生产者把数据交给缓冲区而非直接调用消费者,双方通过中介交接,因而不必依赖对方的具体处理实现。生产者可继续生成,消费者按自身节奏取用;缓冲区同时吸收暂时的速率差。满空条件如何限制这种缓冲见 [[生产消费靠条件]]。
用信号量限制异步并发时,许可应覆盖从发起到完成、失败或取消的整个在途周期。
书中示例获取许可后,在提交异步调用后立即由外层finally释放;若调用尚未结束,这只能限制提交瞬间的并发,不能约束在途请求。应在终态回调统一释放,并处理提交失败时的释放路径。
通信双方速率不一致时,环形缓冲区可把突发输入暂存起来,让生产者和消费者解耦。发散:它只能吸收短期抖动,不能改变[[吞吐率决定数据系统]]这个硬约束。
读写索引相等既可能为空,也可能已绕一圈填满。可预留一个槽,使下一写位置等于读位置时判满,容量为N减1;也可另存长度或状态。选择不仅交换存储空间,还改变共享状态更新与同步要求,不能只给数组长度而忽略判满约定。
可联系[[环形缓冲吸收速率差]]理解条件与边界。
容量为2的幂且索引约定成立时,可用掩码处理回绕和距离,减少某些平台的除模成本。生产者、消费者分别更新索引仍需保证索引读取/发布及数据可见性的实际契约,volatile或单次写原子都不是任意并发模型的证明。原图分支式长度公式方向有误,写读成功路径也漏return,不能复制为成品。
可联系[[环形队列须区分满与空]]理解条件与边界。
结构图:
类图:空心三角表示原图的类型具体化,箭头说明调用或字段依赖;函数集合明确标为非原文类型。
classDiagram
class sCircularBuffer {
tElement* buf
uint16_t size
uint16_t read
uint16_t write
}
class BufferFunctions {
<<函数集合,非原文类型>>
uint16_t CBLengthData(sCircularBuffer*)
eError CBWrite(sCircularBuffer*,tElement)
eError CBRead(sCircularBuffer*,tElement*)
}
BufferFunctions ..> sCircularBuffer : 读取和更新索引
硬件FIFO用寄存器及状态承担部分队列管理,软件按满、空或阈值搬运。触发时须预留最坏响应时间内会消耗或到达的字节,再加服务和波动余量。10MHz、每字节8位时是0.8微秒每字节,3微秒约3.75字节;原文秒/毫秒混写不能照录,阈值也不只看入口延迟。
可联系[[中断延迟要计入完整负担]]理解条件与边界。
两块缓冲交替让DMA填充与CPU处理,避免为争用同一块内存而额外复制。必须知道哪块由谁拥有、何时完成以及处理是否赶在复用前结束。增大块能减少通知频率,同时增加等待时延和RAM占用;双缓冲不能修复长期处理率不足。
可联系[[DMA转移搬运而非算法责任]]理解条件与边界。
内存共享队列让CPU与设备按各自节奏提交和处理工作,可以减少同步等待。但队列容量有限,生产长期快于消费仍会用满并产生阻塞或其他背压。增加队列能改变短期缓冲能力,不能创造持续处理能力;还需要检查完成消费、资源释放和负载边界,而非假定异步后双方永远互不影响。
生产者只能向未占用槽位加入数据,消费者只能移走已存在数据。固定容量缓冲把生产和消费暂时解耦,但容量不足时必须等待或采用明确的丢弃等策略,不能靠无限积压解决长期速差。原书的单生产者单消费者模型强调满/空条件与双方状态协调。
Nginx 的进程通信选择共享内存、套接字频道和信号,都围绕一个底线:worker 不能因为通信睡眠太久,否则同进程大量连接会被拖住。发散:高并发服务的 IPC 设计,先问会不会阻塞数据面。
同一客户端可能被路由到不同限流实例,独立本地计数会让额度重复使用。粘性会话约束路由但削弱弹性,共享状态可统一观察配额;跨地域最终一致同步仍须接受传播期间的偏差。
多线程提升吞吐的根源在于调度:当一个执行流等待 I/O 或条件时,CPU 可切到其他线程继续工作。并发优化先看等待在哪里,而不是盲目加线程。
全局消息队列把分散服务的消息汇入统一调度入口,工作线程从队列取任务执行,从而利用多核。队列不仅是数据结构,也是负载分配策略。
对包含两端的 [start,end],元素数是 end-start+1。示例却用 end-start <= THRESHOLD 判断叶任务,因此最多会直接处理阈值加一项;这不影响求和正确性,但阈值口径应与粒度说明一致。递归结果如何合并见 [[子任务结果仍需归并]]。
两者解决的冗余不同。请求缓存针对一次请求内同一 key 被重复查询,用 JVM 缓存或 Hystrix 请求级缓存去重。请求合并把多个查询不同 key 的单次请求合成一次批量请求,减少网络往返。但要确认服务端批量接口是否真的并行处理;若内部只是循环串行,客户端并发多次单查反而可能更快。
服务调用多个下游时,除了改串行为并发,还可以把自己已获取、下游也需要的数据直接传过去,避免下游重复查询。例如配送至服务已有商品数据,调用三个下游时一并传入;下游没拿到时再按原方式自己查,不影响正确性。配送至服务通过并发调用、预取回传和超时降级,把 TP99 从约 1 秒降到 500ms 以下。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
编程语言类
书籍类型:经典原理
类别清单尚未核对
191 张卡片
来源书籍
JavaScript运行时与服务端工程类
书籍类型:工程实践
清单覆盖 5/6
174 张卡片
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
100 张卡片
来源书籍
机器人与嵌入式系统实战类
书籍类型:未标注
清单覆盖 7/7
297 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
242 张卡片
来源书籍
书籍类型:工程实践
58 张卡片
来源书籍
软硬件协同与硬件加速类
书籍类型:未标注
类别清单尚未核对
274 张卡片
来源书籍
高可用与云架构风险管理类。依据:全书主要处理服务拆分后的可用性、依赖故障、双活、演练与运行观测;云迁移并非本书核心内容,清单中未讲的维度如实记缺口。第13章虽提及Kubernetes和Service Mesh,本书并非以容器编排平台上的交付与运维为主要目标,故不按“云原生微服务实战类”核对。
书籍类型:工程实践
清单覆盖 6/7
379 张卡片
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较嵌入式系统在资源约束下的硬件抽象、驱动与外设通信、执行器控制、固件更新与低功耗设计。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
主题索引
比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。
主题索引
串口、SPI、I2C、并行与单总线在时序与拓扑上的取舍,PWM 与定时器怎样用时间换幅度,ADC 采样率与位数怎样决定数据负担,传感器校准、执行器驱动与显示刷新各自的约束。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类