高势分组是状态爆炸的根源
“势”是集合中不同元素的数量。即使[[流式聚合的寄存器化]]让每个分组只保留少量数值,高势键或复合键仍会产生大量分组状态。估算容量时要同时看单组状态大小、键的实际取值数与窗口寿命;本书建议无法全放本地内存时使用外部存储,并给状态设置 TTL,避免过期分组无限累积。
主题对照
有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。
“势”是集合中不同元素的数量。即使[[流式聚合的寄存器化]]让每个分组只保留少量数值,高势键或复合键仍会产生大量分组状态。估算容量时要同时看单组状态大小、键的实际取值数与窗口寿命;本书建议无法全放本地内存时使用外部存储,并给状态设置 TTL,避免过期分组无限累积。
流数据状态是窗口、乱序缓冲、流关联等处理过程中临时保留的原始事件,处理后通常清理;流信息状态是聚合值等分析结果,供后续事件读取和更新。前者为降低逐事件写盘开销,可优先放内存并在检查点持久化,容量不足时转外部存储;后者可能量大且保存较久,宜交给支持冷热管理和过期机制的数据库。存储位置取决于用途、生命周期与容量。
状态分片应考虑哪些键经常一起访问。Redis Cluster 可用哈希标签让同一用户的多个时间桶落在同一槽位,使多键操作能够在一个节点完成,也便于批量请求减少网络往返。标签过粗会让热门用户集中到少数节点,因此还要检查分布倾斜。局部性提高的是相关数据的访问效率,不意味着所有请求都无需网络。
流计算状态是应用运行后为后续计算积累的数据,包括关联窗口中的事件、聚合结果和 CEP 的模式进度。它与程序代码或静态配置不同,会随着事件到来持续改变。若这些数据只驻留内存,重启后便会丢失;需要恢复连续计算时,就必须设计持久化与恢复机制。状态管理因此直接影响计算正确性与故障恢复能力。
KeyedStream 按键把一条物理流划分为互不干扰的逻辑流;Keyed State 与具体键绑定,让同一算子处理不同键时读取各自状态。例如按 IP 统计设备数,每个 IP 应有独立计数或集合。设计状态时先确认键是否稳定、分布是否倾斜,再决定是否适合按键隔离。
Operator State 绑定算子的一个并行实例,适合存放由该实例负责的工作进度,例如消费分区偏移量;它的隔离维度是实例,而非业务键。扩缩容时实例和分区责任可能重新分配,因此状态如何重分配必须与并行度变化一起设计。它与按业务键隔离的 [[键控状态按键隔离]] 解决不同问题。
书中Storm由Nimbus分配和重分配任务,Supervisor按分配启动或停止工作进程,ZooKeeper保存分配和配置等少量协调状态。工作进程发现彼此之后直接传递元组,而不让所有事件经过协调服务。把控制状态与高流量数据路径分开,可避免把元数据协调器变成逐事件转发瓶颈。
与[[拓扑描述逻辑任务路由]]的联系:协调元数据与Worker直接事件通道分离落实运行职责。
Storm完成追踪需要两类通知:输出关联到哪些输入,称为anchoring;本节点对输入的处理已结束,称为acking。一个输入可以在本节点完成后确认,但只有其整个派生DAG都完成,来源才算成功。漏报依赖会过早确认来源,过早确认缓冲输入则会使失败后无法正确重放。
与[[从根重放替代中间队列]]的联系:锚定与确认分别建立派生依赖和标记节点完成。
对当前批次重新分区、计数或连接,不依赖旧状态,可直接重算;跨批累加、排名和索引更新则必须读取并保存历史状态,并处理重复提交。将两类计算分开,能把重试协议集中到有状态边界,避免给所有纯变换都背上持久事务责任。
与[[微批量折中]]的联系:纯批内重算与跨批状态更新需要不同恢复责任。
集群状态有三种放置方式:Redis 式计算与存储分离,两侧可独立扩展,但状态访问常经网络;Ignite 式计算与数据同进程,利用数据亲和性减少远程访问,却增加节点复杂度;本地状态后端配合分布式快照,日常读写在本地,重分配时从快照恢复。选型须比较远程访问成本、节点资源耦合和扩缩容恢复要求,具体能力还取决于框架版本。
有状态微服务把数据放内部(与业务逻辑同容器,常用本地磁盘键值存储如RocksDB)还是外部(独立数据库/存储服务),是性能与灵活性的置换。内部存储读写走本地磁盘或内存,吞吐量可达十几万甚至上百万请求/秒,伸缩责任交给基础设施,但磁盘容量运行时不好动态调整,面对周期性峰值流量容易浪费闲置空间。外部存储引入网络延迟,吞吐量可能因此骤降一两个数量级,但换来跨实例的完全数据局部性、独立于计算实例的伸缩,能复用组织已趟熟的数据库技术栈。发散:这是”数据和计算是否同地部署”这一经典权衡的具体投影。
物化状态是从事件流得到的投影,状态存储是保存当前业务数据和中间计算的位置。二者分开可说明恢复来源与当前可变表示的关系。内部存储与实例运行位置绑定,外部存储由独立服务提供;选择要看访问模式、容量、延迟和恢复需求,而非只看团队熟悉哪种数据库。
内部状态按实例分区所有权物化,重新分配后应清理已撤销分区并重建新分区。全局状态则让每实例物化所有分区,适合小型、少变的查询维表。全局副本不宜让每实例独立驱动同一业务输出,否则会重复触发;共用查询数据与共享业务执行权是不同问题。
内部状态把计算和本地数据作为一个扩缩单元,通常减少网络等待。网络挂载卷虽表现为本地路径,性能和持久性仍不同;可重新挂载减少恢复工作,也可能增加访问延迟。热备以额外磁盘和复制流量缩短接管时间,仍需考虑检测、分配和追赶。书中吞吐数字属于示例,不能作为所有SSD或网络卷的保证。
外部库让实例访问完整数据集,方便跨键查询,但实例仍按独立事件时间处理。A实例关联一个B实例尚未物化的实体会查不到,事后重放时却可能命中,导致结果不同。读后写一致性可改善存储可见性,不能替代跨输入的时间协调。共享平台可复用,微服务数据及其所有权仍应逻辑隔离。
状态接口若只服务某一种处理模型,就难在其他拓扑中复用。Storm 早期 Trident 的状态接口能处理批次状态与事务一致性,但非 Trident Topology 无法直接使用,业务可能另建 Redis 等状态管理。较通用的流接口尝试把窗口、关联和键控状态能力提供给更多处理路径。选框架时应检查状态 API 的适用范围,而非只看其是否“支持状态”。
按键保存历史状态时,输出完整状态表与只输出本批变化的键,是两种不同的结果范围。书中的 updateStateByKey 返回全部历史状态,而 mapWithState 只返回本批更新信息。若下游只关心实时变化,后者可减少输出量;若要生成完整报表,则需能获得全量状态。选接口要先明确下游消费的是快照还是增量。
范围内的列可能很多,客户端不应先把全部列载入内存再求和。书中的ColumnSliceIterator按需缓冲并分批取列,调用方逐项累加,使中间内存不必随整个范围结果同时增长。它控制的是客户端物化规模,不会让查询需要扫描的数据量凭空消失。
与[[共置排序数据以扫描代替寻道]]的联系:客户端按需批量迭代控制范围结果的物化内存。
Storm用Nimbus分发和分配任务,Supervisor管理Worker,ZooKeeper协调并保存部分管理状态。管理进程重启能恢复调度信息,不表示应用计数器、连接和任意内存对象也都已持久化。业务状态恢复仍须依赖状态后端、检查点及可重放输入。
只为故障节点启动备用服务,能恢复执行能力,却无法凭空重建原节点内存计数等中间结果。对于有状态流任务,需要状态副本或检查点和输入重放;对确实无状态且输入可重试的任务,要求又不同。先分类状态与副作用,再选择恢复模式。
热备把同一输入同时送给主副两个计算实例,减少冷启动恢复时间,却加倍部分资源消耗。若依赖输入顺序、时钟或外部服务,两边状态未必自然相同;输出还须避免双份提交。热备架构不自动等于只有一个可见结果。
检查点保存中间状态,恢复时还要知道对应输入位置并从那里重放。检查点较稀疏会增加重算,不一定导致永久丢失,前提是输入日志仍在且状态与位置一致;若没有可重放数据,检查点之后的状态才可能无法补回。快照频率需按恢复时间与持久化成本权衡。
Trident以稳定事务ID识别批次,并把已提交ID与聚合状态原子保存,配合有序提交避免同一批重放再次生效。Transactional Spout还需保证同ID重放同内容,Opaque State有额外前后状态要求。Trident是处理及状态抽象,不是所有应用直接把数据存入的单一数据库。
要求状态提交顺序一致不表示一批必须走完整个拓扑后才能启动下一批。Trident可以让不同批次在不同节点流水执行,并在提交阶段维护所需次序。应区分并行计算、状态更新顺序与输出可见性;只看全局有序这个条件就推断全部计算串行会低估可用并发。
MillWheel强方式先持久化状态及输出再确认上游,节点可独立重试下游;弱方式可暂不持久化输出,但要等待下游确认或在等待过久时补做持久化,才可释放上游重放责任。“可选持久化”不等于随时丢弃未确认数据,可靠性成本在存储与上下游依赖之间转移。
Samza可把状态保存在本地LevelDB等存储,同时把变化写入Kafka日志,在节点失效后重建状态。本地数据库解决高效状态访问,远端日志解决跨机器恢复;状态更新、变更日志和消费偏移之间的边界决定重放是否重复或漏算。不能把本地落盘直接当成分布式容错完成。
在每两个处理阶段间放持久队列,可以提供局部恢复点,却让每条事件多次经第三方落盘、传输并增加管理对象。调整拓扑还要协调旧中间队列,路由与部署代码可能超过实际业务逻辑。更高层拓扑把任务发现、消息传输与重试统一管理,价值是集中承担这些责任,并非消除故障和状态协议。
与[[队列解耦速度]]的联系:每阶段持久队列在恢复点之外也带来延迟和运维成本。
检查点不仅保存状态,还要保存该状态对应的输入进度。任务失败时从相应位置重放后续输入,才能补齐未纳入检查点的更新;在框架支持的情况下,只重算失去状态的分区,保留已最新的其他分区。恢复前提是输入仍可重放、计算可按协议重现,以及进度与状态是一致的恢复点。
与[[重试安全不等于状态持久]]的联系:状态检查点绑定源位置使丢失部分能从对应输入恢复。
计算节点把状态留在本地可避免正常处理时的远程读写;为故障恢复或重新分配数据分片,需定期把本地状态做快照并保存到共享存储。节点重启或分片归属变化后,新负责节点读取对应快照并恢复状态,才能继续计算。这种方案把日常访问成本转移为快照与恢复成本;具体恢复一致性仍需单独核对。
物化状态(本地状态表)和状态存储都是可变、易失的,实例故障就得重建。变更日志把状态表每次变更写成事件持久化到事件代理里,相当于给状态开了份外部、可压缩的检查点——只保留每个键的最新值,不需要完整历史。实例故障恢复或扩容加实例时,新实例只需重放变更日志就能重建状态,不必从最初输入事件流重新跑一遍全部业务逻辑,大幅缩短恢复时间。发散:这是数据库预写日志/快照机制在流处理里的对应物,加载”最终结果的变更记录”永远比”从头重放原始输入”更快。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
110 张卡片
来源书籍
系统架构类
书籍类型:未标注
清单覆盖 6/6
92 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 3/6
125 张卡片
来源书籍
书籍类型:未标注
424 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
173 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
书籍类型:未标注
62 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
194 张卡片
与 7 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类