主题对照

状态与容错:状态存哪、错了怎么恢复

有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。

58 张卡片 · 8 本书

本层 58 张卡片 · 含下级覆盖 58 张卡片

本主题的卡片

实时流计算系统设计与实现 · 第4章 数据处理

高势分组是状态爆炸的根源

“势”是集合中不同元素的数量。即使[[流式聚合的寄存器化]]让每个分组只保留少量数值,高势键或复合键仍会产生大量分组状态。估算容量时要同时看单组状态大小、键的实际取值数与窗口寿命;本书建议无法全放本地内存时使用外部存储,并给状态设置 TTL,避免过期分组无限累积。

查看卡片与原书出处

实时流计算系统设计与实现 · 第5章 实时流计算的状态管理

状态类型决定存储策略

流数据状态是窗口、乱序缓冲、流关联等处理过程中临时保留的原始事件,处理后通常清理;流信息状态是聚合值等分析结果,供后续事件读取和更新。前者为降低逐事件写盘开销,可优先放内存并在检查点持久化,容量不足时转外部存储;后者可能量大且保存较久,宜交给支持冷热管理和过期机制的数据库。存储位置取决于用途、生命周期与容量。

查看卡片与原书出处

实时流计算系统设计与实现 · 第5章 实时流计算的状态管理

状态局部性降低批量开销

状态分片应考虑哪些键经常一起访问。Redis Cluster 可用哈希标签让同一用户的多个时间桶落在同一槽位,使多键操作能够在一个节点完成,也便于批量请求减少网络往返。标签过粗会让热门用户集中到少数节点,因此还要检查分布倾斜。局部性提高的是相关数据的访问效率,不意味着所有请求都无需网络。

查看卡片与原书出处

实时流计算系统设计与实现 · 第5章 实时流计算的状态管理

流计算状态是运行中积累的数据

流计算状态是应用运行后为后续计算积累的数据,包括关联窗口中的事件、聚合结果和 CEP 的模式进度。它与程序代码或静态配置不同,会随着事件到来持续改变。若这些数据只驻留内存,重启后便会丢失;需要恢复连续计算时,就必须设计持久化与恢复机制。状态管理因此直接影响计算正确性与故障恢复能力。

查看卡片与原书出处

实时流计算系统设计与实现 · 第6章 开源流计算框架

键控状态按键隔离

KeyedStream 按键把一条物理流划分为互不干扰的逻辑流;Keyed State 与具体键绑定,让同一算子处理不同键时读取各自状态。例如按 IP 统计设备数,每个 IP 应有独立计数或集合。设计状态时先确认键是否稳定、分布是否倾斜,再决定是否适合按键隔离。

查看卡片与原书出处

实时流计算系统设计与实现 · 第6章 开源流计算框架

算子状态按并行实例划分

Operator State 绑定算子的一个并行实例,适合存放由该实例负责的工作进度,例如消费分区偏移量;它的隔离维度是实例,而非业务键。扩缩容时实例和分区责任可能重新分配,因此状态如何重分配必须与并行度变化一起设计。它与按业务键隔离的 [[键控状态按键隔离]] 解决不同问题。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理:示例

协调状态与事件通道分离

书中Storm由Nimbus分配和重分配任务,Supervisor按分配启动或停止工作进程,ZooKeeper保存分配和配置等少量协调状态。工作进程发现彼此之后直接传递元组,而不让所有事件经过协调服务。把控制状态与高流量数据路径分开,可避免把元数据协调器变成逐事件转发瓶颈。

与[[拓扑描述逻辑任务路由]]的联系:协调元数据与Worker直接事件通道分离落实运行职责。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理:示例

派生依赖与完成分开上报

Storm完成追踪需要两类通知:输出关联到哪些输入,称为anchoring;本节点对输入的处理已结束,称为acking。一个输入可以在本节点完成后确认,但只有其整个派生DAG都完成,来源才算成功。漏报依赖会过早确认来源,过早确认缓冲输入则会使失败后无法正确重放。

与[[从根重放替代中间队列]]的联系:锚定与确认分别建立派生依赖和标记节点完成。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理

本批计算与跨批状态分开

对当前批次重新分区、计数或连接,不依赖旧状态,可直接重算;跨批累加、排名和索引更新则必须读取并保存历史状态,并处理重复提交。将两类计算分开,能把重试协议集中到有状态边界,避免给所有纯变换都背上持久事务责任。

与[[微批量折中]]的联系:纯批内重算与跨批状态更新需要不同恢复责任。

查看卡片与原书出处

实时流计算系统设计与实现 · 第5章 实时流计算的状态管理

分布式状态管理的三种架构模式

集群状态有三种放置方式:Redis 式计算与存储分离,两侧可独立扩展,但状态访问常经网络;Ignite 式计算与数据同进程,利用数据亲和性减少远程访问,却增加节点复杂度;本地状态后端配合分布式快照,日常读写在本地,重分配时从快照恢复。选型须比较远程访问成本、节点资源耦合和扩缩容恢复要求,具体能力还取决于框架版本。

查看卡片与原书出处

微服务与事件驱动架构 · 有状态的流

内部状态存储与外部状态存储的权衡

有状态微服务把数据放内部(与业务逻辑同容器,常用本地磁盘键值存储如RocksDB)还是外部(独立数据库/存储服务),是性能与灵活性的置换。内部存储读写走本地磁盘或内存,吞吐量可达十几万甚至上百万请求/秒,伸缩责任交给基础设施,但磁盘容量运行时不好动态调整,面对周期性峰值流量容易浪费闲置空间。外部存储引入网络延迟,吞吐量可能因此骤降一两个数量级,但换来跨实例的完全数据局部性、独立于计算实例的伸缩,能复用组织已趟熟的数据库技术栈。发散:这是”数据和计算是否同地部署”这一经典权衡的具体投影。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming

物化状态与状态存储

物化状态是从事件流得到的投影,状态存储是保存当前业务数据和中间计算的位置。二者分开可说明恢复来源与当前可变表示的关系。内部存储与实例运行位置绑定,外部存储由独立服务提供;选择要看访问模式、容量、延迟和恢复需求,而非只看团队熟悉哪种数据库。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming

内部状态与全局维表

内部状态按实例分区所有权物化,重新分配后应清理已撤销分区并重建新分区。全局状态则让每实例物化所有分区,适合小型、少变的查询维表。全局副本不宜让每实例独立驱动同一业务输出,否则会重复触发;共用查询数据与共享业务执行权是不同问题。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming

本地状态的性能与恢复

内部状态把计算和本地数据作为一个扩缩单元,通常减少网络等待。网络挂载卷虽表现为本地路径,性能和持久性仍不同;可重新挂载减少恢复工作,也可能增加访问延迟。热备以额外磁盘和复制流量缩短接管时间,仍需考虑检测、分配和追赶。书中吞吐数字属于示例,不能作为所有SSD或网络卷的保证。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming

外部状态的时间竞态

外部库让实例访问完整数据集,方便跨键查询,但实例仍按独立事件时间处理。A实例关联一个B实例尚未物化的实体会查不到,事后重放时却可能命中,导致结果不同。读后写一致性可改善存储可见性,不能替代跨输入的时间协调。共享平台可复用,微服务数据及其所有权仍应逻辑隔离。

查看卡片与原书出处

实时流计算系统设计与实现 · 第6章 开源流计算框架

状态接口耦合限制处理模型复用

状态接口若只服务某一种处理模型,就难在其他拓扑中复用。Storm 早期 Trident 的状态接口能处理批次状态与事务一致性,但非 Trident Topology 无法直接使用,业务可能另建 Redis 等状态管理。较通用的流接口尝试把窗口、关联和键控状态能力提供给更多处理路径。选框架时应检查状态 API 的适用范围,而非只看其是否“支持状态”。

查看卡片与原书出处

实时流计算系统设计与实现 · 第6章 开源流计算框架

状态更新可只输出变化键

按键保存历史状态时,输出完整状态表与只输出本批变化的键,是两种不同的结果范围。书中的 updateStateByKey 返回全部历史状态,而 mapWithState 只返回本批更新信息。若下游只关心实时变化,后者可减少输出量;若要生成完整报表,则需能获得全量状态。选接口要先明确下游消费的是快照还是增量。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图:示例

流式迭代限制读取内存

范围内的列可能很多,客户端不应先把全部列载入内存再求和。书中的ColumnSliceIterator按需缓冲并分批取列,调用方逐项累加,使中间内存不必随整个范围结果同时增长。它控制的是客户端物化规模,不会让查询需要扫描的数据量凭空消失。

与[[共置排序数据以扫描代替寻道]]的联系:客户端按需批量迭代控制范围结果的物化内存。

查看卡片与原书出处

大数据日知录_架构与算法 · 第12章 流式计算

控制状态恢复不等于业务状态

Storm用Nimbus分发和分配任务,Supervisor管理Worker,ZooKeeper协调并保存部分管理状态。管理进程重启能恢复调度信息,不表示应用计数器、连接和任意内存对象也都已持久化。业务状态恢复仍须依赖状态后端、检查点及可重放输入。

查看卡片与原书出处

大数据日知录_架构与算法 · 第12章 流式计算

备用进程不自动恢复状态

只为故障节点启动备用服务,能恢复执行能力,却无法凭空重建原节点内存计数等中间结果。对于有状态流任务,需要状态副本或检查点和输入重放;对确实无状态且输入可重试的任务,要求又不同。先分类状态与副作用,再选择恢复模式。

查看卡片与原书出处

大数据日知录_架构与算法 · 第12章 流式计算

双路热备需要确定性与去重

热备把同一输入同时送给主副两个计算实例,减少冷启动恢复时间,却加倍部分资源消耗。若依赖输入顺序、时钟或外部服务,两边状态未必自然相同;输出还须避免双份提交。热备架构不自动等于只有一个可见结果。

查看卡片与原书出处

大数据日知录_架构与算法 · 第12章 流式计算

检查点须对齐可重放输入

检查点保存中间状态,恢复时还要知道对应输入位置并从那里重放。检查点较稀疏会增加重算,不一定导致永久丢失,前提是输入日志仍在且状态与位置一致;若没有可重放数据,检查点之后的状态才可能无法补回。快照频率需按恢复时间与持久化成本权衡。

查看卡片与原书出处

大数据日知录_架构与算法 · 第12章 流式计算

批次ID与状态原子持久化

Trident以稳定事务ID识别批次,并把已提交ID与聚合状态原子保存,配合有序提交避免同一批重放再次生效。Transactional Spout还需保证同ID重放同内容,Opaque State有额外前后状态要求。Trident是处理及状态抽象,不是所有应用直接把数据存入的单一数据库。

查看卡片与原书出处

大数据日知录_架构与算法 · 第12章 流式计算

流水执行与有序提交可并存

要求状态提交顺序一致不表示一批必须走完整个拓扑后才能启动下一批。Trident可以让不同批次在不同节点流水执行,并在提交阶段维护所需次序。应区分并行计算、状态更新顺序与输出可见性;只看全局有序这个条件就推断全部计算串行会低估可用并发。

查看卡片与原书出处

大数据日知录_架构与算法 · 第12章 流式计算

弱持久方式保留确认链

MillWheel强方式先持久化状态及输出再确认上游,节点可独立重试下游;弱方式可暂不持久化输出,但要等待下游确认或在等待过久时补做持久化,才可释放上游重放责任。“可选持久化”不等于随时丢弃未确认数据,可靠性成本在存储与上下游依赖之间转移。

查看卡片与原书出处

大数据日知录_架构与算法 · 第12章 流式计算

本地状态配合变更日志恢复

Samza可把状态保存在本地LevelDB等存储,同时把变化写入Kafka日志,在节点失效后重建状态。本地数据库解决高效状态访问,远端日志解决跨机器恢复;状态更新、变更日志和消费偏移之间的边界决定重放是否重复或漏算。不能把本地落盘直接当成分布式容错完成。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理

逐阶段持久化增加管道负担

在每两个处理阶段间放持久队列,可以提供局部恢复点,却让每条事件多次经第三方落盘、传输并增加管理对象。调整拓扑还要协调旧中间队列,路由与部署代码可能超过实际业务逻辑。更高层拓扑把任务发现、消息传输与重试统一管理,价值是集中承担这些责任,并非消除故障和状态协议。

与[[队列解耦速度]]的联系:每阶段持久队列在恢复点之外也带来延迟和运维成本。

查看卡片与原书出处

大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理:示例

检查点绑定输入位置

检查点不仅保存状态,还要保存该状态对应的输入进度。任务失败时从相应位置重放后续输入,才能补齐未纳入检查点的更新;在框架支持的情况下,只重算失去状态的分区,保留已最新的其他分区。恢复前提是输入仍可重放、计算可按协议重现,以及进度与状态是一致的恢复点。

与[[重试安全不等于状态持久]]的联系:状态检查点绑定源位置使丢失部分能从对应输入恢复。

查看卡片与原书出处

实时流计算系统设计与实现 · 第5章 实时流计算的状态管理

本地状态快照支持重分配恢复

计算节点把状态留在本地可避免正常处理时的远程读写;为故障恢复或重新分配数据分片,需定期把本地状态做快照并保存到共享存储。节点重启或分片归属变化后,新负责节点读取对应快照并恢复状态,才能继续计算。这种方案把日常访问成本转移为快照与恢复成本;具体恢复一致性仍需单独核对。

查看卡片与原书出处

微服务与事件驱动架构 · 有状态的流

变更日志是状态恢复的检查点

物化状态(本地状态表)和状态存储都是可变、易失的,实例故障就得重建。变更日志把状态表每次变更写成事件持久化到事件代理里,相当于给状态开了份外部、可压缩的检查点——只保留每个键的最新值,不需要完整历史。实例故障恢复或扩容加实例时,新实例只需重放变更日志就能重建状态,不必从最初输入事件流重新跑一遍全部业务逻辑,大幅缩短恢复时间。发散:这是数据库预写日志/快照机制在流处理里的对应物,加载”最终结果的变更记录”永远比”从头重放原始输入”更快。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1777 流式常驻计算 路径上下文 大数据日知录_架构与算法 · 流式计算 理解等级:未标注
  • 展开或收起下级: 1786 重算换简单 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层 理解等级:未标注
    • 展开或收起下级: 1786.c 管道图思维 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层 理解等级:未标注
      • 展开或收起下级: 1786.c.8 拓扑描述逻辑任务路由 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理 理解等级:中级
        • 1786.c.8.a 协调状态与事件通道分离 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理:示例 理解等级:中级
  • 展开或收起下级: 1787 规范化先于聚合 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:架构和算法 理解等级:未标注
    • 展开或收起下级: 1787.c 区分三种网页分析指标 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的新范式 理解等级:初级
      • 展开或收起下级: 1787.c.1 会话口径先于跳出率 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 批处理层示例:架构和算法 理解等级:中级
        • 1787.c.1.b 无事发生也需要状态判断 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理 理解等级:中级
  • 展开或收起下级: 1788 服务层只服务视图 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述 理解等级:未标注
    • 展开或收起下级: 1788.a 预计算的取舍 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述 理解等级:未标注
      • 展开或收起下级: 1788.a.3 共置排序数据以扫描代替寻道 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 服务层概述 理解等级:中级
        • 1788.a.3.b 流式迭代限制读取内存 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 实时视图:示例 理解等级:中级
  • 展开或收起下级: 1790 队列解耦速度 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理 理解等级:中级
    • 展开或收起下级: 1790.b 至少一次需幂等 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理 理解等级:未标注
      • 展开或收起下级: 1790.b.1 从根重放替代中间队列 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理 理解等级:中级
        • 1790.b.1.a 派生依赖与完成分开上报 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理:示例 理解等级:中级
    • 1790.f 逐阶段持久化增加管道负担 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 队列和流处理 理解等级:中级
  • 展开或收起下级: 1791 微批量折中 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理 理解等级:未标注
    • 展开或收起下级: 1791.a 批次标识防重复 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理 理解等级:中级
      • 1791.a.1 状态更新抽象承接重试协议 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理 理解等级:中级
      • 展开或收起下级: 1791.a.2 重试安全不等于状态持久 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理:示例 理解等级:中级
        • 1791.a.2.b 检查点绑定输入位置 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理:示例 理解等级:中级
    • 1791.d 本批计算与跨批状态分开 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 微批量流处理 理解等级:中级
  • 展开或收起下级: 1980 事件建模范式针对状态迁移建模 路径上下文 解构领域驱动设计 理解等级:未标注
    • 展开或收起下级: 1980.z 事件流化跨界为本地 路径上下文 解构领域驱动设计 理解等级:未标注
      • 展开或收起下级: 1980.z.1 耐久事件连接服务 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Why Event-Driven Microservices 理解等级:中级
        • 展开或收起下级: 1980.z.1.e 重型框架的独立运行层 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
          • 1980.z.1.e.2 检查点对齐键状态进度 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:高级
      • 展开或收起下级: 1980.z.4 消费者拥有查询模型 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Why Event-Driven Microservices 理解等级:中级
        • 展开或收起下级: 1980.z.4.b 流表对偶与物化 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Event-Driven Microservice Fundamentals 理解等级:中级
          • 展开或收起下级: 1980.z.4.b.3 物化状态与状态存储 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming 理解等级:中级
            • 1980.z.4.b.3.a Changelog恢复计算结果 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming 理解等级:中级
            • 1980.z.4.b.3.b 内部状态与全局维表 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming 理解等级:中级
            • 1980.z.4.b.3.c 本地状态的性能与恢复 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming 理解等级:高级
            • 1980.z.4.b.3.d 外部状态的时间竞态 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming 理解等级:高级
            • 1980.z.4.b.3.e 快照须绑定消费进度 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming 理解等级:高级
            • 1980.z.4.b.3.f 重建与迁移状态的取舍 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Stateful Streaming 理解等级:高级
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.r 无界输入的连锁反应 路径上下文 数据密集型应用系统设计 · 流处理 理解等级:未标注
      • 展开或收起下级: 2280.r.18 流处理的恰好一次 主题成员 数据密集型应用系统设计 · 流处理 理解等级:未标注
        • 2280.r.18.a 流处理器状态的恢复 主题成员 数据密集型应用系统设计 · 第十一章:流处理 理解等级:中级
  • 展开或收起下级: 2744 埋点先写本地日志 路径上下文 从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战 · 数据收集 理解等级:未标注
    • 2744.c 精确一次靠框架保证 主题成员 从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战 · 数据收集 理解等级:未标注
  • 展开或收起下级: 3092 流关联操作为什么容易变慢 路径上下文 实时流计算系统设计与实现 · 第4章 数据处理 理解等级:未标注
  • 展开或收起下级: 3100 状态类型决定存储策略 主题成员 实时流计算系统设计与实现 · 第5章 实时流计算的状态管理 理解等级:未标注
  • 展开或收起下级: 3101 流计算状态是运行中积累的数据 主题成员 实时流计算系统设计与实现 · 第5章 实时流计算的状态管理 理解等级:初级
  • 展开或收起下级: 3102 流计算平台五维评估 路径上下文 实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
  • 展开或收起下级: 3103 微批把连续流转成RDD序列 路径上下文 实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
  • 展开或收起下级: 3104 Samza把流存储交给消息系统 路径上下文 实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
  • 展开或收起下级: 3105 流应用由源转换和汇组成 路径上下文 实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:初级
  • 5420 控制状态恢复不等于业务状态 主题成员 大数据日知录_架构与算法 · 第12章 流式计算 理解等级:高级
  • 展开或收起下级: 5423 Samza分开消息与资源管理 路径上下文 大数据日知录_架构与算法 · 第12章 流式计算 理解等级:中级
  • 5424 备用进程不自动恢复状态 主题成员 大数据日知录_架构与算法 · 第12章 流式计算 理解等级:高级
  • 5425 双路热备需要确定性与去重 主题成员 大数据日知录_架构与算法 · 第12章 流式计算 理解等级:中级
  • 5426 检查点须对齐可重放输入 主题成员 大数据日知录_架构与算法 · 第12章 流式计算 理解等级:中级

未编号或编号待整理

来源书籍

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书