主题对照

框架与集成:Storm、Spark 与消息系统怎么接

具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。

54 张卡片 · 12 本书

本层 54 张卡片 · 含下级覆盖 54 张卡片

本主题的卡片

RocketMQ实战与原理解析 (云栖社区系列) · 和其他系统交互

流处理并行需连接器

在程序里单独启动 RocketMQ Consumer、再启动 Spark 或 Flink 客户端,只完成消息收发与框架接入。若要使用流处理框架自身的并行任务分配,需要适配 Connector。接入成功和进入框架的并行调度是两级能力;原书所列连接器项目状态仅反映出版时,不当作现状。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka应用

Streams在应用内构建处理拓扑

本书 Kafka 2.0.0 的 Kafka Streams 是嵌入应用程序的流处理客户端库:从输入主题读取记录,按转换操作组成处理拓扑,再把结果写入输出主题或外部系统。它能做逐事件处理、窗口、连接和有状态聚合,而不仅把 Kafka 当数据来源。书中的单词统计拓扑从 streams-plaintext-input 读取文本,拆词、按词分组计数,再写入 streams-wordcount-output;输入 hello kafka streams 后输出各词计数 1,继续输入 I love kafka streams 后 kafka 和 streams 更新为 2。application.id 用于协调应用实例并命名内部资源,不能把不同应用随意共用同一 ID。此卡解释原书示例,未运行程序。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

两种流处理入口不同

Spark Streaming 是 Spark Core API 的流处理扩展;Structured Streaming 则建立在 Spark SQL 上,沿用结构化数据的 DataFrame/Dataset 抽象。两者都能处理流数据,但选 Kafka 集成方式时,不能把两套编程入口的模型和示例混用。此处是本书基于 Spark 2.3.1 的分类,具体接口仍需按所用版本核对。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

两种接入方式有不同边界

本书 Spark 2.3.1 语境下,Spark Streaming 接入 Kafka 有 Receiver 与 Direct 两条路径。Receiver 先由接收器取得消息,再交给 Spark;为降低任务异常造成的数据丢失风险,可先写 WAL 再更新 Kafka 消费位移,但故障窗口可能让同一消息再次被拉取。其 RDD 分区与 Kafka 分区不对应,单纯增加 Kafka 分区不会等量提高 Spark 计算并行度。Direct 按 Kafka 分区位移范围形成批次,并由应用管理处理位移,省去另一份 WAL。两者都要单独处理输出端的重复副作用。

结构图:

flowchart TB
    K[Kafka 数据] --> R[Receiver 接收]
    R --> W[WAL 持久化]
    W --> A[更新 Kafka 消费位移]
    K --> D[Direct 按分区位移读取]
    D --> O[应用管理处理位移]
    A --> S[Spark 批次处理]
    O --> S
查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

Direct不自动实现精确一次

Direct 模式减少了接收端重复读取 Kafka 数据的机会,但这只约束读取环节。若 Spark 已把一个批次的结果写入外部系统,却在记录处理位移前失败,重试仍可能再次写出该批次。要获得端到端精确一次效果,必须把输出副作用与位移恢复一起设计,例如让外部写入幂等,或使用能覆盖这两个动作的事务。不能仅凭 createDirectStream 就宣称整个处理链精确一次。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

混洗前保存消费位移范围

Direct 接入时,Kafka 分区与初始 Spark RDD 分区的对应关系,可用于定位当前批次的消费位移范围。reduceByKey 一类混洗会重新分配数据,之后已不能依靠输出 RDD 的分区反推出原 Kafka 分区。若要记录监控或检查点所需的位移,应在创建 DStream 后、执行混洗前取出原始范围,并区分范围上界是不包含的下一位移。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

位置与订阅策略分工不同

在本书 Spark 2.3.1 的 createDirectStream 接口中,位置策略决定 Kafka 分区交给哪些 Spark 执行器:可按 broker 同机放置、均匀分配,或指定分区到主机的映射。消费策略决定读取哪些分区:按主题集合、主题名模式,或明确分区列表订阅。前者解决计算放在哪里,后者解决读什么;把两类配置混为一谈,会误判扩容或订阅范围的效果。具体类名与行为须按所用 Spark 版本复核。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

Schema让结构化计算可优化

普通 RDD 即使声明了 Person 类型,Spark 也未必知道对象内部有哪些字段。DataFrame 把数据组织成有名称、类型的列;在 Scala API 中,它是 Dataset[Row] 的别名。Dataset 还可保存强类型对象。结构信息使 Spark SQL 能理解列和运算,从而做 RDD API 缺少的结构化优化。接 Kafka 数据后,若要按字段查询,应先形成可信的 Schema,而不是仅把原始字节放入 RDD。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

输出模式决定结果范围

Structured Streaming 的输出模式决定每次触发时向下游交付哪部分查询结果:Complete 输出当前完整结果表,Update 输出相比上次变动的结果,Append 只追加新结果。比如按词计数且选择 Complete,每次会再次输出已有词的当前计数;下游不能把这些记录误当成只出现一次的新词。具体模式是否适用于某个查询,还要按所用 Spark 版本和查询类型验证。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

流与批查询用不同入口

Structured Streaming 接 Kafka 时,持续消费的流查询使用 readStream;有明确起止位移的批查询使用 read,并以 startingOffsets、endingOffsets 界定读取范围。两者虽都得到 DataFrame/Dataset,但查询生命周期不同:批查询要界定一个有限输入,流查询要持续跟踪新数据。不能把批查询的结束位移选项直接当成流处理进度管理方案。接口和选项含义需按所用 Spark 版本复核。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

Kafka值需显式解码

在本书的 Kafka Structured Streaming 示例中,读出的 value 仍是字节数据;若后续要把它当字符串做频次统计,须显式选择并转换该列,如 CAST(value AS STRING)。Kafka 里的序列化格式与 Spark 表列类型是两层契约:如果上游并非按文本编码,直接强转字符串不能得到正确业务值,应该先按实际格式解码并确认 Schema。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

流查询进度看Spark自身

本书 Spark 2.3.1 的 Structured Streaming Kafka 源不会按普通 Kafka 消费者方式提交位移,也不允许直接设置 group.id。因此,依赖 Kafka 消费组提交位移估算此查询进度会失真;应读取 Spark 流查询自身的 status、lastProgress 或近期进度,并按其输入、处理指标建立监控。这里讨论的是该版本集成方式,不推断所有 Spark/Kafka 组合的当前行为。

查看卡片与原书出处

深入理解Kafka:核心设计与实践原理 2019 · Kafka与Spark的集成

进度监听器解耦监控链路

Structured Streaming 可用查询监听器在开始、结束及每次处理进度变化时取得事件。把进度信息异步写入监控主题,再由独立采集器处理和展示,可以避免每个业务查询都直接承担展示逻辑。这个方案的前提是监控消息能被可靠传递,且采集链路故障不会反过来阻塞核心查询;原书给出的是架构示例,不保证这些运行条件已自动满足。

结构图:

flowchart LR
    Q[流查询] --> L[进度监听器]
    L --> T[Kafka 监控主题]
    T --> C[指标采集器]
    C --> S[存储与处理]
    S --> V[图形展示]
查看卡片与原书出处

大数据技术体系详解_原理、架构与实践 · 流式实时计算引擎

Storm与Spark Streaming的一致性语义与吞吐延迟对比

Storm 用 acker 超时重发实现至少一次,故可能重复。书中说明 Spark Streaming 微批在不考虑重试时可按批处理一次;故障重试及外部写入使 Kafka+Spark Streaming 本身不能保证端到端恰好一次。若业务允许重放,结果写入应按唯一标识去重或具备幂等性。逐条与微批在延迟、吞吐上有取舍,书中的毫秒、秒级及倍数只描述当时方案,选型需实测。

结构图:

flowchart LR
  A["一致性语义严格程度"]
  A --> A1["at most once<br/>可能丢数据"]
  A --> A2["at least once<br/>可能重复,最常用"]
  A --> A3["exactly once<br/>理想,真实环境难以严格达成"]
  A2 -.->|"Storm(acker,重发机制天然产生重复)"| A2
  A3 -.->|"微批内部与外部写入须分开核对"| A3
  B["吞吐率与延迟权衡"]
  B --> B1["Storm:逐条处理,侧重低延迟"]
  B --> B2["Spark Streaming:微批处理,侧重吞吐"]
查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices

重型框架的独立运行层

重型框架依靠独立集群提供资源调度、节点通信、状态和故障恢复,应用拓扑被拆成任务交给工作节点。它擅长大规模分析,但在代理与容器平台外新增运行层。评估时要核验语言、实体长期物化、关联和部署能力,不能把适合窗口分析直接推成适合所有微服务。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices

集群部署与作业管理

托管降低自运维负担,独立集群提供统一资源池,容器集成可让每作业拥有隔离资源。驱动模式把协调进程作为可部署应用,集群模式按返回的作业ID管理运行与终止。选择应使发布、停止、回滚和故障恢复纳入同一业务部署单元,避免仅提交成功却失去生命周期控制。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices

在线扩缩须保护Shuffle

动态增加或移除执行器时,下游仍可能读取上游生成的shuffle数据;若直接销毁上游和临时文件,就会破坏计算。外部shuffle服务或保留仍被引用的执行器可隔离此生命周期。另一方案是暂停、保存一致检查点并用新并行度恢复。应用并行度与集群可用容量是两个扩缩层次,必须同时满足。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices

轻型框架复用代理与平台

轻型框架把流处理能力作为库嵌入普通微服务,用代理提供内部流通信与changelog,用容器平台提供部署和资源管理。它不需另建专属处理集群,扩缩通常靠消费组分配分区。代价是更深的代理集成与语言生态约束;“轻”描述运行结构,不表示无需状态、恢复或容量治理。

查看卡片与原书出处

Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices

内部流解耦Shuffle实例

重分区将事件写入代理内部流,同键汇入相同分区,再由下游读取。上游实例变化不会立即使下游失去临时数据来源,因此代理承担类似外部shuffle服务的角色。扩缩仍须重分配内部和输入分区,恢复changelog后再消费;热副本缩短状态装载,不免除故障检测与交接。

查看卡片与原书出处

微服务与事件驱动架构 · 使用重量级框架的微服务

重量级流框架与微服务的设计错配

Spark/Flink/Storm脱胎于批处理分析工具Hadoop,设计初衷是”近实时对海量数据做分析决策”,而非”运行成百上千个独立小巧的业务微服务”。错配体现在细节上:默认需要专用资源集群而非仅靠事件代理和容器编排就能跑,增加额外运维层;大多数框架被JVM语言绑定,限制技术选型自由;并非所有框架把”物化成可查询的表”当头等公民,导致联结、浇注类模式支持不完善。发散:选工具时”最初为解决什么问题设计”往往比”现在能做什么”更重要,能做到不代表被验证优化过。

查看卡片与原书出处

微服务与事件驱动架构 · 使用轻量级框架的微服务

轻量级与重量级框架:谁承担协调基础设施

重量级框架(Spark/Flink/Storm)自带一整套集群协调机制——主节点、任务分配、洗牌服务,独立于事件代理和容器编排系统运行。轻量级框架(Kafka Streams、Samza嵌入模式)把这些职责整体外包出去:洗牌靠写回事件代理的内部再分区流实现,状态持久化复用变更日志,伸缩故障恢复交给容器管理系统做实例增减——应用就是能像其他微服务一样部署的普通进程。发散:轻量级框架的本质不是”功能更弱”,而是把本该属于基础设施的职责物归原主、不重复造轮子。

查看卡片与原书出处

实时流计算系统设计与实现 · 第6章 开源流计算框架

流计算平台五维评估

评估流计算平台不能只看吞吐量。还需依次检查集群架构与作业调度、DAG 和编程接口如何描述流、执行过程及反向压力、状态的保存与恢复、消息处理可靠性。五个维度对应不同业务风险:运行部署、表达能力、负载稳定、故障恢复和结果正确性。按需求逐项比较,才能判断成熟平台与自建轻量方案各自适用的边界。

查看卡片与原书出处

分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍

Storm拓扑流计算

Storm 用拓扑描述实时计算:spout 负责把数据流以元组形式发出,bolt 负责计算、过滤等转换,两者组成有向无环图。拓扑提交给集群后,由主节点把任务分发给工作节点执行。与 MapReduce 作业处理完就结束不同,拓扑会一直运行、持续处理消息,直到被手动停止。

查看卡片与原书出处

分布式实时计算框架原理及实践案例 · light_drtc核心技术实现

任务排队不并行

管理节点每隔 K 秒把收到的数据加工成按用户主键聚合的 JSON 列表。若上一批计算尚未结束,新数据块先进内存待执行队列;队列超过设定的最大延迟数时,写入磁盘上的延迟任务文件。上一批结束后,优先取延迟最久的数据块执行。这样保证各批任务严格按顺序执行,高峰期任务延迟但数据不丢。

查看卡片与原书出处

分布式机器学习实战 · 大数据算法系统架构

实时协同过滤

推荐系统的准实时部分:Flume 从 Web 服务器实时收集用户行为和埋点数据写入 Kafka,Flink、Storm 或 Spark Streaming 消费这些数据,做秒级别的协同过滤,让推荐结果随用户最近的行为偏好实时更新,提高新鲜感;计算结果实时写入线上 Redis,在线服务直接读取。离线算法则一般每天训练一次。

查看卡片与原书出处

高可用架构(第1卷) · 大数据与数据库

DRPC不适合大批量

Storm的DRPC提供了应用程序和Topology之间同步交互的接口,让外部程序可以直接调用Storm的并发处理能力去处理数据,处理完再把结果同步返回给调用方——这种方式在数据量不大的场景下通常没什么问题,但一旦被用来批量处理大数据,问题会变得明显:一是Topology处理这批数据可能来不及在调用方设定的超时时间内返回结果,导致调用直接超时失败;二是批量处理大数据会让整个集群的负载短时间内剧烈升高,处理完之后又迅速降回来,负载曲线极不平滑,这种脉冲式的负载模式对集群资源规划和稳定性都不友好。这两个问题的根源不是DRPC实现得不够好,而是DRPC这种同步调用、等待返回的交互模式,从设计初衷上就不是为批量处理大数据这类场景准备的——Storm整体的设计取舍是在”时效性”和”批量处理能力”之间更看重前者,它擅长的是持续、细粒度地处理无限数据流,而不是一次性吞下一大批数据再同步返回结果。如果业务真正的需求是准实时地处理大批量数据,更合适的选择是Spark Streaming这类专门针对批量和准实时场景设计的框架。这个案例给出了一条技术选型的重要提醒:一项技术组件提供的某个具体接口(这里是DRPC)能不能用在某个场景,不能只看这个接口”技术上能不能调通”,还要审视这个接口所属的整个技术体系在设计之初真正针对的是什么场景——把一个为”持续流式处理、追求时效性”设计的系统,硬用在”批量、同步等待”这种和它设计初衷相悖的场景上,即使短期内能跑通,也很容易在真实规模下暴露出超时和负载不均这类深层次的不适配问题,而这类问题往往不是靠调参数就能根治的,需要回到”这个场景本该用什么类型的工具”这个更基础的问题上重新选型。

查看卡片与原书出处

高可用架构(第1卷) · 大数据与数据库

Spout忌耗时操作

Storm里的Spout负责调用nextTuple方法把数据流发射出去,在启用了ACK机制的情况下,fail方法和ACK方法也会在对应事件发生时被触发——这三个方法看起来是各自独立的回调,但一个容易被忽视的关键约束是:在Storm里,Spout本身是单线程的(JStorm的实现有所改进,把这三个方法分到了三个线程分别执行,但原生Storm不是这样)。这意味着如果nextTuple方法本身执行得很耗时,会直接挤占同一个线程本该用来及时处理ACK和fail回调的时间——某条消息被下游成功处理完毕后,Acker会给Spout发一个ACK消息,但如果Spout当时正卡在一次耗时的nextTuple调用里、无法及时消费这个ACK消息,就可能导致ACK消息因为超时而被丢弃,进而触发这条消息被判定为处理失败、需要重新发送;同样地,如果fail或ACK方法本身的处理逻辑耗时较多,也会反过来影响nextTuple方法发射数据的节奏,造成整个Topology的吞吐量下降。这个案例揭示了Spout单线程这个实现细节所带来的一条重要设计约束:因为nextTuple、fail、ACK这三个本该各司其职的回调实际共享着同一个执行线程,任何一个回调里的耗时操作,都会直接挤占另外两个回调本该拿到的执行时间,进而在整个数据处理链路上产生连锁反应(ACK超时导致误判失败、失败又触发重发、重发又进一步加重了本就繁忙的Spout线程负担)。这提示了一条使用任何存在类似”共享线程”约束的框架组件时都要遵循的原则:在动手实现具体业务逻辑之前,先弄清楚这个组件的哪些回调函数实际上共用同一个执行线程,一旦确认了这种共享关系,就必须格外警惕把耗时操作放进这些共享线程负责的任何一个回调里,因为这类耗时操作造成的影响不会局限在它自己所在的这个回调,而会通过共享线程这条隐藏路径,扩散到所有共享同一线程的其他回调上。

查看卡片与原书出处

高可用架构(第1卷) · 大数据与数据库

fields热点分组

fieldsGrouping是Storm里一种常用的数据分组方式,它根据一个或多个字段对数据进行分组,保证同一个字段值对应的数据总会被发送到同一个下游Task(不同字段值的数据则被发往不同Task)——这个特性对于需要按某个维度做聚合统计(比如按用户ID统计行为)的场景非常有用,因为它天然保证了”同一个统计对象的数据集中在同一个处理单元里”。但这个分组方式隐含着一个容易被忽视的风险:如果按某个字段(比如用户ID)分组时,不同字段值对应的数据量本身就存在巨大差异(一部分用户的数据特别多、另一部分用户的数据很少),会直接导致下游各个Task收到的数据量严重不均衡——那些恰好承接了”热门用户”数据的Task会承受远超其他Task的处理压力,而整个处理链路的实际性能,会被这些负载最重的热点Task所限制,其他负载轻的Task即使有富余的处理能力,也无法帮上忙,因为fieldsGrouping的分组规则本身决定了数据不会被重新分配。应对这个问题的思路是加入更多的分组条件、或者更换分组策略,让原本集中在少数字段值上的数据能够被进一步打散,从而让下游各个Task之间的负载更趋于均衡。这个案例给出了一条使用”按某个属性做确定性分组”这类机制时的通用警示:这类分组方式的核心承诺是”相同属性值的数据一定落在同一处理单元”,这个承诺本身没有问题,但它完全没有对”不同属性值对应的数据量是否均衡”这件事做任何保证——如果分组所依据的属性本身存在明显的数据倾斜(少数值对应海量数据,多数值只对应少量数据),这种分组方式几乎必然会制造出处理能力上的热点瓶颈,评估要不要用某个字段做分组之前,有必要先审视这个字段在真实数据分布上是不是足够均匀。

查看卡片与原书出处

高可用架构(第1卷) · 大数据与数据库

Worker数量非线性

一个容易想当然的假设是,Storm集群里配置的Worker进程数量越多,整体吞吐量就会越高——但实测数据(来自JStorm官方性能测试文档)显示这个假设并不成立:在某个具体场景下,Worker数量在12个时集群吞吐量达到最大、整体性能最优,超过这个数量之后,继续增加Worker反而会让吞吐量下降。这个非线性现象背后有两个原因。第一,每增加一个Worker进程,原本可以在同一进程内通过线程间内存通信完成的数据传递,会有一部分转变为跨进程的网络通信,而进程间通信还额外需要序列化和反序列化操作,这些开销直接拉低了吞吐率——换句话说,拆分成更多Worker本质上是把一部分本来廉价的进程内通信,转变成了更昂贵的进程间通信。第二,每新增一个Worker进程,都会额外带来一批系统线程(Netty的发送和接收线程、心跳线程、SystemBolt线程等),这些线程之间的上下文切换会消耗不少CPU资源,在CPU总使用率本身有限的情况下,这部分被系统线程切换占用的CPU,直接挤压了原本可以分配给真正业务处理线程的CPU资源,降低了业务线程的实际使用效率。这两个因素叠加起来,构成了Worker数量和吞吐量之间”先升后降”的非线性关系:数量不足时增加Worker能有效利用更多机器资源、提升并行度,但一旦超过某个平衡点,继续增加Worker带来的进程间通信开销和系统线程切换开销,会反过来抵消甚至超过并行度提升带来的收益。这个案例提示了一条评估任何”分布式系统扩容”决策的重要原则:把一个计算任务拆分到更多独立单元(这里是Worker进程)去并行,从来不是无代价的——拆分本身会引入额外的协调和通信成本,这个成本会随着单元数量增加而持续累积,评估”要不要继续扩容”时,不能只看”理论上并行度更高了”,还要具体权衡拆分带来的协调成本是否已经超过了并行度提升的收益,最优的扩容规模往往存在一个明确的平衡点,而不是”越多越好”。

查看卡片与原书出处

高可用架构(第1卷) · 大数据与数据库

三指标定位Storm瓶颈

Storm的UI为每个Topology提供了详细的统计信息,其中三个参数对定位性能瓶颈特别有参考价值。Execute latency(执行延迟):消息的平均处理时间,单位毫秒,反映单条消息在这个组件内部真正被处理花了多长时间。Process latency(处理延迟):消息从被收到到被ACK掉所花的总时间,单位毫秒——如果没有启用Acker机制,这个值恒为0,它反映的是包含了排队等待在内的端到端延迟,而不只是纯粹的执行耗时。Capacity(容量):计算公式是”Bolt或Executor调用execute方法处理的消息数量×消息平均执行时间÷时间区间”,这个值如果接近1,意味着这个组件几乎一直在忙于执行execute方法、没有空闲时间,直接说明这个组件的并行度不够,需要给它增加更多Executor来分担负载。这三个指标组合起来,能够精确定位性能问题究竟出在哪个环节:如果某个组件的Execute latency本身就很高,说明问题出在这个组件内部逻辑的执行效率上,需要优化具体的处理代码;如果Execute latency不高但Process latency明显偏高,说明消息在队列里排队等待的时间过长,问题更可能出在上下游的处理速度不匹配上;如果Capacity长期接近1,说明这不是逻辑效率的问题,而是这个组件的并行度设置得太低、扛不住当前的流量,需要横向扩容。这个案例给出的核心方法论是:性能优化必须建立在具体可观测的量化指标之上,而不是凭主观直觉去猜测”哪里可能慢”——这三个指标各自反映了性能问题的不同侧面(纯执行效率、端到端延迟、并行度是否充足),组合起来使用能够把一个笼统的”这个Topology跑得慢”,精确拆解成”具体是哪个组件、因为哪种原因导致的慢”,从而让后续的优化动作有明确、有依据的落脚点,而不是在猜测中反复试错。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1777 流式常驻计算 路径上下文 大数据日知录_架构与算法 · 流式计算 理解等级:未标注
  • 展开或收起下级: 1980 事件建模范式针对状态迁移建模 路径上下文 解构领域驱动设计 理解等级:未标注
    • 展开或收起下级: 1980.z 事件流化跨界为本地 路径上下文 解构领域驱动设计 理解等级:未标注
      • 展开或收起下级: 1980.z.1 耐久事件连接服务 路径上下文 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Why Event-Driven Microservices 理解等级:中级
        • 展开或收起下级: 1980.z.1.e 重型框架的独立运行层 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
          • 1980.z.1.e.1 集群部署与作业管理 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
          • 1980.z.1.e.3 在线扩缩须保护Shuffle 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:高级
        • 展开或收起下级: 1980.z.1.f 轻型框架复用代理与平台 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices 理解等级:中级
          • 1980.z.1.f.1 内部流解耦Shuffle实例 主题成员 Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices 理解等级:高级
  • 展开或收起下级: 2800 离线与实时分野 路径上下文 分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
    • 2800.a 微批处理流数据 主题成员 分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
    • 2800.b Storm拓扑流计算 主题成员 分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
  • 展开或收起下级: 2801 CN、AN、JN三节点 路径上下文 分布式实时计算框架原理及实践案例 · light_drtc核心技术实现 理解等级:未标注
    • 2801.c 任务排队不并行 主题成员 分布式实时计算框架原理及实践案例 · light_drtc核心技术实现 理解等级:未标注
  • 展开或收起下级: 2819 日志门面解耦实现 路径上下文 分布式服务架构_原理、设计与实战 · 大数据日志系统的构建 理解等级:未标注
  • 展开或收起下级: 2823 算法系统两点不同 路径上下文 分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
    • 2823.a 实时协同过滤 主题成员 分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
  • 展开或收起下级: 2852 MapReduce分治 路径上下文 分布式架构原理与实践 · 分布式计算 理解等级:未标注
    • 2852.c Storm拓扑 主题成员 分布式架构原理与实践 · 分布式计算 理解等级:未标注
    • 展开或收起下级: 2852.e Storm并发粒度 主题成员 分布式架构原理与实践 · 分布式计算 理解等级:未标注
  • 展开或收起下级: 3102 流计算平台五维评估 主题成员 实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
  • 展开或收起下级: 3103 微批把连续流转成RDD序列 主题成员 实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
  • 3104 Samza把流存储交给消息系统 主题成员 实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
  • 4286 DRPC不适合大批量 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:高级
  • 4287 Spout忌耗时操作 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:中级
  • 4288 fields热点分组 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:高级
  • 4289 Worker数量非线性 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:高级
  • 4290 三指标定位Storm瓶颈 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:中级
  • 4291 Storm性能五原则 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:高级
  • 4316 Spark统一内存管理 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:中级
  • 4334 Storm拓扑执行模型 主题成员 高可用架构(第1卷) · 大数据与数据库 理解等级:中级
  • 展开或收起下级: 4545 云原生重在利用动态能力 路径上下文 Infrastructure As Code · 提供应用运行基础设施 理解等级:中级
    • 展开或收起下级: 4545.i 横向扩展转移软件责任 路径上下文 大规模分布式存储系统:原理解析与架构实战 理解等级:中级
      • 展开或收起下级: 4545.i.1 分布式存储统一服务 路径上下文 大规模分布式存储系统:原理解析与架构实战 · 概述 理解等级:中级
        • 展开或收起下级: 4545.i.1.b 结构化数据预先定义模式 路径上下文 大规模分布式存储系统:原理解析与架构实战 · 概述 理解等级:中级
          • 展开或收起下级: 4545.i.1.b.1 关系模式描述行的结构 路径上下文 大规模分布式存储系统:原理解析与架构实战 · 单机存储系统 理解等级:初级
            • 展开或收起下级: 4545.i.1.b.1.a SQL逻辑顺序区别执行计划 路径上下文 大规模分布式存储系统:原理解析与架构实战 · 单机存储系统 理解等级:中级
              • 展开或收起下级: 4545.i.1.b.1.a.2 查询计划区分意图与执行 路径上下文 大规模分布式存储系统:原理解析与架构实战 · 数据库功能 理解等级:中级
                • 展开或收起下级: 4545.i.1.b.1.a.2.a 局部聚合须保留合并状态 路径上下文 大规模分布式存储系统:原理解析与架构实战 · 数据库功能 理解等级:中级
                  • 展开或收起下级: 4545.i.1.b.1.a.2.a.5 流计算围绕持续输入和窗口 路径上下文 大规模分布式存储系统:原理解析与架构实战 · 大数据 理解等级:中级
                    • 4545.i.1.b.1.a.2.a.5.a S4用事件键路由处理元 主题成员 大规模分布式存储系统:原理解析与架构实战 · 大数据 理解等级:中级
  • 5421 S4对等节点仍依赖协调 主题成员 大数据日知录_架构与算法 · 第12章 流式计算 理解等级:中级
  • 5423 Samza分开消息与资源管理 主题成员 大数据日知录_架构与算法 · 第12章 流式计算 理解等级:中级

未编号或编号待整理

来源书籍

来源书籍

分布式机器学习实战

大数据与机器学习平台工程类

Skill 版本:v8

书籍类型:工程实践

清单覆盖 7/7

34 张卡片

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书