主题 / 框架与集成:Storm、Spark 与消息系统怎么接 / Spark Streaming的DStream微批抽象与Kafka两种读取方式
返回主题:框架与集成:Storm、Spark 与消息系统怎么接
主题目录
阅读目录
大数据技术体系详解_原理、架构与实践
返回主题
框架与集成:Storm、Spark 与消息系统怎么接 · 卢曼编号树
展开或收起下级:
1777
流式常驻计算
路径上下文
大数据日知录_架构与算法 · 流式计算 理解等级:未标注
展开或收起下级:
1980
事件建模范式针对状态迁移建模
路径上下文
解构领域驱动设计 理解等级:未标注
展开或收起下级:
1980.z
事件流化跨界为本地
路径上下文
解构领域驱动设计 理解等级:未标注
展开或收起下级:
1980.z.1
耐久事件连接服务
路径上下文
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Why Event-Driven Microservices 理解等级:中级
展开或收起下级:
1980.z.1.e
重型框架的独立运行层
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
1980.z.1.e.1
集群部署与作业管理
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
1980.z.1.e.3
在线扩缩须保护Shuffle
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:高级
展开或收起下级:
1980.z.1.f
轻型框架复用代理与平台
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices 理解等级:中级
1980.z.1.f.1
内部流解耦Shuffle实例
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices 理解等级:高级
展开或收起下级:
2800
离线与实时分野
路径上下文
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
2800.a
微批处理流数据
主题成员
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
2800.b
Storm拓扑流计算
主题成员
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
展开或收起下级:
2801
CN、AN、JN三节点
路径上下文
分布式实时计算框架原理及实践案例 · light_drtc核心技术实现 理解等级:未标注
2801.c
任务排队不并行
主题成员
分布式实时计算框架原理及实践案例 · light_drtc核心技术实现 理解等级:未标注
展开或收起下级:
2819
日志门面解耦实现
路径上下文
分布式服务架构_原理、设计与实战 · 大数据日志系统的构建 理解等级:未标注
展开或收起下级:
2819.f
采集与解析间加缓冲
路径上下文
分布式服务架构_原理、设计与实战 · 大数据日志系统的构建 理解等级:未标注
展开或收起下级:
2823
算法系统两点不同
路径上下文
分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
2823.a
实时协同过滤
主题成员
分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
展开或收起下级:
2852
MapReduce分治
路径上下文
分布式架构原理与实践 · 分布式计算 理解等级:未标注
2852.c
Storm拓扑
主题成员
分布式架构原理与实践 · 分布式计算 理解等级:未标注
展开或收起下级:
2852.e
Storm并发粒度
主题成员
分布式架构原理与实践 · 分布式计算 理解等级:未标注
展开或收起下级:
3102
流计算平台五维评估
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
展开或收起下级:
3102.b
Storm拓扑的输入与处理
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:初级
展开或收起下级:
3103
微批把连续流转成RDD序列
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
展开或收起下级:
4545
云原生重在利用动态能力
路径上下文
Infrastructure As Code · 提供应用运行基础设施 理解等级:中级
展开或收起下级:
4545.i
横向扩展转移软件责任
路径上下文
大规模分布式存储系统:原理解析与架构实战 理解等级:中级
展开或收起下级:
4545.i.1
分布式存储统一服务
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 概述 理解等级:中级
展开或收起下级:
4545.i.1.b
结构化数据预先定义模式
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 概述 理解等级:中级
展开或收起下级:
4545.i.1.b.1
关系模式描述行的结构
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 单机存储系统 理解等级:初级
展开或收起下级:
4545.i.1.b.1.a
SQL逻辑顺序区别执行计划
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 单机存储系统 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2
查询计划区分意图与执行
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 数据库功能 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2.a
局部聚合须保留合并状态
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 数据库功能 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2.a.5
流计算围绕持续输入和窗口
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 大数据 理解等级:中级
4545.i.1.b.1.a.2.a.5.a
S4用事件键路由处理元
主题成员
大规模分布式存储系统:原理解析与架构实战 · 大数据 理解等级:中级
未编号或编号待整理
知识卡片
结构图卡 · 3103.e
Spark Streaming的DStream微批抽象与Kafka两种读取方式
理解等级:未标注
Spark Streaming 按时间把数据流切为微批,每批对应一个 RDD,连续 RDD 构成 DStream。Kafka 的 Receiver 方式先接收并缓存数据,Executor 故障时需额外机制保护缓存;Direct 方式按 offset 范围读取,省去接收缓存层。记录 offset 可支持重放,但不能单独保证外部写入恰好一次;还须核对处理、提交和结果写入的故障边界。
结构图 :
flowchart TB
A["流式数据"] -->|"按时间切片"| B["DStream=RDD序列"]
B --> C["transformation:DStream→DStream"]
B --> D["output(≈action):触发真正执行,输出到外部系统"]
E["Kafka数据接入两种方式"]
E --> F["基于Receiver<br/>Receiver持续拉取缓存到Executor,异步处理<br/>Executor故障可能丢数据(需额外WAL兜底)"]
E --> G["Direct(无Receiver)<br/>直接按offset范围读取,边读边处理<br/>按offset范围读取并记录进度<br/>外部写入语义需另核对"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处 参考来源 - 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.3.1 概念与架构"与"13.3.2 程序设计基础"(源文件:_epub-src/OEBPS/text00105.html)
- 结论依据:原文说明"其核心思想是把流式处理转化为'微批处理',即以时间为单位切分数据流,每个切片内的数据对应一个RDD……基于Receiver的方法:该方法会启动若干个Receiver从Kafka中读取数据,并将数据缓存到Executor中……默认情况下,当Executor因故障失败时,该方法可能会导致数据丢失……Direct方法……不通过Receiver而是直接读取Kafka中数据进行处理……Kafka offset信息直存储到checkpoint文件中,这样,即使任务失败,也不会导致数据重复消费", 直接支撑本卡关于DStream抽象与两种Kafka读取方式的结构图。
- 原始内容:正是由于Spark Streaming采用了微批处理方式,因此只能将其作为近实时处理系统,而不是严格意义上的实时流式处理系统。
← 上一张卡片Spark统一内存管理
下一张卡片 →微批把连续流转成RDD序列