主题 / 框架与集成:Storm、Spark 与消息系统怎么接 / 两种接入方式有不同边界
返回主题:框架与集成:Storm、Spark 与消息系统怎么接
主题目录
阅读目录
深入理解Kafka:核心设计与实践原理 2019
返回主题
框架与集成:Storm、Spark 与消息系统怎么接 · 卢曼编号树
展开或收起下级:
1777
流式常驻计算
路径上下文
大数据日知录_架构与算法 · 流式计算 理解等级:未标注
展开或收起下级:
1980
事件建模范式针对状态迁移建模
路径上下文
解构领域驱动设计 理解等级:未标注
展开或收起下级:
1980.z
事件流化跨界为本地
路径上下文
解构领域驱动设计 理解等级:未标注
展开或收起下级:
1980.z.1
耐久事件连接服务
路径上下文
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Why Event-Driven Microservices 理解等级:中级
展开或收起下级:
1980.z.1.e
重型框架的独立运行层
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
1980.z.1.e.1
集群部署与作业管理
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
1980.z.1.e.3
在线扩缩须保护Shuffle
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:高级
展开或收起下级:
1980.z.1.f
轻型框架复用代理与平台
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices 理解等级:中级
1980.z.1.f.1
内部流解耦Shuffle实例
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices 理解等级:高级
展开或收起下级:
2800
离线与实时分野
路径上下文
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
2800.a
微批处理流数据
主题成员
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
2800.b
Storm拓扑流计算
主题成员
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
展开或收起下级:
2801
CN、AN、JN三节点
路径上下文
分布式实时计算框架原理及实践案例 · light_drtc核心技术实现 理解等级:未标注
2801.c
任务排队不并行
主题成员
分布式实时计算框架原理及实践案例 · light_drtc核心技术实现 理解等级:未标注
展开或收起下级:
2819
日志门面解耦实现
路径上下文
分布式服务架构_原理、设计与实战 · 大数据日志系统的构建 理解等级:未标注
展开或收起下级:
2819.f
采集与解析间加缓冲
路径上下文
分布式服务架构_原理、设计与实战 · 大数据日志系统的构建 理解等级:未标注
展开或收起下级:
2823
算法系统两点不同
路径上下文
分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
2823.a
实时协同过滤
主题成员
分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
展开或收起下级:
2852
MapReduce分治
路径上下文
分布式架构原理与实践 · 分布式计算 理解等级:未标注
2852.c
Storm拓扑
主题成员
分布式架构原理与实践 · 分布式计算 理解等级:未标注
展开或收起下级:
2852.e
Storm并发粒度
主题成员
分布式架构原理与实践 · 分布式计算 理解等级:未标注
展开或收起下级:
3102
流计算平台五维评估
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
展开或收起下级:
3102.b
Storm拓扑的输入与处理
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:初级
展开或收起下级:
3103
微批把连续流转成RDD序列
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
展开或收起下级:
4545
云原生重在利用动态能力
路径上下文
Infrastructure As Code · 提供应用运行基础设施 理解等级:中级
展开或收起下级:
4545.i
横向扩展转移软件责任
路径上下文
大规模分布式存储系统:原理解析与架构实战 理解等级:中级
展开或收起下级:
4545.i.1
分布式存储统一服务
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 概述 理解等级:中级
展开或收起下级:
4545.i.1.b
结构化数据预先定义模式
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 概述 理解等级:中级
展开或收起下级:
4545.i.1.b.1
关系模式描述行的结构
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 单机存储系统 理解等级:初级
展开或收起下级:
4545.i.1.b.1.a
SQL逻辑顺序区别执行计划
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 单机存储系统 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2
查询计划区分意图与执行
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 数据库功能 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2.a
局部聚合须保留合并状态
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 数据库功能 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2.a.5
流计算围绕持续输入和窗口
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 大数据 理解等级:中级
4545.i.1.b.1.a.2.a.5.a
S4用事件键路由处理元
主题成员
大规模分布式存储系统:原理解析与架构实战 · 大数据 理解等级:中级
未编号或编号待整理
本书 Spark 2.3.1 语境下,Spark Streaming 接入 Kafka 有 Receiver 与 Direct 两条路径。Receiver 先由接收器取得消息,再交给 Spark;为降低任务异常造成的数据丢失风险,可先写 WAL 再更新 Kafka 消费位移,但故障窗口可能让同一消息再次被拉取。其 RDD 分区与 Kafka 分区不对应,单纯增加 Kafka 分区不会等量提高 Spark 计算并行度。Direct 按 Kafka 分区位移范围形成批次,并由应用管理处理位移,省去另一份 WAL。两者都要单独处理输出端的重复副作用。
结构图 :
flowchart TB
K[Kafka 数据] --> R[Receiver 接收]
R --> W[WAL 持久化]
W --> A[更新 Kafka 消费位移]
K --> D[Direct 按分区位移读取]
D --> O[应用管理处理位移]
A --> S[Spark 批次处理]
O --> S
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处 参考来源 - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.5 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文比较 Receiver 的 WAL 与重复拉取窗口、Direct 的分区位移范围和位移管理;版本限制来自本节依赖说明。
- 原始内容:WAL的方式可以保证从Kafka中接收的数据不被丢失。但是在某些异常情况下,一些数据被可靠地保存到了 WAL 中,但是还没有来得及更新消费位移,这样会造成 Kafka 中的数据被Spark拉取了不止一次。
← 上一张卡片两种流处理入口不同
下一张卡片 →Direct不自动实现精确一次