知识卡片
实时平台抽象
实时计算平台的接入抽象,应先把不同数据来源包装成业务一致使用的接口。点评案例整合日志、MySQL binlog和消息队列通道,封装对应的Spout,即Storm的数据输入组件,让业务开发不必重复处理可靠取数的细节。
输出侧再通过data-service封装Redis/HBase等存储与按SLA切换的细节。统一接口不会自动让不同输入获得相同顺序、重复或故障恢复保证;复用接口前仍要核对需要的语义。本卡保留输入通道抽象,[[存储服务统一封装]]展开输出侧。
结构图:
flowchart TD
A[日志、binlog与消息队列] --> B[各通道封装为Spout]
B --> C[业务计算逻辑]
C --> D[data-service统一存储接口]
D --> E[Redis或HBase]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用架构(第1卷)》第6章《大数据与数据库》(源文件:_epub-src/OEBPS/Text/Chapter6_2_4.xhtml,段落序号:4,5;从0计)
- 结论依据:原文明确封装不同通道的Spout,并由data-service隐藏Redis/HBase细节,支撑输入与输出两端的职责划分;接口不自动统一投递语义是审查限定。
- 原始内容:通过整合各种传输通道,并且封装相应的Spout,做业务开发的同学就完全不用关心怎样可靠获取,只需要写自己的业务逻辑就可以了。……我们也提供了一个data-service服务,通过点评的RPC框架提供接口,用户不用关心实际Redis/HBase这些系统的细节和部署情况,以及这个数据到底是在Redis还是HBase中的,我们可以根据SLA来做自动切换;同时计算的结果也是通过data-service服务,再反馈到线上系统。
- 修订沿革:[数据库旧卡18954原文](../_legacy-merge-20261020/original-cards/ch06-002-实时平台抽象.md);2026-10-20修订表述与适用条件。