返回主题:数据集成与分拆:一份真源与多份衍生

知识卡片

结构图卡 · 4277

实时平台抽象

理解等级:中级

实时计算平台的接入抽象,应先把不同数据来源包装成业务一致使用的接口。点评案例整合日志、MySQL binlog和消息队列通道,封装对应的Spout,即Storm的数据输入组件,让业务开发不必重复处理可靠取数的细节。

输出侧再通过data-service封装Redis/HBase等存储与按SLA切换的细节。统一接口不会自动让不同输入获得相同顺序、重复或故障恢复保证;复用接口前仍要核对需要的语义。本卡保留输入通道抽象,[[存储服务统一封装]]展开输出侧。

结构图:

flowchart TD
    A[日志、binlog与消息队列] --> B[各通道封装为Spout]
    B --> C[业务计算逻辑]
    C --> D[data-service统一存储接口]
    D --> E[Redis或HBase]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第6章《大数据与数据库》(源文件:_epub-src/OEBPS/Text/Chapter6_2_4.xhtml,段落序号:4,5;从0计) - 结论依据:原文明确封装不同通道的Spout,并由data-service隐藏Redis/HBase细节,支撑输入与输出两端的职责划分;接口不自动统一投递语义是审查限定。 - 原始内容:通过整合各种传输通道,并且封装相应的Spout,做业务开发的同学就完全不用关心怎样可靠获取,只需要写自己的业务逻辑就可以了。……我们也提供了一个data-service服务,通过点评的RPC框架提供接口,用户不用关心实际Redis/HBase这些系统的细节和部署情况,以及这个数据到底是在Redis还是HBase中的,我们可以根据SLA来做自动切换;同时计算的结果也是通过data-service服务,再反馈到线上系统。 - 修订沿革:[数据库旧卡18954原文](../_legacy-merge-20261020/original-cards/ch06-002-实时平台抽象.md);2026-10-20修订表述与适用条件。