← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2274.g.2.a.1.c.1.b

实时开发的四项能力

理解等级:中级

“数据的价值在于数据的在线化”:数据的业务价值随时间迅速降低,必须尽快计算处理。实时计算有三个特点:处理实时且无界的数据流;事件触发、持续高效地计算;计算结果像流数据一样持续写入目标存储(如直接写 MySQL 做报表)。实时开发套件是对 Flink 流计算能力的产品封装,核心功能包括:

  1. 元数据管理:Flink 表来自多种数据库,消息中间件中的数据往往没有格式约束,无法直接映射为结构化对象做 SQL 加工。统一的元数据注册中心维护 Flink 表与 Topic 的元数据,实现数据与元数据解耦,采集时按 Topic 自动找到元数据形成数据流;还支持 JSON、Avro、Protobuf 等存储格式和压缩以减轻存储与带宽压力。
  2. SQL 驱动式开发:把流计算看作对动态表的持续查询;将 Kafka 消息流和 HBase、MySQL 等维度表注册为临时视图,中间结果也注册为视图,在视图上用 SQL 转换后写入结果表。
  3. 组件化开发:把输入源、转换逻辑、UDF、结果持久化封装成组件,拖曳配置成加工拓扑图,由平台调度、解析和运行;业务时间来源和格式各不相同,平台统一处理 eventTime 以支持基于时间窗口的计算。
  4. 监控告警:数据积压超过阈值时发出延迟告警并触发 backPressure 机制,让输入流放慢,避免任务意外终止;统计各组件吞吐量与读写速率,帮助定位瓶颈。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第05章《第5章 数据开发:数据价值提炼工厂》5.3 实时开发(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0028.xhtml,来源项目 book-sources) - 结论依据:5.3节说明实时计算的三个特点,介绍实时开发的元数据管理、SQL驱动式开发、组件化开发与统一eventTime、延迟告警与backPressure及吞吐统计。 - 原始内容:当数据积压超过阈值时,可发出延迟告警,同时会触发流计算的backPressure机制,使输入流的速度变慢,从而不至于使整个流计算任务意外终止。