返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

普通读书笔记卡 · 2800.a

微批处理流数据

理解等级:未标注

Spark Streaming 把连续的数据流按时间窗口切成几秒一段的小数据集,每段转成一个 RDD,再交给 Spark 的批处理引擎处理,也就是把流式计算分解成一系列短小的批处理作业。书中也列出了它当时(2016 年前后)的不足:要自行实现数据流接收、框架日益复杂、常遇内存泄漏,对中小企业门槛较高。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第1章《分布式实时计算框架介绍》(源文件:_epub-src/OEBPS/Text/chapter3_0002.xhtml) - 结论依据:原文说明Spark Streaming将数据流按时间窗口切分成小时间间隔的独立数据集(RDD)分批处理,即把流式计算分解成一系列短小批处理作业;书中还列出当时的不足,如需自行实现数据流接收、框架复杂、内存泄漏等。 - 原始内容:其原理是将Stream数据流依据滑动时间窗口切分成一个个小的时间间隔(比如几秒)的独立数据集,即将其离散化并转换成一个个数据集(RDD),然后分批处理处理这些小的RDD。……Spark Streaming是将流式计算分解成一系列短小的批处理作业。