知识卡片
微批模拟流式
书中D-Stream以连续微批在Spark批处理引擎上执行流任务,批次间隔、调度和状态恢复方式影响处理延迟。原文对编程原语较少及实时性不足的评价针对出版时系统,不能推广为所有微批设计或当前Spark的固定能力。微批把一批记录作为调度与恢复单位,应在实际窗口、延迟目标和资源条件下比较,而不把“批”直接等同于无法实时。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
目前典型的流式计算系统有很多,比如S4、Storm、MillWheel、Samza、D-Stream、Hadoop Online、MUPD8等。对照上述优秀的流式计算系统应该具备的多项特性,在这些系统中,Storm和MillWheel是各方面比较突出的,其他系统多多少少存在不同的比较严重的缺陷,比如,MUPD8和S4的数据丢失问题,D-Stream和Hadoop Online分别对底层的Spark和Hadoop框架及其批处理计算机制的依赖导致其实时性不佳等问题。考虑到这点,本章后续内容主要根据Storm、MillWheel以及Samza(其技术方案比较有特色)技术原理来分述各个重要的技术点。当然,在必要的时候也会对其他系统比较有特色的功能进行介绍。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》引言部分(源文件:_epub-src/OEBPS/text00017.html)
- 结论依据:本次根据完整原文窄修边界与恢复条件。历史系统评价按出版语境限定。
- 原始内容:目前典型的流式计算系统有很多,比如S4、Storm、MillWheel、Samza、D-Stream、Hadoop Online、MUPD8等。对照上述优秀的流式计算系统应该具备的多项特性,在这些系统中,Storm和MillWheel是各方面比较突出的,其他系统多多少少存在不同的比较严重的缺陷,比如,MUPD8和S4的数据丢失问题,D-Stream和Hadoop Online分别对底层的Spark和Hadoop框架及其批处理计算机制的依赖导致其实时性不佳等问题。考虑到这点,本章后续内容主要根据Storm、MillWheel以及Samza(其技术方案比较有特色)技术原理来分述各个重要的技术点。当然,在必要的时候也会对其他系统比较有特色的功能进行介绍。