知识卡片

流式常驻计算

普通读书笔记卡 · 1777

内容

流式计算把数据看作持续到达的事件,把作业看作长期运行的拓扑。它追求低延迟和持续更新,而不是等待全量数据就绪后批量处理,设计重点转向背压、状态和容错。

参考来源

- 位置:《大数据日知录:架构与算法》第12章《流式计算》引言部分(源文件:_epub-src/OEBPS/text00017.html) - 结论依据:原文明确"流式计算……对大数据处理的计算时效性要求很高,要求计算能够在非常短的时延(Low Latency)内完成","记录处理低延迟"是其首要特点,"从原始输入数据进入流式系统……整个计算过程所经历的时间越短越好……主流的流式计算系统对于记录的处理时间应该在毫秒级",与批处理等待全量数据不同。 - 原始内容:流式计算(Stream Processing)是越来越受到重视的一个计算领域。在很多应用场所,对大数据处理的计算时效性要求很高,要求计算能够在非常短的时延(Low Latency)内完成……(1)记录处理低延迟……从原始输入数据进入流式系统,再流经各个计算节点后抵达系统输出端,整个计算过程所经历的时间越短越好……主流的流式计算系统对于记录的处理时间应该在毫秒级。