← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1777

流式常驻计算

理解等级:未标注

流式计算把数据看作持续到达的事件,把作业看作长期运行的拓扑。它追求低延迟和持续更新,而不是等待全量数据就绪后批量处理,设计重点转向背压、状态和容错。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      流式计算是一个越来越受到重视的计算领域,很多应用场景对于大数据处理的计算时效性要求很高,要求计算能够在非常短的时延内完成,从而更好地发挥流式计算系统的威力。目前涌现出不少流式计算系统,比如S4、Storm、Samza、D-Stream、MUPD8等,Storm作为其中最具代表性的流式计算系统,无论是从系统完善性还是使用广泛性来说都是非常突出的,非常值得关注。

    • 流式计算 · 查看原书依据

      “可扩展数据流平台类”计算系统与此不同,其设计初衷都是出于模仿MapReduce计算框架的思路,即在对处理时效性有高要求的计算场景下,如何提供一个完善的计算框架,并暴露给用户少量的编程接口(对MR来说就是Map和Reduce处理逻辑接口),使得用户能够集中精力处理应用逻辑。至于系统性能、低延迟、数据不丢失以及容错等问题,则由计算框架来负责,这样能够大大增加应用开发的生产力。此类“流式计算系统”中最著名的当属Yahoo的S4和Twitter的Storm系统。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》引言部分(源文件:_epub-src/OEBPS/text00017.html) - 结论依据:原文明确"流式计算……对大数据处理的计算时效性要求很高,要求计算能够在非常短的时延(Low Latency)内完成","记录处理低延迟"是其首要特点,"从原始输入数据进入流式系统……整个计算过程所经历的时间越短越好……主流的流式计算系统对于记录的处理时间应该在毫秒级",与批处理等待全量数据不同。 - 原始内容:流式计算(Stream Processing)是越来越受到重视的一个计算领域。在很多应用场所,对大数据处理的计算时效性要求很高,要求计算能够在非常短的时延(Low Latency)内完成……(1)记录处理低延迟……从原始输入数据进入流式系统,再流经各个计算节点后抵达系统输出端,整个计算过程所经历的时间越短越好……主流的流式计算系统对于记录的处理时间应该在毫秒级。