返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

普通读书笔记卡 · 2801.c

任务排队不并行

理解等级:未标注

管理节点每隔 K 秒把收到的数据加工成按用户主键聚合的 JSON 列表。若上一批计算尚未结束,新数据块先进内存待执行队列;队列超过设定的最大延迟数时,写入磁盘上的延迟任务文件。上一批结束后,优先取延迟最久的数据块执行。这样保证各批任务严格按顺序执行,高峰期任务延迟但数据不丢。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第3章《light_drtc核心技术实现》(源文件:_epub-src/OEBPS/Text/chapter5_0002.xhtml、_epub-src/OEBPS/Text/chapter5_0003.xhtml) - 结论依据:原文说明AN每隔K秒把数据加工成按用户主键聚合的JSON列表;若上批计算任务未结束,当前数据进入内存待执行队列,超过最大延迟个数则写入延迟任务目录文件;上批结束后先执行延迟最久的数据块;保证每批计算任务顺序执行,上一个没结束下一个等待。 - 原始内容:否则,取当前时间戳为文件名将currentTaskData存入延迟任务目录下,并记录在delayTaskTreeMap中。……➢首先从memTaskQu中取出延迟最久的数据块执行计算任务;……保证每批计算任务的顺序执行,上一个计算任务没有结束,下个计算任务等待。